Помощник (для слепых)

Описание приложения

Принцип работы «помощника»: Пользователь запускает приложение, подтверждает соответствующие разрешения для доступа приложения к камере, микрофону и др. После приложение запускает себя в виде сервиса, что позволяет выйти из главного экрана приложения, постоянно сохраняя его активность. В режиме сервиса приложение ожидает ключевые голосовые команды пользователя. Так, если пользователь скажет «помощник, что ты видишь?» - автоматически активируется тыловая камера и запустится процесс распознавания объектов, которые попали в объектив камеры, с голосовым информированием пользователя (например – “стол в центре, холодильник немного слева, стул немного справа”). В итоге пользователь может «глазами» приложения «увидеть» объекты которые перед ним и определить примерное их расположение. Процесс распознавания и голосового информирования происходит в режиме реального времени до того момента, пока пользователь не скажет «помощник стоп». Получив такую команду, приложение прекратит распознавание и продолжит ожидания дальнейших команд. Основные голосовые команды: Помощник, ты меня слышишь? (чтобы убедиться в том, что сервис запущен) Помощник, сколько времени | который час? (сообщит текущее время) Помощник, какой сегодня день? (сообщит день недели и дату) Помощник, заряд батареи (сообщит уровень заряда батареи смартфона) Помощник, расскажи новости (расскажет 5 главный новостей на текущий момент) Помощник, первая | вторая | третья | четвертая | пятая новость (расскажет подробно новость) Помощник включи радио Звезда | Россия (включит проигрывание интернет потока радиостанции) Помощник погода (раскажет о погоде в населенном пункте пользователя, а также о прогнозе на ближайшие два дня). Важно: точная геопозиция пользователя не определяется, определяется только населенный пункта в котром находится пользователь. GPS не требуется. Помощник, что ты видишь (запустит активность с камерой и начнет распознавать объекты попадающие в объектив тыльной камеры) Помощник, стоп (остановит выполнение текущего действия – завершит проигрывание радио, прекратит распознавать объекты, перестанет рассказывать новости) Важным моментом выступает то, что весь функционал приложения (кроме запроса текущих новостей и вещания радио) работает полностью локально (без необходимости доступа в Интернет). Ни какая информация не передается за пределы смартфона и не сохраняется на нем. Планы: 1. поиск спонсоров для развития проекта. 2. сбор датасета с учетом отечественных реалий, его разметка, с последующим обучением модели распознавать гораздо качественнее и больше объектов (например тапочки, открытая или закрытая дверь, открытое или закрытое окно, выключатель, шторы, утюг, гладильная доска, стиральная машина, спички, хлеб, батон и многое другое). 3. расширение функционала взаимодействия с пользователем голосом (добавление возможности совершать звонки нужным контактами используя голосовые команды (например «помощник, позвони Елене» - приложение найдет контакт в списке контактов и наберет номер), (добавление возможности общаться с «помощником» на отвлеченные темы.). 4. Добавление доступных радиостанций. 5. Повышение качества распознавания голосовых команд. ВАЖНО: 1. Для работы с «помощником» рекомендуется использовать хэндсфри или наушники . Это необходимо, чтобы «помощник» мог продолжать «слышать» пользователя в процессе произношения голосом информации об объектах, новостей, проигрывании радио и др. 2. По умолчанию, для России, в настройках смартфона установлен женский голос. Для комфортной работы с «помощником» рекомендуется сменить настройки синтеза речи в смартфоне как указано на фото инструкции. 3. Некоторые модели телефонов требуют, дополнительно, предоставить разрешение на показ всплывающих окон вручную. Предоставление данного разрешения необходимо «помощнику», чтобы иметь возможность запустить камеру и начать распознавание объектов, даже если приложение не находится на переднем плане или экран смартфона выключен.