[Обновление: Live Caption на «Выбранных телефонах»] Google работает над обеспечением доступности с помощью Live Caption на Android Q, Live Relay и Live Transcribe.

Обновление 1 (10.05.19, 23:53 по восточному времени): В соответствии с ВенчурБит, Live Caption не будет доступен на всех устройствах под управлением Android Q. Более подробная информация ниже.

Мы, потребители, часто воспринимаем окружающий мир как нечто само собой разумеющееся. То, что мы испытываем, мы предполагаем, что то же самое переживается всеми окружающими в одинаковом смысле, если не одинаково. Эта презумпция распространяется на все сферы нашей жизни, включая технологии. Но инвалидность реальна, и жить с ней становится непростой задачей из-за подобных предположений. Таким образом, доступность становится важной темой, и Google вносит свой вклад в обеспечение того, чтобы люди с ограниченными возможностями имели равные возможности пользоваться этим опытом. Андроид Кью объединяет несколько усилий Google по обеспечению доступности, чтобы сделать Android более целостным интерфейсом, хотя не все функции, упомянутые ниже, доступны в Android прямо сейчас.

Живая подпись

Многие из нас никогда не удосуживаются взглянуть на настройки подписей второй раз, и мы также потребляем много мультимедиа, даже не замечая отсутствия подписей. Но для 466 миллионов людей по всему миру, глухих и слабослышащих, субтитры служат более важной цели, чем просто удобство — они являются самим средством восприятия. Android Q интегрирует живые субтитры, что позволяет пользователям из сообщества глухих получать доступ к опыту с гораздо большей легкостью и универсальностью.

После включения этой настройки Live Caption автоматически будет добавлять субтитры к мультимедиа, воспроизводящему звук на вашем устройстве, одним касанием. Live Caption работает с видео, подкастами, аудиосообщениями и любыми другими приложениями — даже с материалами, которые записываются на устройстве. Субтитры появятся, как только на устройстве будет обнаружена речь. А поскольку все это происходит посредством распознавания речи на устройстве, ни звук, ни субтитры не покидают ваш телефон, и вы можете использовать эту функцию без необходимости использования Wi-Fi или сотовой связи.

Обновление от 10.05.19: Google подтвердил с ВенчурБит что Live Caption «появится на некоторых телефонах под управлением Android Q позднее в этом году». В частности, «избирательные устройства более высокого класса», по словам Брайана Кемлера, менеджера по продуктам специальных возможностей Android. Причина, по-видимому, связана с ограничениями памяти и пространства. Первоначальное внедрение будет ограниченным, но со временем будет расширяться, и Google планирует опубликовать список устройств, которые получат поддержку Live Caption, когда мы приближаемся к первому общедоступному выпуску Android Q.

Кроме того, Google подтвердил, что сохранение транскрипции будет невозможно с помощью Live Captions (из-за преднамеренного ограничения в AudioPlaybackCaptureConfiguration). API), что он не будет работать с телефонными звонками, голосовыми вызовами или видеозвонками (поскольку он не поддерживается API) и что он будет поддерживать только субтитры на английском языке по адресу запуск. После запуска этой функции будет загружена автономная модель, а обновления модели будут предоставляться через сервисы Google Play.

Живая эстафета

Live Relay развивает идеи, выдвинутые Live Caption, позволяя людям совершать и принимать телефонные звонки без необходимости говорить или слышать.

Live Relay использует распознавание речи на устройстве и преобразование текста в речь, чтобы позволить телефону прослушивать аудиовызов, а затем произносить ответы от имени пользователя, который печатает ответы. Эта функция работает в тандеме с функциями предиктивного написания, такими как Умный ввод и Умный ответ, что упрощает удержание разговора в реальном времени за счет быстрого ответа. Live Relay работает полностью на устройстве, поэтому звонки остаются конфиденциальными. Поскольку Live Relay взаимодействует с другой стороной посредством обычного телефонного звонка, она также может работать со стационарными телефонами на другой стороне.

Хотя Live Relay, безусловно, будет полезен сообществу глухих и немых, варианты его использования распространяются и на ситуации, когда кто-то не может говорить или слышать телефонный звонок в данный момент, но все же хочет взаимодействовать с этим. Google также с оптимизмом смотрит на интеграцию возможностей перевода в реальном времени в Live Relay, что, в свою очередь, потенциально позволит любому звонить кому угодно в мире и общаться независимо от языковых барьеров.

Google заявляет, что Live Relay все еще находится на стадии исследования. Пока неясно, интегрирована ли эта функция в текущие сборки Android Q — мы предполагаем, что в будущем она появится и на устройствах Android.

Live Transcribe – расширение для пользователей с нарушениями речи.

Live Transcribe был продемонстрирован Google ранее в этом году в качестве инструмента для глухих пользователей, позволяющего использовать живую транскрипцию речи вокруг них. Целью приложения было сделать повседневные разговоры более доступными, преобразуя реальную речь, передаваемую через микрофон телефона, в субтитры в реальном времени. Живая транскрипция — это уже доступен в виде ограниченной бета-версии раннего доступа в Play Store., с поддержкой более 70 языков и диалектов. Приложение также предустановлено на устройствах Pixel 3.

Последние усилия Google по улучшению доступности расширяют возможности Live Transcribe не только для глухих пользователей, но и для пользователей с нарушениями речи посредством Project Euphonia.

Команда Project Euphonia использует искусственный интеллект, чтобы улучшить способность компьютера понимать различные речевые модели, включая речь с нарушениями. Google сотрудничает с некоммерческими организациями, такими как Институт развития терапии БАС и Инициатива по резиденции БАС, чтобы записывать голоса людей. пострадавших от БАС, а затем использовать эти записи для обучения моделей ИИ более надежной расшифровке слов, произнесенных людьми с таким типом речи. сложности. Текущий набор алгоритмов искусственного интеллекта работает с английским языком, чтобы помочь людям с ограниченными возможностями. связаны с БАС, но Google с оптимизмом смотрит на то, что исследования будут применяться к более крупным группам и различным речевым группам. нарушения.

Кроме того, Google также развивает это, обучая персонализированные алгоритмы искусственного интеллекта распознавать звуки и жесты, а затем выполнять такие действия, как создание голосовых команд в Google Home или отправка текста. Сообщения. Этот вариант использования особенно полезен для людей с тяжелой формой инвалидности, которые не могут говорить и могут взаимодействовать только с помощью неречевых звуков и мимических жестов.

Эти новые функции, похоже, пока не реализованы в Live Transcribe. Google запрашивает помощь у волонтеров, у которых невнятная или трудно понимаемая речь, и если они готовы записать набор фраз, чтобы помочь в дальнейшем обучении системы для лучшей работы. Если у вас есть право и вы хотите стать волонтером, пожалуйста, заполните форму для того же.

Усилия Google по улучшению доступности технологий, безусловно, заслуживают похвалы. Мы надеемся, что все больше компаний-разработчиков программного обеспечения будут работать над тем, чтобы предоставить людям с ограниченными возможностями равный опыт в мире.

---

Источник 1: Google.Источник 2: Google.Источник 3: Google.