Новая функция в смартфонах Pixel
Компания Google DeepMind представила модель SL2T, предназначенную для перевода жестового языка в текст. Это первый случай, когда технология перевода жестового языка на базе ИИ стала встроенной функцией в серийных смартфонах. Функция появилась в приложениях Gboard и Live Transcribe на смартфонах Pixel 11 и начала поддерживать перевод с американского жестового языка (ASL) на английский 12 августа 2026 года.
Теперь глухие люди могут использовать камеру телефона вместо клавиатуры. Это позволяет диктовать поисковые запросы, составлять сообщения, документы или обращаться к ИИ-помощнику Gemini, используя жесты.
Как работает технология SL2T
В основе системы лежит подход, который отличается от предыдущих разработок. Вместо использования промежуточных меток (глоссов), которые ограничивали точность перевода, модель SL2T генерирует текст напрямую из данных о движениях. Это позволяет системе лучше улавливать грамматические нюансы, которые несут в себе жесты.
Для обеспечения приватности система не обрабатывает видеопоток целиком. Специальная модель MediaPipe Holistic отслеживает 130 ключевых точек на лице, теле и руках пользователя, превращая их в геометрические координаты. Только эти данные передаются для перевода, а исходное видео немедленно удаляется.
Обучение и точность модели
Модель обучалась на огромном массиве данных: более чем 100 000 часов видеозаписей на 50 различных жестовых языках. Обучение на разных диалектах и уровнях владения языком позволило создать систему, которая превосходит узкоспециализированные модели. Согласно тестам Google, точность перевода на сложных абстрактных фразах значительно выше предыдущих показателей.
Несмотря на успехи, модель все еще совершает ошибки. Она может ошибаться при быстром использовании пальцевой азбуки, терять контекст или неверно интерпретировать редкие знаки. Также возможны «галлюцинации» — когда ИИ начинает генерировать текст, если в кадре появляется посторонний человек или если жестикуляция прерывается.
Ограничения и правила использования
Google совместно с консультативным комитетом из организаций по защите прав глухих разработала правила использования технологии. SL2T позиционируется как вспомогательный инструмент для повседневных задач: переписки, поиска информации или неформального общения. Технология не предназначена для использования в юридических, медицинских или официальных государственных процессах.
Существует ряд технических ограничений: точность падает при плохом освещении или если руки перекрыты одеждой. Система отслеживает только одного человека в кадре и не может работать с несколькими людьми одновременно. Также модель не учитывает возраст пользователя и не поддерживает специфические региональные диалекты или именные знаки.
Что это значит
Запуск SL2T — это начало долгосрочного проекта Google по развитию технологий для общения. В планах компании — поддержка новых жестовых языков, улучшение распознавания мимики и создание функций для генерации жестового языка.