Голосовое управление компьютером
OpenAI обновила десктопное приложение ChatGPT, добавив в него поддержку голосового режима ChatGPT Voice. Теперь пользователи могут общаться с ИИ голосом, чтобы управлять агентами и выполнять различные задачи на своем компьютере.
В основе новой функции лежит семейство голосовых моделей ChatGPT-Live, представленное в начале этого месяца. Эта технология позволяет приложению одновременно слушать, говорить и координировать рабочие процессы.
Расширенные возможности десктопной версии
В отличие от мобильной версии, которая отличается плавностью диалога и умением обрабатывать прерывания, десктопное обновление ориентировано на выполнение конкретных действий. Голосовой режим на ПК позволяет диктовать сложные многоступенчатые команды и дает возможность ИИ запрашивать уточнения у пользователя.
В демонстрационном видео показано, как разработчик одной командой просит ChatGPT создать новую ветку кода, отправить запрос на слияние (pull request) и найти причину ошибки. Функция работает с ChatGPT Work и Codex, а также может использовать навыки работы с компьютером для поиска информации на сайтах и в приложениях.
Доступ к содержимому экрана
Для пользователей macOS через функцию Appshots приложение может получать доступ к содержимому экрана, включая альтернативный текст (alt-text) элементов. Это расширяет возможности взаимодействия с интерфейсом.
Кроме того, пользователи iOS могут использовать ChatGPT Voice в Codex через удаленный доступ.
Конкуренция на рынке голосового ИИ
Параллельно с этим компания Anthropic обновила голосовой режим для своего чат-бота Claude. Модели Opus, Sonnet и Haiku теперь могут выполнять задачи в сторонних сервисах, таких как Gmail, Calendar, Slack, Notion и Canva.
Что это значит
Голосовой режим ChatGPT теперь доступен в десктопном приложении, позволяя пользователям управлять несколькими агентами в ChatGPT Work или Codex с помощью голоса.