OpenAI представила три аудиомодели для задач голосового взаимодействия в реальном времени

В линейку вошли модели GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper. Они позволяют системам не только распознавать и преобразовывать речь, но и выполнять действия в ходе живого диалога.
GPT-Realtime-2 рассчитана на более сложные запросы: она поддерживает работу с инструментами, обработку прерываний в речи и сохранение контекста в длительных голосовых сессиях. Также модель улучшает способность систем вести более естественный диалог.
GPT-Realtime-Translate предназначена для синхронного перевода речи в режиме реального времени. Она поддерживает более 70 языков ввода и переводит их примерно на 13 языков вывода, что делает её ориентированной на сервисы поддержки клиентов, образование и международные коммуникации.
GPT-Realtime-Whisper отвечает за потоковую расшифровку речи в текст, позволяя создавать субтитры, заметки встреч и текстовые записи прямо во время разговора.
Компания отмечает, что новые модели уже доступны для тестирования через API, а среди первых пользователей оказались такие компании, как Zillow, Priceline и Deutsche Telekom.