Говорящее фото нейросетью: с какими сюрпризами мы столкнулись, когда добавили видео в сервис озвучки

ZAE-AI начинался как сервис озвучки: пишете текст, выбираете голос из каталога или клонируете свой и получаете аудио. Следующий логичный шаг — чтобы этот текст кто-то произнёс в кадре. Мы проверили спрос в Вордстате, и он нашёлся: «сделать говорящее фото» — около 1000 запросов в месяц, «оживить фото говорящее» — около 620, «оживить фото с голосом» — около 510. А к декабрю растёт «видео-поздравление от Деда Мороза».

Озвучка у нас уже была. Не хватало картинки, которая заговорит. Так появилось говорящее фото.

Как это выглядит для человека

Одна страница и три шага:

• Фото. Портрет человека, нарисованного персонажа или питомца — лишь бы были видны глаза и рот.
• Звук. Текст можно озвучить прямо в форме — любым голосом из каталога или своим клоном голоса. Или загрузить готовую запись: речь, поздравление, даже песню.
• Движения — по желанию. «В начале машет рукой, потом смотрит в камеру». Не напишете — нейросеть подберёт жесты под звук сама.

Цена — 19 ₽ за секунду видео, длина ролика равна длине озвучки. Точная сумма видна на кнопке ещё до запуска. Чтобы сразу было понятно, что получится, форма при открытии уже заполнена примером, а слева играет его готовое видео.

Какую нейросеть взяли

Видео делает OmniHuman 2.0 от ByteDance, мы подключили её через платформу Atlas Cloud. По одному фото и звуку модель двигает губы в такт речи или пению, добавляет мимику, повороты головы и жесты. Звук — от 4 секунд до 5 минут, на выходе MP4 в 720p. На 10 секунд ролика уходит обычно 2–3 минуты.

Сюрприз первый: цена

В карточке модели написано $0,056 за секунду. Под эту цифру мы и считали экономику. Первый же тест: ролик на 5,042 секунды, списано $0,45173. Это $0,0896 за секунду — в 1,6 раза дороже, чем в карточке.

Ошибиться в себестоимости на 60% — это разница между продуктом, который зарабатывает, и продуктом, который тихо съедает деньги. Хорошо, что мы узнали это до запуска, а не по итогам первого месяца.

Там же всплыли ещё две детали. Считают по точной длине звука, без округления до секунд. А цена появляется в ответе API не вместе с готовым видео, а чуть позже. Теперь сервер дожидается её и записывает в расход фактическую сумму по каждому ролику, а не оценку. Сейчас секунда видео обходится нам примерно в 8 ₽ при курсе 90 ₽ за доллар, человек платит 19 ₽.

Сюрприз второй: модель не понимает по-русски

OmniHuman понимает английский, китайский и ещё несколько языков, но русского среди них нет. Просить человека писать «waves hand, then looks at camera» мы не хотели. Поэтому описание движений сервер сам переводит на английский перед отправкой. Человек пишет как привык и разницы не замечает.

Сюрприз третий: фильтр на знаменитостей

Первое, что многим хочется оживить, — известного актёра или героя мультфильма. Такие фото нейросеть часто отклоняет: у неё свой фильтр, так провайдер соблюдает авторские права и права на изображение. Для человека это выглядит как «сервис сломался».

Поэтому мы сделали так:

• Деньги за неудачное видео возвращаются на баланс сами, без писем в поддержку.
• В карточке неудачного видео — подсказка, почему так бывает и какое фото взять вместо.
• Всё, что можно проверить заранее, проверяем до оплаты. Фото меньше 300 точек или слишком вытянутое модель не примет — мы говорим об этом сразу, а не после списания и трёх минут ожидания.
• Перед запуском — галочка о согласии: на фото вы сами или человек, который согласен на такое видео.

Мелочь, которая стоила бы доверия

Звук мы перекодируем в MP3, и его длина немного «плывёт»: кодер дописывает в начало и конец по паре сотых секунды. Запись ровно на 11 секунд становилась чуть длиннее и при округлении вверх стоила бы как двенадцать. При этом плеер показывает человеку «0:11» и цену за одиннадцать. Мы добавили допуск в 0,15 секунды: сколько видно в плеере, за столько и платите.

Что показали первые ролики

Мы ждали коротких роликов — наши примеры длятся 10–11 секунд. Но в первые дни после запуска средняя длина видео у пользователей вышла около 26 секунд, а самые длинные — по 40. И описания движений пишут подробные, иногда на целый абзац: когда помахать, когда посмотреть в камеру, как попрощаться. Похоже, говорящее фото чаще делают как личное видеообращение, а не как мем на пять секунд.

К Новому году

Самый понятный сезонный сценарий — именное поздравление от Деда Мороза. Озвучиваете текст голосом «Дед Мороз» — с именем ребёнка, похвалой за год и обещанием подарка, — загружаете фото Дедушки и получаете видео, где он обращается к ребёнку сам. Ролик на 20–30 секунд стоит 380–570 ₽ плюс несколько рублей за озвучку и готов за несколько минут.

Что мы вынесли

• Проверяйте себестоимость по списанию, а не по прайсу. Один платный тест до запуска уберёг нас от ошибки в 60%.
• Отказ нейросети — ваша проблема, а не клиента. Объясните, что случилось, и верните деньги автоматически.
• Новая функция лучше заходит как продолжение старой. Говорящее фото у нас не отдельный продукт, а следующий шаг после озвучки: тот же голос, тот же баланс, одна форма.

Попробовать можно на странице «Оживить фото с голосом» — форма уже заполнена примером. А если вы тоже встраивали чужие нейросети в свой продукт, расскажите в комментариях, какие сюрпризы были у вас.