О модели Video Translator
Озвучка клипа на 28 языков с субтитрами, оплата за минуту.
Вызывайте его по имени модели popnow/video-translator-v1/video-translate через POST /jobs/createTask, от 0,005 $.
Введение
Video Translator дублирует говорящий клип на другой язык. Отправьте материал в video_url и выберите target_language: инструмент расшифровывает речь, переводит её, переозвучивает в такт исходным репликам и возвращает то же изображение с новым аудио. Включите clone_voice, и каждый говорящий сохранит голос, смоделированный по его собственному.
Ключевые возможности
Говорящие по-прежнему звучат как они сами
С включённым clone_voice дубляж произносится голосом, построенным на голосе каждого говорящего: в нашем тесте с двумя людьми женщина и мужчина вернулись на испанском со своим тембром, и каждая реплика начиналась там же, где начиналась исходная.
Ваши имена остаются вашими
Перечислите термины в glossary парами {term, translation}, и они каждый раз будут переводиться так, как вы задали. В нашем тесте фраза из глоссария была использована дословно в обеих репликах, где она встречалась.
Параметры запроса
| Параметр | Обязательный | Описание |
|---|---|---|
clone_voice | Нет | Каждый говорящий озвучивается голосом, похожим на его собственный. По умолчанию: false |
glossary | Нет | Имена и фразы с фиксированным переводом, до 100 пар. |
keep_background_audio | Нет | Оставить исходную музыку и эффекты под озвучкой; выключите, чтобы остались только голоса. По умолчанию: true |
source_language | Нет | Язык речи в ролике. Определяется автоматически; выберите вручную при музыке, сильном акценте или длинных паузах. auto · en · zh-CN · zh-TW · yue · es · fr · de · it · pt · ru · ja · ko · ar · hi · tr · vi · th · id · ms · nl · pl · uk · sv · fi · da · no · nn · cs · sk · ro · hu · el · bg · hr · sr · sl · bs · mk · sq · lt · lv · et · he · fa · ur · ps · sd · bn · as · pa · gu · mr · ne · sa · ta · te · kn · ml · si · my · km · lo · bo · ka · hy · az · kk · uz · tg · tk · mn · ba · tt · be · is · fo · cy · br · eu · gl · ca · oc · lb · la · mt · af · sw · so · am · ha · yo · ln · sn · mg · tl · jw · su · haw · mi · ht · yi · По умолчанию: auto |
speaker_count | Нет | Сколько людей говорит, от 1 до 4. Оставьте пустым для автоопределения. 1 · 2 · 3 · 4 |
target_language | Нет | Язык озвучки. Должен отличаться от языка ролика. en · es · fr · de · it · pt · nl · sv · da · no · fi · el · ru · pl · tr · he · id · ms · vi · th · tl · sw · zh-CN · zh-TW · ja · ko · ar · hi · По умолчанию: en |
video_url | Да | Ролик, с которым работаем. |
Цены
Цены указаны в USD. API использует отдельный баланс в долларах США. Кредиты сайта нельзя тратить в API или переводить на баланс API. Перевод с баланса API в кредиты сайта также недоступен. При принятии задачи мы резервируем максимальную сумму расчёта на балансе API. После завершения списываем плату за фактическое использование, не превышая резерв, и освобождаем остаток. Если задача завершается ошибкой, резерв освобождается.
| Вариант | USD за секунду |
|---|---|
| Стандарт | 0,005 $ |
До запуска отправьте то же тело запроса в POST /jobs/quote, чтобы узнать ожидаемую и максимальную стоимость в USD. Расчёт не запускает задачу и не списывает деньги.
Сценарии использования
Локализация коротких видео
Публикуйте один и тот же клип для нескольких языковых рынков без найма озвучки под каждый из них.
Дубляж персонажей из видеомоделей
Сгенерированные персонажи, которые говорят по-английски, можно озвучить на язык вашей аудитории, сохраняя голос персонажа.
Руководство по промптам и советы
Задавайте язык речи, если есть музыка
Автоопределение надёжно работает на чистой речи. Если задача падает с сообщением об обработке видео, задайте source_language и отправьте снова.
Укажите, сколько людей говорит
speaker_count необязателен, но указание его для диалога двух человек сохраняет каждую реплику с правильным голосом.
Планируйте под картинку
Заменяется только аудио. Для крупных планов, где важен рот, потом пропустите дублированный клип через инструмент Lip Sync.
Быстрый старт API
Вызов API Video Translator в три шага
- Создайте API-ключ. Войдите в PopNow и создайте ключ в консоли API. Ключи начинаются с sk-popnow-. Вызовы используют отдельный баланс в долларах США.
- Отправьте запрос. Отправьте POST /jobs/createTask с model popnow/video-translator-v1/video-translate и объектом input по таблице параметров. В ответе сразу придёт ID задачи.
- Получите результат. Опрашивайте GET /jobs/recordInfo по ID задачи или передайте callBackUrl — мы отправим результат туда. Когда задача выполнится, скачайте файлы по ссылкам.
# 1. Create the task. Keep the Idempotency-Key if you retry after a network error.
export IDEMPOTENCY_KEY="$(uuidgen)"
curl -X POST https://api.popnow.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $POPNOW_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $IDEMPOTENCY_KEY" \
-d '{
"model": "popnow/video-translator-v1/video-translate",
"input": {
"video_url": "https://media.popnow.ai/effects/flower-bloom-1abd6efb.mp4",
"target_language": "en",
"source_language": "auto"
}
}'
# 2. Copy data.taskId from the response, then poll until state is succeeded, failed, canceled or expired.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.popnow.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $POPNOW_API_KEY"Замените промпт и ссылки на свои. Справка по ответу, опросу статуса и callback есть на вкладке API.
Вопросы об API Video Translator
Сколько стоит API Video Translator?
Video Translator стоит 0,005 $ за секунду. API использует отдельный баланс в долларах США. Кредиты сайта нельзя тратить в API или переводить на баланс API. Перевод с баланса API в кредиты сайта также недоступен. При принятии задачи мы резервируем максимальную сумму расчёта на балансе API. После завершения списываем плату за фактическое использование, не превышая резерв, и освобождаем остаток. Если задача завершается ошибкой, резерв освобождается.
Какое имя модели у Video Translator в API?
Укажите popnow/video-translator-v1/video-translate — Переводчик видео в поле model запроса POST /jobs/createTask.
Меняется ли движение губ?
Нет. Картинка возвращается кадр в кадр, как вы её отправили; заменяется только звук. Если движение рта должно соответствовать новому языку, пропустите результат через инструмент Lip Sync.
Что происходит с музыкой и звуковыми эффектами?
При включённом keep_background_audio (по умолчанию) они остаются под новыми голосами. Если выключить, в возвращённом клипе будет только переведённая речь, а между репликами — тишина.
Будут ли субтитры?
Да. Каждый результат сопровождается файлом субтитров (.srt) с переведённой речью, синхронизированным с дубляжом; он возвращается вторым ассетом с ролью subtitle рядом с видео.
Можно попробовать Video Translator без кода?
Запускайте Video Translator в Playground с баланса API в USD без API-ключа. Каждый запуск сохраняется в истории разработчика с соответствующим кодом.