動画翻訳Video Translator について
動画を28言語に吹き替え、字幕付き。分単位で課金。
POST /jobs/createTask でモデル名に popnow/video-translator-v1/video-translate を指定すれば呼び出せます。$0.005から。
はじめに
Video Translator は、話しているクリップを別の言語に吹き替えます。映像を video_url で送り、target_language を選ぶと、ツールが発話を文字起こしして翻訳し、元のセリフのタイミングに合わせて再び音声化して、同じ映像に新しい音声を付けて返します。clone_voice を有効にすると、各話者は自分自身の声をもとにした声を保てます。
主な特長
話者は今も本人らしく聞こえる
clone_voice を有効にすると、吹き替えは各話者自身の声から作られた声で話されます。二人の話者によるテストでは、女性と男性がそれぞれの声色のままスペイン語で返され、各セリフは元のセリフの開始位置から始まりました。
固有名詞はそのまま
glossary に {term, translation} の組を並べて書くと、毎回その訳し方で翻訳されます。テストでは、用語集に載せたフレーズが、出現した両方のセリフで指定どおりに使われました。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
clone_voice | いいえ | 話者ごとに本人に近い声で吹き替えます。 デフォルト: false |
glossary | いいえ | 訳し方を固定する名前や語句（最大 100 組）。 |
keep_background_audio | いいえ | 吹き替えの下に元の音楽と効果音を残します。オフで声だけ。 デフォルト: true |
source_language | いいえ | 動画で話されている言語。自動判定。音楽や強いなまり、長い間があるときは指定してください。 auto · en · zh-CN · zh-TW · yue · es · fr · de · it · pt · ru · ja · ko · ar · hi · tr · vi · th · id · ms · nl · pl · uk · sv · fi · da · no · nn · cs · sk · ro · hu · el · bg · hr · sr · sl · bs · mk · sq · lt · lv · et · he · fa · ur · ps · sd · bn · as · pa · gu · mr · ne · sa · ta · te · kn · ml · si · my · km · lo · bo · ka · hy · az · kk · uz · tg · tk · mn · ba · tt · be · is · fo · cy · br · eu · gl · ca · oc · lb · la · mt · af · sw · so · am · ha · yo · ln · sn · mg · tl · jw · su · haw · mi · ht · yi · デフォルト: auto |
speaker_count | いいえ | 話している人数（1〜4）。空なら自動判定。 1 · 2 · 3 · 4 |
target_language | いいえ | 吹き替え先の言語。動画の言語とは別の言語にしてください。 en · es · fr · de · it · pt · nl · sv · da · no · fi · el · ru · pl · tr · he · id · ms · vi · th · tl · sw · zh-CN · zh-TW · ja · ko · ar · hi · デフォルト: en |
video_url | はい | 加工する動画。 |
料金
料金は米ドル表示です。API は専用の米ドル残高を使用します。サイトのクレジットは API で使えず、API 残高との相互振替もできません。 タスクの受理時に、見積もりの上限額を API 残高から確保します。完了後は実際の使用量で精算し、確保額を超える請求はせず、差額を解放します。タスクが失敗した場合は確保額を解放します。
| オプション | USD /秒 |
|---|---|
| 標準 | $0.005 |
実行前に同じリクエスト本文を POST /jobs/quote に送ると、想定料金と上限額を米ドルで確認できます。見積もりではタスクの実行も課金も行いません。
活用シーン
短尺動画のローカライズ
言語ごとに声優を手配せずに、同じクリップを複数の言語の市場に投稿できます。
動画モデルのキャラクターの吹き替え
英語で話す生成キャラクターを、キャラクターの声を保ったまま視聴者の言語に吹き替えられます。
プロンプトガイドと上級者向けのコツ
音楽があるときは話し言葉の言語を指定する
自動検出は、クリーンな発話ではよく機能します。タスクが映像の処理に関するメッセージで失敗した場合は、source_language を設定して再送信してください。
話す人数を伝える
speaker_count は任意ですが、二人の対話で設定すると、各セリフが正しい声に割り当てられます。
映像も計画に入れる
置き換えられるのは音声だけです。口の動きが重要なクローズアップの場合は、吹き替え後のクリップを Lip Sync ツールに通してください。
API クイックスタート
Video Translator API を 3 ステップで呼び出す
- API キーを作成する. PopNow にログインし、API コンソールでキーを作成します。キーは sk-popnow- で始まり、API 呼び出しには専用の米ドル残高を使用します。
- リクエストを送る. POST /jobs/createTask に、model を popnow/video-translator-v1/video-translate、input をパラメーター表どおりにして送ります。レスポンスですぐにタスク ID が返ります。
- 結果を受け取る. タスク ID で GET /jobs/recordInfo をポーリングするか、callBackUrl を渡せば結果がそこへ送られます。タスクが成功したら出力リンクからダウンロードします。
# 1. Create the task. Keep the Idempotency-Key if you retry after a network error.
export IDEMPOTENCY_KEY="$(uuidgen)"
curl -X POST https://api.popnow.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $POPNOW_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $IDEMPOTENCY_KEY" \
-d '{
"model": "popnow/video-translator-v1/video-translate",
"input": {
"video_url": "https://media.popnow.ai/effects/flower-bloom-1abd6efb.mp4",
"target_language": "en",
"source_language": "auto"
}
}'
# 2. Copy data.taskId from the response, then poll until state is succeeded, failed, canceled or expired.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.popnow.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $POPNOW_API_KEY"プロンプトとリンクはご自身のものに置き換えてください。API タブにレスポンス、ポーリング、コールバックのリファレンスがあります。
Video Translator API についての質問
Video Translator API の料金はいくらですか？
Video Translatorは$0.005/秒です。API は専用の米ドル残高を使用します。サイトのクレジットは API で使えず、API 残高との相互振替もできません。 タスクの受理時に、見積もりの上限額を API 残高から確保します。完了後は実際の使用量で精算し、確保額を超える請求はせず、差額を解放します。タスクが失敗した場合は確保額を解放します。
API でのVideo Translatorのモデル名は？
POST /jobs/createTask の model フィールドに 動画翻訳は popnow/video-translator-v1/video-translate を指定します。
口の動きは変わりますか？
いいえ。映像は送ったとおりフレームごとに戻ります。変わるのは音声だけです。口の動きを新しい言語に合わせる必要がある場合は、結果を Lip Sync ツールに通してください。
音楽や効果音はどうなりますか？
keep_background_audio をオン（既定値）にすると、新しい声の下に残ります。オフにすると、戻されるクリップには翻訳された音声だけが入り、その間は無音になります。
字幕は付きますか？
はい。結果には必ず、翻訳された音声の字幕ファイル（.srt）が付きます。吹き替えに合わせてタイミングが取られ、動画と並ぶ 2 つ目のアセットとして、役割 subtitle で返されます。
コードを書かずにVideo Translatorを試せますか？
API キーなしで、API の米ドル残高を使って Playground から Video Translator を実行できます。各実行は対応するコードとともに開発者の履歴に記録されます。
