音声から動画へ
リップシンクAIで話すクリップを形作る
リップシンクAIは、見える口の動きを話し声に合わせることを目的としています。明瞭な発話と、顔が見え続ける映像から始め、完成した編集に使用する前に結果を確認してください。
このバリエーションについて
このワークフローでは、音声をタイミングの基準として扱います。関連する動画ワークフローは、異なるソースから始めたり、別の種類の動きを優先したりします。
音声から動画への変換が異なる理由
説得力のある話すショットには、顔が動くだけでは不十分です。口の動き、間、表情、音声が互いに自然に調和している必要があります。
- 音声主導のクリップ
- シーン主導のクリップ
開始時のリファレンス
音声主導のクリップ
話し言葉のセリフまたは録音された声
シーン主導のクリップ
書かれたシーンまたはビジュアルリファレンス
主なタイミング
音声主導のクリップ
音節、間、話し方のリズム
シーン主導のクリップ
アクション、カメラの動き、シーンのテンポ
顔のフレーミング
発話主体のクリップ
口が見えると確認しやすい
シーン主導のクリップ
顔が遠くにある、または映っていない場合がある
最も目立つエラー
発話主体のクリップ
口の動きが言葉とずれる
シーン主導のクリップ
動きや構図が意図したシーンと合っていない
効果的な確認方法
発話主体のクリップ
音声を聞きながら見てから、ミュートして再生する
シーン主導のクリップ
動作のつながりと全体のフレーミングを確認する
最適な指示内容
発話主体のクリップ
話し手、セリフ、カメラの安定性を指定する
シーン主導のクリップ
被写体、設定、視覚的な動きを指定する
ツールブロック
すでに用意できているものに合った出発点を選びましょう。カットが入ったり顔が隠れたりする長いスピーチよりも、短くはっきり話されたセリフのほうが評価しやすくなります。
話す動画はどのようにして現在に至ったのか
制作手法は変化しましたが、中心となるテストは変わりませんでした。画面上の人物が実際に声を発しているように見えるか、ということです。
-
同期した音声が映画館の観客に届く
『ジャズ・シンガー』は、画面上の発話と録音された音声が一致すべきだという観客の期待を確立するのに貢献しました。
-
長編コンピューターアニメーションが画期的な作品に
『トイ・ストーリー』は、完全なコンピューターアニメーションによる長編作品の一部として、アニメーションキャラクターが台詞を担えることを示しました。
-
音声駆動のリップシンクが進歩
Wav2Lipなどの研究は、動画内の口の動きを入力された音声に合わせる手法を実証しました。
-
生成AIによるトーキング動画のワークフローが広がる
クリエイターは、生成された話すクリップについて、タイミング、表情、アイデンティティの一貫性、同意をますます評価しています。
話すショットの概要を準備する
明確なセリフを1つから始める
誰が話しているのか、何を言うのか、ショットがどのように構成されているのかを説明します。クリップを作成したら、発音の難しい子音や間を再生し、話者のアイデンティティと声が許可を得て使用されていることを確認します。
話すクリップを作成- 口元を見える状態にする
- 明瞭に話す
- 最終的なタイミングを確認する
バリエーションに関するよくある質問
目に見える口の動きを、話されている音声に対応させることを目指します。ただし、全体としては説得力のあるタイミングでも個々の単語でずれることがあるため、結果には人による確認が必要です。
選択するワークフローによって異なります。映像から始めるものもあれば、ビジュアルリファレンスや説明から始めるものもあります。それを前提に編集を計画する前に、ツールで利用できる入力を確認してください。
口のタイミングは、演技の一部にすぎません。硬い表情、合っていない間、急な頭の動き、または顔が一部隠れていることによって、発話がつながっていないように見える場合があります。
音声を聞きながらクリップを視聴し、単語の始まりと終わりに注意してから、ミュートで再生して顔の動きを確認します。また、認識可能な顔や声を使用する許可を得ていることも確認してください。