日本経済新聞社×データグリッド、AIが生成したバーチャルヒューマンを活用する動画制作システムを開発！

日本経済新聞社の研究開発組織である日経イノベーション・ラボは、データグリッドと共同でAIが生成した人物（バーチャルヒューマン）を用いて動画を制作するシステムを開発した。 開発したのは、AIがつくり出した実在しない人物や、実在する人物をベースに、自由に発話する内容を指定し動画を制作するシステム。報道での利用やオンラインイベントの司会などさまざまなシーンでの利用が考えられている。現在、動画作成には出演者や撮影スタッフ、スタジオの確保など多くのコストがかかっており、このシステムを使うことで、いつでも誰でも簡易的な動画をつくることが可能となる。

今回開発されたシステムは、人物をキャプチャーしてCGをつくる従来の手法とは異なる技術となっており、AIに人間の写真の特徴を学習させることで、より自然な人物データを自動生成することが可能となった。加えて、その人物データに対して、入力された音声データに合わせて自然な形で唇の形を生成するリップシンク技術や表情を変化させる技術を組み合わせることで、バーチャルな人物ながらも写実的な動画を生成する技術の開発に成功した。リップシンクは入力する音声データの言語を問わずに多言語で利用することが可能で、この技術により人種、年齢、性別、言語を問わない多様性のあるバーチャルヒューマンを利用することが可能となっている。

従来のCGから人物を制作する手法では専門家が時間をかけてCG制作を行う必要があるが、同システムの活用により大きなコスト削減が見込まれている。これまで人物を撮影し3Dモデリングや音声を収録して動画を作成する場合、最低でも数日から10日程度、高い品質を求める場合は数ヵ月の時間が必要だったが、このシステムを利用することにより、1日で動画を制作することが可能となる。

同システムでは、写真や動画を用意することで実在する人物をもとにして自由な動画をつくることも可能で、実在する人物の顔のみをバーチャルヒューマンに置き換えることもできる。将来は自分の動画をアップロードし、自分のデジタルアバターを生成することも実現する予定だ。

今回、日本経済新聞社では、若手社員約160人にAIで顔写真を利用することに対する同意を得て、若手社員の中間的な特徴を持つ男女のバーチャルヒューマンを作成。このシステムを用いて制作された動画は、日本経済新聞電子版で公開されている。