動画から人物や物の動作をトレースし、MikumikuDance（略称MMD／3DCGムービー製作ツール）用のデータにしてしまう技術が公開されました。
何を言ってるのかよくわからないと思うので、まずは動画をご覧ください。 えっ、なにこれは
そんな手間のかかるモーショントレースを一発で自動化してしまおうというのが、今回の技術です。投稿者はmiuさん。
詳しい自動化手順までの手順は以下のとおり。
技術的な部分はここでは省いても、とにかく映像で抽出した動きをそのままミクさんがトレースしている様子がわかるかと思います。
これがあれば今までのMMD投稿の作業がグッと簡略化できますし、全身のトラッカー（現実とVR内での動きを同期させるガジェット）を持っていなくても、VTuberが踊ってみたに挑戦しやすくなったりするかもしれません。
この技術は「MMDモーショントレース自動化への挑戦」と題され、ニコニコ動画にて動画シリーズ化されているのでそちらも必見。
MMDモーショントレースからどういった動画が生まれていくのか、注目です。
何を言ってるのかよくわからないと思うので、まずは動画をご覧ください。 えっ、なにこれは
技術革新だ（小並感）
MMDは初音ミクのダンス動画をつくるために制作され、これまでにも数多のMMD踊ってみた動画が投稿されてきました。 しかし、その動きは基本的に手本となる動きを目視でひとつひとつ登録していく…というもの。自然なKawaiiを生み出す裏には凄まじく地道な作業が必要でした。そんな手間のかかるモーショントレースを一発で自動化してしまおうというのが、今回の技術です。投稿者はmiuさん。
詳しい自動化手順までの手順は以下のとおり。
あーそういうことね、完全に理解した（わかってない）素材となる動画を30fpsで用意する
OpenPose で二次元の人物骨格データを取得する
3d-pose-baseline-vmd で二次元から三次元の人物関節データに変換し、関節データファイルを生成する
VMD-3d-pose-baseline-multi で関節データファイルを読み込み、vmd(MMDモーションデータ)ファイルを生成する
生成したvmdファイルをMMDでモデルに読み込む miuさんのQiitaより引用（外部リンク）
技術的な部分はここでは省いても、とにかく映像で抽出した動きをそのままミクさんがトレースしている様子がわかるかと思います。
これがあれば今までのMMD投稿の作業がグッと簡略化できますし、全身のトラッカー（現実とVR内での動きを同期させるガジェット）を持っていなくても、VTuberが踊ってみたに挑戦しやすくなったりするかもしれません。
この技術は「MMDモーショントレース自動化への挑戦」と題され、ニコニコ動画にて動画シリーズ化されているのでそちらも必見。
MMDモーショントレースからどういった動画が生まれていくのか、注目です。
技術革新の瞬間を見たァ〜〜！
0件のコメント