昨今、入力した単語や文(プロンプト)からイラストを生成してくれる「画像生成AI」が話題です。
日進月歩で進むAIの進化はとどまるところを知らず、最早アニメも制作できちゃうんです……!
ご覧いただきたいのは、ボカロP・柊マグネタイトさんの楽曲「マーシャル・マキシマイザー」に合わせて踊る2人の初音ミク。
片方は、3DCGソフト「MMD(MikuMikuDance)」で制作された初音ミク。もう片方は、なんと、そのMMD動画をAIが手描きアニメ風に変換したものなんです!
【画像8枚】手描きアニメがAIでより手軽に──i2iがもたらしうる可能性
動画には取り込んだ画像からAIによってイラストを再出力するi2i(Image to Image)という技術が活用されています。
アニメの制作にあたっては、まずMMDの動画を1フレームごとに画像として書き出し、それをAIに読み込ませ、画像を再生成。その画像たちをパラパラ漫画の要領で動画にしているんです。
しかし、実際にトゥーンレンダリングをはじめ、3DCGアニメーションを手描き風に変換する手法が活用されている昨今。i2i技術の活用はアニメ制作のコストカットに繋がるかもしれません。
例えば、3DCGのアニメーションをもとに、特定の画風になるように設定したり、特定の個人の画風を学習させたAIで手描き風に変換することで、1枚1枚作画せずとも、より手軽に「○○さんのイラストがそのまま動く」アニメーションが生成できる可能性もあるんです。
852話さんは自身のnoteにて、制作の手順や、アニメとしての見え方を探るうえでの試行錯誤を公開しているので、興味がある人はぜひ読んでみてください(外部リンク)。
──この動画はどのようなアイデアから生まれたのでしょうか?
852話さん 以前一度、MMDアニメをAIアニメに変換する実験を行ったのですが、時間が経過しクオリティの高いモデルが出てきたため、また違う結果が得られるかなと思い実験しました。
──i2i技術は、今後どのように動画産業・文化に影響を与えていくと考えていますか?
852話さん 全く影響しないということはないでしょうが、商業の分野でそれらが使われるまでにはまだいくつかAIが段階を超える必要があると感じています。また、既存のクリエイターの感情面の問題もあります。
──852話さんはAIイラストをSNSでよく投稿されていますが、AIイラストのどのような点を評価されていますか?
852話さん 自分の発想の枠を超えた出力の可能性に魅せられています。
【画像8枚】手描きアニメがAIでより手軽に──i2iがもたらしうる可能性
日進月歩で進むAIの進化はとどまるところを知らず、最早アニメも制作できちゃうんです……!
ご覧いただきたいのは、ボカロP・柊マグネタイトさんの楽曲「マーシャル・マキシマイザー」に合わせて踊る2人の初音ミク。
片方は、3DCGソフト「MMD(MikuMikuDance)」で制作された初音ミク。もう片方は、なんと、そのMMD動画をAIが手描きアニメ風に変換したものなんです!
【画像8枚】手描きアニメがAIでより手軽に──i2iがもたらしうる可能性
目次
3DCGのダンスを分解し、アニメとして再構成
この動画を投稿したのは、AIを使用したイラストやフリーゲームを制作している852話(hakoniwa)さん(@8co28)。動画には取り込んだ画像からAIによってイラストを再出力するi2i(Image to Image)という技術が活用されています。
アニメの制作にあたっては、まずMMDの動画を1フレームごとに画像として書き出し、それをAIに読み込ませ、画像を再生成。その画像たちをパラパラ漫画の要領で動画にしているんです。
手描きアニメがAIでより手軽に──i2iがもたらしうる可能性
3DCGの動画を分解して再構築してアニメにしているというと、文字面ではその効用がイメージしづらいかもしれません。しかし、実際にトゥーンレンダリングをはじめ、3DCGアニメーションを手描き風に変換する手法が活用されている昨今。i2i技術の活用はアニメ制作のコストカットに繋がるかもしれません。
例えば、3DCGのアニメーションをもとに、特定の画風になるように設定したり、特定の個人の画風を学習させたAIで手描き風に変換することで、1枚1枚作画せずとも、より手軽に「○○さんのイラストがそのまま動く」アニメーションが生成できる可能性もあるんです。
852話さんは自身のnoteにて、制作の手順や、アニメとしての見え方を探るうえでの試行錯誤を公開しているので、興味がある人はぜひ読んでみてください(外部リンク)。
852話が魅せられた「自分の発想の枠を超えた出力の可能性」
アニメを出力してみての感想や、今後の展望を、実際に852話さんに聞いてみました。──この動画はどのようなアイデアから生まれたのでしょうか?
852話さん 以前一度、MMDアニメをAIアニメに変換する実験を行ったのですが、時間が経過しクオリティの高いモデルが出てきたため、また違う結果が得られるかなと思い実験しました。
──i2i技術は、今後どのように動画産業・文化に影響を与えていくと考えていますか?
852話さん 全く影響しないということはないでしょうが、商業の分野でそれらが使われるまでにはまだいくつかAIが段階を超える必要があると感じています。また、既存のクリエイターの感情面の問題もあります。
──852話さんはAIイラストをSNSでよく投稿されていますが、AIイラストのどのような点を評価されていますか?
852話さん 自分の発想の枠を超えた出力の可能性に魅せられています。
【画像8枚】手描きアニメがAIでより手軽に──i2iがもたらしうる可能性
この記事どう思う?
関連リンク
1件のコメント
匿名ハッコウくん(ID:6566)
どんどん敷居が低くなって良いね