ヘタなラクガキから綺麗なアニメ風キャラを生成してくれるAI！

「アニメのキャラクターをデザインしたいけど、絵が苦手だから描けない」

そんな方に朗報です。

北陸先端科学技術大学院大学（JAIST）と早稲田大学理工学術院の研究チームは、ラフなスケッチから高品質のアニメ画を自動で生成してくれるAIを開発したと発表しました。

これを使えば、絵心がなくても、頭の中に浮かんだアニメキャラを具現化することが可能です。

研究の詳細は、2023年7月23日付で学術誌『ACM Digital Library』に掲載されています。

目次

• スケッチの線からリアルタイムでアニメ画を提示！

スケッチの線からリアルタイムでアニメ画を提示！

たとえ技術は無くとも、自分のイメージ通りのイラストを描いてみたいと考えたことはあるでしょう。

特に日本のアニメーションは国内外で高い人気を誇り、「アニメキャラクターを自分で描いてみたい」という欲求を持つ人は大勢います。

とはいえアニメ画の創作には、高度に抽象化されたキャラクターを描く能力や、頭の中に思い浮かんだものをペン一つで再現する表現力などが求められます。

当然、初心者が思い通りにキャラクターを描くのは困難です。

そこで近年では、画像生成AIのサポートを利用して、初心者でも高品質なアニメ画を自動生成できる方法が研究されています。

技術的に未熟な人をサポートしてイメージ通りのイラストを完成させるには、初心者のラフなスケッチから、描きたいアニメ画の完成図を予測する必要があります。

しかし初心者のラフなスケッチでは完成形に対する情報が不足しているため、ユーザーの創作意図に沿った画像を生成することが困難です。

Credit: JAIST –初心者でも高品質なアニメ画を作れる生成AI技術を開発(2023)

そこで研究チームは今回、スケッチの制作過程におけるストローク（線の描き方）をシミュレートし、簡単なラフスケッチからでも高品質のアニメ画を自動生成するAIの開発を試みました。

本技術では、描き手のストロークからリアルタイムでアニメ画を生成するために、スケッチのストローク情報とアニメ画の輪郭線を関連づける技術を新たに構築しています。

AIには最新の高解像度画像生成モデル「StyleGAN」を使用し、ユーザーが目や口の線を描くだけで、それに適合するアニメ画の輪郭線を自動マッチングして提示してくれるのです。

Credit: JAIST –初心者でも高品質なアニメ画を作れる生成AI技術を開発(2023)

さらにチームは、事前に大量のアニメ画像をAIに学習させておくことで、一部のストローク情報だけからでもアニメ画の全体像を生成できるようにしました。

例えば、ユーザーが口や目を描いた時点で、他の顔の輪郭や髪型、眉毛、鼻の形なども提示してくれます。

もちろん、それがユーザーの想定しているものと違っていれば、顔の輪郭線や髪型を加筆・修正することで、そのストロークに適合するアニメ画を生成し直すことが可能です。

これにより、たとえユーザーがスケッチの途中段階であっても、高品質なアニメ画を安定して生成できるようになりました。

そしてユーザーの頭の中にあるアニメキャラとスケッチの完成予想図が合致すれば、無数にある参照画像の中からイメージの色味に合うものを選択することで、カラー情報を付与することができます。

Credit: xUI-LAB –AniFaceDrawing: Anime Portrait Exploration during Your Sketching (SIGGRAPH 2023)

スケッチページの左上にある「似顔絵マーク」をクリックすると、このように無数の参照画像のリストが出てきて、そこから好みの画像を選ぶと、スケッチの完成図を同じ色味に仕上げてくれます。

こちらの右側が参照画像で、真ん中がそれに合わせて色付けしたスケッチです。（左側はスケッチ空間）

Credit: JAIST –初心者でも高品質なアニメ画を作れる生成AI技術を開発(2023)

そしてチームは、試作品としてアニメ肖像画の制作インターフェース「AniFaceDrawing」を開発し、その有用性を評価してもらうために、15名の大学院生に自由に使ってもらいました。

その後、アンケート調査を行った結果、参加者は「アニメ画の生成結果に対する満足度」や「自分で描いた線画と生成されたアニメ画のマッチング率」において高い評価をしたとのことです。

本研究の成果から、絵の初心者であっても生成画像AIを活用することで、ラフなスケッチから望みのアニメキャラを生み出すことが可能となるでしょう。

研究チームは、画像生成AIによって身体と強く結びついた描画スキルの障壁をなくし、人々の創造的能力を最大限に拡張することを期待しています。

このAIが私たちの手にも普及すれば、夜な夜な妄想しているアニメキャラを自宅で作れるようになるかもしれませんね。

また本研究の内容は、2023年8月6日から10日にかけて米ロサンゼルスで開催されるコンピュータグラフィックスとインタラクティブ技術のトップカンファレンス「ACM SIGGRAPH 2023」で披露される予定です。

アニメ画制作の実演映像はこちらからご覧いただけます。

全ての画像を見る

参考文献

初心者でも高品質なアニメ画を作れる生成AI技術を開発 https://www.waseda.jp/top/news/92479 AniFaceDrawing: Delivering generative AI-powered high-quality anime portraits for beginners https://techxplore.com/news/2023-08-anifacedrawing-generative-ai-powered-high-quality-anime.html

元論文

AniFaceDrawing: Anime Portrait Exploration during Your Sketching https://dl.acm.org/doi/10.1145/3588432.3591548