「瞳に映る映像」を「3D化」する技術が登場！

顔出し動画をアップしている人は気をつけて下さい。

米国のメリーランド大学カバレジパーク校（UMCP）で行われた研究により「瞳に映る景色」を合成して「3D空間を再現」する技術が開発されました。

「瞳に映る景色」は現在、情報源としてあまり評価されていませんが、解析技術の進歩により発信者の意図しない情報が掘り起こされてしまうかもしれません。

なお研究によって開発されたコードも近日公開されるとのこと。

研究内容の詳細は2023年6月15日にプレプリントサーバーである『arXiv』にて公開されました。

目次

• 「瞳に映る映像」を「3D化」する技術を開発！

「瞳に映る映像」を「3D化」する技術を開発！

Credit:Seeing the World through Your Eyes

「君の瞳の中に僕がいる」という歌詞が恋愛ソングにあるように、顔を近づき合わせれば瞳の中に、自分の姿が反射してみえるのが分かるでしょう。

肉眼で見た他人の瞳に映る自分の影は非常に小さく見づらいものですが、実はここにはきちんと解析すると多くの情報が含まれています。

映像技術の進歩により「他人の瞳」の中の小さな映像から、これまでにないくらい高解像度を得ることができるようになってきました。

これは顔写真をネット上に公開するリスクを高くするもので、その代表的な例が2019年に発生したストーカー事件です。

Credit:Canva . ナゾロジー編集部

この事件で犯人は、女性がSNSにアップした顔写真の「瞳に映っていた景色」から撮影場所近くの駅を特定してしまいます。

そして駅で被害者を待ち伏せし、自宅まで後をつけて女性にわいせつ行為を働きました。

この事件は「瞳に映る景色」が、撮影者の意図しない情報としてサイバーストーカーに利用される恐ろしさを教えてくれます。

Credit:Hadi Alzayer et al . Seeing the World through Your Eyes . arXiv (2023)

一方、純粋な映像処理技術という観点からみれば「瞳に映る景色」を解析する技術は興味深いものと言えます。

ストーカー事件によってネガティブな印象が先行してしまっていますが「瞳に映る景色」を人間に頼らず再現する技術は学問的にも価値があります。

また「瞳に映る景色」を正確に再現できるようになれば、犯罪捜査においても役立つものになるでしょう。

そこで今回、メリーランド大学らの研究者たちは、瞳に映る景色を解析し3D化する技術を開発することにしました。

人物が頭を動かす動画を撮影して、瞳に映る2次元的な景色を収集して合成すれば、理論的には、瞳に映る景色を3D化することができます。

ただ概念的には簡単なものの実現には多くの困難が立ちふさがっていました。

というのも「瞳に映る景色」は通常の映像とは違い凸状に湾曲した角膜から反射される光によって構成されているため、大きな歪みが存在します。

また目の構造は完全な球体ではないため、頭の向きによって映像が反射される角膜の位置が変わると、映像の歪みかたも変わってしまいます。

そして最も厄介なのが、虹彩の存在です。

Credit:Canva . ナゾロジー編集部

人間の目は上の図のように中心部の黒い部分の周囲に虹彩と呼ばれる、鮮やかな色をした放射状の構造が存在します。

虹彩から反射される光は「瞳に映る景色」にとって無視できない大きなノイズとなり、3D化を非常に困難にしてしまいます。

そこで研究者たちは角膜の形状を計算し映像への影響を緩和する技術を開発。

また、さまざまな目の画像を用いてAIをトレーニングすることで、虹彩の影響を除外して、「瞳に映る景色」だけを三次元的に合成する方法を開発しました。

結果、「瞳に映る景色の3D化」が実現します。

Credit:Seeing the World through Your Eyes

上の動画ではゲームキャラとして知られる「星のカービィ」が他のキャラと一緒に3次元的な画像として動いている様子が映されています。

Credit:Seeing the World through Your Eyes

また上の動画では「瞳に映る景色」を後半に合成することで、室内全体の3D化が行われた様子が示されています。

この結果は「瞳に映る景色」を連続して映す動画があれば、他人がみていた風景を3次元的に再構成可能であることを示します。

Credit:Seeing the World through Your Eyes

研究者たちは「瞳に映る景色」のような断片的な映像情報を3D化する技術はカメラの解像度の向上に連動して、さらに正確なものに発展していく可能性があると述べています。

（※なお研究によって開発されたコードは情報サイトにて近日公開されるとのこと）

全ての画像を見る

参考文献

Seeing the World through Your Eyes
https://world-from-eyes.github.io/

元論文

Seeing the World through Your Eyes
https://arxiv.org/abs/2306.09348