MindMaze「MASK」はプレイヤーの表情を先回りしてVRに反映する

MindMaze MASK

インターネットが出てきたとき、オンラインでのコミュニケーション手段と言えばテキストだった。VRではテキストよりもボイスチャットが利用されることが多い。

通信回線の高速化でリアルタイムに音声をやり取りできるようになったことや、キーボードが必要になるテキストの入力がVRに向いていないことがその理由だろう。

声でのやり取りはテキストよりも感情を伝えやすいが、それでも限界はある。VR空間では、ジェスチャーでのやり取りも有効だ。頭と手しか見えないアバターであっても、文字と声だけよりはずっと自然に会話ができるようにしてくれる。

アバターの表情を変更できればさらに細やかな表現が可能となるのだが、VRヘッドセットを付けたユーザの表情をリアルタイムに読み取ってアバターに反映させるのはなかなか難しいようだ。

MindMazeの「MASK」はユーザの表情をリアルタイムに（あるいはそれ以上のスピードで？）アバターに反映させることを狙ったデバイスである。

VRアバターに表情を

ヘッドセット　リムーバルでユーザの表情が見える

VRヘッドセットは顔に付けて使うものなので、顔をスキャンすること自体は難しくない。GoogleはVRヘッドセットを使っているユーザの表情が見られる技術を開発しているし、Senua Studioは顔を撮影してそのままVRオブジェクトにするサービスを提供している。

Googleのヘッドセット　リムーバル

この技術「ヘッドセット　リムーバル」では、事前にユーザの顔を3Dスキャンしておかなくてはならない。様々な表情で顔の3Dモデルを作成し、そのモデルを変化させることで自然な表情を作り出すようだ。

リアルタイムに表情を読み取るためには、SMIアイトラッキングテクノロジーを活用するという。

トラッキングセンサーが必要になることや事前に3Dモデルを作成する必要があることは欠点だが、動画を見る限りではかなりそれらしく、自然に表情を再現することができるようだ。

以前の記事ではヘッドセットの上にユーザの表情を重ねる使い方が紹介されていたが、アバターの表情を動かすことにも利用できるだろう。

Senua StudioのRealtime Cinematography

Senua Studioの技術は、Googleのものとは異なる。事前に3Dモデルを作成しておくのではなく、表情をカメラで撮影してリアルタイムにVRデータに変換するのが特徴だ。

以前の記事で紹介した用途はプロ向けのものだった。相応の処理ソフトは必要になるが、人の表情を含むVR映像の制作を高速化してくれるだろう。

特筆すべきは、特殊なセンサーや3Dスキャナを使わずに表情をVRオブジェクト化している点だ。この技術がスマートフォンのカメラで利用できるようになれば、モバイルVRで簡単に表情を利用できるようになるかもしれない。

MindMaze MASK

MindMazeのMASKが目指すのは、人間の肉体的な感情とVR空間に表示されるデジタルなアバターの感情をシンクロさせることだ。特別にアバターの表情を変える操作をしなくても、MASKがユーザの無意識な表情の変化を読み取ってくれる。

ヘッドセットにセンサーを付けてユーザの表情を読み取るだけであれば他社の技術と同じだが、MASKは実際に表情に現れる前の変化を検知できるのが特徴だ。MASKはユーザの表情をスキャンしているわけではなく、表情を作り出す筋肉に流れる電気信号を読み取る。

電気信号を読み取る方式を採用することによって、他の技術ではあり得ないほどの早さでユーザの表情を受け取ることが可能になる。実際に表情に現れる数十ミリ秒前に電気信号は発生しているため、リアルタイムよりも早く反応していると言えるほどだ。

電気信号には個人差があるが、独自の分析アルゴリズムを採用しているので特別なキャリブレーションをしなくても使えるという。

最大のメリットはやはり反応速度だろう。表情を読み取ってアバターに反映しているとワンテンポ遅れることになるが、電気信号を読み取れば本人の顔とアバターの顔にほぼ同時に表情が現れることになるのではないだろうか。

遅延が発生しないため、よりVRへの没入感が高まるはずだ。他の技術でも表情の読み取りは可能だが、より高い品質を求める場合の選択肢ということになるだろう。

電気信号を読み取るためには、専用センサー「MASK」が必要になる。MASKはGear VRのようなモバイルVRヘッドセットでも、ViveやRiftのようなPCベースのヘッドセットでも利用可能だという。

MASKの発売日や価格についてはまだ公表されていない。

 

ユーザの表情が変化する前に、筋肉の動きを検知してアバターの表情に反映することを可能にするMASK。公式サイトでも映像などは公開されておらず、実際にどの程度の反応速度や精度があるのかは不明だ。

カメラやアイトラッキングセンサーを使った他のソリューションと比べると、電気信号を読み取るセンサーを顔に密着させておかなくてはならないのが難点だろうか。

まだ不明な点ばかりだが、未来的で気になるデバイスではある。

 

参照元サイト名：MindMaze

URL：https://www.mindmaze.com/mask/

参照元サイト名：UploadVR

URL：https://uploadvr.com/mindmaze-mask/

Copyright ©2017 VR Inside All Rights Reserved.