コントローラーなし！VR空間でリアルな手を使って「モミモミ」ができる技術が登場

素晴らしい没入感が味わえる「VR」において、意外と課題になるのがコントローラー。ありきたりなスティックやゲームパッドもいいんですが、どうせゲームの世界に入り込むのなら自由に手で物を握ったり掴んだりしてみたいもの。そんな複雑な手の動きを3次元的に読み取る技術が新たに開発されました。

アメリカのパデュー大学の研究チームは深度センサカメラとディープラーニング・ネットワークを利用することによって、数百万通りにも及ぶ手の形状を理解し、それをVRの世界に正確に再現することに成功しています。

動画を見ると、指一本一本の細かい動き、手のひらの角度や回転、そして手の位置まで非常に正確に読み取っていることがわかります。この技術を利用すれば、銃を拾ってトリガーを引く、物を掴む、人に触れるなどさまざまなアクションが可能になることでしょう。

この「DeepHand」と呼ばれる技術では、まずカメラで手のさまざまな部分の位置情報を読み取ります。その後に250万個ものデータベースを検索することで、最も位置情報と一致する手の形を選び出して表示するのです。

さらに、この技術では現在の手の位置から「次にどんな動きをするのか」をデータベースから予測することも可能です。これらのテクニックによって、DeepHandはカメラに映らない部分の手の動きまでもを再現できるのです。

現在PC用やゲーム機用のVRヘッドセットは専用のスティック型コントローラーやグリップ型コントローラー、時にはゲームパッドを利用することもあります。しかし自分の手の細かい動きがゲーム世界で再現できれば、プレーヤーはさらに「ゲームの世界を現実のように感じられる」ことができるはずです。

情報提供元： VR Inside