円滑なコミュ二ケーションを可能にするWeb会議システムを発明。仮想カメラで視線が合わない違和感を解消。

金沢工業大学　メディア情報学科 坂知樹助教

 

画面中央に生成された"仮想カメラ"で、視線が合わない違和感を解消。

円滑なコミュ二ケーションを可能にする革新的なWeb会議システムを発明。

金沢工業大学　メディア情報学科 坂知樹助教

 

 

オンラインでも視線を合わせながらの会話を可能にするWeb会議システムを、金沢工業大学情報フロンティア学部メディア情報学科 坂知樹助教（専門：画像処理、医用画像処理）が発明しました。

当発明は令和2年12月11日に特許出願済です（特願2020-205631）。

これまで視線が合うWeb会議システムは報告が無く、新規需要が期待されています。

 

新型コロナウイルス感染症（COVID-19）がきっかけとなり、テレワークやネット授業が日常的になりました。アフターコロナにおいてもオンラインでのコミュニケーションは"ニューノーマル"になっていくものと考えられています。一方で、今日一般的に使用されているWeb会議システムは、相手の顔が見える画面とカメラが違う位置にあるため、対面と違ってユーザ同士の視線が合わず、違和感を覚えてしまうケースが多いという課題があります。

【画像：https://kyodonewsprwire.jp/img/202012158614-O2-0aj8iutC】

画面の相手を観ながら話すと視線が合わなくなる

 

今回発明されたシステムは、画面の両脇（左右もしくは上下）に置かれたカメラで画面中央に"仮想カメラ"を生成し、ユーザを正面から撮影したような映像を仮想的に表示します。

画面の相手と目線を合わせながら違和感なくコミュニケーションができるため、テレワークにおけるテレビ会議システムやWeb面接システムでの実用化が期待されます。また視線のずれなく鏡を見るように写真撮影が可能になるため、証明写真機等の分野でも新規需要が見込まれます。


当システムの実用化に向けて、今後、企業との連携を進めていく考えです。

 

 

新たに発明されたWeb会議システムの概要

 

【先行技術の課題】

現在、一般的なWeb会議システムに用いられるハードウェアは以下の2通りの形式があり、いずれも画面およびカメラがハードウェアの前面に設置されています(図1)。

【画像：https://kyodonewsprwire.jp/img/202012158614-O3-XMBmPs8Q】 【画像：https://kyodonewsprwire.jp/img/202012158614-O4-kyC8Culn】

図1 先行のWeb会議システム（ハードウェア）

左：画面長辺にカメラを設置する形式、右：画面短辺にカメラを設置する形式

 

これらのハードウェアを用いてWeb会議システムを動作させた場合、ユーザが画面内の会議相手の顔に視線を向けると、カメラから視線がずれてしまい、ユーザ同士が視線を合わせて会話することが困難となります（図2）。

また画面中央にカメラを設置することで画面に視線を合わせるユーザを正面から撮影できますが、この場合はカメラが画面を遮蔽してしまう問題があります。

 

【画像：https://kyodonewsprwire.jp/img/202012158614-O2-0aj8iutC】

図2　先行のWeb会議システム（アプリケーション）

左：画面上部にカメラを設置した場合、右：画面右部にカメラを設置した場合

 

 

【本発明の本質】

 

本発明の本質は、「画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置」し（図3）、これらで撮影した画像を合成することで「画面中央にあるカメラがユーザを正面から撮影したような映像を仮想的に生成」することにあります。

　　　　

【表：https://kyodonewsprwire.jp/prwfile/release/M102928/202012158614/_prw_OT1fl_72G6W7F3.png】

 

生成された「画面の中央に位置する仮想カメラより撮影された画像」をWeb会議システムに表示することで（図4）、ユーザ同士の視線が合うWeb会議システムが実現します。

【画像：https://kyodonewsprwire.jp/img/202012158614-O7-Yb7Ova5u】

図4　発明したWeb会議システム（アプリケーション）

 

 

この「画面中央に位置する仮想カメラより撮影された画像」は「ステレオマッチング」という技術を応用しています。

 

ステレオマッチングとは、人間が左右の目でモノを立体的に見る仕組みと同様に、左右のカメラで撮影した2枚の2次元画像から視差を推定し3次元の情報を推定する手法です。

本発明ではこのステレオマッチング技術を用いて、2台のカメラの中間に位置する「仮想カメラ」が撮影した画像を推定します。 「仮想カメラより撮影された画像」を画面に表示することで、ユーザは画面内に映る会議相手と視線が合います。

 

【画像：https://kyodonewsprwire.jp/img/202012158614-O8-h70332q3】

プロトタイプの画像

画面の両脇（左右もしくは上下）に画面を挟むように2台のカメラを設置することで、画面中央に仮想カメラを生成する

【表：https://kyodonewsprwire.jp/prwfile/release/M102928/202012158614/_prw_OT2fl_Rst3hn1Q.png】


【画像：https://kyodonewsprwire.jp/img/202012158614-O11-Q936x0Zl】


画面中央に位置する仮想カメラより撮影された画像

 

本発明の効果

・ユーザ同士の視線が合う

・円滑なコミュニケーションが可能となる

・ユーザが自分自身を撮影する際に鏡を見るように表示できる

 

技術分野、用途、実用化例

・テレビ通話システム：話し相手と視線が合う

・Web面接システム：面接官と受験者の視線が合う

・証明写真機：鏡を見るように証明写真を撮影できる

 

想定される技術移転先（業界・企業）

・（ハードウェア）スマートフォンメーカー、PCメーカー、周辺機器メーカー

・（ アプリケーション ） ソーシャル・ネットワーキング・サービス会社