【de:code 2017 #3】「クラウドと AI の力を組み合わせたMicrosoft HoloLens のさらなる可能性」セッションレポート

2017年5月24日（水）に開催された日本マイクロソフト社主催の開発者向けイベント「de:code 2017」にて、日本マイクロソフト プレミア フィールド エンジニアの津隈 和樹さんのセッション「クラウドと AI の力を組み合わせたMicrosoft HoloLens のさらなる可能性」に参加してきたのでレポートします。

クラウドとAIと組み合わせるとHoloLensの可能性がこんな風に広がるよ！というところを紹介していきます。

同じ仮想オブジェクトを複数人で見ることができる

HoloLensは1つのオブジェクトを複数人で見ることができます。代表的な機能の1つと言ってもいいかもしれません。

これがどういう仕組で動いているかというと、

1. SharingServerへの接続


2. World Anchorの決定


3. オブジェクトの位置/姿勢の共有

の3つ。

SharingServerはHoloLens ToolKitの中に入っているSharingServer.exeを起動したPCです。

World Anchorは複数人それぞれではなく、共通の座標を決めるための錨のようなもの。

それが決まればオブジェクトの位置と姿勢がSharingServerから送られてきて、同じオブジェクトを見ることができるという仕組みらしいです。

ただ、この座標の情報はWi-FiのSSIDが変わると別物になってしまうので、それぞれが同じSSIDのWi-Fiに接続していないといけないそう。

なので例えばお客様先でデモを行おうとしたときなんかは、SharingServerのパソコンも一緒に持っていかないといけないんですね。それでは何かと不便…

それを解決する為に、クラウドを活用します。

SharingServerはAzure上にも置くことができるので、そうすればわざわざSharingServerと一緒に移動しなくても良くなります。

実際、小柳建設さんは、現場の道幅を建機が通れるかどうか、そういう確認を3Dオブジェクトを使って既にやっていたりするそうです。

オブジェクトとカメラの映像を合成してクラウドから配信

カメラで撮影したものと仮想オブジェクトを合成するSpectator Viewというものがあります。Unity上で合成することで実現しているらしいのですが、これを使うことによってHoloLensを装着している人以外でも、その映像を見ることができます。

その映像をクラウドを経由して配信することで、多くの人と共有できるという話です。

これは動画を見てもらった方がイメージがつきやすいと思うので、是非下の動画をご覧ください。HoloLensで仮想オブジェクトを使った大学の講義とか配信されたらとてつもない未来感があります。こういう授業受けたかった。

クラウドから最新情報を取得して仮想オブジェクトとして表示

クラウドを使えば、常に最新の情報を取得できることから、例えばBIツールに最新の経営データを表示することができます。

他にも、地図上に最新の渋滞情報を表示するとか、天気を表示するとか、いくらでも応用ができそうです。

既にHoloeyesというサービスでは、CTスキャンした患者さんの情報を3Dモデル化して、クラウドに上げておき、手術の際にそれを確認するということをやっているそうです。

HoloLensとAIの組み合わせで広がる可能性

マイクロソフトにはCognitive Servicesというものがあります。簡単にいうと、AIが画像を認識して人が何人写っているか教えてくれたり、話しかけると答えてくれたりするAPIです。

今回のセッションではFace APIを使って、HoloLensのカメラに写った人の年齢や性別を表示してみるデモを行いました。デモは無事成功して、講師の津隈さんの顔の側に年齢や性別を表示することができました。

この技術を応用すれば、例えば東京オリンピックの時、HoloLensを装着したボディーガードに、保護対象の人の顔を送れば人混みの中でもすぐ対象が認識できたりとか、そういう使いみちがあるんじゃないかなぁとのことでした。オリンピックで外国の方が沢山来日されるので、翻訳なんかにも需要がありそう。

---

今回のセッションに参加して、まだ先の話だと思っていたことが、実はもう実用化されていたりして、未来はすぐそこまできているどころか、今って考えているよりも未来だったんだ！と思いました。東京オリンピックの頃にはHoloLensももっと小型化されて、コンタクトぐらいになっていても不思議ではないかもしれません。

Copyright ©2017 VR Inside All Rights Reserved.