MRで現実を語学の教材にしてしまう『WordSense』

MRで単語を学ぶ

VR技術を使った語学学習用のアプリは既に開発されている。

典型的なシナリオをVR空間で体験しながら学習できるものや360度映像で自分が外国に行ったような気分で学習できるものなど、VRの没入感・臨場感を学習に活かすコンテンツが作られている。しかし、VRは仮想現実であり、VRでの学習はあくまでも作り物になってしまう。

もしARを使って現実をそのまま語学の教材にすることができれば、より実践的なトレーニングが可能になるはずだ。HoloLensでMITメディアラボが開発した『WordSense』を使えば、それが可能になるかもしれない。

VRと語学学習

飲み物を注文するシーン（MondlyVR）

VRやARはいずれも語学の学習に利用できると考えられているが、技術的な制約によってVRの方が語学の学習には適していると考えられてきた。ARよりもVRの方がデバイス開発が進んでいるからだ。AR機能を搭載した手頃で扱いやすい専用デバイスが存在しない一方、VRならば安価なモバイルVRデバイスが販売されている。

VR技術を活用して語学を学ぶためのアプリは、既にいくつも作られている。

MondlyVR

そうしたアプリの一つが、『MondlyVR』だ。Google CardboardとDaydreamに対応するMondlyVRでは、VRで現実のような環境を再現して学習することで教科書を使うことなく語学学習が可能だ。

MondlyVRの特徴は、会話の相手をしてくれるチャットボットである。このチャットボットは教科書的な言い回しだけでなく多くの表現に対応しており、「相手とやり取りするために使える」形で言語を学ぶことができる。

例えば上の画像のシーンの場合。ユーザが希望する飲み物を注文するシーンだ。相手の発現は音声に加えて画面に文字でも表示されるのでリスニングが完璧でなくても内容を理解できる（画面の吹き出しを隠すこともできる）し、聞き取れなければ繰り返し発音を確認することもできる。ユーザの回答も、画面に表示されたヒントから発音を確認できるので真似するだけで飲み物を注文可能だ。

さらに、MondlyVRではユーザの発音に対するアドバイスも提供してくれる。VRとチャットボットを学習に用いている目新しさだけのアプリではなく、確かな音声認識技術があるからこそ可能になったことだ。

授業形式で学ぶ以上に効果的だとする調査結果もあり、期待されているアプリだ。

ImmerseMe

『ImmerseMe』もMondlyVRと同様にVRを語学学習に利用するアプリだが、大きな違いはCGで作られたVR空間ではなく実写の360度動画を使っていることだ。仕組みは360度動画を使った旅行体験コンテンツと同様で、現地を訪れた気分で語学を学べるアプリである。

MondlyVRがチャットボットとの受け答えを学習の中心に置いていたのと異なり、こちらは生の言葉を聞いて学ぶのがメインだ。MondlyVRのキャラクターが話す音声もネイティブの声優を起用した正確なものだが、こちらは映像と音声が組み合わされているのでそれ以上に自然に感じられるだろう。

ユーザが積極的に操作していくタイプのコンテンツではないが、それゆえ対応プラットフォームは広い。Cardboardゴーグルを使ってiPhoneやAndroid端末で利用する方法の他に、2DにはなるがChrome対応のデスクトップアプリやiOS/Android用の非VRアプリも用意されている。

2018年にはPCベースのVRヘッドセットやGear VRへの対応も予定されているようだ。

MRと語学学習

目の前にあるものの名前を使った例文が表示される

VRは語学学習に有効だと考えられているが、AR/MRも同様だ。適切なデバイスさえ開発されれば、MRの方が優れている面も出てくるだろう。

現実が単語帳になる

全く新しい言語を学ぶ場合、最初に必要になるのが単語の知識だ。難しい専門用語を網羅している必要はないが、日常会話に出てくるような基本的な単語くらいは頭に入れておかないと聞き取ることができても相手の言っていることが理解できないし、自分の言いたいことを伝えるのも難しい。

しかし、受験勉強でやるように単語帳で少しずつ知っている単語を増やしていくのは時間がかかるし、印象に残らないので忘れてしまいやすい。もっと効率的に単語を覚えるためには、学習者の記憶に残るような形で単語を提示する必要がある。

MITメディアラボがHoloLens用に開発した『WordSense』を使えば、ユーザの目に入ったものの名前を画面に表示することが可能だ。最新のAIがユーザの見ているものを認識し、それがボールなのかリンゴなのか、それとも他の果物なのかを判断する。

学習用の単語帳や辞書では言葉に対応するイラストが入っているものも多いが、実物を見ながら学べばそれ以上に記憶に残りやすくなるだろう。単語の発音を聞いたり、関連する映像や画像を見たりすることもできるので単語の印象はさらに強くなる。

例文も学べる

WordSenseアプリを使いながら生活していれば、日常的に目にするものの名前はいずれ頭に入るはずだ。しかし、単語だけを覚えてもどうやって文を組み立てるのかが分からなければ実際に使うことはできない。

そこで、WordSenseでは表示した単語を使う例文の表示にも対応している。上の画像ではテーブルに置かれたコーヒーカップを見ているので、”cup”という単語が使われた文が表示されている。

積極的にこの例文もチェックするようにすれば、机に向かわなくても新しい言語を学ぶことができる。

 

現時点ではHoloLensが開発者向けにしか提供されていない高価なデバイスであることが難点だが、普段使いできるようなARグラスが実現すれば日常生活の中で新しい言葉を身につけることができるようになるかもしれない。

語学学習以外にも、WordSenseの認識機能は各種AR/MRアプリの開発に利用できそうだ。

 

参照元サイト：MIT Media Lab

Copyright ©2017 VR Inside All Rights Reserved.