人間用に書かれた説明書はAIにも役立つようです。
米国のカーネギー・メロン大学（CMU）で行われた研究によって、人間用の説明書を事前に読むことで、ゲームの学習速度を最大で6000倍速くできる複合AIシステムが開発されました。
このAIシステムは人間の文章を読むための追加のAI「言語モデル」が搭載されており、ゲームの説明書から必要な情報を抽出して、ゲーム攻略のためAI自身がとるべき行動を推論することが可能となっています。
既存のAIはゲーム世界に繋がれたままひたすら試行錯誤を繰り返すことで上達していきますが、新たなAIは現実世界に存在する説明書の内容を自らのニューラルネットに刻み込み、ゲーム世界での行動に反映できるのです。
何気ない機能に思えますが、人間のために書かれた説明書を読むAIが開発されたのは、今回の研究がはじめてとなります。
どうやら人間の言葉を読めるAIにとって、マニュアルは非常に有用な学習源になるようです。
もし同じ言語モデルを他のAIにも加えることができれば、AIに新車の運転方法や新しい電化製品などの使い方を簡単に教えられるようになるかもしれません。
研究内容の詳細は2023年2月9日にプレプリントサーバーである『arXiv』にて公開されました。
目次
- AIは「人間用の説明書」を読むことで6000倍速く学習できると判明！
AIは「人間用の説明書」を読むことで6000倍速く学習できると判明！
人工知能技術の進歩により、AIのゲームスキルはしばしば人間を凌駕するようになってきました。
しかしAIの学習が人間レベルまで到達するには一般に膨大な量の情報が必要であり、学習にかかる期間も非常に長いものになっています。
ゲーム世界に閉じ込められたAIは初期段階では非常に無垢な存在であるため、操作方法やクリア条件などを「0」から学んでいく必要があるからです。
たとえば、1980年代にActivisionが開発したAtari 2600用ゲーム「Skiing」では、上の動画のように、プレイヤーは障害物となる木を避けながら旗の間を通って最短時間でゴールインすることを求められます。
単純なゲームに思えますが、クリアは簡単ではありません。
ステージが進むごとに障害物と得点源の配置が複雑化していくからです。
（※Atari社のゲームは操作方法が簡単でありながらクリアするには高いスキルを要するものが多くAI研究では頻繁に「題材」となっています）
そのため既存のAIが「スキー」を学習するには800億フレームもの画像データが必要であり、まともにプレイした場合には延べ85年以上の時間がかかります。
（※実際にAIの学習を行うときには1000台以上の高性能コンピューターを並列処理することで学習時間の短縮が行われます）
学習が進めば進むほどAIのゲームスキルは卓越したものになっていきますが、人間の学習速度とは大きなギャップがありました。
そこで今回、カーネギー・メロン大学の研究者たちはまず、人間とAIのギャップの原因を探すことからはじめました。
するとAIが学習に膨大な時間を必要とする背景には「ゲームに対する根本的な知識と理解の不足」が存在していることが判明します。
AIは全てを0から学ぶ必要があるため、障害物としての木の役割や通るべき旗の役割など初歩的な部分を学ぶのに、何億回もの試行錯誤を必要としていたのです。
人間のプレーヤーの場合、このような初歩的な知識や理解は説明書から得ることが可能です。
そこで研究者たちは次に、AIに「人間用の説明書」を読ませるために、別のAI「大規模言語モデル」を組み合わせることにしました。
（※大規模言語モデルはネット上に存在する膨大なテキストデータを学習することで人間と自然な話し言葉で会話することが可能となっており、現在ではchatGPTなどをはじめとした会話型AIに導入されています）
また追加されたAI機能には説明書の情報を要約して質問形式で情報をまとめるQA抽出モジュールと、抽出された情報をゲーム内の特定の行動に反映する推論モジュールが含まれていました。
これによりAIは説明書の「木」や「旗」がどんなものを指すかを把握し、その情報をもとにゲーム内部でどう動くべきかを推論・判断することが可能になります。
（※推論モジュールの出した結論が正しい場合、AIに報酬となるポイントが内部的に与えられ事前知識として蓄積していきました）
事前の説明書の読み込みが終わると、研究者たちはAIをゲーム世界に繋ぎ、学習の進捗を観察しました。
すると既存のAIがゲームをマスターするのに800億フレームを要していた一方で、人間用の説明書を読んでいたAIは6000分の1にあたる1300万フレームで十分であったことが判明します。
ゲームは1秒間に30フレームで動作するため、既存のAIの延べ学習時間は85年もかかっていましたが、新たなAIはわずか5日間で同じ水準に達したことになります。
同様の説明書を読むことでの学習時間の短縮は「Skiing」以外の3つのゲームでも確認できました。
なお今回の研究の背景にはchatGPTの存在など、AIがテキストから情報を抽出する能力の急速な高まりを利用したものと言えるでしょう。
研究者たちは同様の仕組みを他のAIに組み込むことができれば、AIの学習時間を大幅に節約することができると述べています。
もしかしたら未来の人型汎用人工知能は自分で説明書や科学書、哲学書を読むことで、人類には到達不可能なレベルの知性に到達できるかもしれません。
元論文
Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manualshttps://arxiv.org/abs/2302.04449
