ARと機械学習を用いた医療システム、中国の学生が開発

ARは医療においても大きく活用の可能性が見込まれており、現在様々な場所でARを医療現場で活用する取り組みが行われている。

たとえば患者のデータを3Dデータによって共有したり、患者に症状の説明をする際、臓器のデータをホログラム表示することによってより患者に分かりやすい説明をすることができる。

中国のXidian Universiety（西安電子科技大学）にて医学エンリジニアリングを専攻する3人の学生によって開発されたAR医療システム「Surgical Assistant」は、従来の医療技術では解決の難しかった問題を、ARと人工知能を用いて解決しようとしている。

「Surgical Assistant」はマイクロソフトが学生向けに開催するITコンテスト「Imagine Cup」で披露され、現在複数の医療施設との協働によって研究、開発を進めている。

「Surgical Assistant」について

課題

本システムのアイデアは、上記の学生たちが大学のイノベーションラボにてディスカッションをしている時に思いついたものだという。

きっかけは彼らが以前訪れた、とある病院での経験が基になっているという。その病院で学生たちは先天的な心臓疾患を抱える子供の患者たちと接する機会があり、その時に彼らが気づいたことは、子供の心臓はとても小さく、大人を対象とした通常の検査方法や診断方法では子供の心臓の状態を正確に把握することができない、ということだった。

また、通常の診断方法では子供の小さくてもろい臓器にダメージを与えてしまいかねず、したがって手術においても正確な治療を施すために必要なデータを得ることが難しい、という問題があった。

解決策

学生たちはこの時に発見した問題を解決するために、ARと機械学習を用いた治療アシスタントシステム「Surgical Assistant」を開発した。これはWindowsベースの画像生成プラットフォームで、生成したデータを2D、3Dで表示することができる。

このシステムの開発チームのMaoging Yang氏によると、「Surgical Assistant」のメリットは、患者の患部を損傷することなく、詳細を正確に調査することができるとのこと。

同システムの開発には2年の歳月をかけ、実際の病院での試験を重ねることによって、システムの実用性と機能性の向上に努めてきたという。

「Surgical Assistant」は現在、様々な病院との提携によって開発が行われており、すでに提供も開始しているという。彼らが開発したシステムはおもに心臓に機能障害を抱える子供の治療において役立っているという。

特徴

「Surgical Assistant」は機械学習を用いており、患者の診断や、様々な判断をコンピューターが行うという。

データの共有はクラウドベースで行うためどこからでも瞬時にアクセス可能で、閲覧にはマイクロソフトのARデバイス「HoloLens」を用いて行う。

このようなバーチャル技術を活用したクラウドベースのヘルスケア技術は近年注目を集めており、実際の医療現場に大きなメリットをもたらすものだ。

また、医療現場だけでなく、医療教育でも活用できる。医療教育ではスキル習得に多大なコストと時間を要し、リスクも伴う。たとえば教育に実際の患者を用いる実習教育などは、現場での知識や経験が得られるという点ではメリットがあるが、リスクも大きい。

しかし、バーチャル技術によって実際の現場を擬似的に体験することが可能になれば、低コストで高い教育効果を得ることができる。

ARが医療分野にもたらすメリット

医療分野でバーチャル技術を活用することによって、たとえば手術の場面など、実際の現場に近い環境を擬似的に構築することが可能になる。

VR/ARデバイスの他に、現在開発が進められているハプティクス（触覚）技術が発達すれば、五感を通したよりリアルなバーチャル環境で実際の手術や現場の状況を擬似的に体験できるようになり、従来の医療教育に大きなメリットをもたらす。

現在、医療現場でVR/ARを活用した教育システムを活用する取り組みを進めている例は複数あり、たとえばシンガポールの医療機関ではVRを医療教育に活用することによって、コストダウンや、従来の教育では学ぶことのできない実際的な知識を学生に与えることができるという。

また、患者の臓器や病状などを3Dデータ表示してARデバイスで共有することによって、データの共有を素早く行い、患者に病状を説明する際も3Dデータを用いることによってより直感的に伝えることが可能になる。

表示している3Dデータを現場にいる同僚や教師だけでなく、遠隔地にいるメンバーとも、まるでその場にいるような感覚で共有できる点も強みだ。データの共有や協働作業を、ホログラムやバーチャル空間によってシェアできる技術は、今後大きな活用が見込まれる技術だ。

参照元：VRScout

Copyright ©2017 VR Inside All Rights Reserved.