パナソニック：長距離で高い測距精度を有するTOF方式長距離画像センサを開発

パナソニック インダストリアルソリューションズ社は、近方から遠方250 m先にある物体位置に合わせた高精度な三次元情報を取得する、アバランシェフォトダイオード（APD［1］）画素を用いたTime-of-Flight（TOF）方式［2］距離画像センサを開発した。本センサは、車載用距離測定や広域の監視など、さまざまな分野への展開が可能。

　一般的なTOFセンサは微弱な光信号が検知できないため、近距離のみの検知に限定される。一方LiDARは、遠方まで検知できる反面、解像度が低いため小物体の特定は困難である。2018年6月にパナソニックIS社が発表したAPD搭載のTOF方式長距離画像センサ（APD-TOFセンサ）は、近距離から遠方までの小物体を検知できたが、測距精度が最短でも1.5 m間隔で、遠方での人・モノの重なりを検出するには課題があった。




　今回開発した新TOF方式距離画像センサは、2018年6月にパナソニックIS社が発表したAPD画素を用いたTOF方式距離画像センサの技術をもとに、電子増倍部と電子蓄積部とを縦積構成にすることでAPD画素の小面積化をはかり、世界最高となる100万画素の集積化を実現したもの(※1)。また、これまで同社が開発してきた三次元距離画像の長距離計測と高解像度化に加え、一般のTOFセンサやLiDARでは困難であった高測距精度化との両立にも成功した。これにより遠方での人・モノの重なりを精度よく検出することが可能となった。




（※1　学会発表などで公表されている増倍画素を搭載し、動画撮像動作時の距離画像センサの比較：2020年2月18日時点、同社調べ）

APD画素を用いた同社従来比4倍(※2)となる100万画素の高解像度かつ高感度な距離画像センサ

　一般的なTOFセンサなどの画像センサでは、画素に入った1光子は1電子にしか変換されないため、1光子程度の微弱な信号光に対してはノイズに弱く、感度の低さに課題があった（図1左）。また、APDの一種であるSPAD（Single Photon Avalanche Diode）と呼ばれる信号増倍センサは、画素面積が大きく、微細化が困難という課題があった（図1右）。新規縦積型APD（VAPD）では、光電変換部と電子増倍部および信号蓄積部を縦に積層することで小面積化をはかり、6 µmピッチの微細画素の形成に成功。これにより、信号増幅1万倍の高感度と100万画素の高解像度を両立した画像センサを実現した（図1中）。

TOF方式で10 mから100 mの長距離でも10 cm間隔（同社従来比15倍: ※2）でセンシング可能な高測距精度の三次元距離画像を取得

　一般的にTOF方式による距離計測は、光源から発した光子が物体に当たり、反射して戻ってくるまでの飛行時間を計測し距離を算出する（図2）。また、10mを超える距離からの反射光は、1光子が届くか届かないかという確率的な信号になる。




　パナソニックIS社はこれまで、確率的に飛来する光子の到達回数を数える独自回路を全APD画素に内蔵し、1光子の微弱信号であっても確実に捉えることができる微弱光検知技術による独自の短パルスTOF方式で、250 m遠方まで1.5 m間隔の測距精度を有する三次元距離画像化技術を開発してきた（図3、図4）。今回新たに光子の到達回数を積算信号に変換し、近距離用に使われている間接TOF演算を適用した「積算フォトン分割間接TOF技術」を開発（図5）。これまで一般的なTOFセンサやLiDARでは困難であった、長距離（10mから100m）において、10cm間隔の距離精度を有する三次元距離画像化を実現した（図6、図7）。長距離計測と高解像度化に加え、高測距精度までを両立したことで、遠距離で重なった人や小さな物体の位置、形状でも判別可能な三次元距離画像が取得可能となった（図8）。

図2. 短パルスTOF方式の説明図

図3. APD-TOFセンサによる、短パルスを用いた距離毎の画像取得の原理説明と画像例

図4. 遠方物体に対する画素内積算での検出原理の説明図

図5. 画素内積算回路による積算フォトン信号の説明図

図6. APD-TOFセンサの物体距離に合わせた測距精度を実現する動作説明図

図7. 積算フォトン分割間接TOF技術で取得したAPD-TOFセンサの三次元距離画像

図8. 2018月6月時点と本発表のAPD-TOFセンサの測距画像の比較

※1. アバランシェフォトダイオード：通常のフォトダイオードでは、1光子から1電子を生成する。一方、アバランシェフォトダイオード（APD）は、1光子から生成した1電子に強い電界を印加することで物質中の他の電子と強く衝突し、1個の電子が生成する。この衝突は、あたかも雪崩（アバランシェ）のように初期の衝突をトリガとして次々に大きくなりながら繰り返され、最終的には電子が1万倍以上に倍増する。SPAD（Single Photon Avalanche Diode）は、APDの一種。


※2. Time-of-Flight方式：Time-Of-Flight（TOF）とは、光の飛行時間を意味している。一般的なTOF方式の距離計測は光源と光検出器で構成される。光源から発光した光は被写体にあたり、その反射光が検出器に到達する。その期間の光は光速で移動している。空気中の光速は常に一定であることから、光の飛行時間を計測すれば物までの距離を計算することができる。この方式は、時間を直接計測することから、直接TOF方式と呼ばれる。


※3. 光子（フォトン）：これ以下には分解できない、光のエネルギーの最小単位。一般的なカメラで使用されるイメージセンサでは1光子程度のエネルギーを持つノイズがあるため、1光子の光信号の検出は難しいとされている。


※4. 間接TOF演算：光パルスをセンサのシャッタと同じ位相で照射し、光子の飛行時間の計算は戻ってきた光パルスの同期ずれ量を使用することにより、パルスの出射点と対象物との間の距離を演算する方法。従来の近距離用のTOFカメラで採用されている演算方式。