広角・魚眼映像補正システム「OCTARIC-LC001」
超広角・魚眼映像のリアルタイム補正技術
変換に伴うノイズ低減処理「魚眼用バイリニア補間処理」
この製品には、日本放送協会と株式会社ベクトロジー(本社：横浜市港北区、代表取締役：篠田義一、以下 ベクトロジー)が開発した「8K4K映像高画質信号処理エンジン」のアルゴリズムが使用されています。
■製品開発の背景と課題点
広角レンズ・魚眼レンズカメラは、広視野を一度に撮影することが可能で、監視カメラをはじめとして車両搭載用カメラ、医療・インフラ設備壁検査用カメラ、テレビ会議システムなどさまざまな用途に利用されています。
5G(第5世代移動通信システム)の活用により、今後セキュリティ監視や自動運転などさまざまな場面で広角レンズ・魚眼レンズで撮影した4K/8K映像を活用したサービスが展開されることが予想されます。しかしながら、この広角レンズ・魚眼レンズで撮影した映像の活用には、以下のような課題があります。
＜課題1：映像の歪み＞
広角レンズや魚眼レンズで撮影された映像は画角が広すぎるために、レンズの中心から離れた映像ほど歪んで表示され、被写体の形状や大きさなどを判断することは難しいという課題があります。
＜課題2：ソフトウェア処理では、多くの時間を要する＞
4K/8K映像を補正する場合、従来のパソコンを使用したソフトウェアゆがみ補正では、数時間から数日の時間を要します。また、スポーツの生中継やライブイベントなどのリアルタイム配信、自動運転の映像取得などリアルタイム性の求められる現場では使用することができません。
＜課題3：ハードウェアの制約で高精細4K/8Kの大容量映像の伝送が難しい＞
ソフトウェアに比べ高速な映像処理が可能なハードウェアを用いて魚眼映像のリアルタイム補正を行う場合、従来手法ではHD(High Definition)映像程度の解像度であれば対応可能となります。しかし、それ以上の解像度、4K/8K魚眼映像の場合は、ハードウェア(特にメモリバンド幅)の制約でリアルタイム処理が困難です。また映像の正像変換に特に注力がなされて、ユーザーが自然な映像として感じるのが難しい状況でした。
■4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」の製品概要
「OCTARIC-LC001」は広角レンズ、魚眼レンズと呼ばれる、平均的なカメラ(視野角度：およそ80度程度)より、視野角度の広い(視野角度：180度)カメラで撮影した動画をリアルタイムで映像を確認することができます。
通常、視野角度が広い分データ量も大きいため、従来の装置では映像処理に多くの時間がかかりますが、「OCTARIC-LC001」なら高速処理が可能となります。
画像1: https://www.atpress.ne.jp/releases/264634/LL_img_264634_1.jpg
広角・魚眼映像補正システム「OCTARIC-LC001」
・アルゴリズム
特許技術の効率化されたメモリアクセスにより一定のフレーム周波数で更新することができる(元のRGB情報を4画素1組単位で扱いメモリ上に配置すること)
・魚眼用バイリニア補間処理
バイリニア補間処理方式では求める位置(x,y)の周辺の2×2画素(4画素)を使って、輝度を直線的に補間して、輝度を求めます。最も近い位置にある画素の輝度を参照する。ニアレストネイバー補完処理と比較して自然な映像が得られます。
・ハードウェア
ＰＡＬＴＥＫの映像機器開発プラットフォーム「ImageCUBE2」に搭載することにより、豊富なメモリバンド幅「DDR4メモリ3系統」を活用することができます
■4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」の製品スペック
入力映像信号 ：4K(2160×3840、29.97p)
出力映像信号 ：4K(2160×3840、29.97p)
入力インターフェース：12G-SDI×1
出力インターフェース：12G-SDI×1
水平視野角 ：130度からパノラマ映像
画素補間方式 ：魚眼用バイリニア方式
製品サイズ ：19インチラック 3U
消費電力 ：100W以下
4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」に関する詳細は、
https://www.paltek.co.jp/design/original/fisheye/index.html をご覧ください。
■4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」の特長
1. FPGAで構成されており、魚眼画像をリアルタイムで正距円筒投影画像に変換
変換することによりAIでの人物認識・手書き文字認識・対象物との距離を正確に測ることが可能となります。自動運転研究や監視カメラ・遠隔映像伝送などのAI処理が容易になります。
画像2: https://www.atpress.ne.jp/releases/264634/LL_img_264634_2.png
超広角・魚眼映像のリアルタイム補正技術
2. 最新の「魚眼用バイリニア補間処理」方法を開発
魚眼レンズから射影変換した場合、従来方式のニアレストネイバー補間方式ではジャギーノイズが発生し、元映像の再現性は低くなっておりました。一方で今回開発したバイリニア補間方式ではジャギー発生が少なく、顧客の映像体験の向上またAI処理の容易化に貢献します。
画像3: https://www.atpress.ne.jp/releases/264634/LL_img_264634_3.png
変換に伴うノイズ低減処理「魚眼用バイリニア補間処理」
3. マルチFPGAシステムFiC(Flow-in Cloud)※4と連結可能
慶応義塾大学理工学部教授の天野英晴氏が中心となって提唱するマルチFPGAシステムFiCと連結可能です。4K/8K映像を、4K/8K魚眼映像リアルタイム補正システム「OCTARIC-LC001」で処理したあと、FiC型マシンであるハイパフォーマンスFPGAコンピュータ「HPFC」などでAI処理することが可能です。
ハイパフォーマンスFPGAコンピュータ「HPFC」に関する詳細は、
https://www.paltek.co.jp/design/original/hpfc/index.html をご覧ください。
■販売開始について
2021年7月より販売を開始いたします。
■専門用語説明
※1 広角レンズ：
広角レンズとは人間の目で感じるよりも広い範囲を撮影することができるレンズのことで、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズを指します。その名の通り広い範囲を写すことが可能です。
※2 魚眼レンズ：
焦点距離が非常に短くて画角が180°近くになるレンズのことをいいます。通常の写真レンズは被写体を極力歪まさずに描写することを目指しているのに対して、魚眼レンズに関しては歪ませて広い範囲を描写しています。
※3 魚眼レンズの歪み補正：
魚眼レンズには1台で180度前後の画像が得られることに加えて深い被写界深度があることから1台で広範囲で鮮明な画像を得られます。一方で得られる画像はレンズの端になるほどゆがみが発生し、被写体の形状や大きさなどを判断することは難しくなります。魚眼レンズを実際の製品に搭載するためにはゆがんだ映像を正しい像(正像)に戻すことが必要になります。
※4 マルチFPGAシステムFiC：
慶応義塾大学理工学部教授の天野英晴氏が中心となって提唱する、価格性能比に優れた中規模FPGAを高速の双方リンクで複数本接続した大規模計算システムで、全体として巨大な回路を構成することができます。システムの作動中に部分的に再編成を行う機能もあり、柔軟なアプリケーション変更や複数ユーザーによる使用にも対応しています。また、回線交換方式をとっているため、ディープラーニングのような同期が必要かつデータサイズが予測できるようなアプリケーションにも適しているシステムです。
■株式会社ベクトロジーについて
ベクトロジーは主にFPGA コンピューティングに基づくGPUを凌駕する専用演算器の開発、FPGAによる数値演算専用シミュレーションの高速化、超微小信号アナログ/高周波アナログ、ASIC向けFPGAプロトタイピング、筐体設計・基板設計・製造・量産対応の5つの分野に特化してサービスをご提供しています。車載、医療、仮想現実、音声/画像認識、ディープラーニング等、ベクトロジーはFPGAをベースに最新のIoT事業へ貢献しています。
リアルタイムで制限の多い環境下での演算処理が必要なこれらの分野にこそ、ベクトロジーのFPGAコンピューティング技術は最適と言えます。製品開発の複雑化、先進化に伴い、求められる演算処理能力のハードルはますます高くなるでしょう。ベクトロジーのFPGAコンピューティング技術が最適であることは、これまでの採用実績によって裏付けられています。
ベクトロジーに関する詳細は、 https://vectology.jp/ をご覧ください。
■株式会社ＰＡＬＴＥＫについて
ＰＡＬＴＥＫは、1982年の創業以来、日本のエレクトロニクスメーカーに対して国内外の半導体製品の販売のほか、ハードウェアやソフトウェアなどの設計受託サービスも提供し、お客様の製品開発のパートナーとして仕様検討から試作開発、量産までサポートしています。
ＰＡＬＴＥＫは、「多様な存在との共生」という企業理念に基づき、お客様にとって最適なソリューションを提供することで、お客様の発展に貢献してまいります。
ＰＡＬＴＥＫに関する詳細は、 https://www.paltek.co.jp をご覧ください。
