ソフトウェア・ディファインド・カメラと機械学習により進化するスマートフォンカメラ Googleが「Pixel 4」のカメラ機能を解説

Googleは12月19日、スマートフォン「Pixel 4」のカメラ機能を解説する記者説明会を開催。Google Distinguished Engineerのマーク・レヴォイ氏が「HDR＋」「ポートレートモード」「超解像ズーム」「夜景モード」の4項目について、その要素技術を説明しました。

まずはHDR＋から。従来のHDRは露出を下げて撮影したハイライト部分と露出を上げて撮影した影の部分を合成する“露出ブラケット”を利用したもので、手ブレや被写体の動きがあると画像の整合性を取るのが難しく、白とびが発生しやすいという問題がありました。GoogleのカメラのHDR＋撮影では、露出不足の状態で連射した写真を合成することにより影の部分は暗くなり、白とびを回避。さらに階調を調整するトーンマッピングにより、影を強調してエッジ部分のコントラストを高くできます。

作例を見ると、HDR＋の写真は白とびがなく、影がくっきりと見えることが分かります。

スマートフォンによる撮影では、ディスプレイがカメラで言うビューファインダーの役割を果たしますが、ビューファインダーの像を人間の目に見える実像と近い状態で表示できる“Live HDR＋”の機能を利用できるのがPixel 4の特徴。機械学習による近似値を利用して見た目の実像に近づける技術ですが、「WYSIWYG（What You See Is What You Get、ディスプレイで見たままに結果が得られること）で見られるビューファインダー」と表現しています。

明るく写った部分と暗い部分で別々のスライダーにより露出補正できるPixel 4のデュアル露出補正機能は、Live HDR＋の搭載により実現した機能とのこと。

続いてポートレートモードについて。大口径のレンズで撮影することによりボケが生まれる一眼レフカメラに対して、被写界深度の浅いスマートフォンのカメラでは、2枚の写真を撮影して深度を算出するステレオマッチングを行い、一方をシャープなままにして、もう一方をぼかすという方法でボケを生み出します。

Pixel 4は、1ピクセルを半分に分割し、1枚のレンズの左右で見える像を別の像として分けることで深度計算を行うデュアルピクセルオートフォーカスと、デュアルカメラにより深度情報を得るデュアルカメラオートフォーカスの組み合わせにより、被写体と背景を識別します。カメラをどの向きで構えても同じ効果が得られるように、デュアルピクセルの像を並べる基準線とデュアルカメラの像を並べる基準線は直交させるのがポイント。

デュアルピクセルとデュアルカメラのフォーカスにより、大きな被写体を扱ったり、一眼レフのような玉ボケが得られたり、髪の毛や動物の毛をシャープに表現することが可能になりました。

ちなみに、Pixel 3以前のスマートフォンはシングルカメラだったため、デュアルピクセルオートフォーカスと機械学習による写真中の人物の検出により、背景と人物を切り分けていました。

次に超解像ズームについて。イメージセンサーがカラーフィルターを通してR・G・Bの各単色で撮影する写真には、間引かれた色のデータを補完する“デモザイキング”と呼ばれる処理を実行します。デモザイキングの際、手ブレを利用して画素の位置をずらしながら撮影することで全画素にRGBの色情報を持たせ、ズーム撮影した写真に高い解像感をもたらすのが超解像ズーム。

Pixel 4では4倍まで光学ズームに近いズームが可能で、レヴォイ氏によると「1～4倍のズームではスマートフォンの中でベスト」と語ります。

超解像ズームにより、遠景の写真を拡大表示するよりも、ビューファインダー画面をピンチズームした方が高い解像感が得られるという結果に。

最後に夜景モードについて。夜景モードでは、複数の露光時間で最大15枚まで撮影した写真を合成することでノイズを低減しています。撮影中に手ブレがあったり被写体が動いた場合は、その間の露光時間を短くしてブレを防ぎます。

Pixel 4の目玉である星空の撮影機能は、三脚に固定するなどしてカメラの動きがない場合に、自動で露光時間を最大にして撮影することにより実現。Pixel 4では最大16秒の露光で15フレーム撮影、計4分の露光時間で撮影できます。Pixel 3では最大露光時間が4秒だったため、イメージセンサーの進化により実現した機能。

夜景モードでのホワイトバランスは、機械学習により精度を向上。ホワイトバランスが良好な写真を手動でピックアップして、トレーニングデータにしているそうです。

トーンマッピングにより、夜の写真は夜に見えるような調整も。絵画の手法から学び、コントラストを強調したり、影をより黒くしたり、周りを暗くすることで夜らしい写真に仕上げます。

レヴォイ氏は、スマートフォンカメラのトレンドとして、「ソフトウェア・ディファインド・カメラ」と「機械学習」を挙げています。ソフトウェア・ディファインド・カメラは、従来の固定された機能を持つハードウェアではなく、ソフトウェアから定義されるカメラのこと。複数フレーム撮影した写真を合成することで、よりよい成果を得られるように動作します。機械学習は今後古いアルゴリズムを置き換え、より多くのトレーニングデータを得ることで精度が向上していくとしています。また、Googleは発表直後に技術の内容を開示していく方針。これによりイノベーションの加速と、よりよい人材の獲得が期待できるとしています。

―― やわらかニュースサイト 『ガジェット通信(GetNews)』