スマホの画質を劇的に変化させるかもしれないカメラアレイ、マイクロレンズアレイとは

2015/04/18

AppleがイスラエルのLinX Computational Imagingという企業を買収したそうです。この企業は複数のカメラを使い3D画像や被写体との距離を測ったり、というような技術を持っているそうです。
3Dテレビは明らかに失敗した感じがするので、スマホに3D撮影できるカメラが載ってもねぇって思うかもしれませんが、3D画像ではなく画質の改善に使える技術のようです。

ライトフィールドカメラ

ライトフィールドカメラとは深度情報を持った画像を生成するカメラです。
今回Appleが買収したLinX Computational Imagingもライトフィールドカメラの技術を持った企業です。
実際に製品として発売されているライトフィールドカメラがLYTROです。
LYTROは撮影後にピントの位置や被写界深度を変えることができるのですが、これは深度情報を基にした画像処理です。
深度情報とはカメラから被写体までどのくらい離れているのか、という情報です。深度情報があればカメラから一定の距離に離れている部分にだけピントが合った画像を後から作ることが可能になります。

複眼カメラ・マイクロレンズアレイ

LYTROが深度情報をどのようにして取得するのかというと、マイクロレンズアレイというものを利用します。
LYTROの場合は1つのマイクロレンズアレイを通った光が10画素に記録されます。マイクロレンズを通ることで10画素はそれぞれピントが異なる状態の情報を取得できます。この10画素が普通のデジカメの1画素に相当して、それが400万画素分集めて画像を作るのがLYTROです。LYTROのセンサーはもともと4000万画素なんですね。
かなり雑にいえば、ピントの位置を10段階変えたものをワンショットで撮影できる、ということです。
撮像素子が高画素であることが必要になりますが、マイクロレンズアレイは1つのレンズと1つのセンサーで深度情報を得ることができる技術です。

【国内正規品】Lytro Light Field Camera ライトフィールドカメラ LYTRO ILLUM (イルム) 9.5‐77.8mm F2.0 LYTRO ILLUM

posted with amazlet at 15.04.18

ライトロ (2014-12-12)
売り上げランキング: 20,266

Amazon.co.jpで詳細を見る

カメラアレイとは

マイクロレンズアレイとは対照的に複数の撮像素子、複数のレンズを用いて深度情報を獲得する技術がカメラアレイです。
カメラアレイとは複数のカメラを格子状に配置させることで深度情報を持った画像を生成するカメラです。
3Dカメラがこのタイプで、追突防止技術であるスバルのiSightも2つのカメラを横に並べて深度情報を得ているのでカメラアレイに分類できます。デジカメならGRD4に搭載された測距用のパッシブセンサーもカメラを2つ並べたものでした。
今回Appleが買収したLinX Computational Imagingはこちらのタイプです。

なぜ深度情報で画質が向上するのか？

Appleは深度情報をどう活かすのか？が注目されているのですが、単純に画質を向上させるのではないか？と言われています。
深度情報があるとなぜ画質が向上するのかというと、深度情報を基にしてシャープネスをかけることが出来るからです。
RAW現像でシャープネスを調整したり、Photoshopでアンシャープマスクやスマートシャープを使うことはよくあると思いますが、マスクを使わない限り画面全体に一律にシャープネスを調整します。
これだとピントがあっていないボケている部分が硬くなり違和感が出てきます。
しかし、深度情報があればピントが合っている部分だけ、距離に応じてシャープネスを調整することが可能になります。
ピントが来ている部分はシャープでボケは柔らかいまま、という画像処理が可能になります。現在はレンズ性能に頼っている部分ですが、実現すれば安いレンズが高級レンズの味に変わるでしょう。

低ノイズもHDRも可能

他にも高感度の熱ノイズを減らすことが出来るとされます。センサー毎に熱ノイズが発生する位置が変われば、複数のセンサーを用いて撮影したとき補完が可能になるからです。
また、ダイナミックレンジを広くすることが可能でしょう。カメラごとに露出を変えることで実質ワンショットでHDRが可能になります。
マイクロレンズアレイタイプではカラーフィルターを工夫することで可能ですが、カメラアレイタイプは制御ソフトの調整だけで対応できるでしょう。
この他にもアイデア次第で現在では不可能な事も可能になりそうです。

課題は？

夢の様な技術ですが、実現までには課題があります。
もっとも大きな課題はカメラアレイタイプの課題は画像処理にパワーが必要なことです。
後処理をパソコンで行うならばともかく、スマホ内で処理を行うことは現状では難しいようです。
ほかにはサイズが大きくなることも大きな課題です。
シリコンバレーのスタートアップで7つのカメラを使ったカメラアレイのプロジェクト、Lightは5200万画素の出力が可能ということですが、明らかに大きすぎます。