ベイヤーフィルター

イメージセンサの画素上に配置されたベイヤー配列 のカラーフィルター

センサー上の各色の受光パターン

べイヤーフィルターは、カラーフィルタの色パターンの配置法の一つであるベイヤー配置（Bayer arrangement）によって色が配置されたフィルターである。固体撮像素子など撮影側での採用が多いが、カラーディスプレイでの利用例もある。一般的なディスプレイに多いRGBパターンと違い、緑・青・赤がそれぞれ2:1:1の比率で含まれていることからRGBG、GRGB、またはRGGBなどと呼ばれることもある。「ベイヤー」の名称は、イーストマン・コダック社所属であった発明者、ブライス=ベイヤーの名にちなむ。ベイヤーは、ディザリングで使われるパターンの名称でも有名である（市松模様をうまく利用する点で、本方式との関連がある）。

解説

1. 元の画像
2. ベイヤーフィルターで120×80ピクセルに分解された画像
3. ベイヤー色フィルターで色付けされた画像
4. 欠落した色情報などを補って最終的に得られた画像

1976年に出願されたブライス＝ベイヤーの特許（米国特許第3971065号）では、輝度に敏感な波長である緑の光素子と、色差に敏感な波長である赤と青の素子が組み合わされている。人間の目の生理的特性を模倣するため、バイヤーは緑用の素子を赤・青の2倍使用した。人間の網膜は、M型・L型錐体細胞の組み合わせで輝度を認知するが、これらは日中の視界では緑色の光の波長に最も敏感である。これらセンサー素子の個々の画素から得られた値は、補間されるなどの処理を経て、最終的にはピクセルで構成された画像を得る。

ベイヤーは特許を登録する際に、シアン・マゼンタ・イエローといった補色の色フィルター組合せも提案している。この構成は、当時は実現に必要な染料が存在しなかったため実用化されなかったが、近年では数例のデジタルカメラで採用されている。新たなCMY染料の大きな利点は、光吸収特性が大幅に改善されるということである。すなわち、量子効率が高くなる。 ベイヤーフィルタを使用したカメラから出力される無加工形式(RAW)のデータは、ベイヤー配列どおりの画像となる。各画素センサーには、フィルター越しに赤・緑・青の光の三原色のうちどれか一色の情報のみが記録されるため、各画素からのデータには赤・緑・青の各値は完全には含まれていない。フルカラー画像を得るには、さまざまな種類の『デモザイク処理』を行なって、ピクセルごとの赤・緑・青の各値を補完する。ある画素の値を推定するためには、各色ごとに対応する周辺の画素の値を利用する画像処理手法を用いる。画像処理手法の違いによって、最終的に得られる画像の生成品質や演算速度は影響を受ける。これは、カメラ内部で完結するJPEGやTIFF画像の生成処理、またはセンサーから直接得られるRAWデータをカメラ外部で処理する際について言えることである。

デモザイク処理

デモザイク処理は、様々な方法で行うことができる。簡単な方法としては、近くにある同じ色を担当する画素のカラー値で補間するやり方がある。例えば一旦、画像を露光して各画素を読み込む。緑のフィルタが貼られた画素は、緑の光を観測できる。この画素における赤と青のデータは、近隣の画素データから補完される。緑の画素ひとつに対する赤・青のデータは、近くにあるそれぞれの色担当の画素2つ分で補完される。このシンプルな手法は、一定の色や滑らかなグラデーションの領域であればうまくいくが、シャープなエッジに沿って目立つ色や明るさの急激な変化がある領域では、色のにじみなどの不自然さが発生する可能性がある。このため、他のデモザイク方法では高コントラストのエッジを識別し、またがずに補完するなどの手法を取る。 他のアルゴリズムでは、三原色の各色が高度に対応付けされているように、明るさが変化しても画像内の領域の色は比較的一定であるという仮定に基づいている。したがって、まず最初に三原色のうち緑の画像情報が補間され、ついで赤、そして青の画素情報が補間される。これ以外に、赤と緑・青と緑それぞれの色の比率が一定となるように画像内容についての異なる仮定を行い、欠けている色の数値を推測する方法がある。

現象

デジタルセンサーの解像度の限界に近い繊細な表現を持つ画像は、デモザイク処理の際のアルゴリズムの関係で、被写体の表現を正しく再現しきれない結果が生成されることがある。典型的な症状としては、繰り返しパターンに於けるモアレの発生や、色・ピクセル表現での迷路のような文様の発生が上げられる。

偽色

よく知られており、望ましくない現象としては、色フィルタ群からデモザイク処理を行なう際に発生する「偽色」が典型である。この典型的な現象は、色が急激に・または電線などが横切る画像において、エッジに伴う色の不自然な変化として現れる。 偽色の発生の防止や除去には、様々な方法が存在する。最終画像の生成の前・デモザイク処理の際に色相遷移の滑らかな補間が行われることで、偽色の発生が防止される。また、デモザイク後に偽色を除去することができる他のアルゴリズムもある。これらは、赤と青の色空間を補間するためのより強固なデモザイク処理アルゴリズムを使用することで、画像の偽色を除去する利点がある。

仮に、すべての画素で色を完全に捉えることのできる理論的に完璧なセンサーであっても、モアレや他の不自然な画像現象の発生はゼロにはできない。これは、試料に離散的な中での連続信号が含まれるシステムに於いては避けられない結果である。この理由から、事実上大半のデジタルセンサは、光学ローパスフィルタ（OLPF）またはアンチエイリアシング（AA）フィルタを組み込んでいる。これはセンサーの直前に接する薄い層で、センサーの分解能よりも細かく任意の潜在的な問題の発生を、詳細をぼかすことで効果的に動作する。

調整

三つの新たなコダック RGBWフィルタパターン

ベイヤーフィルタは、大半の普及価格帯デジタルカメラで採用されている。他にはCYGMフィルタ（シアン、黄、緑、マゼンタ）およびRGBEフィルター（赤、緑、青、エメラルド)があり、デモザイク処理は似通ったものである。Foveon社のX3センサー（赤、緑、青を感知する3層が垂直に並ぶ）や、3CCD（赤・緑・青の各色ごとに1つ）方式はデモザイク処理を必要としない。

パンクロマチック・セル

初期のRGBWフィルタパターン

2007年6月14日にイーストマン・コダックは、ベイヤーフィルタの代替技術を発表した。光センサのカラーフィルタパターンに当たる光の量を多く集めるために「パンクロマチック」セルと呼ばれる部品を用いることで可視光のすべての波長への感度を高め、デジタルカメラ内の画像センサの光に対する感度を増加させるというものである。 コダックはいくつかのパターンを提示したが、ベイヤー配列では見られる2×2単位の小さい繰り返し単位が含まれない。

エドワード・T.チャンが2007年にアメリカで出願した特許は、赤・青・緑と透明の各画素で構成される画素の2×2ブロックを含むパターンを有するものである。全体的に高い赤外線感度を含むものだが、コダックの特許出願が先だった。 このようなセルは、CMYW（シアン、マゼンタ、黄、白）「RGBW」（赤、緑、青、白）とされていたが、コダックはそれらと新しいフィルタパターンとを比較していない。

富士フイルム「EXR」カラーフィルタアレイ

EXRセンサー

富士フイルムのEXRカラーフィルタアレイは、CCD（SuperCCD）とCMOS（BSI CMOS）の両方が製作されている。SuperCCDと同様、フィルタは45度回転した配置である。ベイヤーフィルターの設計とは異なり、同じ色を検出する二つの隣接する受光素子が常にある。この配列の設計の主な理由は、隣接する二つの受光素子の情報を統合することで、見かけの受光感度が向上する「ビニング」と呼ばれる手法を用いていることである。 他の理由としては、二種類の異なる露光をセンサーで記録し、それを統合することでさらに大きいダイナミックレンジの画像を生成できることがあげられる。

下層部の回路は、センサの交互の列から自分の情報を取る2の読み出しチャンネルを有する。結果的に、受光素子の各半分のための異なる露光時間で、2つの交互のセンサーのように振る舞うことができるということである。これらの受光素子の半分は、意図的に露出不足することが可能である。このため、露出場面での明るい領域をすべて取り込むことができる。この保持されたハイライト情報は、色情報を受け持つ受光素子との狭い間隔を利用し、「完全な」露出を記録しているセンサーの他の半分からの出力とミックスすることができる。

X-Transセンサーで使用される6×6の繰り返しグリッド パターン

富士フイルム・Xシリーズのカメラの多くで採用されている「X-Trans CMOSセンサー」は、ベイヤーフィルタよりも色モアレに対する良好な耐性を提供するための要求から開発されたもので、ローパスフィルターを必要としない。これにより、同じメガピクセル数のセンサーでより高い解像度が得られる。また新しい画素デザインは、赤、青、緑の画素の各配列の工夫により、偽色の発生を低減すると主張されている。これらの画素の擬似ランダム配列は、フィルムカメラ等の粒状性の再現ももたらすとされる。

外部リンク

• CCD（撮像素子）の仕組み（第二十七回）