JPH03502755A - 光電カラーイメージセンサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の名称 光電カラーイメージセンサ 技術分野 本発明は、二次元ＣＣＤアレー上に物体を結像する結像系を有し、感光センサ素 子からなるそのマトリックスが画像を少なくとも３つの色成分で撮像する色フイ ルタマスクを有する光電カラーイメージセンサに関する。

公知技術 単一のＣＣＤアレーと色フイルタマスクとを備えたかかる光電カラーイメージセ ンサは一般に知られている。それらは個々の色成分、例えば赤、緑、青用に各１ つのＣＣＤアレーを使用したカラーイメージセンサに比べ構造上の消耗が少ない 利点を有する。しかし欠点として１色成分用に利用可能な感光センサ素子数が（ 色フイルタマスクの構成に応じて）３つのＣＣＤアレー、つまり各原色につき各 １つ使用した光電カラーイメージセンサの場合の平均１／３である。これにより 画像解像度が低下する他、別の欠点として、並列しつまり一致していない画像走 査スポットで画像の走査により色成分が生じる。このことは特に微細な周期的画 像構造の場合色パターンの形で強い障害となるカラーアーチファクトをもたらす ことがある。

ＷＯ８６１０５６４１，Ｗｏ　８６１０５６４２、特許請求の範囲１の前提部分 に記載したのとは種類の異なる光電カラーイメージセンサ、つまり３つのＣＣＤ アレーを備えたカラーイメージセンサが知られており、そこでは画像がＣＣＤア レーに対し相対的にセンサ素子（以下ＳＥＬとも呼ぶ）の間隔の一部だけずらさ れる。このずらしは画素（ＰＥＬ＝ピクチャーエレメント）内で測定した画像解 像度をＳＥＬ数によって決まった解像度より高めるために行われる。

発明の説明 本発明は、請求の範囲１の前提部分に記載した光電カラーイメージセンサ、即ち 単に１つのＣＣＤアレーと色フイルタマトリックスとを備えたカラーイメージセ ンサのカラーアーチファクトを避けるため画像とＣＣＤアレーとの間に相対的ず らしを設けるとの基本構想から出発する。

ところで本発明により、ＷＯ８６１０５６４１又はＷＯ８６１０５６４２により 知られている「サブ画素相対ずらし」を単純に転用するだけでは十分でないこと が認められた。つまりカラーアーチファクトを防ぐにはセンサ素子間隔の整数倍 のずらしが必要である。

複数の相互に僅かにずれた画像（以下では部分画像と呼ぶ）を撮像し次に部分画 像を重ね合わすことで高解像度の画像が生じる。こうして得られる画像の色成分 は、１部分画像の色成分とは異なり、走査スポットが互いに一致している。

そこで本発明は、請求の範囲１の前提部分に記載した１つのＣＣＤアレーとその 前に設けた色フイルタマスクとを備えた光電カラーイメージセンサを、各色に付 属したＣＣＤセンサ素子（Ｓ　Ｅ　Ｌ）数がどの色成分についても走査スポット が同じとなる要請を満足する高い解像度を生じるよう改良することを課題とする 。

この課題の本発明による解決法がその諸展開、諸構成と共に請求の範囲に明示し である。

本発明によれば、単に１個の画像ピックアップを有し、その前に少なくとも３つ の色成分、つまり例えば赤、緑、青の色成分をピックアップする色フイルタマス クを必要とする光電カラーイメージセンサの解像度を高めるには、画像と画像ピ ックアップとの間の相対的ずらしによりまず画像ピックアップ、つまり例えばＣ ＣＤアレーの赤、緑、青に感応するセンサ素子が順次同じ画像スポットに来るよ うにせねばならないことが認められた。

従って例えばＣＣＤアレー又は１素子をＣＣＤアレーの前の光路内でずらす手段 が設けである。こうしてＳＥＬ間隔の整数倍だけ相対的にずれた例えば各３つの 色成分からなる部分画像がまず得られる。１部分画像の画素数はＣＣＤアレーの センサ素子数と同じである。

次に個々の部分画像を一時記憶する記憶・制御装置が相対的にずれたＣＣＤアレ ーで撮像した全部分画像の色成分を完全に等しく合成する。

本発明により設けるこの処置により、個々の色分解画像が「異なる画像スポット 」で撮像されることから発生する請求の範囲１の前提部分に記載した光電カラー イメージセンサの「原理的ぼけ」をまずＳＥＬ間隔の整数倍だけ相対的にずらす ことで除去することが達成される。この「原理的ぼけ」の除去は請求の範囲６に 記載したサブＳＥＬずらし、即ち個々の感光センサ素子の間隔の一部だけ行う画 像と画像ピックアップとの間の相対的ずらしにとって前提条件である。このサブ ＳＥＬずらしにより付加的に個々の素子の間隔に対し１センサ素子感光面の相対 的エツジ寸法が小さくなればなるほど解像度を一層高めることが可能となる。

本発明の諸展開は従属請求の範囲に記載しである。

請求の範囲２に記載したＣＣＤアレーのずらしはＣＣＤアレーの前の光路内での １素子のずらし又は傾動に比べ技術的に容易に実現可能であるという利点を有す る。例えばＣＣＤアレーを画像平面上で一次元又は二次元的に（請求の範囲３． ４）ずらす圧電素子を設けることができる。

既に触れ又請求の範囲５に記載した「サブＳＥＬずらし」は請求の範囲６によれ ばセンサ素子の間隔が異なる場合に互いに直交する方向で画像解像度の調整を達 成するのに利用することもできる。

更に利点として本発明による構成は面を最も密に充填したことに相当する六角形 パターン内での走査も可能とする。

図面の簡単な説明 以下図面を参考に実施例について本発明の詳細な説明する。

第１ａ図は技術水準による類概念に記載したカラーイメージセンサのセンサ素子 とその彩色（Ｒ，Ｇ。

Ｂ）。

第１ｂ図はこの実施例においてカラーアーチファクトを避けるため４つのセンサ が占めるべき、ＳＥＬ間隔の整数倍だけずらした位置。

第１Ｃ図はその際獲得した部分画像を重ね合わせることで得られる解像素子と赤 、緑、青の色成分用の一致した走査スポット。

第２ａ乃至２ａ図はＸ方向、Ｘ方向で解像度がほぼ等しく、カラーアーチファク トを部分的に防止しただけの色成分生成用位置設定図。

第３ａ乃至第３ｄ図はほぼ六角形の走査ラスタを有する完全に等しい色成分を生 成するための位置設定図。

第４図はずらし可能なＣＣＤセンサ実施例。

第５図はシステム全体のブロック図。

実施例の説明 以下説明する実施例では一般的発明思想を制限することなく所謂インクライン変 換形ＣＣＤエリアセンサが使用される。但し本発明はフレーム変換方式又はそれ が適宜な画像表示を可能とするかぎり別の原理により動作するエリアセンサにお いても勿論適用することができる。

前記２つのセンサタイプは、本発明を適用する点に関し実質的に、フレーム変換 形センサでは１センサ素子内部の事実上全面が感光性であるのに対しインクライ ン変換形センサでは小さなエリア素子が感光性に構成しである点で相異している にすぎない。インクライン変換形センサの感光エリアの割合は代表的には２５％ 未満であり、これによりサブＳＥＬずらしによる画像解像度の著しい向上が可能 となる。

図示実施例ではテレビ画像率を有するインクライン変換形エリアセンサが使用さ れ、そこでは、利用可能な全センサ素子の一部のみ各色成分に割当てることでカ ラー画像に必要なスペクトル解像度がスポット解像度を犠牲にして達成される。

第１ａ図に一部を概略水したインクライン変換形ＣＣＤエリアセンサでは個々の センサ素子の感光エリアが四角形として描いである。ＣＯＤアレーに取付けた色 フイルタマスクにより個々のセンサ素子は赤、緑第１ａ図には感光エリア素子の エツジ寸法も又色フイルタマスクのごく小さな周期的に繰り返される構造に一致 した解像素子のエツジ寸法も記載しである。

本発明によれば、一般的発明思想を制限することなく例えばセンサをずらして達 成されるセンサと画像との間の小さな二次元相対ずらしによって時間解像度を下 げて高いスポット解像度が達成されるがそれは複数の部分画像が順次撮像される からである。

部分画像数を異にするさまざまなずらしパターンを通して一定の限界内で時間解 像度とスポット解像度を相互に自由に交換することができる。最大の時間解像度 は１部分画像の読出し時間に一致し、従って例えばテレビ画像率によって決まっ ており、最大のスポット解像度は使用した対物レンズの結像品質と１センサセル 内部の感光エリア素子の寸法とによって決まっている。第１ａ図に例示した寸法 ６×６μｍの場合変調伝達関数の第１ゼロ位置はライン対１６７／ｍｍにある。

第１ｂ図はそれぞれ白黒実施の当該センサの解像度で完全に同一の色成分を生成 するため画像に対しセンサを相対的に位置設定する図を示す。個々の位置は１乃 至４の通し番号が付けてあり、水平方向でｌ５ＥＬ間隔だけの相対ずらし、そし て垂直方向で２ＳＥＬ間隔だけの相対ずらしに相当する。

第１Ｃ図は多くの部分画像を重ね合わせることから得られる画像の解像素子を示 す。輝度情報にとって最も重要である緑の色成分は各走査スポットで二重に代表 してあり、ここでは例示しただけの色マスク構成の系列は赤又は青を感知するセ ンサ素子よりも多く緑を感知する。

第１ａ図と第１０とを比較してわかるように解像素子は水平方向でＳＥＬ間隔が 整数倍だけ相対的にずれているので寸法が、画像とセンサとを相互に固定した画 像ピックアップの場合の半分にすぎず、しかも垂直方向では１／４にすぎない。

同時に色成分は同じ走査スポットで獲得され、従ってカラーアーチファクトが発 生するとしても防止される。

第２ａ図に示す相対ずらし用位置設定図では水平方向でも垂直方向でも解像度が ほぼ等しい色成分が得られる。垂直方向のずらしはやはりＳＥＬ間隔の２倍であ るが、水平方向ではＳＥＬ間隔の２／３の整数倍である。

第２ｂ図は付属した解像素子の寸法を示す。赤と青の色成分は緑の色成分とは水 平方向にずれており、それ故カラーアーチファクトは一部だけ、つまり垂直方向 で抑制されている。

第２Ｃ図に示す位置設定図では水平方向でも垂直方向でも解像度がほぼ等しい完 全に等しい高解像度の色成分が得られる。

第２ｄ図は付属した解像素子の寸法を示す。赤と青の色成分は緑の色成分と完全 に等しい。

第３ａ図に示す位置設定図ではほぼ六角形走査ラスタを有する完全に等しい色成 分が得られる。

第３ｂ図は付属した解像素子の寸法を示す。この解像素子の周期的継続はこの場 合互いに岬６０°の角度を成した３つの軸に沿って行われる。垂直軸が主軸であ る。

第３Ｃ図に示す位置設定図ではほぼ六角形走査ラスタを有する完全に等しい高解 像度の色成分が得られる。

第３ｄ図は付属した解像素子の寸法を示す。いまや水平軸が主軸の一つである。

第４図は画像に対しずらし可能なセンサの実施例を示す。ハウジング１の内部で センサ２が基礎要素３に固着してあり、基礎要素は板ばね４と圧電調節部５とに より矢印ｖ、　　ｈ方向にずらすことができる。

第５図は制御装置のブロック図を示す。この図に記載した回路素子を参考に以下 本発明によるカラーイメージセンサの機能様式を詳しく説明する。

原画像は対物レンズでＣＣＤセンサ上に鮮明に結像される。以下の説明は色成分 ごとに例えば画素１５００Ｘ１１００の解像度でカラー画像を獲得する場合につ いてのものである。第１ａ図の色マスクを装備したＣＯＤアレーは水平方向で５ ００個、垂直方向で５５０個のセンサ素子を有する。所要の位置設定図は第２ｃ 図に２４で占めるべき位置に一致する。

位置“１”ではまず一定の積分時間の間にセンサ素子に入射した光子が光電子に 変換され感光面の下の中央コンデンサ内に集積して電荷パケットとされる。垂直 ブランキング期間の間に部分画像の電荷は感光面片の横にある垂直ＣＯＤバケッ トブリゲート形素子の転送コンデンサ内に積み替えられ読出し可能な状態にある 。ずらし機構にできるだけ長い安定化時間を与えるため計算機は既に次の位置“ ２”に移行する指令を発し、この位置で感光面素子は新たな画像走査スポットに 来る。この運動中に発生し従って運動を不明確にするであろう部分画像は評価さ れない。垂直ブランキング期間の最後に電荷の読出しが始まる。センサのアナロ グ出力信号はそのＣＯＤ続出し周期と同期でデジタル化され（例えばセンサ素子 当たり８ビツト＝１バイトの高速Ａ／Ｄ変換）、高速メモリ内にファイルされる 。位置“１”から大容量記憶装置内への部分画像の転送が終了した後位置“２” から部分画像の読出しが始まる。その前にある垂直ブランキング期間内に既に計 算機により位置“３”への移行指令が発せられている。２４の部分画像が全て記 憶されるまでこの過程が繰り返される。各第２の部分画像の記憶、即ち評価が十 分に迅速であり且つ欧州テレビ標準（２５Ｈｚ＝１／　４０　ｍ　ｓ　）の場合 、全過程の持続時間は２４Ｘ２Ｘ４０ｍｓ４２秒である。この時間の間、結像す べき物体が移動してはならない。その後、個々の部分画像から計算機を利用して 高解像度の画像が複合される。

ビデオテープにアナログで一時記憶する場合センサは同様に移動する。後に計算 機に読込むとき部分画像のデジタル化時にテープ駆動装置のワウフラッタに基き 場合によっては時間軸補正が必要となり、ドロップアウトによる誤りを検知して 補正しなければならない。

本発明により設けるＣＣＤエリアセンサの小さな相対ずらしとそれに続く部分画 像の合成とにより以下の利点が達成される。

（１）　　インタライン変換カラーセンサを使用した場合３つの色チャネルの全 てについて例えば画素２０００Ｘ１６５０の全体画像のきわめて高い解像度が達 成される。言及した実施例の場合このセンサは具体的には緑チャネル用に５ＥＬ ２５０Ｘ５５０．赤と青チャネル用ｊ、：５ＥＬ２５０Ｘ２７５．そして寸法６ Ｘ６μｍの感光面素子を有する。

センサの変調伝達関数はこの解像度の場合的３０％に低下した。これにより特に ＤＩＮＡ４判１文字頁、カラースライド１枚又は画像フォーマット２４Ｘ１８ｍ ｍのフィルムストリップ１枚を十分な高解像度で走査することができる。

（２）　　幾何学的精密さはずらした素子の通常の機械的構成の場合既にきわめ て高いがそれはずらし経路がごく短いからである。指摘した例では解像セルの大 きさがカラーセンサの場合３４Ｘ４４μｍであるのに対し、適宜なＳ／Ｗセンサ の場合１７Ｘ１１’μｍである。機械的ずらしの相対誤差が例えば１％の場合全 画像フィールド内で０．４４μｍ（機械的）＋センサの０．１μｍの最大誤差が 生じる。これはＣＧＴＶ物体の半径方向レンズ歪みに比べ小さく、この歪みは例 えば焦点距離２５ｍｍの対物レンズの場合画像の縁では既に５０μｍにまでなる 。

（３）感光度はラインスキャナ又はドラムスキャナに比べ１桁高くなり、解像度 及びＳＮ比が同じ場合撮像時間が本質的に短縮される。

（４）さまざまなずらしパターンにより一定の限界内で高スポット解像度と高時 間解像度との間を自由に選択することができる。

（５）更に、画像は長方形のラスタだけでなくほぼ六角形のラスク内でも走査す る可能性があり、これは特に医学分野や形態学的画像処理で時として要請される ことである。

（６）　　選択した画像部分は通常のテレビモニタを使って完全な時間解像度で 監視することができ、又これでもって本来の撮像前に問題なく調整することがで きるがそれは部分画像が全体画像と同じ大きさであるからである。

ｍ　センサの出力端で部分画像の電気的帯域幅がテレビ画像のそれに一致するの で部分画像は市販のアナログビデオレコーダを使って一時記憶し、そして後には じめて計算機でつなぎ合わせて高解像度の全体画像とすることができ、はぼ３５ ｍｍスライドの解像度と千を超える個別画像の記憶容量とを有する携帯用電子カ ラーカメラ内での使用が可能となる。磁気テープのドロップアウトは画像挟み込 みの故に計算機で容易に検出し、顕著な損失なしに訂正することができる（デー タ挟み込み又は分散の原理）。

（８）機械的経路が短いので滑動ガイドが必要でなく、曲げガイドが必要である にすぎない。同じ理由から、電気的に直接駆動可能で機械的にきわめて安定した 遊びのない圧電調節部を使用することができる。

（９）カラーマスクはセンサに直接取付けておくことができるので所謂カラーマ ルチプレクスは、白黒センサの場合のように画像フィールドの大きさの色フィル タを光路内に順次挿入し又はプリズムを有する３個のセンサに色を分割して生成 しな（でもよく、単にセンサを横にずらして行われる。それ故フィルタにより色 収差又はその他の画像損傷が発生し、なお対物レンズによっても収差が起きる。

αΦ　大量生産可能な低解像度のＣＣＤエリアセンサを使用することで経費が節 約される。

産業上の利用可能性 特別の利用可能性はこの新イメージセンサの以下の４つの特徴により得られる。

（１）例えば画素２０００Ｘ１６５０という高解像度、そして感光面素子を小さ くするなら３つの色チャネルのそれぞれについてそれ以上の解像度を達成するこ とができる。

（２）感光度は同様の画像解像度を可能とするシフト可能なラインを有するカメ ラに比べ約２桁大きい。

（３）画像走査スポットの位置精度もかかるラインカメラに比べ約２桁高い。

（４）本発明によるカラーイメージセンサは消費用電子機器用に大量生産された 単一のカラーセンサを１個使用するだけで高価な光学素子や高価な色フィルタを 持たないので経費はきわめて低く抑えられる。

これにより特に以下の応用可能性が得られる。

［データ通信（Ｓ／Ｗ又はカラーテレファックス）コデータの撮像はごく短時間 で、光源の強さ条件を低減して行うことができる。原稿は１個のエリアセンサが 使用しであるのでずらす必要がない。それ故画像撮像時極端に高い幾何学精度を 保証することができる。

Ｃフィルムをデジタル再処理するためＱフィルム走査］特にカラリング、色誤差 の補償又は「特殊事実」のデータ入力の時、撮像すべき画像数がしばしば膨大で あるため撮像時間が短いことに格別関心がある。フライングスポットスキャナで は所要の解像度を達成できるのではあるがしかし３個の光電子増倍管の技術が高 価であるのできわめて高い（数１０万ＤＭ）。ラインカメラは感度が低く、機械 的ずらしが大きいので幾何学的不正確さにより画像の揺れを生じる。

［広告グラフィック用個別画像の高解像度データ人力コグラフイック雑誌内の殆 ど全頁にわたる広告カラー写真は印刷前にデジタルでエツジの盛上げ、雑音抑制 。

色飽和の上昇、コントラスト及び修整によって改善される。

［写真測量で使用するための高解像度データ人力］写真測量でデジタル画像処理 を利用するには特に幾何学的に高精度且つ高解像度の走査系を利用する可能性が まだ不足している。この隙間をこのイメージセンサが埋める。

［電子ファイリング（文書ファイリング）用画像走査コ利用可能な解像度でもっ て透明陽画及び陰画を殆ど損失なしにファイルすることができる。このことは例 えば医学分野でデータバンクを作成するうえで重要である。

［電子透明陽画／陰画観察器］ カラーイメージセンサと高解像度モニタとを使って透明陽画を、又デジタルマト リクシングを利用して透明陰画も高品質で観察することができる。これは家庭用 ＨＤＴＶ標準の予想される導入により重要さを得る。

２種のメモリを用いることで休止なしに画像交換を行うことができる。

［ビデオメトリ］ 画像をデジタル処理する測定技術にはセンサ素子間隔の一部だけ確定的にずらす ことのできる高精密走査ラスタの利用可能性が大切である。特にこれは格子を使 ったモアレ測定技術にあてはまる。というのもこの場合１２０°の画素オフセッ トにより位相の測定が各画素ごとに分離して直接行うことができるからである。

上のデジタルオーディオテープ）の利用可能性により、本発明原理によるカメラ の軽量と低電力需要とに基き、数百の画像をごく安価な携帯装置に記憶可能な携 帯装置が考えられる。このことから同時に、考古学において建造物、出土品の「 ビデオグラフィ」が測定目的に可能となるが、それはきわめて高い幾何学精度で 記録が行われるからである。

ロロロロロロ回回 −国際調査報告 国際調査報告 ＤＥ　　８９００６９０ Ｓ＾　　３１９１３

Claims (1)

1. 【特許請求の範囲】 １．二次元ＣＣＤアレー上に物体を結像する結像系を有し、感光センサ素子から なるそのマトリックスが画像を少なくとも３つの色成分で撮像する色フィルタマ スクを有する光電カラーイメージセンサにおいて、異なる色に感応するＣＣＤア レーのセンサ素子が順次同じ画像スポットに来るよう相連続した部分画像の撮像 の間に画像をＣＣＤアレーに対し相対的にずらす手段が設けてあり、記憶・制御 装置が異なるＣＣＤアレーで撮像した部分画像の色成分を完全に等しく合成する ことを特徴とするカラーイメージセンサ。 ２．ＣＣＤアレーをずらし可能に配置したことを特徴とする請求の範囲１記載の カラーイメージセンサ。 ３．ＣＣＤアレーを画像平面上で二次元的にずらし可能であることを特徴とする 請求の範囲１又は２記載のカラーイメージセンサ。 ４．アレーをずらす圧電調節部を設けたこと特徴とする請求の範囲１乃至３のい ずれか１項記載のカラーイメージセンサ。 ５，解像度を高めるため相連続した部分画像の撮像の間に画像をＣＣＤアレーに 対し相対的にセンサ素子間隔の一部だけ付加的にずらすことを特徴とする請求の 範囲１乃至４のいずれか１項記載のカラーイメージセンサ。 ６．前記付加的ずらしにより互いに直交した方向で画像解像度の調整を行うこと を特徴とする請求の範囲５記載のカラーイメージセンサ。 ７．六角形パターン内で部分画像を適切にずらすことで画像の走査を行うことを 特徴とする請求の範囲１乃至５のいずれか１項記載のカラーイメージセンサ。