JPH0759098A - 輝度階調を用いたフルカラーイメージ適応的補間装置 - Google Patents

輝度階調を用いたフルカラーイメージ適応的補間装置

Info

Publication number
JPH0759098A
JPH0759098A JP6148957A JP14895794A JPH0759098A JP H0759098 A JPH0759098 A JP H0759098A JP 6148957 A JP6148957 A JP 6148957A JP 14895794 A JP14895794 A JP 14895794A JP H0759098 A JPH0759098 A JP H0759098A
Authority
JP
Japan
Prior art keywords
image
value
interpolation
color
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6148957A
Other languages
English (en)
Other versions
JP3753385B2 (ja
Inventor
Robert H Hibbard
エイチ ヒッバード ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22192163&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH0759098(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JPH0759098A publication Critical patent/JPH0759098A/ja
Application granted granted Critical
Publication of JP3753385B2 publication Critical patent/JP3753385B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【目的】 イメージセンサから得られるディジタル化イ
メージ信号に対して適応的な補間を行い、画像の鮮明度
を向上させる。 【構成】 イメージセンサ１２はカラーフィルタアレイ
１３で覆われており、イメージセンサ１２の各フォトサ
イトは各々１色のみカラー値を生成する。イメージセン
サ１２で生成されたアナログイメージ信号はディジタル
化され、イメージバッファ１８に蓄えられる。イメージ
バッファ１８に蓄積された信号はディジタルシグナルプ
ロセッサ２２に供給され、そこで補間処理が行われる。
補間処理では、輝度値（グリーン）が欠落した画素に対
する付加的な輝度値を、その画素の近隣の画素の輝度値
から補間により求める。このとき、水平または垂直方向
の輝度値の差から階調値を求め、この階調値をしきい値
と比較する。そして、この比較に応じて、補間に用いる
画素の方向（組合わせ）が適応的に定められる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は電子画像形成、特にカラ
ー画像の生成に関する。
【０００２】
【従来の技術】単一（シングル）センサのカメラは、こ
のセンサ上のピクセル位置の正規的パターン（レギュラ
・パターン：regular pattern ）に対応する画像位置に
おける空間的に変化する光強度を検出する。カラー単一
センサカメラでは、カラーフィルタのアレイがこのセン
サを覆い、センサは通常３色のカラーフィルタアレイ
（ＣＦＡ）正規パターンに従って、変化するピクセル位
置における色の強度を検出する。通常、このＣＦＡは、
各ピクセル位置それぞれにおいて唯だ１色のみを検出す
るためのカラーフィルタの正規的パターンである。した
がって、単一センサカメラは、各ピクセルの３色すべて
に対応するオリジナルデータを捕捉するのではなく、各
ピクセルに対して１色のみを捕捉する。このため、各イ
メージに対する３色のフルカラーイメージプレーンを構
成するためには補間が必要となる。
【０００３】一般的なカメラシステムはレッド、グリー
ン、ブルーの色を生成する。カラーフィルタアレイ補間
アルゴリズムは、散在的にサンプリングされた（sparse
ly sampled）カラーイメージ（ピクセルごとに１色）
を、レッド、グリーン、ブルー（ＲＧＢ）のフルカラー
イメージ（すなわち、ピクセルごとにＲＧＢ）の画像に
変換するために用いられる。大抵のカラーフィルタアレ
イパターンには、他の色に比べてより規則的でより頻繁
にサンプリングされる高周波（high-frequency）信号が
ある。ＲＧＢ画像では、この高周波信号はグリーンであ
る。この信号は輝度信号とも呼ばれ、イメージ中により
頻繁に存在し、肉眼に対して最も感度が高い。通常、フ
ルグリーンイメージプレーンを生成するために、従来か
らのバイリニア（bilinear：双線形）補間が用いられ
る。例えば、レッドもしくはブルーのピクセルの「欠落
したグリーン（missing green ）」値を補間するため
に、レッドピクセルまたはブルーピクセル（つまり「グ
リーン欠落」ピクセル）の両方の側のグリーンピクセル
のグリーンデータを用いる。次いで、色差信号、すなわ
ちクロミナンス信号を従来のバイリニア補間で補間し、
各ピクセルについてＣＦＡパターンの他の色の補間を行
う。このような従来からの方法については、米国特許第
４，６４２，６７８号に開示されている。
【０００４】
【発明が解決しようとする課題】このような従来の方法
の問題点は、画像中に好ましくないカラーのエッジ・ア
ーティファクト（artifact）が生じることである。この
問題は、例えば米国特許第４，６３０，３０７号に開示
されるようなより精巧な補間技術を用いることにより対
処できる。この４，６３０，３０７号米国特許では、近
隣領域（neiborhood）に存在する特徴（フィーチャ）に
ついての事前知識を利用する。このイメージデータを用
いて適切なアルゴリズムが決定され、この選択されたア
ルゴリズムを用いて欠落データが再構成される。例え
ば、この４，６３０，３０７号米国特許では、エッジ、
ストライプ、コーナーに対してそれぞれ異なる補間ルー
チンが用いられる。特定の特徴（フィーチャ）は、ピク
セルデータをコンピュータに記憶されたテンプレートと
比較することにより決定される。
【０００５】すでに指摘したように、上記従来方法によ
る主な欠点は、カラーエッジに好ましくないアーティフ
ァクトが発生することである。上記４，６３０，３０７
号米国特許などの精巧な手順により、このアーティファ
クトを減少することはできるが、これにはかなりの費用
がかかり、また、複雑な処理能力が要求される。
【０００６】本発明の目的は、不当にコストを増大させ
ることなく、また処理を過度に複雑にすることなく、従
来の精巧なアルゴリズムを修正して、カラーエッジに存
在するアーティファクトを低減し、画像の鮮明度を向上
することである。
【０００７】さらに、本発明の目的は、カラーエッジの
アーティファクトを減少させ、画像のノイズを低減し、
画像の鮮度を高めるために、簡単で適応的（アダプティ
ブ）な方法により補間を行うことである。
【０００８】
【課題を解決するための手段及び作用】上記の目的は、
イメージセンサから供給されるディジタル化されたイメ
ージ信号を処理する信号処理装置により達成される。こ
のイメージセンサは複数のカラー・フォトサイト（phot
osite ）を有し、これら複数のカラー・フォトサイトは
複数のカラー値を生成するが、各フォトサイトの位置に
おいては、ただ１つのカラー値のみを生成する。このよ
うな信号処理装置は、ａ）ディジタル化されたイメージ
信号を、輝度及びクロミナンスの画像的（イメージ・ワ
イズ：image-wise）パターン（ただし、このパターンに
おいて、いくつかのフォトサイト位置が輝度値を持たな
い）として蓄積する信号蓄積手段と、ｂ）前記信号蓄積
手段と共に動作し、輝度値を欠くフォトサイト位置の付
加的な輝度値を、そのフォトサイト位置の近隣のフォト
サイト位置における輝度値から補間することによって生
成するプロセッサと、を含む。
【０００９】さらに、本発明によれば、前記プロセッサ
は、ａ）少なくとも２つのイメージ方向における輝度値
間の差により階調値（グラディエント・バリュー：grad
ient values ）を生成する手段と、ｂ）前記階調度値を
少なくとも１つのしきい値と比較する手段と、ｃ）前記
しきい値との比較に応じて、付加的な輝度値の補間のた
めの好適な方向（オリエンテーション）として、前記少
なくとも２つのイメージ方向のうち１つを選択する手段
と、ｄ）前記好適な方向に一致するよう選択された複数
の輝度値を補間して、前記付加的輝度値を求める手段
と、を含む。
【００１０】本発明の主な効果は、処理プロセスを過度
に複雑化することなく、好ましくないカラーアーティフ
ァクトを低減できることにある。
【００１１】
【実施例】カラーフィルタアレイを用いた単一センサの
電子カメラは周知のものなので、ここでは、本発明に係
る装置及び方法の一部を形成する要素、あるいは本発明
に係る装置及び方法とより直接的に共働する要素のみを
特に説明する。従って、ここに特定して示されない、つ
まり説明されない要素は、従来より周知の要素から選択
してよい。
【００１２】まず、図１及び図２について説明する。電
子的スチル・カメラは通常入力部２と補間・記録部４に
分けられる。入力部２は、物体（サブジェクト：subjec
t ）（図示せず）からのイメージ光をイメージセンサ１
２に導くための露光部１０を含む。図示されていない
が、この露光部１０は、絞り装置を通過するイメージ光
を導くための従来の光学素子と、露光時間を調節するた
めのシャッタを含んでいる。絞り装置は光学アパーチャ
を調節するためのものである。画像の画素に対応するフ
ォトサイトの２次元アレイを含むセンサ１２は、周知の
インターライン移送（トランスファ）技術もしくはフレ
ーム移送技術のいずれかを用いた従来の電荷結合素子
（ＣＣＤ）である。センサ１２は、バイヤー・アレイ
（Bayer array）として知られるカラーフィルタアレイ
（ＣＦＡ）１３によって覆われている。このバイヤー・
アレイについては、米国特許第３，９７１，０６５号に
おいて説明されている。このバイヤー・ジオメトリ（幾
何学的配置）が図３に示される。図において、各色はセ
ンサの１つのフォトサイト、すなわち画素をカバーして
いる。図に示すように、クロミナンス・カラー（レッド
及びブルー）が、チェッカーボード模様に配置された輝
度カラー（グリーン）の間に散在しているのが特徴的で
ある。センサ１２がイメージ光を受光することにより、
アナログイメージ電荷情報（チャージ・インフォメーシ
ョン：charge information）が各々のフォトサイトにお
いて生成される。この電荷情報は、出力ダイオード１４
に供給され、出力ダイオード１４はこの電荷情報を各々
の画素に対応するアナログイメージ信号に変換する。こ
のアナログイメージ信号はＡ／Ｄコンバータ１６に供給
され、ここで各画素に対するアナログ入力信号からディ
ジタルイメージ信号が生成される。このディジタル信号
は次いでイメージバッファ１８に供給される。イメージ
バッファ１８は、例えば、複数の静止イメージを記憶す
るのに必要な容量を有するランダムアクセスメモリ（Ｒ
ＡＭ）である。
【００１３】プロセッサ２０は、（露光部１０の絞り装
置及びシャッタ（図示せず）の操作により）露光を開始
すると共に露光を制御し、センサ１２の駆動やセンサ１
２からのイメージ情報のクロッキングのために必要な水
平及び垂直クロックを生成し、さらに各画素に関する各
信号セグメントに対し、イメージバッファ１８と連動し
てＡ／Ｄコンバータ１６を作動させることにより、カメ
ラの入力部２を制御する（通常、制御プロセッサ２０
は、システムのタイミング回路に結合したマイクロプロ
セッサを含んでいる）。特定数のディジタルイメージ信
号がイメージバッファ１８に蓄積されると、蓄積された
信号はディジタルシグナルプロセッサ２２に供給され
る。ディジタルシグナルプロセッサ２２は、カメラの補
間・記録部４のスループット処理レートを制御する。プ
ロセッサ２２はディジタルイメージ信号に対して補間ア
ルゴリズムを与え、補間された信号をコネクタ２６を介
して、従来の取り外し可能なメモリカード２４に送る。
【００１４】補間、及びこれに関連する処理は通常複数
のステップにわたって行われるため、この処理アルゴリ
ズムの中間結果がプロセスバッファ２８に記憶される
（このプロセスバッファ２８は、イメージバッファ１８
のメモリ空間の一部として構成してもよい）。ディジタ
ル処理を開始するためにイメージバッファ１８において
必要となるイメージ信号の数は、その処理の種類に依存
する。すなわち、近隣補間を開始するためには、ビデオ
フレームを構成するイメージ信号の少なくとも一部を含
む信号のブロックが得られなければならない。従って、
ほとんどの場合、バッファ１８に必要な画素のブロック
が蓄積されると、補間は直ちに開始される。
【００１５】入力部２は、通常のカメラのオペレーショ
ンにつり合うレート（速度）で作動する。一方、補間は
より多くの時間を消費するため、この入力レートから全
く分離されたものでよい。露光部１０は、露光要求に応
じて、例えば１０００分の１秒から数秒間までの期間、
センサ１２をイメージ光に露光する。次いで、このイメ
ージ電荷は、センサ１２のフォトサイトから掃き出さ
れ、ディジタルフォーマットに変換されて、標準的なレ
ートの間、イメージバッファ１８に書きこまれる。この
標準レートは、例えば、標準のビデオフィールドレート
もしくはビデオフレームレートでよい。制御プロセッサ
２０からセンサ１２、Ａ／Ｄコンバータ１６、及びバッ
ファ１８に供給される駆動信号の繰り返しレートは、上
述のようなレートでのイメージの移送を達成するように
決定される。補間・記録部４の処理スループットレート
はディジタルシグナルプロセッサ２２の速度により決定
する。
【００１６】この構造による１つの望ましい結果として
は、補間・記録部において用いられる処理アルゴリズム
を、スループット速度のためよりも、むしろ画像品質の
処理のために選択することができることがあげられる。
もちろん、このために、連続するピクチャの間に遅延が
起こり、これがフォトグラフィック・イベントの間の時
間によってはユーザに影響を及ぼすこともある。周知の
ように静止ビデオ記録の分野においては、ディジタル・
スチル・カメラは、連続する一連のイメージに対して連
続的な撮影能力を供給すべきなので、この遅延は問題で
ある。このため、図１に示されるイメージバッファ１８
は、複数のイメージを蓄積する容量を有し、その結果、
連続するイメージをビデオレートで「積み重ねる」こと
ができる。バッファの大きさは、大抵の撮影状況をカバ
ーするために必要な連続イメージを保持できる十分な大
きさに決定される。
【００１７】操作表示器３０はプロセッサ２０に接続さ
れ、カメラの操作に有用な情報を表示する。このような
情報には、シャッター速度、アパーチャ、露光バイア
ス、カラーバランス（オート、タングステン、蛍光、日
光）、フィールド／フレーム、低バッテリ（バッテリ低
下）、弱光（光量不足）、露光モード（アパーチャ優先
あるいはシャッター優先）などの一般的な写真データが
含まれる。さらに、このタイプのカメラに特有なその他
の情報が表示される。例えば、メモリカード２４は、蓄
積された各イメージの始まりと終わりを示すディレクト
リを通常含んでおり、これが、蓄積されたイメージの数
と、実際に残っているイメージ・スペース（空きスペー
ス）または残っていると予測されるイメージ・スペース
の数のうちのいずれか（または、それら双方）を示すも
のとして表示パネル３０に表示される。
【００１８】ディジタルシグナルプロセッサ２２は、イ
メージバッファ１８に蓄積された各静止ビデオイメージ
を図２に示される補間技術に従って補間する。各ピクセ
ル位置における欠落データ値（ミッシング・データ・バ
リュー：missing data values ）の補間は図２に示され
るシーケンスに従って次のように行われる。まず、「グ
リーン欠落（missing green ）」のピクセル（つまり、
レッド及びブルーのピクセル位置）に対する高周波情報
（high frequency information）、すなわちグリーンの
情報、が補間によって求められ、輝度の表現（レンディ
ション：rendition ）が改善される。次に、色差情報が
高周波位置（すなわちグリーンの位置）において伝統的
なバイリニア方法による補間により求められ、ＣＦＡパ
ターンにおける他のカラーが生成される。図２に示され
る実施例では、水平及び垂直エッジを有するイメージに
対するシステムの性能を最適化するために、輝度部３６
において適応的（アダプティブ）補間技術が用いられ
る。「グリーン欠落」ピクセルは、そのピクセル周辺
の、水平方向及び垂直方向の複数のグリーンピクセル位
置により決定される階調度（勾配：グラディエント:gra
dient ）に基づき、水平方向にも、垂直方向にも、また
２次元方向にも適応的に補間される。
【００１９】このように、補間プロセスの第１のステッ
プは、ブロック４０に示されるように、少なくとも２つ
のイメージ方向、例えば水平方向と垂直方向における階
調値を得ることである。この各方向の階調度は、散在的
に配置されたピクセル位置における輝度値の差を含んで
いる。輝度（グリーン）ピクセルの水平及び垂直階調度
は、続いて評価ブロック４２においてしきい値に対して
評価され、付加的輝度値の補間（内挿）に好適な方向
が、前記２つの方向から選択される。この好適な方向に
一致するように輝度値が選択され、ブロック４４におい
て、しきい値以下の階調（勾配）のいずれかに沿った２
つの輝度（グリーン）ピクセル位置から、欠落位置が平
均化される（２つの方向の階調度が両方とも、選択され
たしきい値以下、あるいは以上である場合は、４つのピ
クセルが平均化される）。すなわち、グリーンが欠落し
た位置の輝度値が、階調がしきい値以下であるような方
向に沿った２つの輝度（グリーン）ピクセルの平均によ
り求められる。次に、各クロミナンス・ピクセル位置に
おいて、補間されたグリーン値を、その位置の実際のカ
ラーピクセルから減算することにより（ブロック４
６）、クロマ部３８において色差が算出される。最後
に、ブロック４８において、２次元バイリニア補間を用
いて各輝度ピクセル位置の色差データが補間により求め
られる。この時点におけるデータは、オリジナルコンポ
ーネント（ＲＧＢ）に再構成してもよいし、または色差
信号として保持しさらに処理を行ってもよい。
【００２０】グリーンデータが欠落したピクセル位置
（レッド及びブルー）に対してグリーンデータを補間す
る場合、水平及び垂直方向のイメージ階調がしきいレベ
ルと比較され、これにより処理をイージデータに適合す
るよう適応的に調節する。さらに、このしきいレベルそ
れ自体が、補間されるイメージの領域をカテゴリー化で
きるよう調節可能である。このように上記補間は、多様
なノイズレベルを有するシステムや異なる変調伝達関数
（ＭＴＦ）を有するセンサに応じて調節することができ
る。
【００２１】これらの階調度評価により決定されるイメ
ージデータの４つのカテゴリーは以下の通りである。
【００２２】Ａ．（水平階調 ＞ しきい値）かつ（垂
直階調 ＞ しきい値）の場合、イメージ領域は、高い
シーンの空間的ディテール（ハイ・シーン・スペイシア
ル・ディテール：high scene spatial detail ）を表
す。すなわち、細々としたディテール部分からなるシー
ンであることを表している。この場合、シーンにおいて
際だった構造（ストラクチャ：structure ）がないた
め、４つのピクセルが平均化される。
【００２３】Ｂ．（水平階調 ≦ しきい値）かつ（垂
直階調 ＞ しきい値）の場合、イメージ領域は、水平
方向が支配的なシーン構造を表す。シーンの輪郭に追従
し、シーンのエッジによって生じる誤差を最小化するた
めに、水平方向に平均化することにより補間が行われ
る。さらに、シーンの輪郭情報が画像“から平均化され
た”ものでないので、画像の鮮明さ（シャープネス）が
最大化される。
【００２４】Ｃ．（水平階調 ＞ しきい値）かつ（垂
直階調 ≦ しきい値）の場合、イメージ領域は、垂直
方向の支配的なシーン構造を表す。シーンの輪郭に追従
し、シーンのエッジにより生じる誤差を最小化するため
に、補間は垂直方向の平均化により行われる。さらに、
シーンの輪郭情報は画像“から平均化された”ものでな
いので、画像の鮮明さが最大化される。
【００２５】Ｄ．（水平階調 ≦ しきい値）かつ（垂
直階調 ≦ しきい値）の場合、イメージ領域には、シ
ーン構造がほとんどない。４つのピクセルが平均化さ
れ、それにより補間されたピクセル位置のノイズレベル
が低減される。このため、画像のフラット・フィールド
領域においていくらかの「ノイズ」低減が行われる。
【００２６】特定のＣＦＡパターンに限定されるわけで
はないが、この補間技術はこれまで、図３に示されるよ
うなＲＧＢバイヤー（Bayer ）・カラーフィルタアレイ
に適用されている。このバイヤーアレイの１つの特徴
は、ＲＧＢが下図に示すような特徴的なバイヤー・ブロ
ック形式で繰り返されることである。
【００２７】
【数１】 すなわち、２つの輝度（グリーン）が常に１つの対角線
上にあり、２つのクロマ（レッドとブルー）が他方の対
角線上にある。補間の目的は各々のピクセル位置に対し
てこれら３色全部を得ることにある。
【００２８】図４（Ａ）〜（Ｄ）には、補間される１つ
のピクセル（丸で囲んである）に関する４つのフェーズ
（点線で囲んだ部分）における特徴的なバイヤー・ブロ
ックが示される。各ピクセルはその行と列における位置
により識別される。各フェーズにおいて、Ｇ（Ｘ，
Ｙ）、Ｒ（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）という表記は、補間
された（丸で囲まれた）ピクセルからの水平方向変位
（Ｘ）及び垂直方向変位（Ｙ）についてイメージセンサ
によって測定した値である。Adap G(X,Y) は、以下のア
ルゴリズムを用いて補間されたグリーン値である。
【００２９】
【数２】 ただしここで、“Threshhold”は「しきい値」を、“Pr
edetermined value ”は「所定値」を表す。
【００３０】このアルゴリズムでは、まず、Gdiff-hor
を、補間されるピクセルの水平方向の近隣ピクセルのグ
リーン値の差（の絶対値）と定義し、Gdiff-ver を同じ
く垂直方向の近隣ピクセルのグリーン値の差（の絶対
値）と定義している。そして、Gdiff-hor 及びGdiff-ve
r が共に所定のしきい値より大きい場合、または共にそ
のしきい値より小さい場合は、Adap G(X,Y) を４つのピ
クセルのグリーン値の平均とする。また、Gdiff-hor が
しきい値より小さく、Gdiff-ver がしきい値より大きい
場合は、Adap G(X,Y) を水平方向のグリーン値の平均と
している。また、Gdiff-hor がしきい値より大きく、Gd
iff-ver がしきい値より小さい場合は、Adap G(X,Y) を
垂直方向のグリーン値の平均としている。
【００３１】図４（Ａ）〜（Ｄ）の４つのフェーズに特
定的に適用される処理アルゴリズムは以下の通りであ
る。
【００３２】
【数３】 以上の複数のフェーズから明らかなように、グリーンデ
ータが欠落しているフェーズ（フェーズ０１及び１０）
において、補間される（丸で囲んだ）ピクセルに対し
て、グリーン（輝度）が適応的に補間される。レッドま
たはブルー（クロミナンス）は、センサからフェーズ０
１及び１０に直接利用可能である。それ以外の場合に
は、レッドとブルー（クロミナンス）は、補間された
（丸で囲んだ）ピクセルの近隣位置から求めた色差（Ｒ
−Ｇ，Ｂ−Ｇ）を参照してバイリニアに補間される。次
いで、この色差は補間された（丸で囲んだ）ピクセルの
輝度と合成され、レッドとブルーが得られる。
【００３３】本発明の補間技術は電子カメラにおいて用
いる場合を説明してきたが、イメージセンサからのカラ
ーデータを処理する他の装置の一部としてこの補間技術
を組み込んでもよい。例えば、イメージセンサからの実
際のデータをメモリカード２４に直接ダウンロードし、
このカード２４をプレーヤー装置に挿入して補間処理を
行ってもよい。この場合、図２に示される補間技術は、
プレーヤー内で行われる。このような「プレーヤー」は
実際にはデスクトップコンピュータでもよく、この場
合、図２の補間技術はコンピュータのプログラムによっ
て行われる。
【００３４】ここでは、好適な実施例を特に参照して本
発明を詳細に説明してきたが、本発明の範囲内で様々な
バリエーションや修正が可能であることを理解された
い。
【００３５】
【発明の効果】以上説明したように、本発明によれば、
カラーフィルタアレイで覆われたイメージセンサの各フ
ォトサイトに対応する各ピクセルの色を補間してフルカ
ラーイメージを生成する際に、カラーエッジにおけるア
ーティファクトの発生を抑え、画像の鮮明度を高めるこ
とができる。また、本発明によれば、このような補間処
理を比較的簡単な演算で行うことができる。
【図面の簡単な説明】
【図１】本発明による補間プロセスを用いた電子スチル
カメラのブロック図である。
【図２】本発明に関連して用いられる補間処理技術のブ
ロック図である。
【図３】カラーフィルタアレイのバイヤー・ジオメトリ
を示す図である。
【図４】補間技術を説明するためのバイヤー・ジオメト
リの４つのフェーズを示す図である。
【符号の説明】
１０ 露光部 １２ イメージセンサ １３ カラーフィルタアレイ（ＣＦＡ） １６ Ａ／Ｄコンバータ １８ イメージバッファ ２０ プロセッサ ２２ ディジタルシグナルプロセッサ ２４ メモリカード ２６ コネクタ ２８ プロセスバッファ ３０ 操作表示器

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 各々が１色のみのカラー値を生成する複
    数のカラーフォトサイトを有するイメージセンサから得
    られるディジタル化されたイメージ信号を処理する装置
    であって、 前記ディジタル化イメージ信号を、フォトサイト位置の
    うちいくつかが輝度値を有しないような輝度及びクロミ
    ナンスの画像的パターンとして蓄積する蓄積手段と、 前記蓄積手段と共に動作し、輝度値が欠落しているフォ
    トサイト位置に対する付加的輝度値を、そのフォトサイ
    ト位置の近隣のフォトサイト位置の輝度値から補間する
    ことにより生成するプロセッサと、 を有し、 さらに、前記プロセッサは、 少なくとも２つのイメージ方向において、輝度値間の差
    から階調値を生成する手段と、 前記階調値を少なくとも１つのしきい値と比較する手段
    と、 前記しきい値との比較に応じて、前記少なくとも２つの
    イメージ方向から、付加的輝度値を補間するための好適
    な方向を選択する手段と、 前記好適な方向に一致するよう選択された輝度値を補間
    して、前記付加的輝度値を求める手段と、 を有することを特徴する装置。
  2. 【請求項２】 請求項１記載の装置において、 前記少なくとも２つのイメージ方向は、水平方向及び垂
    直方向であることを特徴とする装置。
  3. 【請求項３】 請求項１記載の装置において、 前記輝度及びクロミナンスの画像的パターンは、チェッ
    カーボードパターンの輝度値配列の間に散在するクロミ
    ナンス値を含むことを特徴とする装置。
JP14895794A 1993-06-30 1994-06-30 輝度階調を用いたフルカラーイメージ適応的補間装置 Expired - Lifetime JP3753385B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/085,520 US5382976A (en) 1993-06-30 1993-06-30 Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US085520 1993-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004074880A Division JP3816082B2 (ja) 1993-06-30 2004-03-16 輝度勾配を用いたフルカラーイメージ適応的補間装置

Publications (2)

Publication Number Publication Date
JPH0759098A true JPH0759098A (ja) 1995-03-03
JP3753385B2 JP3753385B2 (ja) 2006-03-08

Family

ID=22192163

Family Applications (2)

Application Number Title Priority Date Filing Date
JP14895794A Expired - Lifetime JP3753385B2 (ja) 1993-06-30 1994-06-30 輝度階調を用いたフルカラーイメージ適応的補間装置
JP2004074880A Expired - Lifetime JP3816082B2 (ja) 1993-06-30 2004-03-16 輝度勾配を用いたフルカラーイメージ適応的補間装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004074880A Expired - Lifetime JP3816082B2 (ja) 1993-06-30 2004-03-16 輝度勾配を用いたフルカラーイメージ適応的補間装置

Country Status (3)

Country Link
US (1) US5382976A (ja)
EP (1) EP0632663A2 (ja)
JP (2) JP3753385B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999063761A1 (fr) * 1998-06-01 1999-12-09 Nikon Corporation Processeur d'interpolation et support d'enregistrement pour enregistrer un programme de traitement d'interpolation
US6091862A (en) * 1996-11-26 2000-07-18 Minolta Co., Ltd. Pixel interpolation device and pixel interpolation method
WO2001030087A1 (en) * 1999-10-19 2001-04-26 Matsushita Electric Industrial Co., Ltd. Color image pickup apparatus
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
JP2005269645A (ja) * 2004-03-15 2005-09-29 Microsoft Corp カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間
KR100569747B1 (ko) * 1998-09-29 2006-04-11 인텔 코오퍼레이션 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체
US7057653B1 (en) 1997-06-19 2006-06-06 Minolta Co., Ltd. Apparatus capable of image capturing
KR100712467B1 (ko) * 2000-03-09 2007-04-27 삼성테크윈 주식회사 영상의 색잡음 제거 장치
US7415170B2 (en) 2003-06-18 2008-08-19 Sharp Kabushiki Kaisha Data processing apparatus, image processing apparatus, camera, and data processing method
US8184183B2 (en) 2007-08-10 2012-05-22 Olympus Corporation Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions
WO2016031598A1 (ja) * 2014-08-28 2016-03-03 ソニー株式会社 画像処理装置および方法、並びにプログラム

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3437228B2 (ja) * 1993-11-11 2003-08-18 キヤノン株式会社 情報処理装置および情報処理方法
US5602654A (en) * 1995-01-06 1997-02-11 National Science Council Contour-sensitive, single-field deinterlacing method
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
CA2209993A1 (en) * 1995-11-10 1997-05-15 Techno Media Co., Ltd. Color still image sensing apparatus and method
WO1997024882A2 (en) * 1995-12-27 1997-07-10 Philips Electronics N.V. Chrominance interpolation
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
DE19616440A1 (de) * 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US5821999A (en) * 1996-06-14 1998-10-13 Iterated Systems, Inc. Method and system for fractally interpolating intensity values for a single color component array obtained from a single color sensor
US5901242A (en) * 1996-07-03 1999-05-04 Sri International Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients
JP3707187B2 (ja) * 1996-09-18 2005-10-19 コニカミノルタホールディングス株式会社 電子カメラ
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
KR100216672B1 (ko) * 1996-12-30 1999-09-01 김영환 칼라 필터 어레이 및 그 신호 처리 회로
JP4380805B2 (ja) * 1997-07-15 2009-12-09 エヌエックスピー ビー ヴィ 色サンプルの補間方法、装置及びカメラ
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
US6563538B1 (en) * 1997-09-26 2003-05-13 Nikon Corporation Interpolation device, process and recording medium on which interpolation processing program is recorded
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6130960A (en) * 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US6686961B1 (en) * 1997-11-07 2004-02-03 Minolta Co., Ltd. Image pickup apparatus
US6597394B1 (en) 1997-11-16 2003-07-22 Pictos Technologies, Inc. Programmable image transform processor for digital image processing
US6750876B1 (en) 1997-11-16 2004-06-15 Ess Technology, Inc. Programmable display controller
US6580456B1 (en) 1997-11-16 2003-06-17 Pictos Technologies, Inc. Programmable timing generator
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP2991180B2 (ja) * 1998-01-28 1999-12-20 日本電気株式会社 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体
WO1999039509A1 (en) * 1998-01-29 1999-08-05 Koninklijke Philips Electronics N.V. Color signal interpolation
US6421462B1 (en) * 1998-02-06 2002-07-16 Compaq Computer Corporation Technique for differencing an image
US5990950A (en) * 1998-02-11 1999-11-23 Iterated Systems, Inc. Method and system for color filter array multifactor interpolation
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
US6392699B1 (en) 1998-03-04 2002-05-21 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6097837A (en) * 1998-03-09 2000-08-01 Eastman Kodak Company Method and apparatus for removing temporal lighting variations from an image source
US6356276B1 (en) 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US7453498B2 (en) * 1998-03-26 2008-11-18 Eastman Kodak Company Electronic image capture device and image file format providing raw and processed image data
US6366694B1 (en) * 1998-03-26 2002-04-02 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
US6650366B2 (en) 1998-03-26 2003-11-18 Eastman Kodak Company Digital photography system using direct input to output pixel mapping and resizing
US6567119B1 (en) 1998-03-26 2003-05-20 Eastman Kodak Company Digital imaging system and file format for storage and selective transmission of processed and unprocessed image data
US6366318B1 (en) 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6366692B1 (en) * 1998-03-30 2002-04-02 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space
JP3771054B2 (ja) * 1998-07-01 2006-04-26 株式会社リコー 画像処理装置及び画像処理方法
JP4131052B2 (ja) 1998-07-17 2008-08-13 ソニー株式会社 撮像装置
US6549233B1 (en) * 1998-08-07 2003-04-15 Intel Corporation Color interpolation system
EP0980187A1 (en) * 1998-08-10 2000-02-16 STMicroelectronics S.r.l. Interpolation method for obtaining a digital colour image
JP2002525722A (ja) * 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
WO2000049812A1 (fr) 1999-02-19 2000-08-24 Sony Corporation Dispositif de traitement d'images, procede de traitement d'images, dispositif d'apprentissage, procede d'apprentissage et support enregistre
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
US6650795B1 (en) 1999-08-10 2003-11-18 Hewlett-Packard Development Company, L.P. Color image capturing system with antialiazing
US7133073B1 (en) * 1999-08-19 2006-11-07 Dialog Imaging Systems Gmbh Method and apparatus for color interpolation
US6888568B1 (en) * 1999-08-19 2005-05-03 Dialog Semiconductor Gmbh Method and apparatus for controlling pixel sensor elements
US8310577B1 (en) 1999-08-19 2012-11-13 Youliza, Gehts B.V. Limited Liability Company Method and apparatus for color compensation
US6628330B1 (en) 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6642962B1 (en) 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
GB9925902D0 (en) * 1999-11-03 1999-12-29 Vlsi Vision Ltd Colour image restoration with anti-alias
US6522889B1 (en) * 1999-12-23 2003-02-18 Nokia Corporation Method and apparatus for providing precise location information through a communications network
US6781626B1 (en) 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US7023576B1 (en) * 2000-05-09 2006-04-04 Phase One A/S Method and an apparatus for elimination of color Moiré
JP3706789B2 (ja) * 2000-05-12 2005-10-19 キヤノン株式会社 信号処理装置及び信号処理方法
JP4210021B2 (ja) * 2000-06-21 2009-01-14 富士フイルム株式会社 画像信号処理装置および画像信号処理方法
US6917381B2 (en) * 2000-11-30 2005-07-12 Intel Corporation Color filter array and color interpolation algorithm
US7072508B2 (en) 2001-01-10 2006-07-04 Xerox Corporation Document optimized reconstruction of color filter array images
JP3985679B2 (ja) 2001-01-25 2007-10-03 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
CN1213615C (zh) * 2001-02-06 2005-08-03 皇家菲利浦电子有限公司 用于内插象素的丢失色彩值的方法和设备
JP3862506B2 (ja) * 2001-02-06 2006-12-27 キヤノン株式会社 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US6816197B2 (en) 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
US6819801B2 (en) * 2001-06-19 2004-11-16 Agilent Technologies, Inc. System and method for processing demosaiced images to reduce color aliasing artifacts
US9113846B2 (en) 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US20030117507A1 (en) * 2001-12-21 2003-06-26 Nasser Kehtarnavaz Color filter array interpolation
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
FI115942B (fi) * 2002-10-14 2005-08-15 Nokia Corp Menetelmä kuvien interpoloimiseksi ja terävöittämiseksi
US7866322B2 (en) * 2002-10-15 2011-01-11 Given Imaging Ltd. Device, system and method for transfer of signals to a moving device
US7136541B2 (en) * 2002-10-18 2006-11-14 Sony Corporation Method of performing sub-pixel based edge-directed image interpolation
US7130491B2 (en) * 2003-03-14 2006-10-31 Hewlett-Packard Development Company, L.P. System and method for interpolating a color image
JP4550048B2 (ja) * 2003-05-01 2010-09-22 ギブン イメージング リミテッド パノラマ視野の撮像装置
KR100510532B1 (ko) * 2003-06-10 2005-08-26 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법
JP4882374B2 (ja) * 2003-06-12 2012-02-22 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
US7477803B2 (en) * 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
US20050094899A1 (en) * 2003-10-29 2005-05-05 Changick Kim Adaptive image upscaling method and apparatus
US7440016B2 (en) * 2003-12-22 2008-10-21 Hewlett-Packard Development Company, L.P. Method of processing a digital image
KR20050062709A (ko) * 2003-12-22 2005-06-27 삼성전자주식회사 디지털 이미지 처리 장치 및 그 방법
US8165389B2 (en) * 2004-03-15 2012-04-24 Microsoft Corp. Adaptive interpolation with artifact reduction of images
US7336833B2 (en) * 2004-06-30 2008-02-26 Given Imaging, Ltd. Device, system, and method for reducing image data captured in-vivo
US7548663B2 (en) * 2004-08-19 2009-06-16 Realtek Semiconductor Corp. Intra-field interpolation method and apparatus
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP3926363B2 (ja) * 2004-11-04 2007-06-06 三菱電機株式会社 画素信号処理装置及び画素信号処理方法
TWI249336B (en) * 2004-11-15 2006-02-11 Ind Tech Res Inst Method and apparatus of color filter array demosaicking for digital image acquisition system
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
KR100721338B1 (ko) * 2004-12-30 2007-05-28 엘지전자 주식회사 디지털 촬영장치의 색상 보간법
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
GB2426881B (en) * 2005-06-01 2010-12-29 Snell & Wilcox Ltd Method and apparatus for spatial interpolation of colour images
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
CN1992907B (zh) * 2005-12-28 2010-08-18 华晶科技股份有限公司 画素色彩信息重建方法
CN101047862B (zh) * 2006-03-30 2010-12-08 联阳半导体股份有限公司 用于贝尔滤光片数组影像的彩色补插值法
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP4548390B2 (ja) * 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
DE102006028735B4 (de) * 2006-06-20 2009-04-09 Sci-Worx Gmbh Einrichtung zur Interpolation und Filterung von digitalen Bilddaten
JP5006067B2 (ja) * 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US7612805B2 (en) 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
KR100827240B1 (ko) * 2006-10-02 2008-05-07 삼성전자주식회사 다채널 보간 장치 및 방법
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP5041886B2 (ja) * 2007-06-13 2012-10-03 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
WO2009066770A1 (ja) 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
WO2009098619A2 (en) 2008-02-07 2009-08-13 Nxp B.V. Method and device for reconstructing a color image
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
US20090268088A1 (en) * 2008-04-25 2009-10-29 Hui Zhou Motion adaptive de-interlacer and method for use therewith
US20100104178A1 (en) * 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
US8482636B2 (en) 2010-05-05 2013-07-09 DigitalOptics Corporation Europe Limited Digital zoom on bayer
JP5503497B2 (ja) * 2010-10-26 2014-05-28 パナソニック株式会社 画像信号処理装置、画像信号処理方法およびプログラム
US9344690B2 (en) 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing
DE102014220322B4 (de) * 2014-10-07 2020-02-13 Conti Temic Microelectronic Gmbh Bilderfassungsvorrichtung und Verfahren zum Erfassen eines optischen Bildes
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP6598507B2 (ja) 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US10878533B2 (en) 2016-01-21 2020-12-29 Sony Mobile Communications Inc. Method and device for demosaicing of color images
CN106303474A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种基于g模式色彩滤波阵列的去马赛克方法及装置
JP7081200B2 (ja) * 2018-02-22 2022-06-07 セイコーエプソン株式会社 画像表示装置、及び画像表示装置の制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4630307A (en) * 1984-09-10 1986-12-16 Eastman Kodak Company Signal processing method and apparatus for sampled image signals
JP2619354B2 (ja) * 1985-03-25 1997-06-11 株式会社日立製作所 固体撮像装置
US5032910A (en) * 1989-10-02 1991-07-16 Eastman Kodak Company Mechanism for producing interpolated color values for a sampled color image signal using a linear equation technique
US5040064A (en) * 1989-10-02 1991-08-13 Eastman Kodak Company Method of processing sampled signal valves produced by a color imaging device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091862A (en) * 1996-11-26 2000-07-18 Minolta Co., Ltd. Pixel interpolation device and pixel interpolation method
US7057653B1 (en) 1997-06-19 2006-06-06 Minolta Co., Ltd. Apparatus capable of image capturing
WO1999063761A1 (fr) * 1998-06-01 1999-12-09 Nikon Corporation Processeur d'interpolation et support d'enregistrement pour enregistrer un programme de traitement d'interpolation
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
KR100569747B1 (ko) * 1998-09-29 2006-04-11 인텔 코오퍼레이션 비디오에서의 효과적인 컬러 표현/복구를 위한 새로운 스케일링 방법, 장치 및 머신 판독가능 매체
WO2001030087A1 (en) * 1999-10-19 2001-04-26 Matsushita Electric Industrial Co., Ltd. Color image pickup apparatus
US6967748B1 (en) 1999-10-19 2005-11-22 Matsushita Electric Industrial Co., Ltd. Color image pickup device
KR100712467B1 (ko) * 2000-03-09 2007-04-27 삼성테크윈 주식회사 영상의 색잡음 제거 장치
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US7415170B2 (en) 2003-06-18 2008-08-19 Sharp Kabushiki Kaisha Data processing apparatus, image processing apparatus, camera, and data processing method
JP2005269645A (ja) * 2004-03-15 2005-09-29 Microsoft Corp カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間
US8184183B2 (en) 2007-08-10 2012-05-22 Olympus Corporation Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions
WO2016031598A1 (ja) * 2014-08-28 2016-03-03 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US5382976A (en) 1995-01-17
JP3816082B2 (ja) 2006-08-30
EP0632663A3 (ja) 1995-01-18
JP3753385B2 (ja) 2006-03-08
EP0632663A2 (en) 1995-01-04
JP2004208336A (ja) 2004-07-22

Similar Documents

Publication Publication Date Title
JP3753385B2 (ja) 輝度階調を用いたフルカラーイメージ適応的補間装置
US5373322A (en) Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
EP0732858B1 (en) Adaptive color plane interpolation in single sensor color electronic camera
US6075889A (en) Computing color specification (luminance and chrominance) values for images
US5629734A (en) Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) Adaptive color plane interpolation in single sensor color electronic camera
US5596367A (en) Averaging green values for green photosites in electronic cameras
US6192162B1 (en) Edge enhancing colored digital images
US7170529B2 (en) Image processing
CN101472048B (zh) 图像拾取装置、色噪声降低方法和色噪声降低程序
US6366318B1 (en) CFA correction for CFA images captured at partial resolution
US8073246B2 (en) Modifying color and panchromatic channel CFA image
US6697107B1 (en) Smoothing a digital color image using luminance values
US5808674A (en) Producing and improved digital image from digital signals corresponding to pairs of photosites
US20040201721A1 (en) System and method for concurrently demosaicing and resizing raw data images
US6809765B1 (en) Demosaicing for digital imaging device using perceptually uniform color space
US7181092B2 (en) Imaging apparatus
US6542187B1 (en) Correcting for chrominance interpolation artifacts
JP2002010276A (ja) 撮像装置
JP2001197512A (ja) 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP2002238057A (ja) 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
US6686961B1 (en) Image pickup apparatus
JPH07123421A (ja) 撮像装置
JP4309506B2 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040316

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040322

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term