JP3663777B2 - 色信号補間方法 - Google Patents
色信号補間方法 Download PDFInfo
- Publication number
- JP3663777B2 JP3663777B2 JP26151296A JP26151296A JP3663777B2 JP 3663777 B2 JP3663777 B2 JP 3663777B2 JP 26151296 A JP26151296 A JP 26151296A JP 26151296 A JP26151296 A JP 26151296A JP 3663777 B2 JP3663777 B2 JP 3663777B2
- Authority
- JP
- Japan
- Prior art keywords
- color signal
- signal
- color
- value
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの欠落した色信号を補間する、色信号補間方法に関するものである。
【０００２】
【従来の技術】
従来、特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの撮像出力において、色フィルタに対応しない画素の欠落した特定の色信号を色フィルタに対応した特定の色信号で補間する場合、画素の欠落した特定の色信号を中心に隣接する複数の色フィルタに対応した特定の色信号の信号量を単純に平均化して色フィルタに対応しない画素の欠落した特定の色信号を補間している。
【０００３】
以下、図面を参照しながら、上述したような従来の画素の信号補間方法について説明を行う。
【０００４】
図５は、従来の信号補間方法を示すためのフィルタ配置の概念図である。図５においてＲ，Ｇ，Ｂはそれぞれ赤、緑、青の色フィルタを示す。また、図６は、図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図である。
【０００５】
図６において、６０はＧの色信号が欠落した箇所Ａ、６１〜６４は、前記６０のＧの色信号が欠落した箇所Ａの上、下、左、右にそれぞれ位置するＧの色信号が存在する箇所（以下Ｇ信号と記す）、６５はＧの色信号が欠落した箇所Ｂである。
【０００６】
図７（ａ）、（ｂ）、（ｃ）は２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示している。
【０００７】
図７において、図７（ａ）は撮像した信号量を数値で表現した原図、図７（ｂ）はＧの位置の色信号量を２次元状に配置した状態を示す。図内のすべての数値は信号量を概念的に表現したものである。図６において６０のＧの色信号が欠落した箇所Ａを補間するには周囲の６１、６２、６３、６４のＧ信号が存在する箇所の信号量の平均値をとり、６０のＧの色信号として補間している。図７（ｃ）は従来の補間方法で補間後の信号量を２次元状に配置した状態を示す。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の補間方法では図７（ａ）の原図に対する補間後図７（ｃ）の信号量の忠実度が低いため、２次元イメージセンサーによる撮像信号出力を映像信号として用いる場合において、解像度が低く、色あるいは輝度の変化点で偽信号が発生しやすくなるという欠点を有していた。
【０００９】
本発明は、上記従来の問題点を改善するもので、２次元イメージセンサーの撮像出力を、高解像度で偽信号の発生を抑制した信号に加工する補間方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するために、本発明の信号補間方法は、画素の欠落した特定の色信号を中心に、その上下及び左右に色フィルタに対応した特定の色信号が存在するとき、上下の色信号量の差を算出する演算部と、左右の色信号量の差を算出する演算部と、各演算部によって算出された２つの色信号量の差を比較する比較部を構成として備え、比較した色信号量の差の大小関係に従って、上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間するものである。
【００１１】
また、さらに、ある一定の基準値を設定する設定部（コアリング値設定部）を構成として備え、この一定の基準値（コアリング値）と、各演算部によって算出された２つの色信号量の差を比較し、その大小関係に従って平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により特定の色信号を補間するものである。
【００１２】
この構成により、２次元イメージセンサーから水平あるいは垂直方向に急峻な信号変化があるような撮像出力がある場合に、急峻な信号変化を検知し、補間に必要な信号を選別して補間信号を生成するため、映像信号の解像感を高め、偽信号の発生を抑制し、高画質の映像信号を提供することができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
図１は本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。図１において、１〜４は、図６に示した６１〜６４のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、５は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、６は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、７は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、８は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）、９は、７の上下減算部からの出力と８の左右減算部からの出力を比較し、大小を判別する比較器、１０は、９の比較器の出力をもとに、７の上下減算部からの出力が８の左右減算部からの出力より小さい場合は５の上下加算部の出力を選択し、８の左右減算部からの出力が７の上下減算部からの出力より小さい場合は６の左右加算部の出力を選択するスイッチ部、１１は、１０のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、１２は、信号出力部、１３は、５の上下加算部の出力と６の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、１４は、１３の周辺加算部の出力を１／２にする演算部（以下、割算部と記す）である。
【００１５】
図３は、本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。図３において、図３（ａ）はＲ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図３（ｂ）はＧの位置の色信号量を２次元状に配置した状態、図３（ｃ）は本発明の第１の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００１６】
以上のように構成された本発明の第１の実施の形態の信号補間方法について、以下、その動作を説明する。
【００１７】
図３（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図３（ｂ）のようになる。ここで図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００１８】
まず、上段値入力部１には図６の６１のＧ信号に相当する０、下段値入力部２には図６の６２のＧ信号に相当する６、左段値入力部３には図６の６３のＧ信号に相当する８、右段値入力部４には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、５の上下加算部の出力値は０＋６＝６となり、６の左右加算部の出力値は８＋８＝１６となり、７の上下減算部の出力値は０−６の絶対値＝６となり、８の左右減算部の出力値は８−８の絶対値＝０となる。
【００１９】
そこで、９の比較器は、７の上下減算部の出力値の６と８の左右減算部の出力値の０を比較し、８の左右減算部の出力値の方が７の上下減算部より小さいと判断する。つぎに、１０のスイッチ部は９の比較器の情報をもとに６の左右加算部の出力値を選択する。すなわち１１の平均化部には６の左右加算部の出力値８＋８＝１６が入力される。１１の平均化部の出力値は１６／２＝８となり、１２の信号出力部からは８が出力され、図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分８が補間される。
【００２０】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、７の上下減算部の出力値と８の左右減算部の出力値がともに４であるため、１１の平均化部には１４の割り算部の出力が選択される。１３の周辺加算部の出力は６＋２＋４＋０＝１２であり、１４の割算部の出力は１２／２＝６となる。１１の平均化部の出力値は６／２＝３となり１２の信号出力部からは３が出力され、図６の６５の位置に相当する図３（ｂ）の箇所にはＧの信号成分３が補間される。
【００２１】
このようにして図３（ｂ）のＧ信号が欠落した部分を補間していくと、図３（ｃ）のようになる。図３（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して、図３（ａ）の原図により忠実であることがわかる。
【００２２】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００２３】
また、画素の欠落した色信号を中心に、その右上と左下、及び左上と右下に色フィルタの特定の色信号が存在するとき、右上と左下の色信号量の差と、左上と右下の色信号量の差を比較し、その大小関係に従って前記右上、左下、左上、及び右下の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間してもよい。
【００２４】
以上のように、本発明の第１の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向のみの信号成分を使って信号補間を行うため、従来の補間による輪郭の偽信号を抑えることができる。
【００２５】
図２は、本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。
【００２６】
図２において、１５〜１８は、図６に示した６１のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、１９は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、２０は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、２１は、１９の上下加算部の出力と２０の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、２２は、２１の周辺加算部の出力を１／２にする演算部、２３は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、２４は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）を示し、基本的には図１と同じ構成である。
【００２７】
２５はコアリング値、２６は、２３の上下減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ａと記す）、２７は、２４の左右減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ｂと記す）、２８は、２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択するスイッチ部、２９は、２８のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、３０は信号出力部である。
【００２８】
図４は、本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。
【００２９】
図４において、図４（ａ）は、Ｒ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図４（ｂ）は、Ｇの位置の色信号量を２次元状に配置した状態、図４（ｃ）は、本発明の第２の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００３０】
以上のように構成された本発明の実施の形態の信号補間方法について、以下、その動作を説明する。
【００３１】
図４（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図４（ｂ）のようになる。ここで図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００３２】
まず、上段値入力部１５には図６の６１のＧ信号に相当する０、下段値入力部１６には図６の６２のＧ信号に相当する６、左段値入力部１７には図６の６３のＧ信号に相当する８、右段値入力部１８には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、１９の上下加算部の出力値は０＋６＝６となり、２０の左右加算部の出力値は８＋８＝１６となり、２１の周辺加算部の出力値は６＋１６＝２２となる。したがって、２２の割算部の出力値は２２／２＝１１となる。つぎに、２３の上下減算部の出力値は０−６の絶対値＝６となり、２４の左右減算部の出力値は８−８の絶対値＝０となる。ここで、２５のコアリング値を４とする。
【００３３】
２６の比較器Ａは、２３の上下減算部の出力値の６と２５のコアリング値の４を比較し、２３の上下減算部の出力値が２５のコアリング値より大きいと判断する。２７の比較器Ｂは、２４の左右減算部の出力値の０と２５のコアリング値の４を比較し、２４の左右減算部の出力値が２５のコアリング値より小さいと判断する。つぎに、２８のスイッチ部は２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択することから、２６の比較器Ａと２７の比較器Ｂの情報をもとに２０の左右加算部の出力値を選択する。すなわち２９の平均化部には２０の左右加算部の出力値８＋８＝１６が入力される。２９の平均化部の出力値は１６／２＝８となり３０の信号出力部からは８が出力され、図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分８が補間される。
【００３４】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、２３の上下減算部の出力値と２４の左右減算部の出力値がともに４であるため２９の平均化部には２２の割算部の出力が選択される。２１の周辺加算部の出力は６＋２＋４＋０＝１２であり、２２の割り算部の出力は１２／２＝６となる。２９の平均化部の出力値は６／２＝３となり３０の信号出力部からは３が出力され、図６の６５の位置に相当する図４（ｂ）の箇所にはＧの信号成分３が補間される。
【００３５】
このようにして図４（ｂ）のＧ信号が欠落した部分を補間していくと、図４（ｃ）のようになる。図４（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して図４（ａ）の原図により忠実であることがわかる。
【００３６】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００３７】
以上のように、本発明の第２の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向の信号成分を使って信号補間を行うため、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる。
【００３８】
【発明の効果】
本発明は、画素の欠落した特定の色信号を中心にその上下及び左右に特定の色信号が存在するとき、上下の色信号量の差と、左右の色信号量の差を比較し、その大小関係に従って上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により前記色フィルタに対応しない画素の欠落した特定の色信号を補間することによって、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる優れた信号補間を実現する方法である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図２】本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図３】本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図４】本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図５】従来の信号補間方法を示すためのフィルタ配置の概念図
【図６】図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図
【図７】２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示す図
【符号の説明】
１、１５ 上段値入力部
２、１６ 下段値入力部
３、１７ 左段値入力部
４、１８ 右段値入力部
５、１９ 上下加算部
６、２０ 左右加算部
７、２３ 上下減算部
８、２４ 左右減算部
９ 比較器
１０、２８ スイッチ部
１１、２９ 平均化部
１２、３０ 信号出力部
１３、２１ 周辺加算部
１４、２２ 割算部
２５ コアリング値
２６ 比較器Ａ
２７ 比較器Ｂ
６０ Ｇの色信号が欠落した箇所Ａ
６１、６２、６３、６４ Ｇ信号
６５ Ｇの色信号が欠落した箇所Ｂ
【発明の属する技術分野】
本発明は特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの欠落した色信号を補間する、色信号補間方法に関するものである。
【０００２】
【従来の技術】
従来、特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの撮像出力において、色フィルタに対応しない画素の欠落した特定の色信号を色フィルタに対応した特定の色信号で補間する場合、画素の欠落した特定の色信号を中心に隣接する複数の色フィルタに対応した特定の色信号の信号量を単純に平均化して色フィルタに対応しない画素の欠落した特定の色信号を補間している。
【０００３】
以下、図面を参照しながら、上述したような従来の画素の信号補間方法について説明を行う。
【０００４】
図５は、従来の信号補間方法を示すためのフィルタ配置の概念図である。図５においてＲ，Ｇ，Ｂはそれぞれ赤、緑、青の色フィルタを示す。また、図６は、図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図である。
【０００５】
図６において、６０はＧの色信号が欠落した箇所Ａ、６１〜６４は、前記６０のＧの色信号が欠落した箇所Ａの上、下、左、右にそれぞれ位置するＧの色信号が存在する箇所（以下Ｇ信号と記す）、６５はＧの色信号が欠落した箇所Ｂである。
【０００６】
図７（ａ）、（ｂ）、（ｃ）は２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示している。
【０００７】
図７において、図７（ａ）は撮像した信号量を数値で表現した原図、図７（ｂ）はＧの位置の色信号量を２次元状に配置した状態を示す。図内のすべての数値は信号量を概念的に表現したものである。図６において６０のＧの色信号が欠落した箇所Ａを補間するには周囲の６１、６２、６３、６４のＧ信号が存在する箇所の信号量の平均値をとり、６０のＧの色信号として補間している。図７（ｃ）は従来の補間方法で補間後の信号量を２次元状に配置した状態を示す。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の補間方法では図７（ａ）の原図に対する補間後図７（ｃ）の信号量の忠実度が低いため、２次元イメージセンサーによる撮像信号出力を映像信号として用いる場合において、解像度が低く、色あるいは輝度の変化点で偽信号が発生しやすくなるという欠点を有していた。
【０００９】
本発明は、上記従来の問題点を改善するもので、２次元イメージセンサーの撮像出力を、高解像度で偽信号の発生を抑制した信号に加工する補間方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するために、本発明の信号補間方法は、画素の欠落した特定の色信号を中心に、その上下及び左右に色フィルタに対応した特定の色信号が存在するとき、上下の色信号量の差を算出する演算部と、左右の色信号量の差を算出する演算部と、各演算部によって算出された２つの色信号量の差を比較する比較部を構成として備え、比較した色信号量の差の大小関係に従って、上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間するものである。
【００１１】
また、さらに、ある一定の基準値を設定する設定部（コアリング値設定部）を構成として備え、この一定の基準値（コアリング値）と、各演算部によって算出された２つの色信号量の差を比較し、その大小関係に従って平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により特定の色信号を補間するものである。
【００１２】
この構成により、２次元イメージセンサーから水平あるいは垂直方向に急峻な信号変化があるような撮像出力がある場合に、急峻な信号変化を検知し、補間に必要な信号を選別して補間信号を生成するため、映像信号の解像感を高め、偽信号の発生を抑制し、高画質の映像信号を提供することができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
図１は本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。図１において、１〜４は、図６に示した６１〜６４のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、５は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、６は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、７は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、８は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）、９は、７の上下減算部からの出力と８の左右減算部からの出力を比較し、大小を判別する比較器、１０は、９の比較器の出力をもとに、７の上下減算部からの出力が８の左右減算部からの出力より小さい場合は５の上下加算部の出力を選択し、８の左右減算部からの出力が７の上下減算部からの出力より小さい場合は６の左右加算部の出力を選択するスイッチ部、１１は、１０のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、１２は、信号出力部、１３は、５の上下加算部の出力と６の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、１４は、１３の周辺加算部の出力を１／２にする演算部（以下、割算部と記す）である。
【００１５】
図３は、本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。図３において、図３（ａ）はＲ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図３（ｂ）はＧの位置の色信号量を２次元状に配置した状態、図３（ｃ）は本発明の第１の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００１６】
以上のように構成された本発明の第１の実施の形態の信号補間方法について、以下、その動作を説明する。
【００１７】
図３（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図３（ｂ）のようになる。ここで図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００１８】
まず、上段値入力部１には図６の６１のＧ信号に相当する０、下段値入力部２には図６の６２のＧ信号に相当する６、左段値入力部３には図６の６３のＧ信号に相当する８、右段値入力部４には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、５の上下加算部の出力値は０＋６＝６となり、６の左右加算部の出力値は８＋８＝１６となり、７の上下減算部の出力値は０−６の絶対値＝６となり、８の左右減算部の出力値は８−８の絶対値＝０となる。
【００１９】
そこで、９の比較器は、７の上下減算部の出力値の６と８の左右減算部の出力値の０を比較し、８の左右減算部の出力値の方が７の上下減算部より小さいと判断する。つぎに、１０のスイッチ部は９の比較器の情報をもとに６の左右加算部の出力値を選択する。すなわち１１の平均化部には６の左右加算部の出力値８＋８＝１６が入力される。１１の平均化部の出力値は１６／２＝８となり、１２の信号出力部からは８が出力され、図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分８が補間される。
【００２０】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、７の上下減算部の出力値と８の左右減算部の出力値がともに４であるため、１１の平均化部には１４の割り算部の出力が選択される。１３の周辺加算部の出力は６＋２＋４＋０＝１２であり、１４の割算部の出力は１２／２＝６となる。１１の平均化部の出力値は６／２＝３となり１２の信号出力部からは３が出力され、図６の６５の位置に相当する図３（ｂ）の箇所にはＧの信号成分３が補間される。
【００２１】
このようにして図３（ｂ）のＧ信号が欠落した部分を補間していくと、図３（ｃ）のようになる。図３（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して、図３（ａ）の原図により忠実であることがわかる。
【００２２】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００２３】
また、画素の欠落した色信号を中心に、その右上と左下、及び左上と右下に色フィルタの特定の色信号が存在するとき、右上と左下の色信号量の差と、左上と右下の色信号量の差を比較し、その大小関係に従って前記右上、左下、左上、及び右下の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間してもよい。
【００２４】
以上のように、本発明の第１の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向のみの信号成分を使って信号補間を行うため、従来の補間による輪郭の偽信号を抑えることができる。
【００２５】
図２は、本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。
【００２６】
図２において、１５〜１８は、図６に示した６１のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、１９は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、２０は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、２１は、１９の上下加算部の出力と２０の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、２２は、２１の周辺加算部の出力を１／２にする演算部、２３は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、２４は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）を示し、基本的には図１と同じ構成である。
【００２７】
２５はコアリング値、２６は、２３の上下減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ａと記す）、２７は、２４の左右減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ｂと記す）、２８は、２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択するスイッチ部、２９は、２８のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、３０は信号出力部である。
【００２８】
図４は、本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。
【００２９】
図４において、図４（ａ）は、Ｒ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図４（ｂ）は、Ｇの位置の色信号量を２次元状に配置した状態、図４（ｃ）は、本発明の第２の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００３０】
以上のように構成された本発明の実施の形態の信号補間方法について、以下、その動作を説明する。
【００３１】
図４（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図４（ｂ）のようになる。ここで図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００３２】
まず、上段値入力部１５には図６の６１のＧ信号に相当する０、下段値入力部１６には図６の６２のＧ信号に相当する６、左段値入力部１７には図６の６３のＧ信号に相当する８、右段値入力部１８には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、１９の上下加算部の出力値は０＋６＝６となり、２０の左右加算部の出力値は８＋８＝１６となり、２１の周辺加算部の出力値は６＋１６＝２２となる。したがって、２２の割算部の出力値は２２／２＝１１となる。つぎに、２３の上下減算部の出力値は０−６の絶対値＝６となり、２４の左右減算部の出力値は８−８の絶対値＝０となる。ここで、２５のコアリング値を４とする。
【００３３】
２６の比較器Ａは、２３の上下減算部の出力値の６と２５のコアリング値の４を比較し、２３の上下減算部の出力値が２５のコアリング値より大きいと判断する。２７の比較器Ｂは、２４の左右減算部の出力値の０と２５のコアリング値の４を比較し、２４の左右減算部の出力値が２５のコアリング値より小さいと判断する。つぎに、２８のスイッチ部は２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択することから、２６の比較器Ａと２７の比較器Ｂの情報をもとに２０の左右加算部の出力値を選択する。すなわち２９の平均化部には２０の左右加算部の出力値８＋８＝１６が入力される。２９の平均化部の出力値は１６／２＝８となり３０の信号出力部からは８が出力され、図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分８が補間される。
【００３４】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、２３の上下減算部の出力値と２４の左右減算部の出力値がともに４であるため２９の平均化部には２２の割算部の出力が選択される。２１の周辺加算部の出力は６＋２＋４＋０＝１２であり、２２の割り算部の出力は１２／２＝６となる。２９の平均化部の出力値は６／２＝３となり３０の信号出力部からは３が出力され、図６の６５の位置に相当する図４（ｂ）の箇所にはＧの信号成分３が補間される。
【００３５】
このようにして図４（ｂ）のＧ信号が欠落した部分を補間していくと、図４（ｃ）のようになる。図４（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して図４（ａ）の原図により忠実であることがわかる。
【００３６】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００３７】
以上のように、本発明の第２の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向の信号成分を使って信号補間を行うため、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる。
【００３８】
【発明の効果】
本発明は、画素の欠落した特定の色信号を中心にその上下及び左右に特定の色信号が存在するとき、上下の色信号量の差と、左右の色信号量の差を比較し、その大小関係に従って上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により前記色フィルタに対応しない画素の欠落した特定の色信号を補間することによって、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる優れた信号補間を実現する方法である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図２】本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図３】本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図４】本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図５】従来の信号補間方法を示すためのフィルタ配置の概念図
【図６】図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図
【図７】２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示す図
【符号の説明】
１、１５ 上段値入力部
２、１６ 下段値入力部
３、１７ 左段値入力部
４、１８ 右段値入力部
５、１９ 上下加算部
６、２０ 左右加算部
７、２３ 上下減算部
８、２４ 左右減算部
９ 比較器
１０、２８ スイッチ部
１１、２９ 平均化部
１２、３０ 信号出力部
１３、２１ 周辺加算部
１４、２２ 割算部
２５ コアリング値
２６ 比較器Ａ
２７ 比較器Ｂ
６０ Ｇの色信号が欠落した箇所Ａ
６１、６２、６３、６４ Ｇ信号
６５ Ｇの色信号が欠落した箇所Ｂ
Claims (3)
- 特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの撮像出力の前記色フィルタに対応しない画素の欠落した特定の色信号を前記色フィルタに対応した特定の色信号で補間する色信号補間方法において、
前記２次元イメージセンサーの撮像出力をフィルタ配置にしたがって２次元状に配列させた場合において、前記画素の欠落した特定の色信号を中心にその上下及び左右に前記色フィルタに対応した特定の色信号が存在するとき、
前記上下の色信号量の第１の差と前記左右の色信号量の第２の差をとり、前記第１の差、及び第２の差とある一定の基準値（コアリング値）をそれぞれ比較し、その大小関係に従って前記上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、前記第１の差、及び、前記第２の差がともにコアリング値よりも小さい場合には、上下、及び左右の４つの色信号量を選択し、前記選択された色信号量から求めた平均値により前記色フィルタに対応しない画素の欠落した特定の色信号を補間する色信号補間方法。 - コアリング値より上下の色信号量の第１の差が小さく、コアリング値より左右の色信号量の第２の差が大きい場合、上下の色信号量を平均化して色フィルタに対応しない画素の欠落した特定の色信号を補間する請求項１記載の色信号補間方法。
- コアリング値より上下の色信号量の第１の差が大きく、コアリング値より左右の色信号量の第２の差が小さい場合、左右の色信号量を平均化して色フィルタに対応しない画素の欠落した特定の色信号を補間する請求項１記載の色信号補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26151296A JP3663777B2 (ja) | 1996-10-02 | 1996-10-02 | 色信号補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26151296A JP3663777B2 (ja) | 1996-10-02 | 1996-10-02 | 色信号補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10108209A JPH10108209A (ja) | 1998-04-24 |
| JP3663777B2 true JP3663777B2 (ja) | 2005-06-22 |
Family
ID=17362941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26151296A Expired - Fee Related JP3663777B2 (ja) | 1996-10-02 | 1996-10-02 | 色信号補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3663777B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1171462C (zh) * | 1998-05-08 | 2004-10-13 | 松下电器产业株式会社 | 固体彩色摄像装置 |
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| JP4292625B2 (ja) * | 1998-06-01 | 2009-07-08 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| US6774943B1 (en) | 1998-09-01 | 2004-08-10 | Ess Technology, Inc. | Method and apparatus for edge enhancement in digital images |
| US6888568B1 (en) | 1999-08-19 | 2005-05-03 | Dialog Semiconductor Gmbh | Method and apparatus for controlling pixel sensor elements |
| WO2001013649A1 (en) * | 1999-08-19 | 2001-02-22 | Ymedia Corporation | Method and apparatus for color interpolation |
| US7133073B1 (en) * | 1999-08-19 | 2006-11-07 | Dialog Imaging Systems Gmbh | Method and apparatus for color interpolation |
| JP3458080B2 (ja) * | 1999-10-19 | 2003-10-20 | 松下電器産業株式会社 | カラー撮像装置 |
| JP3905708B2 (ja) | 2001-01-26 | 2007-04-18 | ペンタックス株式会社 | 画像補間装置 |
| JP3965460B2 (ja) | 2002-06-14 | 2007-08-29 | 有限会社ビーテック | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 |
-
1996
- 1996-10-02 JP JP26151296A patent/JP3663777B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10108209A (ja) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| KR100574185B1 (ko) | 컬러 샘플 보간방법 및 보간장치 | |
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| CA1222049A (en) | Motion detecting circuit utilizing inter-frame difference signals of successive fields | |
| KR100699831B1 (ko) | 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기 | |
| KR100780932B1 (ko) | 컬러 보간 방법 및 장치 | |
| JP3663777B2 (ja) | 色信号補間方法 | |
| KR20090050460A (ko) | 이미지 처리 장치 및 방법 | |
| KR100729559B1 (ko) | 색상 신호 보간 | |
| KR101133520B1 (ko) | 색 노이즈 제거 방법 및 장치 | |
| JP5868046B2 (ja) | 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体 | |
| KR100667803B1 (ko) | 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| KR20060127629A (ko) | 비월 주사 방식의 ｃｍｙｇ 컬러 포맷의 컬러 보간 방법 및그 장치 | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| JP3965460B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
| JP2000165892A (ja) | 画素補間方法および画像処理装置 | |
| KR100637272B1 (ko) | 채널 간 상관관계를 고려한 색상 보간방법 | |
| KR100741517B1 (ko) | 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 | |
| JPH08163583A (ja) | ３次元輝度信号色信号分離装置 | |
| JP5109911B2 (ja) | 撮像装置および補間処理方法 | |
| JPH11205808A (ja) | 信号処理装置およびその処理方法 | |
| JP2507129B2 (ja) | 補間フィルタ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110408 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120408 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |