JP5095860B2 - 分離エッジ強調アーキテクチャ - Google Patents

分離エッジ強調アーキテクチャ Download PDF

Info

Publication number
JP5095860B2
JP5095860B2 JP2011511906A JP2011511906A JP5095860B2 JP 5095860 B2 JP5095860 B2 JP 5095860B2 JP 2011511906 A JP2011511906 A JP 2011511906A JP 2011511906 A JP2011511906 A JP 2011511906A JP 5095860 B2 JP5095860 B2 JP 5095860B2
Authority
JP
Japan
Prior art keywords
video signal
detail
signal
scaled
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011511906A
Other languages
English (en)
Other versions
JP2011521387A (ja
Inventor
サウ、シルピ
バルラム、ニクヒル
ガーグ、サンジャィ
Original Assignee
マーベル ワールド トレード リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マーベル ワールド トレード リミテッド filed Critical マーベル ワールド トレード リミテッド
Publication of JP2011521387A publication Critical patent/JP2011521387A/ja
Application granted granted Critical
Publication of JP5095860B2 publication Critical patent/JP5095860B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Description

(関連出願の相互参照)
本出願は、2008年6月19日に出願された「SPLIT EDGE ENHANCEMENT ARCHITECTURE」と題する米国特許仮出願第61/073,949号(代理人書類番号13298/2622PR)に基づく優先権の恩恵を主張するものである。この仮出願は参照によりその全体が本願に組み入れられる。
本発明の諸態様は、一般的にはビデオ符号化の分野に関し、より詳細には、イメージディテールおよびエッジ強調に関する。
ファインディテール強調(ディテールEE)およびルミナンストランジッションインプルーブメント(LTI)の両方を備えるエッジ強調器を使用して、ビデオ信号のトランジッションを改良することができる。小さなトランジッションに対してディテールEEを、大きなトランジッションに対してLTIを平行して適用すると、エッジ強調器の出力は、オリジナル信号(Yin)、ディテール強調(ΔYdet)およびトランジッションインプルーブメント(ΔLTI)の合計となる。ディテールEEは、アンシャープマスキングの原理を使用し、小さなディテールを強調できるエッジ上のオーバーシュートまたはリンギングを引き起こす。
アップスケーリングは、典型的には、入力ビデオ信号が標準解像度(SD)である場合にはしばしば480iを要し、所望の出力が高解像度(HD)である場合にはたいてい1080iまたは1080pを必要とする。アップスケーリングには、ビデオ信号中に存在し得る、あるいはビデオ信号中に導入され得るアーチファクトまたは欠陥を強調する効果がある。したがって、信号をアップスケールするときには、欠陥を強調し伝播するのではなく、ビデオイメージ中の実際のディテールが強調されていることを確認することが重要となり得る。
信号をアップスケールする場合、強調によって引き起こされたオーバーシュートおよびリンギングがさらなるモスキートノイズにつながり、かつ、イメージ中の浮遊アーチファクトを増やす場合があるので、ディテールEE性能が損なわれ得る。さらに、アップスケーリングは、スケーリングされていないビデオ中のより高い周波数がアップスケールされたビデオ中のより低い周波数に変換されるので、イメージのソフト化およびより詳細なディテールのソフト化につながることが多い。スケーリング後(ポストスケーラ)に効果的なディテールEEを実施するために、スケーリング後にリアルディテールが存在する周波数を強調する新たなフィルタ設計が必要とされ、アップスケーリング率に基づいて変化しなければならないより大きなフィルタにつながる。したがって、ディテールEEは、アップスケール前に実施される場合に一層効果的である。
LTIは、オーバーシューティングまたはリンギングを引き起こすことなく、大きな振幅エッジのトランジッションシャープネスを改良するための非線形アルゴリズムである。しかしながら、LTIは、小さなトランジッションを著しく改良するものではない。LTIは、アーチファクトを生成できる周波数を人為的に導入することができ、かつ、「ジャギー」として知られるエイリアシングまたはピクセレーションを導入することができ、それにより、アップスケールされた信号の周波数スペクトルは、追加された周波数に関する空間を含むので、ポストスケーラが適用されたときに、LTIは最も効果的である。さらに、追加されたアーチファクトおよびジャギーは、強調されたビデオがアップスケールされた後により明らかとなる。したがって、ディテールEEおよびLTIの両方を備えるエッジ強調器がプレスケーラに適用されると、LTI強調が期待通りには作用せず、ポストスケーラに適用されると、ディテールEEが期待通りには作用しない。
本発明の諸実施形態は、入力ビデオ信号中のディテールエッジおよびトランジッションを強調するためのシステムおよび方法を提供する。この方法は、入力ビデオ信号中の複数の小さなディテールを強調することと、強調されたビデオ信号をスケーリングすることと、アップスケーリング後に、複数の大きな振幅トランジッションを強調することとによって達成することができる。ディテールエッジ強調(ディテールEE)を使用して、ファインディテールを強調することができ、ルミナンストランジッションインプルーブメント(LTI)またはクロミナンストランジッションインプルーブメント(CTI)を使用して、大きなトランジッションを強調することができる。ディテール強調と大きなエッジ強調との分離は、ファインディテールを強調し、次いで、その信号をアップスケールし、入力ビデオ信号を別々にアップスケールし、次いで、大きなトランジッションを強調し、次いで、2つの強調され、アップスケールされた信号を結合させることによって達成することができる。信号のファインディテールを強調することは、入力ビデオ信号を、フィルタリングし、信号中に含まれるノイズを低減し、利得することを含むことができる。ディテール強調は、大きなエッジを強調し、それに伴ってモスキートノイズが発生することを防止するために、大きなエッジマップを使用することを含む。大きな振幅トランジッションを強調することは、スケーリングされたビデオ信号の二次微分係数を計算することと、スケーリングされたビデオ信号のピクセルからピクセルカーネルを生成することと、ピクセルカーネル内の最小ピクセル値および最大ピクセル値を決定することと、二次微分係数が正数を有する場合には、最大ピクセル値に向かって、または、二次微分係数が負数を有する場合には、最小ピクセル値に向かって、スケーリングされた信号をバイアスすることと、を含むことができる。このシステムは、かかる方法を実行するために好適な構成要素を含むことができるが、かかる性能に限定することはできない。
本発明は、同様の参照符号が機能的に同様の要素を示すために使用される添付の図面を参照して本明細書に記載される。
トランジッションに対する異なる種類の強調の効果を示す図である。 トランジッションに対する異なる種類の強調の効果を示す図である。 分離エッジ強調アーキテクチャの1つの実施形態の単純化されたブロック図を示す図である。 ファインディテール強調器の1つの実施形態の各構成要素を示す単純化されたブロック図である。 ルミナンストランジッションインプルーブメントモジュールの1つの実施形態の単純化されたブロック図である。 分離エッジ強調アーキテクチャを用いてビデオ信号を強調する方法の1つの実施形態の全体的な動作を示す単純化されたフロー図である。 ディテールエッジ強調器を用いてビデオ信号のファインディテールエッジを強調する方法の1つの実施形態の全体的な動作を示す単純化されたフロー図である。
本発明の目的および利点は、以下の詳細な説明により明らかになるであろう。
分離エッジ強調器は、ファインディテール強調(ディテールEE)とルミナンストランジッションインプルーブメント(LTI)とを分割することができ、それにより、ディテールEEがプレスケーラに生じることができ、LTIがポストスケーラに生じることができる。トランジッションに対するディテールEEの効果が、図1Aに示される。トランジッションを強調するように、ディテールEEによって、オリジナルフィーチャ100を110で強調することができる。この強調は、低い振幅エッジで構成されるファインディテールおよびテクスチャに対しては効果的であるが、かかる強調は大きなトランジッションには望ましくない。トランジッションに対するLTIの効果は、図1Bに示される。トランジッションを強調するように、LTIによって、オリジナルフィーチャ120を130で強調することができる。
図2は、分離エッジ強調アーキテクチャの一実施形態を示す。ビデオ信号Yin200を、ディテールEEモジュール210およびLTIモジュール240の両方を備える分離エッジ強調器250に入力することがきる。まず、ビデオ信号Yin200をディテールEEモジュール210に入力することができる。ディテールEEモジュール210は、ディテール信号ΔYdet202を出力することができるが、このディテール信号ΔYdet202は、ビデオ信号の強調されたファインディテールを表すことができる。次いで、ディテール信号ΔYdet202をディテールスケーラ230においてアップスケールすることができ、ポストスケーラ信号ΔYdet−scl204を出力することができる。ディテールEEモジュール210のもう一方の出力は、Ydet201とすることができる。Ydet201は、調節なしにディテールEEモジュール210を通過する入力ビデオ信号Yin200とすることができ、あるいは、Ydet201は、ファインディテールが強調されたビデオ信号を生成するために、入力ビデオ信号Yin200に加えられるディテール信号ΔYdet202とすることができる。次いで、ビデオスケーラ220を介してYdet201をアップスケールすることができ、次いで、スケーリングされた信号Yscl203をトランジッションインプルーブメントモジュールLTI240に入力することができる。2つのスケーラ220および230はさらに、同一のまたは異なるスケーラフィルタを有し得るフィルタを含むことができる。スケーリングされた信号Yscl203+LTIインプルーブメントΔLTI出力は、LTIモジュール240の出力(Yscl+ΔLTI205)とすることができる。次いで、出力信号Yscl+ΔLTI205を、260において、空間ドメイン中のスケーリングされたディテール強調信号ΔYdet−scl204に加えることができ、それにより、分離エッジ強調器250の最終出力Yee_out206を、エッジ強調およびスケーリングされた信号とすることができる。
図3は、ファインディテール強調器210の一実施形態を示す。ディテール強調器210には、2つの主な構成要素、つまり、ディテール計算器310および大きなエッジマップ320が含まれる。ディテール計算器310は、アンシャープマスキングの原理に基づいて作動する。したがって、入力ビデオ信号Yin200はフィルタを通過する。図示のように、入力ビデオ信号Yin200は、2つの並列のハイパスフィルタ(HPF)311および312を通過することができ、そのうち一方は水平エッジに関し、他方は垂直エッジに関する。代替的には、2D全方向フィルタ、あるいは、モスキートノイズなどのアーチファクトを制限するためのバンドパスフィルタ(BPF)を使用してもよい。さらに、別個の経路をノイズフィルタ313および314で構成することができる。ここで、ノイズフィルタ313または314は、信号振幅からノイズしきい値th1またはth2を差し引くことができる。これらのしきい値は、所与のビデオフィード中のノイズの量に基づいて、プログラム可能とすることができる。しきい値は、プログラム可能なレジスタ内に保存することができ、ユーザによって選択された一定値とすることができる。さらに、ビデオ信号中に含まれるノイズを推定するための既知の方法がいくつかあり、たとえばブロックベースの、平滑化ベースの、あるいは、ウェーブレットベースのノイズ推定を実施して、ビデオ信号中のノイズの量を決定することができる。入力ビデオ信号Yin200に含まれるノイズをビデオ符号化システム内で推定し、プログラム可能なレジスタを介して分離エッジ強調器250に提供して、プログラム可能なノイズしきい値th1およびth2を調節することができる。次いで、その信号にプログラム可能な利得315および316を乗算して、出力信号Yhpf1301およびYhpf2302を生じさせることができる。プログラム可能な利得は、プログラム可能なレジスタ内に保存された一定値とすることができる。次いで、2つの経路Yhpf1301およびYhpf2302の出力を加算器317によって合計し、ファイナルディテール信号Yhpf303を生じさせることができる。
ディテール計算器310によって発生されたディテール信号Yhpf303は、大きな振幅エッジにおいて望ましくないリンギングを含むことがある。大きなトランジッションに対する任意の望ましくない強調を修正するために、ディテールEEモジュール210の第2の部分である大きなエッジマップ320は、1つのエッジマップを使用して、ファインディテールと大きなトランジッションを区別することができる。大きなエッジマップは、大きなエッジをカバーすることができ、典型的には、大きなエッジの近くに広まるモスキートノイズをカバーすることができ、それにより、ディテール信号はそれらの領域では強調されない。大きなエッジマップ320において、ピクセル微分器321は、ビデオ信号イメージ中のピクセルを評価して、大きなエッジまたはトランジッションを識別することができる。大きなエッジに属するものとして識別されたそれらのピクセルを選択して、エッジマップを生成することができる。次いで、モジュール322において、エッジおよび任意の周囲のモスキートノイズがエッジマップによってうまくカバーされることを確認するために、水平および垂直にエッジを拡張させることができる。エッジマップのエッジを拡張させるために、水平および垂直に、識別された大きなエッジを取り囲むさらなるピクセルを、エッジの一部として選択することができる。次いで、得られるエッジマップは、識別されたエッジの一部として、さらなるピクセルを含むことを反映することができる。次いで、モジュール323において、その信号をしきい値化して、マルチビット信号を発生させることができる。マルチビット信号は、0〜16ビット信号とすることができ、それに応じて、マルチビット信号を決定するために使用されるしきい値を最大15とすることができる。これらのしきい値を、プログラム可能なレジスタ内に保存することができる。代替的には、しきい値を、第1のしきい値がベースレベルであり、さらなるしきい値がそれぞれ、そのベースからのステップであるベース/ステップ方法によって決定することができる。大きなエッジマップ320の出力Yhpf−mask304は、エッジマップとすることができる。モジュール330においてディテール信号Yhpf303と結合されると、結果ディテール信号ΔYdet202は、大きなエッジに対する強調なしに、入力ビデオ信号Yin200の利得されたファインディテールとすることができる。図3に示されるように、結果ディテール信号ΔYdet202が入力ビデオ信号Yin200に加えられる場合、信号Ydet201は完全なディテール信号とすることができる。
図2を再び参照すると、ディテールEEモジュール210を通過した後、信号Ydet201を、ビデオスケーラ220においてアップスケールすることができる。スケーリングなしにエッジ強調を実施することが可能であるが、ほとんどのビデオソースが480p、680p、あるいは可能であれば720pとなるにつれて、所望の出力信号が1080pまたは1080iとなる場合に、ビデオ信号をアップスケールすることを必要とすることが多い。前述のように、アップスケーリングは、よりソフトなイメージとより精細なディテールの損失とにつながることが多い。これは、アップスケーリングが、典型的には、エッジの劣化を引き起こし得るローパスフィルタ(LPF)に関連するからである。しかしながら、ディテールEEモジュール210内の詳細な信号のより早い利得を用いると、ディテール信号ΔYdet202の劣化を最小限とすることができる。ファインディテールが315および316によって利得される場合には、ローパスフィルタリングに起因する減衰を制限することができ、そうでない場合に比べて、さらなるファインディテールが持続することができる。さらに、ビデオ信号のリアルディテールは、しばしば、主にバンドパスおよびハイパス周波数周辺に、周波数の良好な拡散を含む。したがって、スケーラ220または230内のLPFは、攪乱されていないディテールフィーチャのほとんどを残して、より高い周波数のうち一部のみを減衰することできる。
アップスケーリング後にルミナンストランジッションインプルーブメント(LTI)を適用して、スケーリングフィルタによって引き起こされ得るイメージの任意のソフト化を緩和することができる。LTIは、水平方向にも垂直方向にも適用することができる。1つの実施形態において、水平方向のインプルーブメントは、図4に示されるように、LTIモジュール240によって達成することができる。スケーリングされた信号Yscl203は、ローパス微分器420を水平方向に通過して、ローパスフィルタリングされた信号の二次微分係数相当値401を生じさせることができる。複数のローパス微分器が当分野で知られており、たとえば、ある微分器は、単純なRC回路で実施することができる。二次微分係数相当値401は、特に、信号をスケーリングおよびフィルタリングした後のファインディテールについては、かなり小さくすることができる。これはさらに、確実に、LTIモジュール240がビデオ信号のファインディテールに顕著には影響を与えないようにするという恩恵を有する。次いで、モジュール410において、対象のピクセルの周辺でカーネルを形成することができ、たとえば、7つのピクセルで構成されるカーネルで十分とすることができる。次いで、カーネル内のピクセルの最大輝度値および最小輝度値を、モジュール450および460においてそれぞれ決定することができる。
二次微分係数相当値401は、符号と大きさの両方を有することができる。モジュール430において、二次微分係数相当値の符号を決定することができる。モジュール430において、二次微分係数相当値401がゼロ未満の場合には、符号が負であり、スケーリングされた信号Yscl203を、モジュール460において決定された最小輝度値に向かってバイアスすることができる。モジュール430において、二次微分係数相当値401がゼロと等しい場合には、バイアスは全く必要とされない。モジュール430において、二次微分係数相当値401がゼロより大きい場合には、符号は正であり、スケーリングされた信号Yscl203を、モジュール450において決定された最大輝度値に向かってバイアスすることができる。
二次微分係数相当値401の大きさを使用して、スケーリングされた信号Yscl203に適用することができるバイアスの量を計算することができる。スケーリングされた信号Yscl203がモジュール470においてバイアスされる量は、プログラム可能な利得値とモジュール440において計算された二次微分係数相当値401の大きさの積として決定することができる。プログラム可能な利得値は、プログラム可能なレジスタに保存された一定値とすることができる。二次微分係数相当値401を使用して信号をバイアスすることにより、エッジ振幅とともに徐々に上昇し得るトランジッションインプルーブメントは、自然に見えるLTI出力を生じさせることできるようになる。LTIモジュール240の出力は、そのモジュールに対する入力、スケーリングされた信号Yscl203+LTIインプルーブメントΔLTI402として、出力信号Yscl+ΔLTI205を生じさせることができる。
図5は、分離エッジ強調アーキテクチャを用いてビデオ信号を強調する方法の1つの実施形態の全体的な動作を示す単純化されたフロー図である。ビデオ信号中のファインディテールエッジの強調とスケーラを用いる大きなトランジッションの強調とを分離することは、固有の、または、導入されたアーチファクトの最小限の強調とともに、エッジ強調を提供することができる。ブロック510において、入力ビデオ信号Yin200のファインディテールを強調することができる。これは、ディテールEEを用いて達成することができる。ブロック520において、ディテール強調された信号をアップスケールすることができる。次いでブロック530において、アップスケールされた信号中の大きなトランジッションを強調することができる。これは、アップスケールされた信号中のルミナンストランジッションを改良するためのLTIを用いて達成することができ、それにより、LTIおよびディテールEE強調されアップスケールされた出力信号Yee_out206が出力される。
図6は、ビデオ信号のファインディテールエッジを強調する方法の1つの実施形態の全体的な動作を示す単純化されたフロー図である。ブロック605において、入力ビデオ信号Yin200のファインディテールを強調することができる。これは、ディテールEEを用いて達成することができる。ディテールエッジ強調ブロック605の動作はさらに、入力ビデオ信号Yin200をフィルタリングできるブロック610、フィルタリングされた信号中のノイズを低減できるブロック615およびノイズが低減された信号に利得を提供できるブロック620を含むことができる。ブロック610において入力ビデオ信号Yin200をフィルタリングすることを、好適なフィルタ、たとえばハイパスフィルタ(HPF)、2D全方向フィルタまたはバンドパスフィルタ(BPF)を用いて実行して、信号中のアーチファクトを制限することができる。ブロック615においてフィルタリングされた信号中のノイズを低減することは、既知のノイズフィルタを用いて、あるいは、フィルタリングされた信号からプログラム可能なノイズしきい値を除去することによって実行することができる。プログラム可能なノイズしきい値は、既知の方法によって、たとえば、信号中のノイズを推定するためのウェーブレットベースの、ブロックベースの、または平滑化ベースの方法によって決定することができる。ブロック620においてフィルタリングされた信号を利得することは、フィルタリングされ、かつ、ノイズが低減された信号にプログラム可能な利得を乗算することによって完了することができる。次いで、エッジ強調ブロック605は、フィルタリングされ、ノイズが低減され、利得された信号Yhpf303を出力することができる。
大きなトランジッションのディテール強調は、望ましくない場合がある。したがって、ブロック625において、ディテールエッジ強調はさらに、ファインディテールと大きなトランジッションとを区別するためにエッジマップを生成することを含む。大きなエッジマップは、大きなエッジをカバーすることができ、典型的には、ディテール信号がそれらの領域内で強調されないように、大きなエッジ近くに広まるモスキートノイズもカバーすることができる。動作ブロック625において大きなエッジマップを生成することは、ブロック630、635および640をさらに含むことができる。ブロック630において、入力ビデオ信号Yin200中のピクセルを評価して、大きなエッジまたはトランジッションを識別することができる。大きなエッジに属するものとして識別されたそれらのピクセルを選択して、エッジマップを生成することができる。ブロック635において、識別されたエッジおよび任意の周囲のモスキートノイズがエッジマップによってうまくカバーされるように、エッジマップ中のエッジを水平および垂直に拡張させることができる。エッジマップのエッジを拡張させるために、水平および垂直に識別されたディテールエッジを取り囲むさらなるピクセルを、エッジの一部として選択してもよい。次いで、得られるエッジマップは、識別されたエッジの一部として、さらなるピクセルを含むことを反映する。次いでブロック640において、その信号をしきい値化して、マルチビット信号を発生させることができる。エッジマップ生成ブロック625の出力は、エッジマップYhpf−mask304とすることができる。ディテール信号Yhpf303とエッジマップYhpf−mask304をブロック645において結合させて、大きなエッジに対する強調なしに、利得されたファインディテールを有することができる結果信号ΔYdet202を出力することができる。
なお、図5および図6の各ブロックの配列は、事象の特定の順序および順番を必ずしも示唆するものでも、その他の可能性を排除することを意図するものでもない。たとえば、610および615において、あるいは、630および635において記載された動作は、互いに実質的に同時に起こってもよい。
上述の諸実施形態を、輝度信号強調に関して主に記載してきが、これらの諸実施形態をクロミナンス信号強調にも適用することができる。
いくつかの実施形態とともに本発明を詳細に上述してきたが、本発明の範囲および主旨の範囲内の変更形態が、当業者には明らかになろう。したがって、本発明は、添付の特許請求の範囲によってのみ限定されるものと解釈されるべきである。

Claims (18)

  1. 受信されたビデオ信号中の複数のファインディテールに、ディテールエッジ強調を適用することによって、前記ビデオ信号中の前記ファインディテールを強調することと、
    前記ビデオ信号中の前記ファインディテールを強調した後に、前記強調されたビデオ信号をスケーリングすることと、
    前記強調されたビデオ信号をスケーリングした後に、トランジッションインプルーブメントを適用することによって、前記スケーリングされたビデオ信号の複数のトランジッションを強調することと、
    を含み、
    前記受信されたビデオ信号の前記ファインディテールを強調することが、
    前記ビデオ信号をフィルタリングすることと、
    前記ビデオ信号中のノイズレベルを低減することと、
    前記ビデオ信号を利得することと、
    複数の大きなエッジを検出することと、
    前記大きなエッジのエッジマップを生成することと、
    前記ビデオ信号を、フィルタリングし、前記ノイズレベルを低減し、利得した後に、前記エッジマップと結合させることと、
    を含む方法。
  2. 受信されたビデオ信号中の複数のファインディテールに、ディテールエッジ強調を適用することによって、前記ビデオ信号中の前記ファインディテールを強調することと、
    前記ビデオ信号中の前記ファインディテールを強調した後に、前記強調されたビデオ信号をスケーリングすることと、
    前記強調されたビデオ信号をスケーリングした後に、トランジッションインプルーブメントを適用することによって、前記スケーリングされたビデオ信号の複数のトランジッションを強調することと、
    を含み、
    前記受信されたビデオ信号の前記ファインディテールを強調することが、
    前記ビデオ信号のファインディテールを強調してディテール信号を生成することと、
    複数の大きなエッジを検出することと、
    前記大きなエッジのエッジマップを生成することと、
    前記ディテール信号を前記エッジマップと結合させることと、
    を含む方法。
  3. 前記トランジッションを強調することが、ルミナンストランジッションインプルーブメント(LTI)またはクロミナンストランジッションインプルーブメント(CTI)を適用することを含む、請求項1または2に記載される方法。
  4. 前記強調されたビデオ信号をスケーリングすることおよび前記トランジッションを強調することが、
    前記スケーリングされ強調された複数のファインディテールを有する前記受信されたビデオ信号を第1の出力として生成するために、第1のスケーラを用いて前記強調されたビデオ信号をスケーリングすることと、
    スケーリングされた前記受信されたビデオ信号を第2の出力として生成するために、第2のスケーラを用いて前記受信されたビデオ信号をスケーリングすることと、
    前記第2の出力の複数のトランジッションを強調することと、
    前記第1の出力を、前記第2の出力の前記強調された複数のトランジッションと結合させることと、をさらに含む請求項1または2に記載される方法。
  5. 前記第1のスケーラが第1のフィルタを備え、前記第2のスケーラが第2のフィルタを備え、前記第1のフィルタおよび前記第2のフィルタが同一または異なるフィルタ係数を有する、請求項に記載される方法。
  6. 前記エッジマップ中の前記大きなエッジを拡張させることをさらに含む請求項1から5のいずれか一項に記載される方法。
  7. 前記ビデオ信号からノイズしきい値を差し引くことによって、前記ノイズレベルが低減される、請求項に記載される方法。
  8. 前記スケーリングされたビデオ信号の前記トランジッションを強調することが、
    前記スケーリングされたビデオ信号の二次微分係数を計算することと、
    前記スケーリングされたビデオ信号中の複数のピクセルからピクセルカーネルを生成することと、
    前記ピクセルカーネル中の前記複数のピクセルの最大輝度値および最小輝度値を決定することと、
    前記二次微分係数が正の値を有する場合には、前記最大輝度値に向かって、または、前記二次微分係数が負の値を有する場合には、前記最小輝度値に向かって、計算された値によって前記スケーリングされたビデオ信号をバイアスすることと、をさらに備え、
    バイアスするために前記計算された値が、利得値と前記二次微分係数の積である、請求項1または2に記載される方法。
  9. 受信されたビデオ信号中の複数のファインディテールに、ディテールエッジ強調を適用することによって、前記ビデオ信号中の前記ファインディテールを強調することと、
    前記ビデオ信号中の前記ファインディテールを強調した後に、前記強調されたビデオ信号をスケーリングすることと、
    前記強調されたビデオ信号をスケーリングした後に、トランジッションインプルーブメントを適用することによって、前記スケーリングされたビデオ信号の複数のトランジッションを強調することと、
    を含み、
    前記スケーリングされたビデオ信号の前記トランジッションを強調することが、
    前記スケーリングされたビデオ信号の二次微分係数を計算することと、
    前記スケーリングされたビデオ信号中の複数のピクセルからピクセルカーネルを生成することと、
    前記ピクセルカーネル中の前記複数のピクセルの最大輝度値および最小輝度値を決定することと、
    前記二次微分係数が正の値を有する場合には、前記最大輝度値に向かって、または、前記二次微分係数が負の値を有する場合には、前記最小輝度値に向かって、計算された値によって前記スケーリングされたビデオ信号をバイアスすることと、をさらに備え、
    バイアスするために前記計算された値が、利得値と前記二次微分係数の積である、方法。
  10. ビデオ信号を受信し、前記受信されたビデオ信号中の複数のファインディテールエッジを強調するディテールエッジ強調器と、
    ディテール強調された前記ビデオ信号をスケーリングする第1のスケーラと、
    前記スケーリングされたビデオ信号中の複数のトランジッションにトランジッションインプルーブメントを適用するトランジッション強調器と、
    を備え
    前記ディテールエッジ強調器が、第1の利得を有し、さらに、
    第1のフィルタ、および、
    第1のノイズ低減器を備え、
    前記第1のフィルタ、前記第1のノイズ低減器および前記第1の利得が、前記受信されたビデオ信号の前記ファインディテールを水平に強調して、水平出力信号を生成し、
    前記第1のノイズ低減器が、前記受信されたビデオ信号のノイズレベルからノイズしきい値を差し引き、
    前記ディテールエッジ強調器が、第2の利得をさらに有し、さらに、
    第2のフィルタ、
    第2のノイズ低減器、および、
    第1の加算器を備え、
    前記第2のフィルタ、前記第2のノイズ低減器および前記第2の利得が、前記受信されたビデオ信号の前記ファインディテールを垂直に強調して、垂直出力信号を生成し、前記第1の加算器が、前記水平出力信号と前記垂直出力信号を結合させ、
    前記ディテールエッジ強調器が、
    ピクセル微分器と、
    拡張器と、
    しきい値発生器と、
    第2の加算器と、をさらに備え、
    前記ピクセル微分器、前記拡張器および前記しきい値発生器が、前記受信されたビデオ信号のエッジマップを生成し、前記第2の加算器が、前記水平出力信号と前記垂直出力信号とを結合させた出力信号を前記エッジマップと結合させる、システム。
  11. ビデオ信号を受信し、前記受信されたビデオ信号中の複数のファインディテールエッジを強調するディテールエッジ強調器と、
    ディテール強調された前記ビデオ信号をスケーリングする第1のスケーラと、
    前記スケーリングされたビデオ信号中の複数のトランジッションにトランジッションインプルーブメントを適用するトランジッション強調器と、
    を備え、
    前記ディテールエッジ強調器が、
    前記受信されたビデオ信号のファインディテールを強調してディテール信号を生成するディテール計算器と、
    前記受信されたビデオ信号から複数の大きなエッジを検出して前記大きなエッジのエッジマップを生成するエッジマップ生成部と、
    前記ディテール信号を前記エッジマップと結合させる加算器とを有する、システム。
  12. 前記トランジッションインプルーブメントが、ルミナンストランジッションインプルーブメント(LTI)またはクロミナンストランジッションインプルーブメント(CTI)を含む、請求項10または11に記載されるシステム。
  13. 前記トランジッション強調器が、水平にも垂直にも、前記スケーリングされたビデオ信号に適用される、請求項10から12のいずれか一項に記載されるシステム。
  14. 第1のフィルタを有する第1のスケーラと、
    第2のフィルタを有する第2のスケーラと、をさらに備え、
    前記第1のスケーラを前記ディテール強調されたビデオ信号に適用して、第1のスケーリングされた信号を生成し、前記第2のスケーラを前記受信されたビデオ信号に適用して、第2のスケーリングされた信号を生成し、前記トランジッション強調器を前記第2のスケーリングされた信号に適用して、トランジッション強調された信号を生成し、前記第1のスケーリングされた信号を前記トランジッション強調された信号と結合させて出力信号を生成する、請求項10から13のいずれか一項に記載されるシステム。
  15. 前記第1のスケーラが有する前記第1のフィルタおよび前記第2のスケーラが有する前記第2のフィルタが、同一または異なるフィルタ係数を有する、請求項14に記載されるシステム。
  16. 前記ディテールエッジ強調器が有する前記第1のフィルタおよび前記ディテールエッジ強調器が有する前記第2のフィルタが、ハイパスフィルタおよびバンドパスフィルタからなる群から選択される、請求項10に記載されるシステム。
  17. 前記トランジッション強調器が、
    微分器と、
    バイアス器と、
    乗算器と、をさらに備え、
    前記微分器が、前記スケーリングされたビデオ信号の二次微分係数を生成し、前記乗算器が、前記二次微分係数と利得値を結合させるバイアス値を生成し、前記バイアス器が、前記バイアス値を使用して前記スケーリングされた入力信号を調節する、請求項10から16のいずれか一項に記載されるシステム
  18. ビデオ信号を受信し、前記受信されたビデオ信号中の複数のファインディテールエッジを強調するディテールエッジ強調器と、
    ディテール強調された前記ビデオ信号をスケーリングする第1のスケーラと、
    前記スケーリングされたビデオ信号中の複数のトランジッションにトランジッションインプルーブメントを適用するトランジッション強調器と、
    を備え、
    前記トランジッション強調器が、
    微分器と、
    バイアス器と、
    乗算器と、をさらに備え、
    前記微分器が、前記スケーリングされたビデオ信号の二次微分係数を生成し、前記乗算器が、前記二次微分係数と利得値を結合させるバイアス値を生成し、前記バイアス器が、前記バイアス値を使用して前記スケーリングされた入力信号を調節する、システム。
JP2011511906A 2008-06-19 2009-06-02 分離エッジ強調アーキテクチャ Expired - Fee Related JP5095860B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7394908P 2008-06-19 2008-06-19
US61/073,949 2008-06-19
PCT/US2009/045993 WO2009155130A1 (en) 2008-06-19 2009-06-02 Split edge enhancement architecture

Publications (2)

Publication Number Publication Date
JP2011521387A JP2011521387A (ja) 2011-07-21
JP5095860B2 true JP5095860B2 (ja) 2012-12-12

Family

ID=40872825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011511906A Expired - Fee Related JP5095860B2 (ja) 2008-06-19 2009-06-02 分離エッジ強調アーキテクチャ

Country Status (5)

Country Link
US (2) US8264615B2 (ja)
JP (1) JP5095860B2 (ja)
KR (1) KR101587196B1 (ja)
CN (1) CN102067171B (ja)
WO (1) WO2009155130A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741097B2 (en) 2015-01-22 2017-08-22 Samsung Display Co., Ltd. Image processing device

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184203B1 (en) * 2009-07-07 2012-05-22 The Yves Faroudja Project Video enhancement with separate and distinct methods of enhancement for single transitions and double transitions of opposite polarity
JP5743918B2 (ja) * 2012-01-31 2015-07-01 株式会社東芝 画像処理装置
US20140029866A1 (en) * 2012-07-26 2014-01-30 Himax Media Solutions, Inc. Image enhancement system and method
US8805114B2 (en) * 2012-11-27 2014-08-12 Texas Instruments Incorporated Content adaptive edge and detail enhancement for image and video processing
EP2976877B1 (en) * 2013-03-22 2020-01-08 Synaptics Incorporated Guided filter-based detail enhancement
US20150095789A1 (en) * 2013-09-30 2015-04-02 Elwha Llc User interface to residence related information center associated with communication and control system and method for wireless electric vehicle electrical energy transfer
CN104657941B (zh) * 2013-11-25 2017-08-15 炬芯(珠海)科技有限公司 一种图像边缘自适应增强方法及装置
KR102144060B1 (ko) 2013-11-25 2020-08-14 삼성디스플레이 주식회사 표시장치 및 그의 구동회로
KR20150100998A (ko) 2014-02-24 2015-09-03 삼성디스플레이 주식회사 영상처리장치 및 영상처리방법
CN105791635B (zh) * 2016-03-14 2018-09-18 传线网络科技(上海)有限公司 基于gpu的视频增强去噪方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246827B1 (en) * 1990-08-17 2001-06-12 Samsung Electronics Co., Ltd. Deemphasis and subsequent reemphasis of high-energy reversed-spectrum components of a folded video signal
DE69321438T2 (de) * 1992-11-17 1999-05-12 Koninklijke Philips Electronics N.V., Eindhoven Anzeigevorrichtung mit Modulation der Abtastgeschwindigkeit
JP3348368B2 (ja) * 1996-04-12 2002-11-20 ソニー株式会社 ビデオカメラおよび輪郭強調装置
JP4053185B2 (ja) * 1999-06-22 2008-02-27 富士フイルム株式会社 画像処理方法および装置
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP3619785B2 (ja) * 2001-03-21 2005-02-16 三洋電機株式会社 テレビジョン受信装置
US6717622B2 (en) * 2001-03-30 2004-04-06 Koninklijke Philips Electronics N.V. System and method for scalable resolution enhancement of a video image
JP2003016442A (ja) * 2001-07-03 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4472237B2 (ja) * 2002-07-29 2010-06-02 株式会社リコー 画像形成装置および複写機
JP2004112728A (ja) * 2002-09-20 2004-04-08 Ricoh Co Ltd 画像処理装置
JP2004172815A (ja) * 2002-11-19 2004-06-17 Matsushita Electric Ind Co Ltd 映像信号処理装置
US7271851B2 (en) * 2003-01-16 2007-09-18 Samsung Electronics Co., Ltd. Adaptive color transient improvement
US7079687B2 (en) * 2003-03-06 2006-07-18 Seiko Epson Corporation Method and apparatus for segmentation of compound documents
JP4539027B2 (ja) * 2003-05-12 2010-09-08 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
ATE386522T1 (de) 2003-07-23 2008-03-15 Nycomed Gmbh Alkalisalze von protonenpumpen-hemmern
FI20045201A7 (fi) * 2004-05-31 2005-12-01 Nokia Corp Menetelmä ja järjestelmä kuvien katsomiseksi ja parantamiseksi
KR100648308B1 (ko) * 2004-08-12 2006-11-23 삼성전자주식회사 해상도 변환방법 및 장치
JP4526405B2 (ja) * 2005-02-04 2010-08-18 シャープ株式会社 テレビ画像処理装置
TWI288890B (en) * 2005-04-01 2007-10-21 Realtek Semiconductor Corp Method and apparatus for pixel interpolation
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
US8115840B2 (en) * 2005-11-10 2012-02-14 DigitalOptics Corporation International Image enhancement in the mosaic domain
CN100517374C (zh) * 2005-12-29 2009-07-22 佳能株式会社 从复杂背景文档图像提取文本的装置、方法
KR100771867B1 (ko) * 2006-02-27 2007-11-01 삼성전자주식회사 색 신호의 천이 특성을 향상시키는 영상 신호 처리 방법 및영상 신호 처리 장치
US7738044B2 (en) * 2006-03-15 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting a chrominance signal
JP2007295224A (ja) * 2006-04-25 2007-11-08 Sharp Corp 映像処理装置
US7643010B2 (en) * 2007-01-03 2010-01-05 Apple Inc. Peripheral pixel noise reduction
US8260087B2 (en) * 2007-01-22 2012-09-04 Sharp Laboratories Of America, Inc. Image upsampling technique
US8081847B2 (en) * 2007-12-31 2011-12-20 Brandenburgische Technische Universitaet Cottbus Method for up-scaling an input image and an up-scaling system
US8208745B2 (en) * 2008-01-31 2012-06-26 Analog Devices, Inc. Spatial domain video enhancement/scaling system and method
US20090220169A1 (en) * 2008-02-28 2009-09-03 Microsoft Corporation Image enhancement

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741097B2 (en) 2015-01-22 2017-08-22 Samsung Display Co., Ltd. Image processing device

Also Published As

Publication number Publication date
JP2011521387A (ja) 2011-07-21
CN102067171B (zh) 2013-02-13
US8879002B2 (en) 2014-11-04
KR20110031162A (ko) 2011-03-24
US8264615B2 (en) 2012-09-11
CN102067171A (zh) 2011-05-18
KR101587196B1 (ko) 2016-01-20
US20090316050A1 (en) 2009-12-24
US20130002959A1 (en) 2013-01-03
WO2009155130A1 (en) 2009-12-23

Similar Documents

Publication Publication Date Title
JP5095860B2 (ja) 分離エッジ強調アーキテクチャ
JP5979856B2 (ja) イメージにじみ検出器
US9031321B2 (en) Content adaptive edge and detail enhancement for image and video processing
JP4681655B2 (ja) ビデオ鮮鋭度強調のための選択的な局所遷移改善及びピーキング
US8351725B2 (en) Image sharpening technique
US8260087B2 (en) Image upsampling technique
US7110044B2 (en) Image detail enhancement system
CN101276464A (zh) 图像处理装置及方法
JPWO2011033619A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
US7139036B2 (en) Method and apparatus for image detail enhancement using filter bank
Song et al. Hardware-efficient debanding and visual enhancement filter for inverse tone mapped high dynamic range images and videos
EP3438923B1 (en) Image processing apparatus and image processing method
CN101123682A (zh) 可减少图像振铃噪声的方法、装置及集成电路
JP4663349B2 (ja) スクリーン周波数を推定する方法及び装置
JP2003520507A (ja) Sdからhdtvへの変換を向上するための方法及び装置
JP6242157B2 (ja) 画像処理装置及び画像処理方法、プログラム
CN102460561B (zh) 基于farrow结构的内容自适应缩放器
Thakur et al. On the way towards efficient enhancement of multi-channel underwater images
KR20170133909A (ko) 전자 장치 및 그의 제어 방법
Lukac et al. A new image sharpening approach for single‐sensor digital cameras
CN120471797A (zh) 低频噪声处理方法与装置
JP2005198219A (ja) ドキュメントのデジタルスクリーニング解除のためのハーフトーン・スクリーンの周波数と大きさの推定
JP2008271085A (ja) 映像スケーリング装置
CN103218620A (zh) 一种基于皮肤分割的电视图像增强方法及其系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120919

R150 Certificate of patent or registration of utility model

Ref document number: 5095860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180608

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees