JPH11262031A - カラー像信号の処理システム - Google Patents

カラー像信号の処理システム

Info

Publication number
JPH11262031A
JPH11262031A JP10019424A JP1942498A JPH11262031A JP H11262031 A JPH11262031 A JP H11262031A JP 10019424 A JP10019424 A JP 10019424A JP 1942498 A JP1942498 A JP 1942498A JP H11262031 A JPH11262031 A JP H11262031A
Authority
JP
Japan
Prior art keywords
signal
format
color
chrominance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10019424A
Other languages
English (en)
Inventor
Yuji Ito
裕二 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Priority to JP10019424A priority Critical patent/JPH11262031A/ja
Publication of JPH11262031A publication Critical patent/JPH11262031A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 カラー像信号の処理において、エッジ部のぼ
けの様なアーティファクトを減らす。 【解決手段】 本発明のカラー像信号処理システムは、
カラー信号を第1のフォーマット信号に符号化するカラ
ー符号器2と、第1のフォーマット信号を第2のフォー
マット信号に変換するサブサンプラー3と、第2のフォ
ーマット信号を第1のフォーマット信号に再変換するリ
サンプラー7と、再変換された第1のフォーマット信号
をカラー信号に復号するカラー復号器8とを含む。リサ
ンプラー7は、輝度信号を使用してクロミナンス信号を
リサンプルするプロセスを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カラー像の信号の
処理に関し、特に、復号されたカラー像のフォーマット
のコンバート技術に関する。
【0002】
【従来の技術及びその課題】JPEGやMPEGの様な
像/ビデオ符号化規格は、像フォーマットとして、4:
2:0フォーマットを用いている。JPEGでは4:
1:1フォーマットと呼ばれているが、これは基本的に
は4:2:0フォーマットと同一である。こういう仕様
によって符号化する前、オリジナル・シーケンスのクロ
ミナンス信号が、水平及び垂直の両方向に2の倍数だけ
サブサンプリングされる。クロミナンス信号の視覚的な
感度が一層低いことを活用して、それらをサブサンプリ
ングすることができ、それが入力データ速度をもとの半
分まで減少するのに大いに助けになる。
【0003】一旦符号器でサブサンプリングが適用され
ると、一種の逆操作、即ちリサンプリングが復号器で必
要であり、出力像の表示及びそのハードコピーを作る為
には特に必要である。例えば4:2:0フォーマットを
取上げると、復号されたクロミナンス信号を両方向に2
の倍数でリサンプルしなければならない。しかし、サブ
サンプリングもリサンプリングも仕様外であり、従っ
て、強固なリサンプリング・アルゴリズムが求められて
いる。
【0004】従来の方法では、リサンプリング・アルゴ
リズムを特徴付ける補間関数を像全体に無差別に適用し
ている。最も広く使われている補間関数は、最隣接、バ
イ・リニヤ、sinc及びキュービック・スプラインで
ある。ディジタル信号処理の観点から、最後の1つを除
くこれらのフィルタはFIRフィルタとして構成するこ
とができ、キュービック・スプラインはIIRフィルタ
として構成される。しかしながら、その従来の方法は、
選ばれた関数がいかに複雑であるかに関係なく、しかも
その結果得られる像はエーリヤシング、縁(エッジ)の
ぼけ及びその他のアーティファクトに悩む場合が多い。
【0005】
【課題を達成するための手段及び作用】本発明において
は、カラー像符号化のための新規なクロミナンス・リサ
ンプリング・アルゴリズムが使用される。この方式で
は、クロミナンス信号をリサンプルするために、対象
(オブジェクト)の構造を示す輝度信号を使用する。
【0006】上述のリサンプリングの間のアーティファ
クトを避ける為又は細部を保存する為、適応型アルゴリ
ズムが導入されている。一般的に、像のリサンプリング
用の適応型アルゴリズムは、像をダイナミックに均質領
域にセグメント分割し、その後、均質領域内で何らかの
補間を適用することに基づいている。こうする為、各々
の領域に於ける特定の補間関数を調整する事ができる様
に、入力像の局部的な構造を解析する必要がある。補間
関数に適応性を発揮させる多数の方式がある。その例
は、ブロック形歪みモデル、縁形歪みモデル及び統計的
な解析に基づく指向性感度である。
【0007】4:2:0から4:4:4へのディジタル
像の変換は、この様なリサンプリング方式の一例であ
る。しかし、この場合、目標像の構造、即ちもとの寸法
の像の構造を教えてくれる非常に役立つ情報を利用する
ことができる。これは、符号化プロセスの間いつでも利
用し得る輝度信号である。これは、輝度信号から、適応
性を発揮する情報を導き出すことができることを意味す
る。各々のカラー成分は殆ど相関性がない様にされてい
るので、輝度信号の画素値自体はこの為の情報を持って
いない。しかし、輝度信号は構造情報を伝えるものであ
り、それが像を均質領域にセグメント分割する助けにな
る。本発明におけるこのプロセスの一例は、輝度信号の
2進化に基づく。これに関連して云うと、ここでは2進
指数を導入する。各々の輝度画素は、閾値を使って、低
レベル又は高レベルに分類される。その後、こう云う2
進指数を参照して、クロミナンス平面に対して適応型リ
サンプリングを作用させる。シミュレーション結果は、
本発明における方式が、従来技術の線形リサンプリング
方法と比較して有効であることを示している。
【0008】本発明のカラー像信号の処理システムは、
カラー信号を第1のフォーマット信号に符号化するカラ
ー符号器と、前記第1のフォーマット信号を第2のフォ
ーマット信号に変換するサブサンプラーと、前記第2の
フォーマット信号を第1のフォーマット信号に再変換す
るリサンプラーであって、輝度信号を使用してクロミナ
ンス信号をリサンプルする前記リサンプラーと、前記再
変換された第1のフォーマット信号をカラー信号に復号
するカラー復号器とを含む。
【0009】
【実施例】本発明の一実施例を図面を参照して説明す
る。図1は、本発明の一実施例に係るカラー像信号処理
システムの全体ブロック図で、各々のプロセスに於ける
データ・フォーマットが記入されている。この図は、リ
サンプリングプロセスを行うリサンプラー7がビデオ/
像復号器6及びカラー復号器8の間に配置することを示
している。4:4:4及び4:2:0のいずれもYUV
カラー空間の像フォーマットを表わす。
【0010】本実施例のカラー像信号処理システムは、
カラー信号を第1のフォーマット信号に符号化するカラ
ー符号器2と、第1のフォーマット信号を第2のフォー
マット信号に変換するサブサンプラー3と、第2のフォ
ーマット信号を第1のフォーマット信号に再変換するリ
サンプラー7と、再変換された第1のフォーマット信号
をカラー信号に復号するカラー復号器8とを含む。リサ
ンプラー7は、輝度信号を使用してクロミナンス信号を
リサンプルするプロセスを含む。
【0011】4:4:4及び4:2:0のフォーマット
の間の関係を図2に示す。この図は像の寸法の比だけを
取上げており、この比はブロックレベルにも映像レベル
にも適用し得る。U及びV成分は夫々Cb及びCrとも
表される。ブロック・レベルのプロセスに於けるこの新
規なアルゴリズムの図式的な例を図3に示す。その方式
は2つのサブプロセス、即ち、指数の取得と適応型リサ
ンプリングで構成される。この方式では、4×4クロミ
ナンス・ブロックが、対応する8×8輝度ブロックを参
照して8×8ブロックに補間される。
【0012】指数の取得プロセスは、細部を含む領域を
一対のサンプル・モーメントによって上手く表わすこと
ができる様にするブロック切捨て符号化(BTC)に似
ている。計算の複雑さを減らす為、このサブプロセス
は、ブロック毎に1回行なわなければならないが、この
ブロックはフィルタのマスク又は窓の寸法より大きくす
べきである。一例として、指数の取得が、8×8輝度ブ
ロックを単位として実施される。これは、4×4クロミ
ナンス・サンプルが8×8ブロックに補間されることを
意味する。各々のブロックで、閾値を最初に決定する。
ここでは、画素を2つのポピュレーションに分類するの
に適切でなければならない1つの閾値だけを用いる。こ
れは、縁に占有された領域の廻りの雑音を抑圧する助け
にもなる。或る種の雑音によって幾分崩れた理想的な階
段形の縁を仮定する。この様な大きなブロック内の閾値
を求めることにより、より小さなブロック内の閾値を探
す場合よりも、画素を一層適切に且つ容易に2つの別々
のポピュレーションに分類することができる。又、8×
8ブロックを用いる別の理由は、JPEGもMPEG−
1/−2もこの寸法のブロックを採用していることであ
る。閾値には幾つかの候補がある。即ち、平均、中央
値、モード又はダイナミック・レンジの中央であるが、
ダイナミック・レンジの中央が閾値として好ましい。そ
れは、他のものよりも一般的にポピュレーションの区別
が一層よくつくからである。max及びminを夫々ブ
ロック内の最大値及び最小値として閾値τを以下の様に
定義する。
【0013】
【数1】τ=(max+min+1)/2 次に、輝度画素値ν(i)が閾値より大きいか大きくな
いかに応じて2進指数λ(i)を求める。
【0014】
【数2】 表1及び表2に、テストイメージ“Lenna”(4:
4:4フォーマットで512×480ペル)から得た輝
度成分とクロミナンス成分の各々の画素値及び2進指数
を示す。括弧内数値が指数を表わす。
【0015】
【表1】
【0016】
【表2】
【0017】上の表は、輝度及びクロミナンス成分が2
進指数の形ではコヒーレントであることを示している。
この場合、クロミナンスの2進指数がどの座標でも輝度
の2進指数の逆数であることが認められる。この結果
は、局部的な構造は両方の成分に共通であろうという仮
説と一致する。この性質を相互クロミナンス・コヒーレ
ンスと名付ける。しかし、上に述べた様な純粋なコヒー
レンスが必ずしも得られると保証されてはいない。しか
し、通常は85%又はそれ以上確実である。
【0018】クロミナンス成分は、符号器に於ける或る
予備処理を通じてサブサンプリングされる。図4は4:
2:0フォーマットに於ける輝度及びクロミナンスのペ
ルの位置を示し、×が輝度の、○がクロミナンスのペル
位置を示す。実際には、このサンプリング・パターン
は、MPEG及びH.26xの様な現存の規格によって
広く使われている。図5は、図4のサンプリング・パタ
ーンを仮定して、4:2:0像を簡単に4:4:4像に
変換することのできる様にするサンプルホールドを示
す。一つのクロミナンスサンプルが周りの四つのペルに
コピーされる。本発明においては、処理の最初の段階で
このサンプルホールドを用いる。
【0019】表2のクロミナンス信号に線形サブサンプ
リング・フィルタを適用することにより、4×4ブロッ
クが表3に示す様に得られる。その後、その4×4ブロ
ックは表4に示す様なサンプルホールドによってリサン
プリングすることができる。以下の実験では自乗誤差
(SE)を歪みの目安として用いる。基準信号は表2に
示されているものである。
【0020】
【表3】
【0021】
【表4】
【0022】フラット領域では、補間関数の選択は出力
の品質に重大な影響を持たない。即ち、このような相関
性の強い区域では、任意の補間(interpolation )、補
外(extrapolation )または画素の写し(replication
)でも上手く作用する。これに対して対象の境界及び
生地の様な細部では、縁のぼけの様なアーティファクト
を避ける様に、補間関数を注意深く選ばなければならな
い。この点では、リサンプリング方式は、フラット領域
よりも細部で集中する必要がある。
【0023】最初に、クロミナンス・データ自体から縁
の場所を推定する場合を考える。これは、輝度成分に対
する仕事と非常に似ている。この分野では多数の研究が
ある。いくつかの方式は、単純な最隣接から、線形、s
inc、像モデルに基づいたスプライン(spline)まで
の範囲の補間関数を使っている。或る意味で、これらは
全て、成分内に基づく方式を取上げる同じ範疇にある。
しかし、本発明においては、成分間モデルに基づく新規
なリサンプリング方式を使用する。この方式は、全ての
カラー成分は必然的に現実の世界に於ける同じ個体又は
対象を表わすと云う事実から導き出すことができる。
4:4:4フォーマットのもとの像では、輝度で見た縁
の場所はクロミナンス・プレーンに於ける同じ縁と一致
しなければならない。これが正しいと仮定すると、リサ
ンプリング・プロセスを用いて、像を4:2:0から
4:4:4に変換する時、輝度がクロミナンス・サンプ
ルを補間する助けになり得る。
【0024】xおよびyを夫々入力及び出力とすると、
相互クロミナンス・リサンプリング・アルゴリズムは次
の様に書き表わすことができる。
【0025】
【数3】 ここでnは出力を出すのに必要な入力サンプルの数を表
わす。nの値は使われるフィルタ・マスクに関係する。
適切なフィルタ・マスク又は窓を定めることにより、上
の式を次の様に書き直すことができる。
【0026】
【数4】 フィルタ・マスクの一例を、図6に示す。図6の例のフ
ィルタ・マスクを使うと、本発明に係る方式は数式5の
様に調整することができる。これに対して同じマスクを
用いる線形リサンプリングは数式6の様に表わすことが
できる。
【0027】
【数5】
【0028】
【数6】 ここで、表4に示すサブサンプリングされたクロミナン
ス信号から補間されたリサンプリング信号が得られる。
表5は線形の場合を示し、表6は本発明における場合を
示す。自乗誤差の点で、この例では、線形方法よりも1
1.2%((412−343)/617)だけ優れてい
る。
【0029】
【表5】
【0030】
【表6】
【0031】本発明の方式はリサンプリングに使われる
フィルタ・マスクに左右されない。即ち、3×3及び5
×5の様な十字形及び四角マスクでも垂直フィルタでも
効果がある。何よりも重要なのは、相互クロミナンス・
コヒーレンスに基づいて、この内の任意のフィルタを均
質領域に適用することである。量子化誤差が復号された
像に影響すると予想される。従って、対象の構造を保存
する位に、量子化パラメータを低く設定する必要があ
る。この条件は、大抵の像/ビテオ符号化規格を実際に
使うことによって満すことができる。JPEGでは1
5:1まで、そしてMPEG−1及びMPEG−2の両
方に対しては40:1までの圧縮比で、知覚的には無損
失の再生を達成することができる。
【0032】本発明においては、4:2:0から4:
2:2へ、並びに4:2:2から4:4:4へと云う様
に、クロミナンス成分をリサンプリングしなければなら
ない任意のフォーマットにも用いることができる。しか
し、サンプルのフォーマットの違いを吸収する為に、何
らかの調節が必要である。使った指数は別の形式、即ち
3値またはそれ以上にし得る。
【0033】表7に512×480ペルのテストイメー
ジ“Lenna”を用いたシュミレーション結果を示
す。映像レベルで、従来の線形方式はサンプルホールド
よりも自乗誤差(SE)が一層大きくなるが、本発明に
係る方式ではより減少する。線形方式は、髪の様な高精
細部をスミアリングする傾向がある。本発明の方式によ
る細部の保存は、相互クロミナンス・コヒーレンスの利
点を利用しているといえる。
【0034】
【表7】
【0035】視覚的な品質の点での改良は、静止映像の
場合、特にハードコピーを使う時、顕著に認めることが
できる。本発明を一実施例に関し説明したが、本説明は
これに限定されるものではない。
【0036】
【発明の効果】カラー像のフォーマットをコンバートす
る際にも、高精細部を適確に保存できる。
【図面の簡単な説明】
【図1】本発明の一実施例に係るシステムのブロック
図。
【図2】4:4:4フォーマットと4:2:0フォーマ
ットの関係を説明する図。
【図3】本発明におけるブロックレベルでのリサンプリ
ングを説明する図。
【図4】4:2:0フォーマットにおける輝度及びクロ
ミナンスのペルの位置を示す図。
【図5】図4のサンプリングパターンに対するサンプル
ホールドを示す図。
【図6】フィルタ・マスクの一例を示す図。
【符号の説明】
1 ソース 2 カラー符号器 3 サブサンプラー 4 ビデオ/像符号器 5 転送及び/又は保持部 6 ビデオ/像復号器 7 リサンプラー 8 カラー復号器 9 表示装置

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 カラー信号を第1のフォーマット信号に
    符号化するカラー符号器と、 前記第1のフォーマット信号を第2のフォーマット信号
    に変換するサブサンプラーと、 前記第2のフォーマット信号を第1のフォーマット信号
    に再変換するリサンプラーであって、輝度信号を使用し
    てクロミナンス信号をリサンプルする前記リサンプラー
    と、 前記再変換された第1のフォーマット信号をカラー信号
    に復号するカラー復号器と、 を含むカラー像信号の処理システム。
JP10019424A 1998-01-30 1998-01-30 カラー像信号の処理システム Pending JPH11262031A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10019424A JPH11262031A (ja) 1998-01-30 1998-01-30 カラー像信号の処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10019424A JPH11262031A (ja) 1998-01-30 1998-01-30 カラー像信号の処理システム

Publications (1)

Publication Number Publication Date
JPH11262031A true JPH11262031A (ja) 1999-09-24

Family

ID=11998899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10019424A Pending JPH11262031A (ja) 1998-01-30 1998-01-30 カラー像信号の処理システム

Country Status (1)

Country Link
JP (1) JPH11262031A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007532999A (ja) * 2004-04-09 2007-11-15 クレアボワイヤント,インコーポレーテッド 高輝度サブピクセルレイアウトのための改良されたサブピクセルレンダリングフィルタ
US7697065B2 (en) 2008-03-26 2010-04-13 Kabushiki Kaisha Toshiba Pixel conversion device and pixel conversion method
KR101390096B1 (ko) * 2008-02-18 2014-04-28 엘지전자 주식회사 영상신호 변환장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007532999A (ja) * 2004-04-09 2007-11-15 クレアボワイヤント,インコーポレーテッド 高輝度サブピクセルレイアウトのための改良されたサブピクセルレンダリングフィルタ
KR101390096B1 (ko) * 2008-02-18 2014-04-28 엘지전자 주식회사 영상신호 변환장치
US7697065B2 (en) 2008-03-26 2010-04-13 Kabushiki Kaisha Toshiba Pixel conversion device and pixel conversion method

Similar Documents

Publication Publication Date Title
JP2656897B2 (ja) 画像データの圧縮および復元装置
JP5149310B2 (ja) クロマ・サンプル位置決め情報のシグナリングおよび使用
EP0947954B1 (en) Image transformations in the compressed domain
TW392131B (en) Universal MPEG decoder with scalable picture size
Wu et al. Low bit-rate image compression via adaptive down-sampling and constrained least squares upconversion
US7619687B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
US7760209B2 (en) Video format conversion using 3D graphics pipeline of a GPU
WO1998019462A1 (fr) Codeur d'images et decodeur d'images
JP2007067917A (ja) 画像データ処理装置
KR19980018134A (ko) 비디오 영상 데이타 전송 방법 및 장치
JPH0746628A (ja) 画像信号符号化装置及び画像信号復号化装置
CN114788280A (zh) 视频的编解码方法与装置
US7720311B1 (en) Memory and compute efficient block-based two-dimensional sample-rate converter for image/video applications
CN102572207B (zh) 一种适于jpeg图像的颜色空间转换方法
JP2005295510A (ja) 解像度変換方法及び装置
JP2005531943A (ja) デジタル画像における色にじみアーティファクトの低減方法
US7158178B1 (en) Method of converting a sub-sampled color image
CN120476599A (zh) 编解码方法、解码器、编码器、码流及存储介质
TW417403B (en) System for deriving a decoded reduced-resolution video signal from a coded high-definiton video signal
Ward A general approach to backwards-compatible delivery of high dynamic range images and video
US8428355B2 (en) Image file processing method
CN101753780A (zh) 一种基于基色提取分割压缩的彩色图像压缩方法
CN104581186B (zh) 一种图像压缩中对帧内移动矢量进行编码和解码的方法
CN107534779B (zh) 一种图像采样方法及装置
JPH0468772A (ja) 画像データ復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603