JPH11243543A - 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置 - Google Patents

低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置

Info

Publication number
JPH11243543A
JPH11243543A JP10326801A JP32680198A JPH11243543A JP H11243543 A JPH11243543 A JP H11243543A JP 10326801 A JP10326801 A JP 10326801A JP 32680198 A JP32680198 A JP 32680198A JP H11243543 A JPH11243543 A JP H11243543A
Authority
JP
Japan
Prior art keywords
video data
image
frame
decoded
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10326801A
Other languages
English (en)
Inventor
Larry Pearlstin
ラリー パールステイン
John Henderson
ジョン ヘンダーソン
Jack Farrar
ジャック ファーラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPH11243543A publication Critical patent/JPH11243543A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 低解像度ビデオ・デコーダによって生成され
た画像の画質を向上させ、低解像度画像を発生する新規
かつ改善されたビデオ処理装置を得る。 【解決手段】 ビデオ・フレームを表わす変換符号化デ
ータ・ビデオ・データを受信して処理するための逆ディ
スクリートコサイン変換回路と、前記逆ディスクリート
コサイン変換回路に接続されてビデオ・フレームを表わ
すデータを分析し一定の強度を有する少なくとも一つの
フレーム内の領域を検出するための定常画像領域検出回
路と、前記定常画像領域検出回路に接続されて復号基準
フレーム及び前記定常画像領域検出回路によるデータ出
力の関数として動き補償予測演算を行なうための動き補
償予測モジュールとでデジタルビデオを処理する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はビデオ・データを復
号するための方法及びその装置に関し、さらに詳しく
は、低解像度ビデオ・デコーダによって生成された画像
の画質を改善するための方法及びその装置と、符号化ビ
デオ・データから低解像度画像を作成するための改善さ
れたビデオ・デコーダに関する。
【０００２】
【従来の技術】デジタル信号を用いたビデオ・データの
伝送が広く一般化している。効率的にビデオ情報を伝送
するためには、データ圧縮を用いることが多い。
【０００３】国際標準化機構（ＩＳＯ）では、高品位テ
レビ（ＨＤＴＶ）等のデジタル・ビデオ信号の符号化及
び伝送を想定してＭＰＥＧと呼ばれる規格を策定した。
ＭＰＥＧ規格の一つであるＭＰＥＧ２は国際標準化機構
動画エキスパートグループ勧告草案Ｈ．２６２（Intern
ational Standards Organization - Moving PictureExp
erts Group, Drafts of Recommendation H.262）、ＩＳ
Ｏ／ＩＥＣ H１３１８−１、１３１８−２（１９９４年
１１月）に記載されている。
【０００４】ＭＰＥＧ２や同様の符号化システムは、一
連のデジタル画像を表現するのに必要なデジタルデータ
の量を低減するために、ディスクリートコサイン変換符
号化及び動き補償予測技術、例えば動きベクトルの使用
に依存している。動き補償予測は後続予測フレーム等を
復号時に再構成するための一つのフレーム、例えばアン
カー・フレームを表わすために送信されるビデオ・デー
タの使用に関する。
【０００５】一般に、動きベクトルは動き補償ビデオ符
号化を実現するために共通に使用される。動きベクトル
を用いると、予測フレーム内に正方形や長方形等の画素
グループを表現することができる。動きベクトルは現在
のビデオ・フレームの生成においてビデオ復号中に使用
すべき基準フレームでの画素グループを識別する情報を
含む。動きベクトルは復号しようとするビデオ・データ
の現在のマクロブロックの位置に対して相対的に解釈さ
れる垂直方向と水平方向のオフセットを含む。動きベク
トルに含まれるオフセットは現在のフレームを生成する
ために使用すべき基準フレームの画素データを識別す
る。ＭＰＥＧ２では、マクロブロックが１６×１６画素
のグループに相当する。本出願において、術語「マクロ
ブロック」はＭＰＥＧ２における意味と一致するものと
する。術語「ブロック」又は「画素ブロック」は画素の
グループを表わすこととし、通常は４画素のグループに
相当するＭＰＥＧ２ブロックに制限されない。
【０００６】今日のＮＴＳＣテレビジョン放送で共通に
使用される解像度を大幅に越えた解像度で少なくとも幾
つかのビデオ画像が送信されると予想される。例えば解
像度１０８０×１９２０画素のテレビジョン放送は高品
位テレビジョン信号と呼ばれることが多いが、これは現
行のＮＴＳＣテレビジョン画像の解像度を越えているた
めである。ＮＴＳＣテレビジョン信号と同一又は同様の
解像度を有する画像の送信に関係するテレビジョン放送
は共通して標準品位テレビジョン放送（ＳＤＴＶ）と呼
ばれる。
【０００７】ＨＤＴＶ信号で記憶し処理すべきデータ量
はＳＤＴＶ信号のそれに比べて相当に大きくなり得る。
リアルタイムでＨＤＴＶ信号を復号するのに必要とされ
るメモリ量及び処理能力のため、ＨＤＴＶデコーダはＳ
ＤＴＶデコーダに比べて相当に高価になり得る。
【０００８】一般にＳＤＴＶデコーダとコスト的に匹敵
するビデオ・デコーダ及びディスプレイ装置を用いてＨ
ＤＴＶビデオ信号を復号し表示できるようにするために
低解像度ビデオ・デコーダの使用が示唆されている。低
解像度ビデオ・デコーダは、ダウンサンプリング・ビデ
オ・デコーダと呼ばれることもあり、ビデオ画像を表わ
すために用いられるデータ量を低減するので、ＨＤＴＶ
信号を復号するために必要とされるメモリ量及び処理能
力も低減できる。低解像度デコーダを用いたＨＤＴＶ信
号の復号により、符号化ＨＤＴＶ信号からＳＤＴＶ解像
度画像の生成が行なえる。
【０００９】図１をここで参照すると、周知の各種低解
像度ビデオ・デコーダの代表例が示してある。低解像度
ビデオ・デコーダは（オプションで）プリパーサ１１
２、シンタックス・パーサ及び可変長デコーダ回路１２
０、逆量子化回路１２２、逆ＤＣＴ回路１２４を含む。
逆ＤＣＴ回路１２４の出力はダウンサンプラ１２６の入
力に接続される。ダウンサンプラ１２６は、例えば動き
ベクトルを用いて符号化された後続フレームを生成する
際に基準フレームとして使用するために、処理されるビ
デオ画像の解像度、即ちビデオ・メモリ１１４に記憶さ
れる復号ビデオ・データの量を低減するために使用され
る。基準フレーム・メモリ１１４に加えて、ビデオ・デ
コーダ１００はスイッチ１２９、加算器１２８、一対の
動き補償予測モジュール１３１と選択／平均予測回路１
３４も含む。動き補償予測モジュール１３１は単方向予
測を実行する。双方向予測を実行するには、例えばＢフ
レームを処理する場合、両方の動き補償予測モジュール
１３１を使用し２つのモジュール１３１の出力を選択／
平均予測回路１３４で合成する。動き補償予測モジュー
ル１３１の片方は単方向予測、例えばＰフレームを処理
する際に使用して選択／平均予測回路１３４は使用すべ
き適切なモジュール１３４の出力を選択する。基準フレ
ーム・データから生成され選択／平均予測回路１３４に
よって出力された画素データは受信した復号ビデオ・デ
ータと加算器１２８によって合成されて動き補償予測を
用いて符号化されたビデオ・フレームの完全な表現を生
成する。
【００１０】ＨＤＴＶの動きベクトルは完全なＨＤＴＶ
解像度ビデオ画像に適用することを意図しており、メモ
リ１１４に記憶されているようなダウンサンプリングし
たビデオ画像に適用することを意図していないため、動
き補償予測モジュール１３１は加算器１２８でデータを
合成する前に低解像度予測を実行して、動き補償予測モ
ジュール１３１によって生成されたデータがダウンサン
プラ１２６から出力されるデータと同じ低解像度となる
ようにしなければならない。ＨＤＴＶデジタル・ビデオ
・データを復号することができる各種低解像度ビデオ・
デコーダに付いての詳細な説明は、本明細書で参照に含
めている米国特許第５，６１４，９５２号を参照された
い。
【００１１】
【発明が解決しようとする課題】低解像度ビデオ・デコ
ーダはコスト面でＨＤＴＶデコーダに比べて大きな利点
を有しているが、このようなデコーダで生成された画像
はＨＤＴＶ画像に対して行なったダウンサンプリングの
量に相当する解像度の低下に関してだけでなく、動きベ
クトルの使用によって得られた画質の劣化に関しても苦
しめられることがある。低解像度ビデオ・デコーダによ
る動きベクトルの使用は幾つかの場合で予測誤差に起因
する重大な画像の劣化の可能性をもたらす。このような
予測誤差はその大部分が最大解像度基準フレームで使用
するように符号化された動きベクトルを低解像度例えば
ダウンサンプリングした基準フレームに適用したことに
由来するものである。つまり、既知のダウンサンプリン
グ・デコーダの使用によってシーン内容と動きベクトル
条件の特定の組み合わせである種の邪魔な画質アーチフ
ァクトが発生することがある。低解像度デコーダを使用
して高画質の復号ビデオ画像を作成するには、重大でや
っかいな予測誤差を生じさせ画質劣化を招く恐れのある
シーン条件及び動きベクトルを識別するための方法なら
びに装置の必要性がある。さらに、低解像度ビデオ・デ
コーダによる動きベクトルの処理又は使用に起因する画
質の劣化の度合を排除又は最小限に押えることができる
ような方法及び装置の必要性もある。
【００１２】
【課題を解決するための手段】本発明は低解像度ビデオ
・デコーダで生成された画像の画質を改善するための方
法ならびにその装置と、符号化ビデオ・データから低解
像度画像を作成する改善されたビデオ・デコーダに関す
る。
【００１３】本発明の様々な特徴及び実施例は画像の特
定部分を低解像度デコーダにおいて基準データとして使
用した場合に、重大な画質の劣化を招く恐れのある画像
内の条件の識別に関する。例えば、本発明の方法及び装
置は、長い高コントラストの垂直又は水平エッジを発生
することのある定常画像領域例えば黒縁の画素ブロック
等を検出することに関する。このようなエッジは、多く
の場合、ダウンサンプリング・デコーダが予測において
エッジ又はその付近に配置されたデータを使用すると重
大な予測誤差を発生させることがある。
【００１４】本発明の一つの実施例によれば、個々の基
準フレームを検証して定常ブロック領域とこれに関連し
たエッジを検出する。このような実施例において、低解
像度デコーダのフレームメモリに記憶されている各々の
基準フレームについて、記憶している基準フレームの定
常ブロック画像領域および／または、検出された水平お
よび／または垂直エッジに関する情報もメモリに記憶す
る。
【００１５】記憶している定常ブロック領域情報は対応
する基準フレームデータを使用して予測を行なう場合の
予測誤差の危険度を評価するために使用する。これは
又、例えばフィルタリング又は外挿の形で予測誤差低減
処理を考慮すべきエッジを識別するためにも使用する。
【００１６】別の実施例において、例えばレターボック
ス化で使用される黒縁等の一連のフレームを通して反復
的に出現する定常ブロック領域を検出する。検出処理は
検出される各々のフレームの一部だけを検証するか、又
は一つの特定実施例においては内部符号化フレームだけ
の内容を検証することによる。内部符号化フレームを定
常ブロック領域について検証するのは、これらのフレー
ムが一般に内部符号化フレームより少ない復号処理を必
要とするためで、待機中の処理資源をこの目的に利用で
きるようにする。多数の例えば一連のフレームで一貫し
て発生する検出定常ブロック領域情報はメモリに記憶す
る。記憶した定常ブロック領域情報は予測誤差検出や各
種の処理演算に使用される。
【００１７】基準として使用するフレームでの定常ブロ
ック領域および／または水平と垂直のエッジのようなシ
ーン条件の検出に加えて、本発明は、大きな予測誤差が
発生する危険度、またこのような誤差が発生した場合に
当該誤差が重大なピクチャ劣化を起す危険度を評価する
ことにも関する。一つの実施例において、マクロブロッ
クが予測を用いて再構成されることから予測誤差の危険
度をマクロブロック単位で分析する。
【００１８】重大な予測誤差が発生する危険度を評価す
ることは、動きベクトルの検証、予測分析、オプション
で再構成されたピクチャの分析等に関係する。重大な予
測誤差、例えばマクロブロックの長さ方向を横切って目
立つ線を発生させるような誤差の危険度が高いと評価さ
れたマクロブロックは、想定した予測誤差の影響を最小
限に押えるか排除するように処理される。予測誤差を排
除するための技術としては、外挿とエッジ・フィルタリ
ング等がある。
【００１９】本発明の一つの実施例において、２つのピ
クチャ・サンプリング軸の少なくとも一方に沿って、低
解像度でフレームの一部分を復号し他の部分をより大き
な、例えば最大解像度で復号する新規なビデオ・デコー
ダに関する。一つの実施例において、画像の部分、例え
ば黒縁等の定常ブロック領域を識別する。定常ブロック
領域（垂直又は水平方向のエッジの幾つかの画素線内
等）の画像又は縁の付近の部分（水平又は垂直方向のエ
ッジ等）は、エッジに直交するサンプリング軸に沿っ
て、基準として高解像度で復号、記憶される。画像の残
りの部分は、例えばダウンサンプリングの適用により低
解像度で復号される。定常ブロック領域が一連のフレー
ム内で識別されると、検出した定常画像領域内部でその
領域の縁に隣接していない画素は、幾つかの実施例にお
いて、復号しようとする画像の他の部分よりもダウンサ
ンプリングされる。他の領域よりもさらに定常ブロック
領域をダウンサンプリングする技術は復号されつつある
フレームを表現するために使用されるデータ量をさらに
低減する。そのため、他の部分より高解像度で画像のあ
る部分を復号することに伴う増加メモリ要求をオフセッ
トし易くする。フレームのある部分を他の部分より高解
像度で復号する本発明のデコーダはハイブリッド・ダウ
ンサンプリング・デコーダとして説明できる。本発明の
復号方法及び装置の幾多のさらなる特徴及び利点は後述
の詳細な説明で議論する。
【００２０】
【発明の実施の形態】本発明は低解像度ビデオ・デコー
ダを使用して生成したビデオ画像の画質を改善するため
の方法及び装置と、改善された低解像度ビデオ・デコー
ダに関する。
【００２１】さらに詳しくは、本発明の各種の特徴及び
実施例は画像の特定部分を基準データとして低解像度デ
コーダで使用した場合に画質の劣化を招く恐れのある、
画像内の条件を識別することに関する。本発明のその他
の特徴及び実施例は重大な予測誤差が低解像度復号演算
中に重大な予測誤差の発生時期を判定するための方法及
び装置に関する。本発明の他の特徴及び実施例はダウン
サンプリング・ビデオ・デコーダにおける動きベクトル
の使用で発生するピクチャの劣化の度合を小さくするこ
とに関する。
【００２２】本発明のさらなる特徴及び実施例は従来の
最大解像度ビデオ・デコーダと低解像度ビデオ・デコー
ダの間のハイブリッドとして動作する新規なビデオ・デ
コーダに関する。本発明のハイブリッド・デコーダはビ
デオ画像のある部分に対しては高解像度復号及び画素デ
ータ記憶を実行し、一方で他の画像部分にはダウンサン
プリング等のデータ縮約演算を適用してこれら他の画像
部分を表現するために必要とされるデータ量を低減す
る。画像の大部分にダウンサンプリングを行ないつつ、
ダウンサンプリングした場合には重大な予測誤差を発生
するような比較的小さな画像部分の解像度を保存するこ
とで、最大解像度ビデオ・デコーダと比較して顕著な処
理及びメモリの節約を達成することができ、同時にダウ
ンサンプリングした基準フレームデータの使用に由来す
る予測誤差の影響を最小限に押えることができる。
【００２３】低解像度デコーダによって適用された低解
像度例えばダウンサンプリング・グリッドと整列しない
長い垂直又は水平方向の高コントラスト・エッジを含む
ビデオ画像は、動きベクトルの使用と関連してこのよう
なシーン条件が発生する場合に問題のあるシーン条件を
構成することが発見された。さらに詳しくは、１）高コ
ントラストの垂直および／または水平方向のエッジ・シ
ーン条件が存在する場合、２）高コントラストの垂直又
は水平方向エッジ上又はそれに隣接する画素データの使
用を必要とする動きベクトルがダウンサンプリング係数
の整数倍ではない場合、動きベクトルの使用により低解
像度デコーダによって生成された低解像度画像において
大きく高度に目立つ劣化が発生することがある。前述の
低解像度画像の劣化は最大解像度基準データの使用で符
号化された動きベクトルを使用する低解像度基準データ
から予測を構成した場合での重大な誤差に由来する。
【００２４】水平方向および／または垂直方向の１つま
たはそれ以上の画素列を含む黒縁は長い水平又は垂直方
向の高コントラスト・エッジの共通の発生源を構成す
る。このような縁とそれによって得られた長い、例えば
行又は列の長さの水平方向および／または垂直方向の高
コントラストのエッジは、各種の共通ビデオ・シーケン
スに頻繁に見られる。例えば動画等でのレターボックス
・フォーマットのビデオ・プレゼンテーションは周知の
低解像度ビデオ・デコーダで処理した場合に重大な予測
誤差を発生することがある黒縁を含むビデオシーケンス
の例である。
【００２５】画素間で大きな変化がないような、例えば
ルミナンス値等の一定したデータ値を有する画素を用い
て画像の一部が表現されているような画像において、高
コントラストの垂直方向および／または水平方向のエッ
ジが頻繁に発生する。例えば、黒縁の場合では、縁の画
素の全部が２４以下のルミナンス値を有している。
【００２６】図２はレターボックス・フォーマットのＨ
ＤＴＶフレームを示す模式図であり、レターボックス・
フォーマットで表現したＨＤＴＶ画像２００を示す。こ
のフォーマットは現行のＮＴＳＣ及びＨＤＴＶフォーマ
ットを越えるような横幅対高さのアスペクト比を慣例と
して有する映画を表現する際に共通に使用される。図２
に示してあるように、レターボックス・フォーマットで
表現されたＨＤＴＶフレームは通常では上下の黒縁２０
２、２０４を含む。上下の縁２０２，２０４の間で、ピ
クチャ内容が領域２０３で表示される。領域２０２，２
０４が完全に黒だと仮定すると、領域２０２，２０４
は、全ての画素が極端に低いルミナンス値、例えば１６
を有する定常画像領域を表わす。
【００２７】黒縁領域２０２，２０４と画像領域２０３
の間の長い水平方向のエッジ２０６，２０８は通常は高
コントラスト・エッジとなる。このような水平方向の高
コントラスト・エッジは重大なピクチャ劣化の発生を招
く恐れのあるシーン条件を表わす。さらに詳しく説明す
ると高コントラストの水平エッジ領域２０２，２０４と
接する画素を参照する動きベクトルが低解像度ビデオ・
デコーダで処理される場合に重大な予測誤差が発生する
ことがある。
【００２８】意図的な黒縁２０２，２０４はレターボッ
クス・フォーマットで表示されたフレームに追加される
が、例えば幅が１から３画素の意図しない黒縁が符号化
デジタルビデオ・フレームに頻繁に付加されることが分
かった。このような細く意図しない黒縁は何気なく肉眼
で最大解像度画像を観察した場合にはあまり目立たな
い。しかし残念なことにこのような細い縁に関連した水
平方向および／または垂直方向の高コントラスト・エッ
ジはこのような縁のある符号化最大解像度画像を低解像
度ビデオ・デコーダで復号した場合に重大でやっかいな
予測誤差に繋がることがある。
【００２９】レターボックス・フォーマットで表示する
ように符号化されたか、又は思いがけず細く黒縁を付け
て符号化されている動画又はその他のビデオ・シーケン
スでは、黒縁領域の画素値は通常では連続した数百又は
数千フレームにわたって変化しないままかほとんど変化
しないことになる。したがって、このような領域２０
２，２０４と高コントラスト・エッジ２０６，２０８は
非常に多数のフレーム区間にわたって表示され変化しな
いことになる。この事実から、所望なら単一フレームに
対向する複数フレームを処理することにより、定常画像
領域２０２，２０４とエッジ２０６，２０８を識別する
ことができる。さらに、レターボックス・フォーマット
を使用して符号化した動画は、一定強度の縁領域の有無
とオプションでそのロケーションに関する明示的又は暗
示的な情報を含むことがある。この情報を用いて定常画
像領域の識別を支援できる。
【００３０】図３はビデオ画像を符号化する動きベクト
ルの使用を示す模式図である。図３をここで参照する
と、高品位レターボックス・フォーマット・フレームの
一部を符号化するために用いる動きベクトルが矢印３０
２で示されている。動きベクトル３０２を使用すると基
準フレーム例えば完全内部符号化フレームから得られた
ブロックＡ３０１の画素を使用して復号時にブロックＢ
３０３を生成できることを表わすことができる。ブロッ
クＡ３０１は水平方向の高コントラスト縁３０６に隣接
して配置されていることに注意する。
【００３１】動きベクトル３０２を用いて符号化した画
像に対して最大解像度復号演算を行なうと、重大な予測
誤差の発生なしに満足できる画質の復号画像が得られ
る。しかし、同じ符号化フレームを低解像度ビデオ・デ
コーダで復号した場合にはこれが当てはまらないことが
ある。動きベクトル３０２によって参照されるアンカー
・フレームを復号する際に使用されるダウンサンプリン
グ・グリッドが水平方向のエッジ３０６と整列していな
いと仮定すると、エッジ３０６のぼやけが起こる。
【００３２】図４は動きベクトルを使用して符号化され
た画像の復号にダウンサンプリング・デコーダを使用し
た場合に発生することがある画質の劣化を示す模式図で
ある。図４をここで参照すると、ダウンサンプリング演
算は最大解像度アンカー・フレームに見られる水平方向
のエッジ３０６の直前のロケーションに対応した低解像
度画像のグレーの画素列４０６を発生させることが分か
る。グレーの画素列４０６は、水平方向のエッジ３０６
より上の最大解像度基準フレームの黒い画素列の少なく
とも１列を、水平方向のエッジ３０６より下に位置して
いるもっと明るい、例えば白い画素の少なくとも一列と
をダウンサンプリングすることで発生したダウンサンプ
リング画素列を表わす。
【００３３】図４の例の場合では、動きベクトルを低解
像度デコーダで用いてダウンサンプリング基準フレーム
から予測フレームを構成した場合に重大な予測誤差が発
生することに注意する。つまり、暗い画素列はそこに配
置されたはずの白い画素の代わりにブロックＢの最上部
に配置される。ブロックＢの最上部の全長にわたる水平
方向のまっすぐな線に見られる暗い画素列は基準フレー
ムのダウンサンプリングの結果としてブロックＢに導入
された予測誤差である。この予測誤差は特に目立つもの
で、多くの観察者には邪魔である。前述したように、例
えば１ないし３列の黒い画素の形の黒縁が多くのビデオ
・フレームに見られることがある。
【００３４】図５は第１のＨＤＴＶフレームを示す模式
図であり、フレーム５００の斜線部分で表わしてある黒
い画素の３画素幅の縁を有するビデオ・フレームを示
す。
【００３５】図６は第２のＨＤＴＶフレームを示す模式
図であり、ビデオ・シーケンスにおいてフレーム５００
に続くフレーム６００を示す。フレーム５とフレーム６
の間の差はフレーム５００の上部左手隅の位置の開始位
置からフレーム６００の下部中央部分への人の画像の移
動である。
【００３６】図７は図６に示した第２のＨＤＴＶフレー
ムが動きベクトルの使用により図５に示した第１のＨＤ
ＴＶフレームの関数としてどのように符号化できるかを
示す模式図である。図７は図６のフレーム６００が符号
化の目的で基準フレームとして使用されるフレーム５０
０の上部左隅から得られた動きベクトル７０２と画素ブ
ロック５０２とを用いて、どのように符号化できるかを
示す。画素ブロック５０２はフレーム５００の３画素幅
の黒縁からの画素を含まないことに注意する。基準フレ
ームから得られた画素ブロック５０２を用いることで、
基準フレーム５００と動きベクトル７０２を用いる復号
中に画素ブロック６０２を正確に構成できる。
【００３７】図８は図７に示した動きベクトルの低解像
度基準フレームへの適用を示す模式図である。図８は水
平と垂直方向に２倍のダウンサンプリングを実行しこれ
に最大解像度動きベクトルを適用する低解像度デコーダ
によって生成された基準フレームへの動きベクトル７０
２の適用を示す。２倍のダウンサンプリングによって図
５に示した第１と第２の黒縁画素列がフレームメモリに
記憶される前に単一の列へ合成される。さらに、第３の
内側の黒い画素の縁の列が白い画素の第４の内側の縁の
列と合成されることになる。つまり、ダウンサンプリン
グ演算によって下の基準フレームの解像度の半分の解像
度の基準フレーム、黒い外側の縁の画素列、グレーの内
側の縁の画素列が得られる。このダウンサンプリングし
た低解像度基準フレームが基準の目的で使用するために
周知のダウンサンプリング・デコーダ・システムに記憶
されることになる。
【００３８】図８に示してあるように、動きベクトル７
０２によって指定された基準画素のブロックは画素ブロ
ックの左と上部エッジに沿って暗い、例えばグレーの画
素の列を含む。垂直と水平方向に２倍のダウンサンプリ
ングを行なう低解像度デコーダを用いる最大解像度符号
化されたフレーム６００の復号の時点でこれらの画素を
使用することにより図９に示したフレーム９００が得ら
れる。なお、図９は図８に示した低解像度基準フレーム
へ図７に示した動きベクトルの適用から生成した低解像
度復号ビデオ・フレームを示す模式図である。
【００３９】フレーム９００はフレーム６００の半分の
解像度であることに注意する。しかし人の画像の上部と
左側に位置する黒っぽいバー９０２，９０４の形をとっ
た重大な予測誤差にも注意する。見苦しい黒っぽいバー
９０２，９０４を発生させた予測誤差は、高コントラス
トの垂直及び水平エッジに隣接する画素を参照した動き
ベクトルとの組み合わせで高コントラストの水平及び垂
直エッジを有する画像に対してのダウンサンプリング・
ビデオ・デコーダを使用した結果であることに注意す
る。また予測誤差は黒縁画素のエッジと整列すべきダウ
ンサンプリング・グリッドの失敗の関数であることに注
意する。
【００４０】図１０は本発明の代表的実施例によって実
現される低解像度デコーダを示すブロック図である。図
１０をここで参照すると、本発明の代表的実施例にした
がって実現された低解像度デコーダ１０００が示してあ
る。デコーダ１０００は図１の周知のデコーダ１００と
同様な多数の回路を含む。このような同様な回路は図１
と図１０において同じ参照番号を用いている。簡略化の
ため、周知のデコーダ１００の要素と同一又は同様のデ
コーダ１０００の要素については詳細な説明を繰り返さ
ない。
【００４１】低解像度デコーダ１０００はオプションの
プリパーサ１１２、符号化データ・バッファ１１２、シ
ンタックス・パーサ及びＶＬＤ回路１２０、逆量子化回
路１２２、逆ディスクリートコサイン変換（ＩＤＣＴ）
回路１２４、ダウンサンプラ１２６、加算器１２８、ス
イッチ１２９、フレーム・メモリ１１４を含む。さら
に、デコーダ１０００はアーチファクト検出除去回路１
０３７、制御自在なドリフト減少フィルタ１００６を含
む一対の動き補償予測モジュール１０３５、選択／平均
予測回路１３４に加えて一対の分析／外挿予測回路１０
３６、定常画像領域／水平垂直エッジ検出回路１００２
を含む。
【００４２】オプションのプリパーサ１１２は、例えば
符号化デジタルＨＤＴＶ信号等復号しようとするデジタ
ル・ビデオ・データを受信して受信データの一部を選択
的に破棄する。プリパーサ１１２の出力は符号化データ
・バッファ１１６に接続してあり、これの出力はシンタ
ックス・パーサ及びＶＬＤ回路１２０の入力に接続され
る。プリパーサ１１２が存在しない場合、符号化デジタ
ル・ビデオ・データは符号化データ・バッファ１１６へ
直接接続される。シンタックス・パーサ及びＶＬＤ回路
１２０の出力は逆量子化回路１２２の入力へ接続され
る。逆量子化回路１２２は、さらに逆ＤＣＴ回路１２４
へ接続される。逆ＤＣＴ回路１２４は、例えばダウンサ
ンプラ１２６によって水平及び垂直の両方向でダウンサ
ンプリングした復号ビデオ・データを出力する。ダウン
サンプラ１２６の出力はスイッチ１２９の第１の入力
と、加算器１２８の第１の入力へ接続される。
【００４３】加算器１２８は予測フレーム例えば相互符
号化フレームを復号する場合に使用する。加算器１２８
の第２の入力は、基準フレーム・メモリ１１４から得ら
れた１つまたはそれ以上の動きベクトルと１つまたはそ
れ以上の基準フレームの使用により生成されたビデオ・
データを受信するために選択／平均予測回路１３４の出
力へ接続されている。加算器１２８の出力は復号しよう
とする予測フレームを表わす復号ビデオ・データであ
る。加算器１２８から出力される復号ビデオ・データは
符号化予測フレームに含まれる復号内部符号化データ
と、１つまたはそれ以上の動きベクトル及び先行してダ
ウンサンプリングした基準フレームデータの使用によっ
て得られたビデオ・データとの組み合わせを含む。
【００４４】加算器１２８は動きベクトルの使用により
生成されたフレームに対応する復号ビデオ・データを出
力するので、出力ビデオ・データは基準シーン（フレー
ム）内容や、動きベクトルで使用した１つまたはそれ以
上の基準フレームの画像領域によってダウンサンプリン
グ・デコーダで時として発生するような前述のような予
測誤差を含むことがある。加算器１２８の出力はスイッ
チ１２９の第２の入力に接続される。
【００４５】スイッチ１２９の出力は基準フレーム・メ
モリ１１４の入力に接続してある。スイッチ１２９は内
部符号化フレームを復号している場合にはダウンサンプ
ラ１２６によって出力された内部符号化ビデオ・データ
を出力し、予測フレームを復号している場合には選択／
平均予測回路１３４によって出力された予測フレーム画
像データを出力するように動作する。スイッチ１２９に
よるデータ出力はフレーム・メモリ１１４に記憶され
る。フレーム・メモリ１１４に記憶された復号フレーム
は基準フレームとして使用するために記憶されており、
また表示のためにテレビジョン受信器のディスプレイ装
置１００１例えば表示管（picture tube）へも出力され
る。記憶してある予測フレームはアーチファクト検出除
去回路１０３７で処理して、基準フレームデータとして
使用するか表示される前に予測誤差の影響を低減するこ
とができる。
【００４６】デコーダ１０００は低解像度デコーダで発
生する予測誤差の発生を検出するためとこのような誤差
の影響を低減するための新規な要素を含む。デコーダ１
０００の新規な回路は定常画像領域／水平垂直エッジ検
出回路１００２、動きベクトル分析、予測分析、選択的
外挿機能を行なう一対の分析／外挿予測モジュール１０
３６、アーチファクト検出除去回路１０３７、ドリフト
減少フィルタ１００６を含む。
【００４７】ドリフト減少フィルタ１００６は予測を用
いて生成されたビデオ・データに対してフィルタリング
演算を実行することにより予測の使用から発生したドリ
フトの影響を最小限に押えるために使用される周知のフ
ィルタ・カーネルを含む。
【００４８】本発明の定常画像領域／水平垂直エッジ検
出回路１００２はフレーム・メモリ１０１４の出力に接
続した基準フレームデータ入力を備える。後述するよう
に検出回路１００２は、低解像度デコーダで予測誤差を
発生させることがあるような記憶フレームのシーン条
件、例えば定常画像領域および／または水平ならびに垂
直方向のエッジを検出するために使用する。検出回路１
００２の出力は分析／外挿予測回路１０３６の入力に接
続してあり、分析／外挿予測回路１０３６は予測モジュ
ール１０３６で生成したビデオ・データも入力信号とし
て受信する。このようにすると、分析／外挿予測回路１
０３６には定常画像領域／水平垂直エッジ検出回路１０
０２で検出されたシーン条件情報が供給される。検出回
路１００２は検出回路１００２で実行される検出演算の
結果を記憶するための基準フレーム情報メモリ１００４
を含む。
【００４９】分析／外挿予測回路１０３６の対の各々一
つは予測データを選択／平均予測回路１３４へ供給する
前に動き補償予測モジュール１０３５の別の一つの出力
の処理を担当する。回路１０３６は画質に重大な劣化を
起し易い予測誤差の識別を担当して、このような誤差の
影響を低減するための処理演算を実行する。一つの実施
例においてモジュール１０３６は対応する動き補償予測
モジュール１０２５の予測フィルタ１００６を制御して
分析／外挿予測回路１０３６によるピクチャ変更の候補
として識別されたマクロブロックに対して単一モード・
フィルタ・カーネルを使用する。
【００５０】アーチファクト検出除去回路１０３７は低
解像度基準データに適用される最大解像度基準データで
使用するように符号化された動きベクトルの適用から得
られる予測誤差等の影響を低減するためにフレーム・メ
モリ１０１４に記憶されたフレームの処理を担当する。
アーチファクト検出除去回路１０３７はフレーム・メモ
リ１０１４から処理のためのフレーム・データを、また
分析／外挿予測回路１０３６から予測誤差に関する情報
を受信する。検出した予測誤差の影響を低減又は排除す
るためのフレーム・データの処理の後で、処理済みフレ
ーム・データは未処理データの代わりに基準フレーム・
メモリ１０１４に記憶される。したがって、少なくとも
一つの実施例において、予測フレームを表わすデータが
基準フレームデータとして使用されるか又はディスプレ
イ装置１００１へ出力される前に、アーチファクト検出
除去回路１０３７で処理される。
【００５１】定常画像領域／水平垂直エッジ検出回路１
００２の動作について詳細に説明する。検出回路１００
２は同一又は実質的に同一の強度を有する。例えば同一
又は同様のルミナンス値を用いて表わされるフレーム内
の隣接画素の四角いブロックを検出するように動作す
る。この種のブロックは、水平又は垂直方向のどちらか
でサイズが大きい。特にいずれかの方向でフレーム長さ
の１／３又はそれ以上にわたって延在する場合は、これ
に関連して水平方向又は垂直方向に長いエッジを有する
ことになる。前述したようにこのようなエッジは低解像
度デコーダによって適用されるダウンサンプリング・グ
リッドと整列しない場合に予測エラーを発生させること
がある。
【００５２】一つの実施例において、定常画像ブロック
を検出するには、画素列を列ごとに検証する。評価され
る画素列についてのルミナンス値の平均と偏差を求め
る。列が全て同じ値を有するか又はほとんど同じ値を有
する画素を含む場合、その列について計算した平均から
の偏差は非常に小さくなる。一つの実施例において、画
素ルミナンス値のサンプル標準偏差がある列について５
より小さい場合、その列は定常ブロック領域を構成する
といわれる。隣接する列も同じ分析技術を適用して定常
ブロック領域を構成することが分かった場合、これの平
均とすでに分析した先行する画素列の平均とを比較す
る。定常ブロック領域を構成する２つの隣接する列につ
いての平均の間の差があらかじめ選択した値以内であれ
ば、隣接する列は同じ定常ブロック領域の一部をなすも
のと決定される。あらかじめ選択した値が例えば画素ル
ミナンス値の考えられる全範囲の３％を表わすように選
択される。２つの隣接する定常画像領域の平均の間の差
があらかじめ選択した差の値を越えることが分かった場
合、２つの列は別の定常ブロック領域に対応すると決定
される。
【００５３】図１１（ａ）はルミナンス値０から２５５
までのスケール上に画素列又は行の各画素についてのル
ミナンス値をプロットすることで得られた代表的なプロ
ットを示す特性図である。ここで図１１（ａ）を参照す
ると、正常な、例えば非レターボックス又は非辺縁画像
の画素のランダム選択した列についての画素ルミナンス
値の代表的プロットが示してある。画素値の列は、０か
ら２５５まで延在する可能な画素ルミナンス値の範囲全
体にわたって変化し、幾つかの値はわずかに共通してい
るが、多くの値は表示される画像によってさまざまであ
る。このような画素値の列の平均は、例えばこの平均か
ら非常に大きな標準偏差、例えば５０では、１２０にな
ることがある。
【００５４】図１１（ｂ）は全て黒又は全て黒に近い画
素の列又は行から得られた画素値の行又は列の代表的な
プロットを示す特性図であり、画像の黒縁から取った画
素列についてのルミナンス値をプロットした場合に得ら
れる種類のプロットを示す。図１１（ｂ）では画素値の
ほとんど全てが値０を有しており、平均からの偏差が非
常に小さい、例えばサンプル標準偏差が０．５であるこ
とに注意する。変化する画素強度の列のルミナンス値と
比較的一定の画素強度の平均と偏差特性の間の差は前述
の定常ブロック検出法を有効なものにする。
【００５５】前述したように画素列におけるルミナンス
値を検証することによって定常ブロック領域を検出する
方法は、例えば黒い垂直辺縁領域を検出するために画素
の縦列に適用することもできる。前述の統計的分析は列
又は縦列全体に基づいて又はその区間に対して適用する
ことができる。
【００５６】一つの実施例において、画素ルミナンス強
度確率濃度関数（ＰＤＦ）例えば前述した平均と標準偏
差の、局在と拡散の推定は列、縦列、又はそれらの区間
に基づいた分析について計算される。
【００５７】「定常ブロック領域」はこのような実施例
では値の拡散が非常に小さい、例えばあらかじめ選択し
た閾値以下で、サンプルＰＤＦ局在が全て互いに接近し
ているような１つまたはそれ以上の画素セグメントがあ
る場所に存在すると決定される。つまり、特定の定常領
域におけるセグメントの対の全てについて、セグメント
の対における２つのセグメントについての平均推定値の
間の絶対差がセット閾値以下である。識別された定常ブ
ロック領域についての情報が、本発明によれば基準フレ
ーム情報メモリ１００４に記憶される。
【００５８】一つの実施例において復号演算によって生
成された各フレームは定常画像領域／水平垂直エッジ検
出回路１００２によって定常ブロック領域について完全
に分析され、メモリ１００４に各々の識別された定常ブ
ロック領域に関する情報が記憶される。このような実施
例において、基準フレーム情報メモリ１００４はフレー
ム・メモリ１１４に記憶された各フレームについての定
常ブロック領域情報を含む。
【００５９】フレーム内の定常ブロック領域を検出する
ための処理条件とこうした検出演算の結果を記憶するた
めの記憶条件はこうした演算の目標が複数フレームに反
復して発生する定常ブロック領域の発見に簡略化される
場合には大幅に減少し得る。前述のように、画像の周囲
に黒い画素の縁を作るレターボックス・フォーマットと
ビデオ符号化は通常は数百から数千フレームにわたって
同じロケーションに発生する縁を作る。したがって、こ
れらの定常画像領域を特定した場合、複数フレームにわ
たる定常画像領域分析を実行して、複数フレーム間に処
理を分散するのが妥当である。
【００６０】複数フレームにわたって発生する定常画像
領域を検索する場合、前述したのと同じ列及び縦列画素
分析技術を複数フレームに適用する。しかし、このよう
な実施例においては、各フレームの一部だけを定常画像
領域について分析し、例えば隣接する部分は次のフレー
ムで分析する。複数フレームの分析で反復して同じ定常
画像領域の検出が得られた場合にだけ、検出した定常画
像領域が復号しているフレームに存在していると宣言さ
れる。このような実施例において、基準フレーム情報メ
モリ１００４は全ての記憶基準フレームに適切であると
見なされる宣言された定常画像領域の一組を記憶するた
めに使用する。さらに、メモリ１００４は異なるフレー
ムの部分に関係する一時的定常画像領域検出結果を記憶
するために使用される。これらの一時的結果は、例えば
一時的結果が複数フレームの分析を通して確認されるか
又は排除されるあらかじめ選択したフレーム時間数のあ
とで、宣言された定常画像領域情報を定期的に更新する
ために用いられる。情報メモリ１００４に記憶された宣
言定常画像領域情報を定期的に更新することにより、画
像辺縁又はレターボックスで頻回に発生する変化が情報
メモリ１００４に記憶された、宣言された定常画像領域
情報に反映される。
【００６１】前述の方法で識別された定常ブロック領域
は、境界がダウンサンプリング・デコーダで使用される
ダウンサンプリング・グリッドと整列していないと仮定
した予測基準として用いた場合の重大なピクチャ劣化を
発生させることがあると考えられる。検出した特定の定
常ブロック領域が予測誤差による劣化を発生する相対的
確率は、検出領域の境界を横断して測定した画素の差の
大きさを検証することにより評価することができ、少な
くとも一つの実施例においては評価される。これらの
「強い」エッジ、例えば画素ルミナンス値の比較的大き
な差のある境界は、「弱い」エッジより画像劣化を起し
易い。エッジ強度は多くの方法で、例えば境界のどちら
かの側で、境界の長さに沿って画素の対の絶対差を加算
することにより、推定することができる。「強い」エッ
ジはあらかじめ選択した閾値に対して前述したようにエ
ッジ強度を比較することで決定できる。識別された定常
ブロック領域のエッジ強度に関する情報はＭＣＰモジュ
ール１０３５で使用する領域を識別するデータと一緒に
基準フレーム情報メモリ１００４に記憶できる。定常ブ
ロック領域を識別する前述の技術に加えて、ビデオ・フ
レームにおいて定常ブロック領域とこれに対応する水平
及び垂直エッジの有無とロケーションを識別するために
使用できる方法が他にも多く存在する。
【００６２】前述のように、考えられる定常ブロック領
域の共通した発生源の一つはレターボックスの実施であ
り、そのためピクチャのアクティブな部分は符号化画素
アレイを完全に満たさない。この実施は一般に図２に示
してあるように各ビデオ・フレームの上下にある黒いバ
ーの符号化に関係する。一つの実施例において、検出回
路１００２は垂直方向の表示サイズに関して送信された
情報を検証することでレターボックス化についての情報
を取得する。さらに別の実施例において検出回路１００
２は毎秒２４フレームの標準フィルム送り速度でピクチ
ャを符号化するビットストリームへレターボックス辺縁
の有無と範囲を識別するための前述した検出方法を特に
目標としており、処理される画像がデジタルビデオでは
なくフィルムとして表示するためにもともと作成された
画像に対応することを示唆することがある。
【００６３】前述の説明は、動き補償予測を行なう際に
低解像度デコーダで使用した場合に目障りな予測誤差を
発生することがある基準フレームでのシーン条件例えば
長い水平方向および／または垂直方向の高コントラスト
エッジを検出するための方法ならびに装置に焦点を絞っ
ていた。しかし、基準フレームにおいて単にこのような
エッジが存在することで、そのフレームを基準フレーム
として使用した場合に復号時に重大な予測誤差が発生す
ることを必ずしも意味しない。前述したようなエッジ強
度は重大な予測誤差が実際に発生する際影響を与える一
つの要因である。
【００６４】本発明の一つの特徴は復号されつつある予
測フレームの再構成中に重大な予測誤差が発生すること
がある場合を検出することに関する。ＭＰＥＧビデオ処
理において、復号中のフレーム再構成はマクロブロック
単位で頻繁に実行されることから、一つの実施例では重
大な予測誤差が発生する可能性の識別がマクロブロック
単位で分析／外挿予測回路１０３６によって行なわれる
マクロブロック単位での重大な予測誤差の検出以外に、
予測誤差を復元するステップもマクロブロック単位で行
なうことができる。例えば分析／外挿予測回路１０３６
の各々で実行されて発生し易い重大な予測誤差を検出す
る各種のステップは動きベクトル検証と予測分析を含
む。
【００６５】本発明によれば、動きベクトル検証は予測
で使用される動きベクトルの垂直方向および／または水
平方向の構成要素が復号演算を行なうダウンサンプリン
グ・デコーダで使用される水平方向と垂直方向のダウン
サンプリング比各々の整数倍かどうかの決定に関する。
対応するダウンサンプリング比の整数倍ではない検証済
み動きベクトル構成要素は検証済み動きベクトルを使用
して再構成されるマクロブロックが予測誤差を発生する
「危険がある」ことを表わす。こうしたマクロブロック
は一つの実施例において他の危険因子が存在しない場合
に予測誤差の「危険度が低い」ものとして分類される。
【００６６】危険のあるマクロブロックについての予測
を作成する際に使用すべき基準画素のどれかが上記で定
義したように定常ブロック領域の辺縁に隣接している場
合、予測誤差の危険度はさらに大きく例えば中程度の危
険度であると見なされる。基準画素が完全に検出された
定常ブロック領域の内側又は外側に存在するが、予測を
形成するために使用する基準フレーム内部の検出定常ブ
ロック領域の辺縁にあるか又はその非常に近くにある画
素を含むマクロブロックは、予測誤差の危険度がさらに
大きく、危険度が高いものと見なされる。
【００６７】つまり、前述したような方法で動きベクト
ル分析を実行することにより、本発明の分析／外挿予測
回路１０３６は動きベクトルを使用して再構成されるマ
クロブロックに予測誤差危険度の様々な度合を割り当て
る。本発明の別の実施例によって予測誤差の影響を最小
限に押えるためにマクロブロックに対して実行される処
理は、もしあれば、任意のマクロブロックについて存在
することが分かった予測誤差の決定した危険度の関数で
ある。
【００６８】前述したように、予測分析は再構成される
マクロブロックに付随する重大な予測誤差の危険度を評
価する際に実行される別のステップである。本発明の予
測分析ステップの一部として、予測は従来の方法で、受
信した１つまたはそれ以上の動きベクトルにしたがって
形成される。予測誤差について中程度又は高度な危険度
であると見なされたマクロブロックに対しては、実行さ
れる予測が分析されて、さらに重大な画像劣化が発生し
易いかどうかを決定する。この決定は、一つの実施例に
おいて、画素が予測を形成するために使用される基準フ
レームの検出された定常ブロック領域の境界で画素値に
よって主として決定された予測マクロブロックの境界に
ある強いエッジを検索することにより行なわれる。強い
エッジの検出例えば３０％又はそれ以上のエッジを横断
する画素ルミナンス値の平均差は重大な予測誤差を表わ
す。
【００６９】幾つかの実施例において、危険度が中程度
又は高度の再構成マクロブロックを分析してフレーム復
号演算の一部として以前に再構成された周辺画素の状況
におけるアーチファクトを検出する。フレームは通常上
から下へ左から右へと復号されることに注意する。つま
りマクロブロック単位での再構成マクロブロックのエッ
ジの分析は上部と左のマクロブロック・エッジに制限さ
れるのが一般的である。これ以外にもフレーム全体の完
全な再構成の後でこのような分析を実行することがで
き、これによって４つのマクロブロックエッジ全部を考
慮できる。
【００７０】図１３はマクロブロック再構成演算の一部
として画像の代表的な部分的再構成を示している。考慮
されるマクロブロックの再構成境界１３０２でのエッジ
強度を測定分析する。マクロブロック境界にある強いエ
ッジは再構成アーチファクトを表わすものと判定され、
マクロブロックはアーチファクト除去の対象になる。し
かし、再構成により小さい又は弱い境界の検出が得られ
る場合、重大な予測誤差の危険があるとして以前に分類
されたマクロブロックは予測誤差の有意でないか又は小
さい危険度があるものとして再分類される。したがっ
て、オプションのアーチファクト検出処理はダウンサン
プリング・デコーダにおける重大な予測誤差の危険度の
あるマクロブロックの識別をさらに正確にする方法を提
供する。
【００７１】マクロブロックが重大な予測誤差について
の危険度にしたがって分類されると、予想される予測誤
差の発生を最小限に押えるか又は排除するために分類し
たマクロブロックに対して１つまたはそれ以上の処理演
算を実行すべきかどうかの決定を行なうことができる。
後述の各種のフィルタリング及び画像処理演算は予測誤
差の影響を最小限に押えることを意図したものである
が、こうした誤差による画質に関して重大な劣化が起こ
りそうにないマクロブロック又は予測誤差が発生しそう
にないマクロブロックに適用した場合にはマイナスの影
響が出ることがある。この理由から、一つの実施例にお
いて後述の予測誤差抑制処理演算の適用は重大な（高度
な）予測誤差危険度があると分類された、例えば前述の
分類技術を用いて分類されたマクロブロックに限定され
る。
【００７２】予測誤差について高い危険があると分類さ
れたマクロブロックでは、強いエッジが予測しているマ
クロブロックの境界で検出された場合、一つの実施例に
おいて強いエッジは水平のエッジについてマクロブロッ
ク内部の隣接する画素列から、また垂直のエッジについ
てマクロブロック内部の隣接する画素縦列から外挿する
ことにより除去する。外挿演算は分析／外挿予測回路１
０３６によって行なわれる。外挿される予測、例えばエ
ッジでの画素の外挿列又は縦列の予測を用いて通常の方
法でマクロブロックを再構成する。本発明の外挿技術の
使用が図１２（ａ）及び図１２（ｂ）に示してある。
【００７３】図１２（ａ）に示した外挿法から得られる
マクロブロックを示す模式図であり、予測誤差に対応す
る強いエッジを表わすと決定された画素列１２０２によ
る予測マクロブロックを示す。図１２（ｂ）は図１２
（ａ）に示した外挿法から得られるマクロブロックを示
す模式図であり、画素列１２０２によって表わされるエ
ッジの強度を低減するように本発明の外挿処理を適用す
ることで発生したマクロブロック１２００’を表わす。
図１２（ｂ）においてエッジ画素列１２０２は画素列１
２０４の画素のコピー１２０４’で置き換えられてお
り、これによって処理済みマクロブロック１２００’の
エッジ強度を低減していることに注意する。
【００７４】アーチファクト検出除去回路１０３７によ
って行なわれるフィルタリングの使用では前述の外挿処
理に予測誤差の影響を低減するための別の方法を提供す
る。アーチファクト検出除去回路１０３７は分析／外挿
予測回路１０３６から得られた再構成フレームにおける
重大な予測誤差のロケーション及び確認可能な発生に関
する情報に加えて基準フレーム・メモリ１０１４に記憶
されている完全に再構成したフレームにアクセスでき
る。アーチファクト検出除去回路１０３７を使用する実
施例では、分析／外挿予測回路１０３６の外挿能力は除
外されて回路１０３６の代わりに使用できるもっと簡単
な分析回路１０３６’で良い。
【００７５】図１３は画像の再構成部分の状況での再構
成マクロブロックを示す模式図であり、再構成マクロブ
ロックがアーチファクト除去の対象になる場合を示して
いる。線１３０１の左に２つの画素縦列１３０２，１３
０４を含む再構成画像がある。線１３０１の右には検出
したエッジを表わす画素縦列１３０６とこれに隣接する
画素縦列１３０８がある。再構成マクロブロックがアー
チファクト除去の対象になる本発明の実施例では、エッ
ジは何らかの形のインパルス排除の使用により、例えば
アーチファクト検出除去回路１０３７に含まれる１つま
たはそれ以上のフィルタを使用して実現されるエッジを
横断した中央値フィルタリングの使用により、低減又は
排除される。このような一つの実施例において、モジュ
ール１０３６又は１０３６’によって識別されたエッジ
に直交する画素の列又は縦列から得られた画素値は回路
１０３７で検証されて中央値画素値を決定する。決定し
た中央値に対応する画素の画素値を用いて処理している
マクロブロックのエッジにある画素値を置き換える。
【００７６】この、回路１０３７によって行なわれる演
算は、次のように表現することができる：画素縦列１３
０４，１３０６，１３０８の各々の画素について、|B
(i)-med[A(i)+B(i)+C(i)]|>TならB(i)=median [A(i)+B
(i)+C(i)]にセットしそれ以外ではB(i)=B(i)にセットす
る ここでＡ（ｉ）、Ｂ（ｉ）、Ｃ（ｉ）は各々対応する縦
列１３０４，１３０６，１３０８にあるｉ番目の画素の
値を表わし、Ｔはエッジにある画素値を置き換える前に
超過していなければならない閾値ルミナンス値である。
【００７７】各種実施例においてアーチファクト検出除
去回路１０３７によって実現される別のフィルタリング
・アプローチはエッジ画素に隣接する２個の画素の平均
値で各画素を置き換えるものである。このようなエッジ
・フィルタリング演算は次のように表現することができ
る：画素縦列１３０４，１３０６，１３０８の各々の画
素について、|B(i)-med[A(i)+B(i)+C(i)]|>TならB(i)=
[A(i)+C(i)/2]にセットしそれ以外ではB(i)=B(i)にセッ
トする ここで値Ａ（ｉ）、Ｂ（ｉ）、Ｃ（ｉ）、Ｔは前述の通
りである。
【００７８】上記のエッジ・フィルタリング技術をダウ
ンサンプリング・デコーダで使用する場合、回路例えば
アーチファクト検出除去回路１０３７によるエッジ・フ
ィルタリングの適用を制御するために使用される分析回
路１０３６等がドリフト減少フィルタ１００６によって
使用されるフィルタ・カーネルを制御する能力を含むよ
うにしてフィルタ・カーネルが単一モードとなるように
強制する、例えば動きベクトルによって重大な予測誤差
の中程度又は高度な危険があると分類させるようなマク
ロブロックについて一つの局部的極大を有することでア
ーチファクト検出除去回路１０３７による処理が行なわ
れるようにする。本発明により課せられるこのフィルタ
リング制限は、エッジによって予測に「リンギング」を
発生せず、ダウンサンプリングした基準フレームの定常
ブロック領域境界による劣化を検出除去する前述の方法
の適用を複雑にしないように保証する。
【００７９】前述の予測誤差検出及び低減技術に代わる
方法はフレームの各部分に対して異なる度合でダウンサ
ンプリングを適用するデコーダの使用である。このよう
なデコーダでは、定常ブロック領域に隣接する境界を含
むマクロブロックを、問題とする水平方向又は垂直方向
の境界に直交する軸で、比較的高解像度例えば最大解像
度で復号することができる。ダウンサンプリングした場
合に予測誤差を発生させることがある長い水平方向およ
び／または垂直方向のエッジ等の領域で基準フレームの
高解像度を維持することによって、ダウンサンプリング
による予測誤差を低減又は排除することができる。一つ
のデコーダ実施例において、定常ブロック領域のある水
平境界を含むこれらのマクロブロックは垂直方向に最大
解像度で復号される。復号マクロブロックは、復号した
解像度で例えばフレーム・メモリ１１４に記憶する。こ
のようにすると、定常ブロック領域のエッジ上にあるか
又はその付近に位置する基準画素から行なった予測は、
基準フレームが全体をダウンサンプリングされた場合に
含むよりも大幅に少ない予測誤差の度合を含むことにな
るが、これはエッジでの高解像度がフレーム・メモリ１
１４に保持されていることによる。このような実施例に
おいて、フレームを構成するマクロブロックの大半は未
だ低解像度で復号記憶され、一方で少数のマクロブロッ
クがサンプリングする２軸の少なくとも一方に沿って高
解像度で復号される。
【００８０】一つの実施例において、マクロブロックは
これらが隣接する水平方向又は垂直方向エッジに対して
平行な方向で、ダウンサンプリングされるが、エッジに
対して直交する方向にではない。このようにすると、一
つの次元でのみ最大解像度が維持される。制御されたダ
ウンサンプリングに対するこのアプローチは水平方向又
は垂直方向のエッジに沿って配置されたマクロブロック
が例えば水平方向と垂直方向の両方で最大解像度で記憶
される場合よりも少ないメモリで済む。
【００８１】復号中にフレームに対して選択的にダウン
サンプリングを適用することができるダウンサンプリン
グ・デコーダは、本明細書において「ハイブリッド・ダ
ウンサンプリング・デコーダ」と称し、図１４に示して
ある。
【００８２】図１４は本発明の実施例によって実現され
たハイブリッド・ダウンサンプリング・デコーダを示す
ブロック図である。デコーダ１４００等のハイブリッド
・ダウンサンプリング・デコーダでは、画像を表わすマ
クロブロックの大半は、ほとんどのマクロブロックが通
常条件下で定常ブロック領域に隣接しないことから、通
常では低解像度で復号される。
【００８３】したがって、デコーダ１４００等のハイブ
リッド・ダウンサンプリング・デコーダは各々の基準フ
レームの大部分が低解像度例えばダウンサンプリングし
たフォーマットで記憶できることから最大解像度デコー
ダより大幅に少ないメモリを用いて実現できる。つま
り、本発明のハイブリッド・ダウンサンプリング・デコ
ーダではダウンサンプリング・デコーダの少ないメモリ
の利点を多く享受できる。さらに、ハイブリッド・ダウ
ンサンプリング・デコーダは基準として使用するフレー
ムの少なくともある部分の最大解像度を保持しない従来
のダウンサンプリング・デコーダに対して有意に改善さ
れた画質を提供することができる。
【００８４】一つの実施例において、ハイブリッド・デ
コーダ１４００は基準フレームの定常ブロック境界に位
置するマクロブロックを最大解像度で復号する以外に、
画像の他の領域より大幅に低解像度で定常ブロック領域
内の領域を復号する。つまり、このような実施例では、
定義上比較的一定している定常ブロック領域が他の画像
部分と比較して相対的に少ないデータを使用して表現さ
れる。定常ブロック領域のダウンサンプリング増大に伴
うメモリの節約は最大解像度で定常ブロック領域に接す
るマクロブロックを表わす情報を記憶するのに必要なメ
モリ増加をオフセットするのに役立つ。別の実施例にお
いて、一つの軸に沿って最大解像度で復号されるマクロ
ブロックは、ピクチャで復号されたマクロブロックの大
半の解像度と比較して、もう一方の軸に沿って解像度を
大幅に減少して復号される。
【００８５】ハイブリッド・デコーダ１４００は図１及
び図１０に示したデコーダのそれと多くの類似点を備え
ていることに注意する。図１，図１０，図１４で同一参
照番号を付けた構成要素は同一又は類似の要素を表わし
ているのでここでは詳細な説明を繰り返さない。
【００８６】ハイブリッド・デコーダ１４００はオプシ
ョンのプリパーサ１１２、符号化データ・バッファ１１
２、シンタックス・パーサ及びＶＬＤ回路１２０、定常
画像領域／水平垂直エッジ検出回路１００２、基準フレ
ーム・メモリ１４１４を含む。さらに、解像度制御モジ
ュール１４５０を含む。解像度制御モジュール１４５０
はシンタックス・パーサ及びＶＬＤ回路１２０の対応す
る出力に接続した動きベクトル情報入力と、定常画像領
域／水平垂直エッジ検出回路１００２の出力に接続した
定常画像領域／エッジ情報入力を備える。解像度制御モ
ジュール１４５０は定常画像領域／水平垂直エッジ検出
回路１００２から出力された定常画像領域および／また
はエッジ情報の関数として、受信した画像のどの部分例
えばマクロブロックを最大解像度で復号記憶し、またど
れを低解像度で記憶すべきかを決定する。解像度制御信
号もまたシンタックス・パーサ及びＶＬＤ回路１２０に
よって解像度制御モジュール１４５０と動き補償予測モ
ジュール１４３５へ供給されたフレームの種類および／
または動きベクトル情報の関数として生成できる。例え
ば、基準フレームとしては使用されない双方向符号化フ
レームの場合、解像度制御モジュールは、一つの実施例
において、ダウンサンプラ１４２６を制御してフレーム
全体をダウンサンプリングする。ダウンサンプリングは
そのフレームが基準目的で使用されないことの知識によ
ってフレーム全体に対して行なわれるので、上記で詳述
した種類又は予測誤差を発生することはない。
【００８７】基準フレーム例えばＩ及びＰフレームとし
て使用されることがあるフレームを処理する場合、定常
画像領域及び水平／垂直エッジに関する情報を用いて画
像のどの選択部分をダウンサンプリングして低解像度の
形で記憶すべきかを決定する。
【００８８】低解像度で記憶すべき画像の部分に対応す
るデータを処理する場合に別々に動作するように逆量子
化回路１４２２と逆ＤＣＴ回路１４２４が制御される実
施例において、解像度制御モジュール１４５０で生成さ
れた解像度制御信号はダウンサンプラ１４２６以外に回
路１４２２，１４２４にも供給される。解像度制御信号
は多解像度動き補償予測モジュール１４３５と選択／平
均予測回路１４３４にも供給されて、これらの回路に画
像のどの部分を高解像度例えば最大解像度で処理しまた
保持（記憶）すべきか、及びどの部分を１つまたはそれ
以上の異なる低解像度で処理し記憶すべきかを伝える。
解像度制御モジュール１４５０から出力される解像度制
御信号に応答して、ダウンサンプラ１４２６は画像のあ
る部分例えば識別された定常画像領域内部の領域を他の
部分例えば検出した水平又は垂直エッジ付近に位置する
か又は隣接する画像領域よりもダウンサンプリングす
る。
【００８９】図１４の実施例において、複数フレームで
反復して検出された定常ブロック領域を識別する一組の
定常ブロック情報とエッジ情報は、画像のどの部分をダ
ウンサンプリングしどの部分が少なくとも一つのサンプ
リング軸に沿って高解像度で記憶されるかを制御するた
めに使用される基準フレーム情報メモリ１００４に記憶
される。
【００９０】前述のように、解像度制御モジュール１４
５０は複数フレームに発生すると分かった定常画像領域
を識別する定常ブロック情報を受信して、付随するエッ
ジ情報と一緒にこの情報を使用して画像のどの部分をダ
ウンサンプリングすべきかまたどのフレーム部分を復号
して高解像度で記憶すべきかを決定する。このようにす
ると、解像度制御モジュール１４５０は検出した定常画
像領域に付随する水平又は垂直エッジに沿ったマクロブ
ロックが、少なくともエッジに直交する方向において高
解像度で復号され、一方で他の画像領域は適用したダウ
ンサンプリングの度合に対応した低解像度で復号される
ことを保証する。ダウンサンプラ１４３３は解像度制御
モジュール１４５０により選択的に制御されて最大解像
度で復号すべき画像領域がメモリ１１４に記憶する前に
ダウンサンプリングされないように保証する。
【００９１】本発明の低解像度デコーダは、例えばデコ
ーダ１４００がＳＤＴＶ信号を処理する場合にダウンサ
ンプリングを無効化すると仮定すると、高品位テレビジ
ョン信号を低解像度で、又標準品位テレビジョン信号を
高解像度で復号するために使用できる。本発明のデコー
ダ装置について、主としてプリント回路基板上に構成さ
れた１つまたはそれ以上の集積回路を使用して実現され
る実施例に関連して説明した。しかし本明細書で説明し
た復号方法は、汎用コンピュータ、例えばペンティアム
（TM）プロセッサ付きマルチメディア装備パーソナル・
コンピュータ等で実行される一連のソフトウェア命令と
して実現することもできることは理解されるべきであ
る。さらに、ダウンサンプリングはデータ縮約の主要な
方法として説明したが、例えば選択的データ破棄および
／またはデータ圧縮技術を含む別のデータ縮約技術をダ
ウンサンプリングの代わりに使用しても良い。
【００９２】
【発明の効果】本発明によって、低解像度ビデオ・デコ
ーダで生成された画像の画質を改善するための方法なら
びにその装置を得ることができる。
【図面の簡単な説明】
【図１】周知の低解像度ビデオ・デコーダを示すブロッ
ク図である。
【図２】レターボックス・フォーマットのＨＤＴＶフレ
ームを示す模式図である。
【図３】ビデオ画像を符号化する動きベクトルの使用を
示す模式図である。
【図４】動きベクトルを使用して符号化された画像の復
号にダウンサンプリング・デコーダを使用した場合に発
生することがある画質の劣化を示す模式図である。
【図５】第１のＨＤＴＶフレームを示す模式図である。
【図６】第２のＨＤＴＶフレームを示す模式図である。
【図７】図６に示した第２のＨＤＴＶフレームが動きベ
クトルの使用により図５に示した第１のＨＤＴＶフレー
ムの関数としてどのように符号化できるかを示す模式図
である。
【図８】図７に示した動きベクトルの低解像度基準フレ
ームへの適用を示す模式図である。
【図９】図８に示した低解像度基準フレームへ図７に示
した動きベクトルの適用から生成した低解像度復号ビデ
オ・フレームを示す模式図である。
【図１０】本発明の代表的実施例によって実現される低
解像度デコーダを示すブロック図である。
【図１１】ルミナンス値０から２５５までのスケール上
に画素列又は行の各画素についてのルミナンス値をプロ
ットすることで得られた代表的なプロットを示す特性図
及び全て黒又は全て黒に近い画素の列又は行から得られ
た画素値の行又は列の代表的なプロットを示す特性図で
ある。
【図１２】マクロブロックに適用した本発明の外挿法を
示す模式図及び図１２（ａ）に示した外挿法から得られ
るマクロブロックを示す模式図である。
【図１３】画像の再構成部分の状況での再構成マクロブ
ロックを示す模式図である。
【図１４】本発明の実施例によって実現されたハイブリ
ッド・ダウンサンプリング・デコーダを示すブロック図
である。
【符号の説明】
１１２…プリパーサ（オプション）、１２０…シンタッ
クス・パーサ及びＶＬＤ回路、１２２、１４２２…逆量
子化回路、１２４、１４２４…逆ＤＣＴ回路、１２６、
１４２６…ダウンサンプラ、１３４、１４３４…選択／
平均予測回路、１００１…ディスプレイ装置、１００２
…定常画像領域／水平垂直エッジ検出回路、１００４…
基準フレーム情報メモリ、１００６…ドリフト減少フィ
ルタ、１０１４、１４１４…メモリ、１０３５、１４３
５…動き補償予測モジュール、１０３６…分析／外挿予
測回路、１０３７…アーチファクト検出除去回路、１４
５０…解像度制御モジュール。
フロントページの続き (72)発明者 ファーラー ジャック アメリカ合衆国 08550 ニュージャージ 州 プリンセトン ジャンクション市 ダ グラス ドライブ ６

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】符号化ビデオ・データを処理する方法であ
    って、第１の画像を表わす符号化ビデオ・データを受信
    するステップと、前記符号化ビデオ・データに対して復
    号演算を実行して前記第１の画像を表わす復号ビデオ・
    データの第１のセットを作成するステップと、前記復号
    ビデオ・データの第１のセットを検証してルミナンス値
    が一定している複数の連続画素で形成された定常ブロッ
    ク領域のロケーションを検出するステップと、前記第１
    の画像を表わす前記復号ビデオ・データを記憶するステ
    ップとを含むことを特徴とする符号化ビデオ・データ処
    理方法。
  2. 【請求項２】請求項１記載の符号化ビデオ・データ処理
    方法において、復号演算を実行する前記ステップがデー
    タ縮約演算を実行するステップを含むことを特徴とする
    符号化ビデオ・データ処理方法。
  3. 【請求項３】請求項２記載の符号化ビデオ・データ処理
    方法において、前記復号ビデオ・データの第１のセット
    で定常ブロック領域に関する情報を含む画像情報を生成
    するステップと、前記生成画像情報を記憶するステップ
    とをさらに含むことを特徴とする符号化ビデオ・データ
    処理方法。
  4. 【請求項４】請求項３記載の符号化ビデオ・データ処理
    方法において、前記復号画像データの第１のセットを検
    証するステップが検出した定常ブロック領域のロケーシ
    ョンを識別するステップを含むことを特徴とする符号化
    ビデオ・データ処理方法。
  5. 【請求項５】請求項１記載の符号化ビデオ・データ処理
    方法において、前記復号ビデオ・データを検証して定常
    ブロック領域の有無とロケーションを検出するステップ
    が第１の画素列のセグメントに含まれた画素のルミナン
    ス値に付いて第１の平均及び第１の標準偏差を計算する
    ステップと、前記計算した第１の偏差が第１のあらかじ
    め選択した閾値以下かどうか判定するステップとを含む
    ことを特徴とする符号化ビデオ・データ処理方法。
  6. 【請求項６】請求項５記載の符号化ビデオ・データ処理
    方法において、前記復号ビデオ・データを検証するステ
    ップはさらに第２の画素列のセグメントに含まれる画素
    のルミナンス値について第２の平均と第２の標準偏差を
    計算するステップと、前記計算した第２の偏差が第２の
    あらかじめ選択してある閾値以下かどうか判定するステ
    ップとを含むことを特徴とする符号化ビデオ・データ処
    理方法。
  7. 【請求項７】請求項６記載の符号化ビデオ・データ処理
    方法において、前記第１と第２のあらかじめ選択してあ
    る閾値が同一であることと、前記復号ビデオ・データの
    第１のセットを検証するステップは前記第１と第２の偏
    差が前記あらかじめ選択した閾値以下であると判定した
    場合に前記第１と第２の平均を比較するステップをさら
    に含むことを特徴とする符号化ビデオ・データ処理方
    法。
  8. 【請求項８】請求項１記載の符号化ビデオ・データ処理
    方法において、第２の画像を表わすビデオ・データを受
    信するステップと、前記記憶してある画像情報及び前記
    第１の画像を表わす前記記憶してある復号ビデオ・デー
    タの関数として前記第２の画像を表わす前記符号化ビデ
    オ・データを復号するステップとをさらに含むことを特
    徴とする符号化ビデオ・データ処理方法。
  9. 【請求項９】請求項８記載の符号化ビデオ・データ処理
    方法において、前記復号ビデオ・データの第１のセット
    を記憶する前に前記復号ビデオ・データの第１のセット
    に対してダウンサンプリング演算を行なうステップをさ
    らに含むことを特徴とする符号化ビデオ・データ処理方
    法。
  10. 【請求項１０】請求項９記載の符号化ビデオ・データ処
    理方法において、前記記憶した画像情報の関数として、
    前記第２の復号画像に誤った水平線又は垂直線を発生さ
    せる予測誤差が発生する確率を評価するステップをさら
    に含むことを特徴とする符号化ビデオ・データ処理方
    法。
  11. 【請求項１１】請求項８記載の符号化ビデオ・データ処
    理方法において、前記第２の画像を表わす前記符号化ビ
    デオ・データを復号するステップは復号ビデオ・データ
    の第２のセットを生成し、前記復号ビデオ・データの第
    １のセットを記憶する前に前記復号ビデオ・データの第
    １のセットに対してダウンサンプリング演算を行なうス
    テップと、前記復号ビデオ・データの第２のセットの少
    なくとも一部に対してダウンサンプリング演算を行なう
    ステップと、前記復号ビデオ・データの第２のセットを
    記憶装置に記憶するステップとをさらに含むことを特徴
    とする符号化ビデオ・データ処理方法。
  12. 【請求項１２】請求項１記載の符号化ビデオ・データ処
    理方法において、前記復号ビデオ・データの第１のセッ
    トを検証するステップは前記第１の画像を表わす前記受
    信した符号化ビデオ・データに含まれるディスプレイの
    縦方向サイズ情報を検証するステップを含むことを特徴
    とする符号化ビデオ・データ処理方法。
  13. 【請求項１３】請求項３記載の符号化ビデオ・データ処
    理方法において、前記フレーム情報を記憶するステップ
    は検出した定常ブロック領域のロケーションを識別する
    情報を記憶するステップを含むことを特徴とする符号化
    ビデオ・データ処理方法。
  14. 【請求項１４】請求項３記載の符号化ビデオ・データ処
    理方法において、前記フレーム情報を記憶するステップ
    は検出した定常ブロック領域のエッジのロケーションを
    識別する情報を記憶するステップを含むことを特徴とす
    る符号化ビデオ・データ処理方法。
  15. 【請求項１５】一連のフレームを表わす符号化ビデオ・
    データを処理する方法であって、第１のフレームを表わ
    す符号化ビデオ・データを受信するステップと、前記第
    １のフレームを表わす前記符号化ビデオ・データを復号
    するステップと、前記第１のフレームを表わす前記復号
    ビデオ・データの少なくとも一部を分析して一定強度を
    有する前記第１のフレームの１つまたはそれ以上の画素
    ブロックのロケーションを検出するステップと、後続フ
    レームを表わす後続ビデオ・データを復号するステップ
    と、後続復号フレームの幾つかの少なくとも一部を分析
    して前記分析した後続フレームにおいて一定強度の１つ
    またはそれ以上の画素ブロックのロケーションを検出す
    るステップと、複数フレームで検出した一定強度の画素
    ブロックのロケーションを比較して複数フレームの同一
    ロケーションに発生する一定強度の画素ブロックを検出
    するステップとを含むことを特徴とする符号化ビデオ・
    データ処理方法。
  16. 【請求項１６】請求項１５記載の符号化ビデオ・データ
    処理方法において、複数フレームの同一ロケーションに
    発生する一定強度の画素ブロックのロケーションの関数
    として追加フレームを表わす動きベクトルを含む符号化
    ビデオ・データを復号するステップをさらに含むことを
    特徴とする符号化ビデオ・データ処理方法。
  17. 【請求項１７】請求項１６記載の符号化ビデオ・データ
    処理方法において、符号化ビデオ・データを復号するこ
    とによって生成した前記復号ビデオ・データの少なくと
    も幾つかに対してダウンサンプリング演算を行なうステ
    ップと、基準データとして使用するために前記ダウンサ
    ンプリングした復号ビデオ・データを記憶するステップ
    とをさらに含むことを特徴とする符号化ビデオ・データ
    処理方法。
  18. 【請求項１８】請求項１６記載の符号化ビデオ・データ
    処理方法において、前記第１のフレームを表わす前記復
    号ビデオ・データの少なくとも一部を分析するステップ
    は隣接する２列の画素を分析して黒い縁に対応するかど
    うか判定するステップを含むことを特徴とする符号化ビ
    デオ・データ処理方法。
  19. 【請求項１９】請求項１８記載の符号化ビデオ・データ
    処理方法において、前記追加フレームを表わす動きベク
    トルを含む符号化ビデオ・データを復号するステップは
    直前の復号フレームにおける一定強度の画素ブロックの
    ロケーションを比較することによって得られた定常ブロ
    ック情報を用いて復号中の予測誤差の発生を判定するス
    テップと、前記復号ビデオ・データに対して予測誤差フ
    ィルタリング演算を行ない発生率が決定された予測誤差
    の影響を低減するステップとを含むことを特徴とする符
    号化ビデオ・データ処理方法。
  20. 【請求項２０】第１の解像度で符号化した第１の画像を
    復号するステップと、前記復号した第１の画像を分析し
    て前記復号した第１の画像に含まれ水平方向又は垂直方
    向にエッジを有する黒い縁を検出するステップと、前記
    第１の解像度より低い解像度で前記第１の画像の表現を
    メモリ装置へ記憶するステップと、前記第１の解像度で
    符号化した第２の画像を復号するステップとを含み、前
    記第２の画像を復号するステップには基準データとして
    前記第１の画像の前記記憶した表現を使用しまた前記復
    号した第１の画像に含まれる黒い縁に関する情報を使用
    して動き補償予測演算を行なうステップを含むことを特
    徴とする低解像度復号法。
  21. 【請求項２１】デジタルビデオを処理するための装置で
    あって、ビデオ・フレームを表わす変換符号化データ・
    ビデオ・データを受信して処理するための逆ディスクリ
    ートコサイン変換回路と、前記逆ディスクリートコサイ
    ン変換回路に接続されてビデオ・フレームを表わすデー
    タを分析し一定の強度を有する少なくとも一つのフレー
    ム内の領域を検出するための定常画像領域検出回路と、
    前記定常画像領域検出回路に接続されて復号基準フレー
    ム及び前記定常画像領域検出回路によるデータ出力の関
    数として動き補償予測演算を行なうための動き補償予測
    モジュールとを含むことを特徴とするデジタルビデオ処
    理装置。
  22. 【請求項２２】請求項２１記載のデジタルビデオ処理装
    置において、前記少なくとも一つのフレームにおける定
    常画像領域の位置を識別する情報を記憶するためのメモ
    リ装置をさらに含むことを特徴とするデジタルビデオ処
    理装置。
  23. 【請求項２３】請求項２２記載のデジタルビデオ処理装
    置において、前記逆ディスクリートコサイン変換回路の
    出力に接続されて前記逆ディスクリートコサイン変換回
    路によるビデオ・データ出力に対してダウンサンプリン
    グ演算を行なうためのダウンサンプラ回路をさらに含む
    ことを特徴とするデジタルビデオ処理装置。
  24. 【請求項２４】請求項２３記載のデジタルビデオ処理装
    置において、前記装置はデジタル・テレビジョン受像機
    であって、前記メモリに接続されたディスプレイ装置を
    さらに含むことを特徴とするデジタルビデオ処理装置。
  25. 【請求項２５】ビデオ・フレームを表わす変換符号化ビ
    デオ・データを受信して処理するための逆ディスクリー
    トコサイン変換回路と、前記逆ディスクリートコサイン
    変換回路に接続されてビデオ・フレームを表わすために
    用いられるデータ量を低減するためのデータ低減装置
    と、前記データ低減装置に接続されてビデオ・フレーム
    を表わす復号ビデオ・データを記憶するためのフレーム
    メモリと、前記データ低減回路に接続された水平エッジ
    検出回路と、前記フレームメモリ及び前記水平エッジ検
    出回路の両方に接続された動き補償予測モジュールとを
    含むことを特徴とするビデオ・デコーダ。
  26. 【請求項２６】請求項２５記載のビデオ・デコーダにお
    いて、前記データ低減装置はダウンサンプリング回路で
    あり、前記ビデオ・デコーダ回路はさらに前記水平エッ
    ジ検出回路と前記動き補償予測モジュールに接続されて
    水平エッジ情報を記憶するための基準フレーム情報メモ
    リをさらに含むことを特徴とするビデオ・デコーダ。
JP10326801A 1997-11-20 1998-11-17 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置 Pending JPH11243543A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/974,907 1997-11-20
US08/974,907 US6061400A (en) 1997-11-20 1997-11-20 Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information

Publications (1)

Publication Number Publication Date
JPH11243543A true JPH11243543A (ja) 1999-09-07

Family

ID=25522503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10326801A Pending JPH11243543A (ja) 1997-11-20 1998-11-17 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置

Country Status (2)

Country Link
US (1) US6061400A (ja)
JP (1) JPH11243543A (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148033A (en) * 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
US6904174B1 (en) * 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
DE19919412B4 (de) * 1998-04-29 2006-02-23 Lg Electronics Inc. Decoder für einen digitalen Fernsehempfänger
US6148032A (en) * 1998-05-12 2000-11-14 Hitachi America, Ltd. Methods and apparatus for reducing the cost of video decoders
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6621867B1 (en) * 1998-11-16 2003-09-16 Hitachi America, Ltd Methods and apparatus for detecting edges within encoded images
JP4078906B2 (ja) * 2002-07-19 2008-04-23 ソニー株式会社 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
US20040223084A1 (en) * 2003-05-08 2004-11-11 Stanger Leon J. Methods and apparatus for border processing in video distribution systems
BRPI0411540A (pt) * 2003-06-19 2006-08-01 Thomson Licensing método e aparelho para decodificação redimensionável espacial de baixa complexidade
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
TWI253001B (en) * 2004-11-16 2006-04-11 An Lnternet Products & Technol Method for setting the threshold of a fast motion estimation algorithm
CN101116106B (zh) * 2005-02-23 2011-11-09 富士通株式会社 图像处理方法、图像处理装置以及图像处理系统
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
CN101622874A (zh) 2007-01-23 2010-01-06 欧几里得发现有限责任公司 对象存档系统和方法
EP2130381A2 (en) * 2007-01-23 2009-12-09 Euclid Discoveries, LLC Computer method and apparatus for processing image data
CN102685441A (zh) 2007-01-23 2012-09-19 欧几里得发现有限责任公司 用于提供个人视频服务的系统和方法
WO2008091207A1 (en) 2007-01-26 2008-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Border region processing in images
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
US9047531B2 (en) 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9131097B2 (en) 2011-09-16 2015-09-08 Dolby Laboratories Licensing Corporation Method and system for black bar identification
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN116524046A (zh) * 2022-01-21 2023-08-01 戴尔产品有限公司 用于处理数据的方法、电子设备和计算机程序产品

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2856334C3 (de) * 1977-12-29 1981-11-26 Matsushita Electric Industrial Co., Ltd., Kadoma, Osaka Fernsehempfänger
EP0289960B1 (en) * 1987-04-30 1993-10-20 Nec Corporation Image processing system for a coded signal sequence subjected to predictive coding in different manners
US5250933A (en) * 1989-03-02 1993-10-05 Hewlett-Packard Company Method and apparatus for the simultaneous display of one or more selected images
US5091785A (en) * 1989-04-20 1992-02-25 Thomson Consumer Electronics, Inc. Picture-in-picture circuitry using field rate synchronization
US5313303A (en) * 1990-06-01 1994-05-17 Thomson Consumer Electronics Aspect ratio control for picture overlays
US5202847A (en) * 1990-07-31 1993-04-13 Inmos Limited Digital signal processing
US5237460A (en) * 1990-12-14 1993-08-17 Ceram, Inc. Storage of compressed data on random access storage devices
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
KR0135873B1 (ko) * 1992-03-14 1998-05-15 강진구 디지탈 자기기록재생방법 및 장치
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
KR950014577B1 (ko) * 1992-08-25 1995-12-08 삼성전자주식회사 고화질 텔레비젼의 픽쳐인픽쳐신호처리방법 및 그 장치
US5325125A (en) * 1992-09-24 1994-06-28 Matsushita Electric Corporation Of America Intra-frame filter for video compression systems
KR960010469B1 (ko) * 1992-10-07 1996-08-01 대우전자 주식회사 Pip 기능을 갖는 디지탈방식 고선명 텔레비젼
US5390052A (en) * 1992-10-28 1995-02-14 Mitsubishi Denki Kabushiki Kaisha Method of recording/reproducing table of contents in digital magnetic tape recording/reproducing apparatus
JP3104439B2 (ja) * 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び／又は復号化装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5398079A (en) * 1993-01-27 1995-03-14 General Instrument Corporation Half-pixel interpolation for a motion compensated digital video system
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
US5444491A (en) * 1993-02-26 1995-08-22 Massachusetts Institute Of Technology Television system with multiple transmission formats
JP3248640B2 (ja) * 1993-03-31 2002-01-21 ソニー株式会社 映像記録装置及び映像記録方法
US5408270A (en) * 1993-06-24 1995-04-18 Massachusetts Institute Of Technology Advanced television system
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US5828421A (en) * 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5598222A (en) * 1995-04-18 1997-01-28 Hatachi American, Ltd. Method and apparatus for decoding multiple video bitstreams using a common memory
US5828788A (en) * 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
US5825927A (en) * 1996-01-16 1998-10-20 Hitachi America, Ltd. Methods and apparatus for encoding video data in a manner that is well suited for decoding by regular or downconverting decoders
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation

Also Published As

Publication number Publication date
US6061400A (en) 2000-05-09

Similar Documents

Publication Publication Date Title
JPH11243543A (ja) 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置
JP2000041258A (ja) 低解像度ビデオ・デコーダで画質を改善するための方法及び装置
US6370192B1 (en) Methods and apparatus for decoding different portions of a video image at different resolutions
US6466624B1 (en) Video decoder with bit stream based enhancements
US6269484B1 (en) Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US10887614B2 (en) Adaptive thresholding for computer vision on low bitrate compressed video streams
US6931062B2 (en) Decoding system and method for proper interpolation for motion compensation
US20100027905A1 (en) System and method for image and video encoding artifacts reduction and quality improvement
JP2009527175A (ja) 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析
US8265138B2 (en) Image processing apparatus, method and integrated circuit used in liquid crystal display by processing block velocity of noisy blocks
US6909750B2 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
JP2002523947A (ja) Ｍｐｅｇデータの復号化および走査変換の遂行に要するバッファメモリの量を減少させる方法および装置
US6907077B2 (en) Variable resolution decoder
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
US20030043916A1 (en) Signal adaptive spatial scaling for interlaced video
JP2005521310A (ja) ビデオ信号後処理方法
US20110019742A1 (en) Compression artifact removing apparatus and video reproducing apparatus
JP2007027882A (ja) 解像度変換復号装置
KR20100016803A (ko) 내용 적응적 해상도 비디오 압축을 위한 영상 분석 장치 및방법
JP3196753B2 (ja) 画像表示方法及び画像表示装置
JP3228332B2 (ja) 走査変換方法
JP2007274114A (ja) 画像符号化装置及び画像符号化方法