JPH09187035A - ディジタルビデオデータストリームの前処理装置 - Google Patents
ディジタルビデオデータストリームの前処理装置Info
- Publication number
- JPH09187035A JPH09187035A JP8324445A JP32444596A JPH09187035A JP H09187035 A JPH09187035 A JP H09187035A JP 8324445 A JP8324445 A JP 8324445A JP 32444596 A JP32444596 A JP 32444596A JP H09187035 A JPH09187035 A JP H09187035A
- Authority
- JP
- Japan
- Prior art keywords
- data
- filter unit
- video
- bus
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 16
- 230000003111 delayed effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013144 data compression Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 18
- 230000002457 bidirectional effect Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 19
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000012546 transfer Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
処理装置の有利なアーキテクチャの提供を目的とする。 【解決手段】 本発明によれば、水平方向フィルタユニ
ット(20)、ノイズ除去フィルタユニット(30)及
び垂直方向フィルタユニット(50)等の前処理装置の
ある種の構成要素の全メモリ要求が1個の単一メモリブ
ロック(202)により解決される。
Description
ータストリームの前処理装置に関する。この装置におい
て、データ圧縮及び符号化は、特に、MPEG−2のビ
デオ規格(ISO/IEC 13818−2)に従って
行われる。
位のビデオ信号と、所謂MPEG−2規格の画像のため
のビデオ圧縮方法の標準化を行った。MPEG−2規格
は、イントラ(I)と、予測化(P)と、双方向予測化
又は補間化(B)フレーム又はフィールドからなる3個
の異なる画像符号化タイプを有する。更に、P及びBの
フレーム又はフィールドにおいて、動き予測が良い結果
を与えないならば、マクロブロックはイントラフレーム
(フレーム内)又はイントラフィールド(フィールド
内)で夫々符号化される。判定は実装により決められる
べき基準と共に符号器で行われる必要がある。更に、M
PEG−2方式は、ラインの分類を必要とするフレーム
又はフィールドに基づくDCT(離散余弦変換)を考慮
し、別の判定を符号器により行う必要がある。
量の復号器が通常必要とされるが、少数の復号器だけが
サービスを提供するため利用される。約150の同時の
番組用のMPEG−2方式復号器が全国的な放送サービ
スを提供する典型的な構造が、米国のDirecTv衛
星サービスにより与えられる。この構造は、非常に低価
格の復号器を必要とし、一方、符号器は、多数の網羅的
な回路を含み、価格が高くなる場合がある。MPEG−
2方式のビデオ符号化及び復号化は、非対称的な方法で
実装される。符号器は高度の複雑な回路構成を含み、一
方、復号器は、有効なビットストリームを復号化するた
め絶対的に要求される機能性の範囲だけを含む必要があ
る。
トリームのシンタックス及び意味と、所謂システムター
ゲット復号器とを定義する。符号器の実装は規格により
定められない。これにより、画質に関する要求の少ない
応用のためかなり単純な符号器の構築すると共に、高品
質の要求に対し非常に複雑な符号器を構築することが可
能になる。
準レベルは既存のビデオ規格により設定される。ライブ
イベントの放送のため、符号器の実時間動作が絶対必要
である。全ての異なるディジタルビデオ応用及び夫々の
要求を巧く取り扱うため、所謂MPEG委員会(ISO
/IECの作業部会11)は、プロファイル及びレベル
(Profiles and Levels) の集合を定義した。プロファイ
ルは、MPEG−2に属する符号化ツールのある部分集
合を定める。特定の符号化方法及び応用には異なるツー
ルが使用される。レベルは、膨大なパラメータの範囲を
ビデオ放送又はネットワークを介したビデオ伝送のよう
な一般的な応用に使用されるパラメータの数に制限す
る。
は、ITU−Rの勧告601の詳細又はその部分集合に
関係し、MPEG−2のメインレベルのメインプロファ
イル
イレベル
インプロファイルは、所謂4:2:0フォーマットのビ
デオの圧縮方法からなり、高い圧縮比のため必要とされ
る多数の動き補償及び符号化モードを定義する。メイン
プロファイルの動き補償は、フレーム及びフィールドベ
ースの前方及び後方予測に基づき、デュアルプライム
(高性能予測)技術のようなインタレース方式ビデオ信
号を特に目標とした改良を含む。符号化のため、メイン
プロファイルは、フレーム及びフィールドベースの離散
余弦変換と、線形及び非線形の量子化と、標準及び交互
のジクザグの走査等を行う。
の1Mbit/sから最大の約10Mbit/sまでの
範囲内にあるビットレートに基づく。ITU−R勧告6
01に従ってディジタル化されたビデオ信号の生のデー
タレートは、帰線期間、クロック及び同期を含まない場
合に、約166Mbit/sである。従来のNTSC方
式及びPAL方式のビデオ規格に類似した画質を提供す
る典型的な4Mbit/sのビットレートの場合に、4
0の範囲の圧縮率が必要とされる。
られるビデオ信号の場合に、そのノンインタレース方式
の特質と24Hzの低い時間的繰り返しレートとに起因
して、かなり容易に実現される。より多くの過酷な要求
が、特に、高速かつランダムな動きを伴うシーケンス中
に、ビデオカメラから発生した実際のビデオ信号から得
られる。高圧縮レートのかかる画像の適切な再構成のた
め、全ての動き予測と、MPEG−2のメインプロファ
イルにより与えられる符号化の選択肢は不可欠である。
圧縮のためどのようなビデオ信号を準備すべきであるか
については全く指定しない。殆どの場合に、圧縮の前に
画素数を削減することが望ましい。画素デシメーション
(間引き)処理は、水平及び垂直方向の画素ディメンジ
ョンに適用されるが、何れにしても、適当な先行フィル
タリングを必要とする。同じことが、所謂4:2:2の
YCb Cr フォーマットから4:2:0の定義への変換
に適用される。更に、ノイズ性の挙動を伴う画像は、そ
のノイズ成分のランダム特性のため、圧縮にはあまり適
さないことは周知の事実である。符号化の前に多様なノ
イズ除去技術、例えば、フィールド及びフレーム反復平
均化法が適用される。更に、3:2のプルダウンのた
め、ビデオ信号に2回現れるフィールドを符号化する必
要はない。前処理段において、冗長なフィールドの検出
及び除去は有用であり、他の前処理法と共に実装され
る。同じことは、符号化の前に除去され、圧縮自体のた
めにより多くの処理時間を与えるビデオ信号の水平及び
垂直帰線消去期間にも言える。
前にVLSI回路を用いてディジタルビデオ信号を前処
理し得る前処理装置を構築することである。
の特許請求の範囲第1項に記載された特徴により実現さ
れる。全メモリ要求が1個のメモリブロックだけにより
解決される本発明の特徴によれば、標準的なメモリデバ
イスを実装することが可能である。
向フィルタユニット内の多数のラインメモリを節約する
ことが可能である。垂直方向フィルタ処理に必要とされ
る全ラインメモリは、隣接するラインからの適当なデー
タをマクロブロックサイズ順にメモリから読み出すこと
により実現される。上記装置の入力のフィルタ及び間引
き経路は、占有されるメモリ空間の量が最小限に抑えら
れる点で有利である。
ッシュメモリは、適当なタイムスロットに単一のメモリ
ブロックの間で多数のデータ転送の提供を可能にする。
特に、キャッシュメモリは、前のライン、フィールド及
びフレームのような異なる時点に属するビデオデータへ
の柔軟性のあるアクセスを提供する。前処理装置の機能
は、符号化のためのデータを整列させると共に、適当な
時にビデオ画像データを一連の回路に転送することであ
り、即ち、フィールドからフレームへの再整列、ライン
からブロックへの再整列、双方向予測のためのフレーム
再整列、外部記憶装置を用いるビデオ画像データの遅延
が含まれる。前処理機能は、標準解像度ビデオだけでな
く、高解像度画像の符号化を可能にさせるため、種々の
画像サイズの画像データを受け、処理する。前処理機能
は、更に、画像分析の役割、即ち、インタレース方式画
像の検出、動画タイプの画像の検出、3:2のプルダウ
ンによる冗長なフィールドの検出を行う。前処理機能に
よれば、入力ビデオデータ内の同期制御語を検出し、画
像及びマクロブロックの開始の通知を外部コントローラ
及び他の回路アーキテクチャに通知することにより、完
全な符号器の同期が得られる。更に、前処理機能は、入
力ビデオデータ内のユーザ及び補助データの抽出と、そ
のデータの外部コントローラへの伝送を行う。
明の好ましい実施例の説明を行う。本発明はビデオデー
タ信号の前処理を取り扱う。図1に示されるように、前
処理装置は、動き評価段及びビットストリーム符号化段
と共に動作する。このアーキテクチャにおいて、MPE
G−2方式符号化に要求される処理機能は、3個の主要
な集積回路又は段に構造化される。前処理段201は、
データ圧縮に必要とされる全ての入力及び前処理の機能
を含む。動き評価段203は、全ての動き評価及び動き
予測機能を含み、ビットストリーム符号化段207は、
MPEG−2方式符号化のための全てのビットストリー
ム発生機能を含むが、動き予測を含まない。
2,204及び208へのインタフェースと共に、符号
器の全てのプログラム可能な選択肢を提供するコントロ
ーラ209へのインタフェースを有する。段201、2
03及び207には、配線された機能が、夫々のソフト
ウェアを用いて動作するマイクロコントローラ又はマイ
クロコンピュータコアのようなプログラム可能な回路と
共に含まれる。
207号明細書に記載された出願人の他の発明の一面
である機能分割に起因して、全ての段には、現状のVL
SI技術、即ち、0.8μの2層HCMOS4形技術に
よって単一の集積回路上に実装され得るような数の処理
素子しか含まれないので、各段201、203及び20
7は、1個のVLSIチップ上に実現される。
ビットのDRAM、SDRAM又は他の実現可能なメモ
リのような標準的なメモリ装置により構成される。本発
明の重要な部分は、前処理段201の入力に、ITU−
R勧告601に関係したYCb Cr フォーマットの標準
ディジタルビデオ信号DVSが、例えば、13.5MH
zのクロックを含む標準ビデオ同期信号SCLKと共に
使用され、一方、出願人の関連した欧州特許出願第EP
95 119 207号明細書に説明されるように、
段201と段203の間のインタフェースと、段203
と段207の間のインタフェースが特定の定義と関係す
る。段207の符号器出力インタフェースは、ISO
13818に定義されたパケット化基本ビットストリー
ム(PES)のような圧縮されたMPEG−2方式ビッ
トストリームを、適当な同期信号と共に出力CVBSに
供給する。このビットストリームはデータ要求入力DR
EQを用いて読み出される。
動き評価段203に接続され、第2のバスHを介して、
符号化の複雑さの先行分析処理の目的のためのビットス
トリーム符号化段207に接続される。先行分析処理
は、インター又はイントラと、フィールド又はフレーム
の決定のような関連する符号化パラメータを調整するこ
とにより各マクロブロック内に付加的な種類のレート制
御を行う。段201、203及び207のコントローラ
209へのインタフェースは、双方向の第3のバスJを
介して接続され、モトローラ社又はテキサスインスツル
メンツ社製の回路、例えば、TMS320C30のよう
な標準的なコントローラデバイスに関係するような標準
的なデータ、アドレス及び同期の定義を使用する。コン
トローラ209は、更に、バスSYSSVを介してシス
テム全体の制御又はユーザインタフェースコンピュータ
へのインタフェースを有し、そこから符号器セットアッ
プのためのパラメータ、モード選択等を受ける。バスS
YSSVを介して、エラーコードのような符号器状態情
報が通知される。
の内容である全ての前処理及びデータ再整列機能を含
む。上記機能は、水平方向及び垂直方向のフィルタリン
グ処理と、元の画像フォーマットから符号化フォーマッ
トへの変換のためのデシメーション処理、例えば、動作
的な1ライン当たり720画素から544画素への間引
き処理とを含む。一例として、所謂4:2:2のYCb
Cr 構造からの変換、4:2:0の符号化フォーマット
を得るためのクロミナンス信号の適当なフィルタリング
処理及び間引き処理は、段201の処理機能の一部分で
ある。段201の他の重要な仕事は、水平及び垂直帰線
消去期間の除去と、フィールド及びラインの順次走査か
らMPEG−2方式符号化に有用な適当なマクロブロッ
クに関連した走査順序へのビデオデータの再整列であ
る。段201は、ルミナンス及びYC b Cr データのよ
うな異なるタイプのマクロブロックデータに、符号器全
体の次の処理ブロックのための適当な同期的な挙動を与
える。ノイズ除去と、動画像シーケンスの場合の冗長な
フィールドの検出のような他の処理オプションは、段2
01の機能の一部をなす。ビデオ符号化アーキテクチャ
におけるこの処理段は、そのSCLK入力で同期信号を
検出し、夫々のマクロブロック出力信号及び符号器回路
の残りの部分のための同期信号を発生する役割がある。
符号化に必要とされる全ての動き評価処理を含み、更
に、好ましくは、出願人の他の関連した欧州特許出願第
EP95 402 787号明細書に記載されたような
動き予測機能を含む。段207は、特に、DCTと、逆
DCTと、量子化と、逆量子化と、ランラングス及び可
変長符号化機能と、ヘッダ編集と、パケット化とを含
む。この特定の機能分割は、適当であり、かつ、有利で
ある。上記の段207は、出願人の更なる欧州特許出願
第EP 95 402 786号明細書に記載される。
ックを使用し、一方、一般的な処理クロックレートは、
例えば、54MHzである。MPEG1方式を考える限
り、基本符号化機能は、エス ジー エス トムソンの
STi3230チップ上の回路等を用いて実行される。
動き評価及び動き評価コントローラのような回路は、エ
ス ジー エス トムソンのSTi3220及びSTi
3223チップにより周知である。DCT及び逆DCT
は、エス ジー エス トムソンのIMSA121、S
TV3208、STV3200等の回路を用いて実現さ
れる。
に示される。参照番号は図1に使用された参照番号と同
じである。図1と同じ参照番号は、図1に関し説明され
た部品と同じ部品を表わす。従って、同じ部品について
の説明は行わない。段203は、他の方法で実現され
る。段203の機能は、粗い動き評価段220と、細か
い動き評価段230とに分割される。この階層的な動き
評価はより精巧な動き評価技術に関係し、動きベクトル
探索処理を実装するためより高い処理能力が必要とされ
る。段220及び230は、ルミナンスだけに作用する
が、更に、クロミナンスデータに作用してもよい。段2
30は、好ましくは、半画素(1/2-pel) の精度を有する
ベクトルを計算する。
接続され、夫々、標準的なメモリ221及び231への
専用インタフェースを有する。コントローラ209は、
双方向バスJを介して段220及び段230に接続され
る。このアーキテクチャにおいて、粗い動き評価段22
0は、バスHを介して前処理段201から入力信号を受
ける。同じバスは、符号化の複雑さの先行分析処理の目
的のためのビットストリーム符号化段207に接続され
る。前処理段201は、バスG上の別の信号を細かい動
き評価段230に直接的に供給する。好ましくは、バス
Hはクロミナンスデータを転送しないが、バスGはクロ
ミナンスデータを転送する。
特定の同期信号と共に、MPEG−2方式マクロブロッ
ク構造に関係した特定の順序で伝えられる方が有利であ
る。バスG上のYCb Cr データは、バスH上の対応す
るデータに対し1フレームだけ遅延される。粗い動き評
価段220と細かい動き評価段230を接続するバス上
で、粗い動き評価段220において計算されたような初
期動きベクトルからのデータは、最終的な動きベクトル
を計算する細かい動き評価段230に伝えられる。
ース信号を伝える。バスZ1上で、マクロブロックデー
タが段230から段207に伝えられる。これは、バス
G上で伝えられたようなデータに対応するが、段230
の前処理時間に従って遅延される。バスZ2は、段23
0から段207に予測されたマクロブロックデータを転
送する。このマクロブロックデータは、段230におい
て計算され、バスZ3上で段307に転送された細かい
動きベクトルと予測モードに関係する。粗い動き評価段
220に関係するより詳細な説明は、出願人の他の仏国
特許出願明細書第FR9110158号に記載されてい
る。細かい動き評価段230に関係するより詳細な説明
は、出願人の他の仏国特許出願明細書第FR91101
58号に記載されている。
において、参照番号10はインタフェースブロックを示
す。データバスAを介して入力ビデオデータはインタフ
ェースブロック10に供給される。このインタフェース
ブロック10において、到来データはフォーマット化さ
れ、既存の同期信号が検出され、これに基づいて新しい
同期信号が発生される。新しい同期信号、例えば、マク
ロブロック同期信号又は画像同期信号は、以下に説明さ
れるバスFの要求に厳密に基づく。ビデオ信号の水平帰
線消去期間は除去される。インタフェースブロック10
は、バスBを介してルミナンス及びクロミナンス画素デ
ータを水平方向フィルタユニット20に転送する。
クロミナンス画素データに対し、並列又は直列的な形式
で作用する。このフィルタは、ルミナンス及びクロミナ
ンスデータに対し水平方向ローパスフィルタ処理と、間
引きとを行う。このフィルタは、周知のFIR(有限イ
ンパルス応答)フィルタ構造を用いて実現される。プロ
グラム可能な係数を用いる構造と共に異なるフィルタ形
状及び帯域幅を実装することができる。
は、データバスDを介して次のフィルタ処理段30に転
送され、一方、クロミナンス画素データは、データバス
Cを介して、キャッシュメモリユニット61に送られ
る。上記の画素データは、双方向データバスFを介して
キャッシュメモリ61から外部メモリユニット202に
移される。フィルタ処理段30は、以下に説明するノイ
ズ除去フィルタユニットである。フィルタ段30の通過
後、ルミナンス画素データは、データバスEを介してキ
ャッシュメモリ62に移され、そこからデータバスFを
介して外部メモリユニット202に移される。
ット40にも接続される。フィルタリングユニット40
は3次元ディジタルフィルタである。このフィルタリン
グユニット40は、インタレース方式又は順次走査方式
の画像の検出と、3:2のプルダウンモードと組み合わ
された冗長なフィールドの弁別のための選択及び分析機
能を含む。インタレース方式走査及び冗長フィールド
は、画像の統計量の分析と共に、連続したフィールドの
比較により、ビデオシーケンス内で検出される。このよ
うな操作は、既に文献に記載され、当業者に周知であ
る。5個の入力データバスE、K、L、M、Nはユニッ
ト40に設けられる。上記の各データバスは、適当なキ
ャッシュメモリ62乃至66に接続される。データバス
K、L、Mは、更にフィルタユニット30に接続され
る。この配置により、例えば、4フィールド又はフレー
ムの監視及び比較間隔が得られるので、外部メモリ20
2に必要なフィールドが格納される。
ングユニット40が、できる限り同一のデータ及びキャ
ッシュメモリを使用することが有利である。前処理装置
の配置は、更なるフィルタユニット50を含む。フィル
タユニット50は、ルミナンス及びクロミナンス画素デ
ータの垂直方向フィルタ処理と、場合によっては間引き
処理を提供する。符号化フォーマットの間引き処理と、
隣接するラインの画素データを比較することによる4:
2:0の変換とに必要とされる垂直方向フィルタ処理
は、刊行物により公知である。本発明によれば、垂直方
向フィルタリング処理のための隣接するラインからの適
当なデータは、マクロブロックのサイズ順にメモリから
読み出される。これは、垂直方向フィルタ処理が各マク
ロブロック毎に別々に行われることを意味する。この目
的のため、データバスFに接続されたキャッシュメモリ
71乃至74が設けられる。これにより、垂直方向フィ
ルタ処理に必要とされるあるラインメモリは、垂直方向
フィルタユニット自体に実装しなくてもよくなる。垂直
方向フィルタユニット50は、データバスFに続いて、
前処理段201の出力側に実装され、全ての要求される
データが外部メモリ202で得られる方が有利である。
フィルタの静定期間のためのマクロブロックの境界の適
当な垂直方向重複データは、フィルタ50に供給された
夫々のデータブロックと共に読まれるべきである。フィ
ルタは、プログラム可能な係数を介して選択可能なフィ
ルタ特性を備えた標準的な有限インパルス応答の形で実
装される。
と、メモリ管理ユニット70とを含む。制御ユニット6
0は、制御、データ及びアドレスバスPを介して、全て
のフィルタユニット20、30、40、50と、インタ
フェースブロック10と、メモリ管理ユニット70とに
接続される。制御ユニットは、全てのモードと、接続さ
れた装置のパラメータのセットアップを行う役割を担
う。制御ユニットは、夫々の信号を、バスFに接続され
た外部メモリユニット202のメモリアドレス計算を実
行するメモリ管理ユニット70に与える。アドレスデー
タは、バスRを介してメモリ202に転送される。制御
ユニット60とメモリ管理ユニット70は、前処理装置
の配置のVLSI回路の一体的な部分をなしても構わな
い。
し、画素データがバスFを介してメモリ202から読み
出され、一時的なキャッシュメモリ63乃至66及び7
1乃至74に書き込まれる。これは、前のライン、フィ
ールド及びフレームのような異なる時点に属するビデオ
データへの柔軟性のあるアクセスを提供する。キャッシ
ュメモリは、関連したバス上の空のタイムスロットを利
用する。
びフィールドの順次の方法でバスFを介してメモリ20
2に書き込まれる。キャッシュメモリ63乃至66に対
し、画素データは同じ走査順序で、夫々の時点の間に取
り出される。完全な前処理ユニットの出力信号を発生す
るため、ルミナンス及びクロミナンス画素が動き評価及
び圧縮に適当なマクロブロック走査の順にメモリ202
から読まれる。例えば、2個の独立した出力信号は、一
方が段207の最終的な圧縮用であり、他方が場合によ
っては粗い動き評価、或いは、場合によっては細かい動
き評価用であり、かつ、最終的な圧縮の先行分析の目的
のためのデータバスG及びHのため発生される。動き評
価の時間遅れは、メモリからのデータの読み出し時間に
より補償される点が有利である。これにより、バスG及
びH上の夫々のルミナンス、及び、場合によってはクロ
ミナンスデータは、数フィールド分の遅延を有し、メモ
リ202は異なる目的のための機能を行う。
イズ除去フィルタであり、他の応用から分かるように繰
り返し的なフィルタである。かかるフィルタの有利な例
が図4に示される。全ての水平方向処理はバスFの前に
あることが有利である。間引きされたビデオデータだけ
が、バスFに転送され、メモリ202に格納される。図
4において、現在のアクセス時間のビデオデータは、デ
ータバスDを介して選択器110に直接供給される。選
択器110は、その出力でバスEに接続され、バスD上
の元の到来データ、又は、加算器170の後のフィルタ
処理されたデータの間の選択を行う。フィルタリングさ
れたデータは、重み付け関数を備えたバスK、L、M及
びD上のデータの結合により得られる。最初に、互いに
1本のラインで間隔が設けられ、バスD上の現時点の実
際のラインデータから262又は263本のライン間隔
(例えば、525ラインのシステムの場合)だけ離され
たビデオラインを表わすバスK及びL上のビデオデータ
は、出力バスQを有するブロック120で平均化され
る。次に、平均化又は選択性フィルタユニット130
は、バスD、M及びQ上でディジタル化された信号の結
合又は選択のため使用される。バスD上のデータは、減
算器140においてバスT上に得られた信号か減算さ
れ、乗算器150に供給される。乗算器150は、得ら
れた結果を適当なバスを介して、非線形関数を与える重
み付け段160に出力する。重み付け段160の出力デ
ータは、フィルタ処理された出力データを選択器110
に供給するため、加算器170においてバスD上の元の
データと結合される。乗算器150の乗数と、段160
の重み付け曲線と、選択器110の動作と共に、ユニッ
ト130への選択信号及びフィルタ係数は、夫々のバス
W、X、Y、Vを介して制御ユニット180により制御
される。当然ながら、フィルタユニット30の全体は、
適当なマイクロプロセッサにより実行されるコンピュー
タプログラムにより実装される。フィルタ関数と重み付
け曲線とに依存して、図4に示された完全なフィルタ
は、殆どの場合にノイズを表わす低レベル信号を特別に
取り扱うと共に、隣接するライン、フィールド及びフレ
ームに亘って画像内容の平均化を行う。
像の隣接するライン及びフィールドへのアクセス点を示
す図である。図5において、ビデオラインの列が異なる
時点t1 乃至t4 に示される。同図は、インタレース方
式画像の場合の一例である。時点t1 のビデオライン
は、インタレース方式画像の最初の半分に対し有効であ
り、時点t2 のビデオラインは、画像の夫々の次の半分
に対し有効である。時点t4 のビデオライン300は、
ノイズ除去が望まれる現在のビデオラインである。ビデ
オライン301及び302は、現在のビデオライン30
0の1フィールド前に転送されたビデオライン300の
隣接するビデオラインである。ビデオライン303は、
現在のビデオライン300の1フレーム前に転送された
ビデオラインである。525本のビデオラインを備えた
標準ビデオシステムにおいて、ビデオライン303は5
25本のビデオライン分だけ遅延され、一方、ビデオラ
イン301は262本のビデオライン、ビデオライン3
02は263本のビデオライン分だけ遅延される。ビデ
オライン300のノイズ除去は、前のビデオライン30
1乃至303に基づいて計算される。現在のビデオライ
ン300に対する画素データは、バスDを介してノイズ
除去フィルタ30に入力され、一方、ビデオライン30
1乃至303に対する画素データは、夫々のバスK、
L、Mを介してフィルタ30に入力される。
のフレームの4:2:0方式のマクロブロック構造を示
す図である。このマクロブロック構造はYUV方式マク
ロブロック構造とも呼ばれる。出力されたフレームはマ
クロブロックに分割される。16*16のマクロブロッ
クは、図6に数字で示されたようにマクロブロックの走
査順に6個の小さいブロックとして転送される。図6に
示された小さい各ブロックは、図7に示されるように構
造化される。小さい各ブロックは、各々が8画素の値の
8本のラインを含む。
ミナンスマクロブロックは、図8に示されたような順序
で、データバスHを介して前処理装置から出力される。
これは、第1のマクロブロック行の最初の4個のマクロ
ブロック、第2のマクロブロック行の最初の4個のマク
ロブロック、第3のマクロブロック行の最初の4個のマ
クロブロック、以下同様の順に出力されることを表わ
す。図8は、1行当たり45個のマクロブロックを伴う
720*480画素の画像の一例を示す。
ロックU、V、又は、より一般的なブロックCb 及びC
r により構成される所謂YUV方式マクロブロックは、
ルミナンスマクロブロックとは異なる順序で、データバ
スGを介して前処理装置から出力される。この出力順序
は図9に示される。最初に、第1の行のマクロブロック
MB1乃至MB45が出力され、次に、第2の行のマク
ロブロックMB46乃至MB90が出力され、以下同様
に繰り返される。
な機能ブロック図である。
な機能ブロック図である。
る。
ック走査順に示す図である。
を示す図である。
を示す図である。
す図である。
シュメモリ 70 メモリ管理ユニット 110 選択器 120 平均化ブロック 130 平均化又は選択性フィルタユニット 140 減算器 150 乗算器 160 重み付け段 170 加算器 180 制御ユニット 201 前処理段 202,204,208 外部メモリ 221,231 メモリ 203 動き評価段 207 ビットストリーム符号化段 209 コントローラ 220 粗い動き評価段 230 細かい動き評価段 300,301,302,303 ビデオライン
Claims (10)
- 【請求項1】 制御ユニットと、水平方向フィルタユニ
ットと、垂直方向フィルタユニットとからなるディジタ
ルビデオデータストリームを前処理する装置であって、 異なる前処理機能のための全ての読み出し/書込みメモ
リが単一のメモリブロックに収容されることを特徴とす
る装置。 - 【請求項2】 上記水平方向フィルタユニットは前処理
装置の入力側にあり、上記垂直方向フィルタユニットは
前処理装置の出力側にあり、 全ての水平方向処理は上記メモリブロックに通じるデー
タバスよりも前に設けられ、上記メモリブロックは間引
きされたビデオデータだけが供給される請求項1記載の
装置。 - 【請求項3】 上記水平方向フィルタユニットに接続さ
れた出力を有するインタフェースブロックを入力側に更
に有し、 データがフォーマット化され、既存の同期信号が検出さ
れ、既存の同期信号に基づいて新しい同期信号が発生さ
れる請求項1又は2記載の装置。 - 【請求項4】 残りのルミナンス画素データだけがビデ
オノイズ除去フィルタユニットに転送されるように、上
記水平方向フィルタユニットの出力に接続された上記ビ
デオノイズ除去フィルタユニットを更に有する請求項1
乃至3のうちいずれか1項記載の装置。 - 【請求項5】 冗長なフィールドを間引くためのフィー
ルドフィルタユニットを更に有する請求項1乃至4のう
ちいずれか1項記載の装置。 - 【請求項6】 キャッシュメモリユニットが上記フィル
タユニットに設けられ、上記キャッシュメモリユニット
は、データバスを介して上記単一のメモリブロックに接
続される請求項1乃至5のうちいずれか1項記載の装
置。 - 【請求項7】 ルミナンス及びクロミナンス画素データ
が、上記水平方向フィルタユニットと、上記ノイズ除去
フィルタユニットと、上記フィールドフィルタユニット
とにおいてフィルタ処理された後に、上記垂直方向フィ
ルタユニットは、マクロブロックの走査順に上記単一の
メモリブロックから上記ルミナンス及びクロミナンス画
素データを読み出す請求項1乃至6のうちいずれか1項
記載の装置。 - 【請求項8】 少なくとも2個の独立した夫々の出力デ
ータストリームが上記垂直方向フィルタユニットで発生
され、一方の出力データストリームのビデオデータは互
いに数フィールド分だけ遅延され、他方の出力データス
トリームのビデオデータは互いに数フィールド分だけ遅
延され、前処理装置の出力信号を形成する請求項1乃至
7のうちいずれか1項記載の装置。 - 【請求項9】 上記出力データストリームの一方は後続
の粗い動き評価のため設けられ、上記出力データストリ
ームの他方は後続の細かい動き評価及び最終的なデータ
圧縮のため設けられている請求項1乃至8のうちいずれ
か1項記載の装置。 - 【請求項10】 上記動き評価に起因した時間遅れは、
上記単一のメモリブロックからの適当なデータの先行し
た読み出しにより補償される請求項9記載の装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP95119202 | 1995-12-06 | ||
| EP96104592 | 1996-03-21 | ||
| DE96104592:9 | 1996-03-21 | ||
| DE95119202:0 | 1996-03-21 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH09187035A true JPH09187035A (ja) | 1997-07-15 |
| JPH09187035A5 JPH09187035A5 (ja) | 2004-11-25 |
| JP3737586B2 JP3737586B2 (ja) | 2006-01-18 |
Family
ID=26138957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32444596A Expired - Fee Related JP3737586B2 (ja) | 1995-12-06 | 1996-12-04 | ディジタルビデオデータストリームの前処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6064450A (ja) |
| JP (1) | JP3737586B2 (ja) |
| DE (1) | DE69621901T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1133173A3 (de) * | 1999-12-23 | 2005-02-16 | XSYS Interactive Research GmbH | Videosignalverarbeitungssystem bzw. Videosignalverarbeitungsverfahren |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6157676A (en) * | 1997-07-31 | 2000-12-05 | Victor Company Of Japan | Digital video signal inter-block interpolative predictive encoding/decoding apparatus and method providing high efficiency of encoding |
| US6424381B1 (en) * | 1998-06-26 | 2002-07-23 | Lsi Logic Corporation | Filtering decimation technique in a digital video system |
| US6272497B1 (en) * | 1998-06-26 | 2001-08-07 | Lsi Logic Corporation | Vertical filter architecture using interleaved memory for storage of pixel data |
| US6778604B1 (en) * | 1998-11-05 | 2004-08-17 | Tektronix, Inc. | Motion compensation performance improvement by removing redundant edge information |
| US6909469B2 (en) | 1999-08-11 | 2005-06-21 | Silicon Image, Inc. | Interlace motion artifact detection using vertical frequency detection and analysis |
| EP1081959B1 (en) * | 1999-09-03 | 2007-11-14 | STMicroelectronics S.r.l. | Method for recognizing a progressive or an interlaced content in a video sequence |
| KR100311480B1 (ko) * | 1999-10-12 | 2001-10-18 | 구자홍 | 영상 포맷 변환 장치 |
| US6714258B2 (en) * | 2000-03-15 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video-apparatus with noise reduction |
| WO2001080559A2 (en) * | 2000-04-18 | 2001-10-25 | Silicon Image | Method, system and apparatus for identifying the source type and quality level of a video sequence |
| DE10033420A1 (de) * | 2000-07-08 | 2002-01-17 | Philips Corp Intellectual Pty | Vorrichtung zur Reduktion von Flackerstörungen |
| US7158571B2 (en) * | 2000-12-11 | 2007-01-02 | Sony Corporation | System and method for balancing video encoding tasks between multiple processors |
| CN1167034C (zh) | 2001-02-27 | 2004-09-15 | 华为技术有限公司 | 图像预去噪的方法 |
| US7197194B1 (en) * | 2001-05-14 | 2007-03-27 | Lsi Logic Corporation | Video horizontal and vertical variable scaling filter |
| US7649947B2 (en) * | 2001-06-05 | 2010-01-19 | Qualcomm Incorporated | Selective chrominance decimation for digital images |
| DE10140984C1 (de) * | 2001-08-21 | 2003-04-03 | Sci Worx Gmbh | Verfahren und Vorrichtung zur Filterung von Bilddatenströmen |
| JP2003274372A (ja) * | 2002-03-14 | 2003-09-26 | Fujitsu Ltd | ラインメモリの容量を小さくした画像フォーマット変換装置 |
| US7084929B2 (en) * | 2002-07-29 | 2006-08-01 | Koninklijke Philips Electronics N.V. | Video data filtering arrangement and method |
| US20040223084A1 (en) * | 2003-05-08 | 2004-11-11 | Stanger Leon J. | Methods and apparatus for border processing in video distribution systems |
| CN100571389C (zh) * | 2004-06-29 | 2009-12-16 | 奥林巴斯株式会社 | 用于图像编码/解码和扩展图像压缩解压缩的方法和设备 |
| US20060158557A1 (en) * | 2005-01-20 | 2006-07-20 | Shang-Chieh Wen | Method and apparatus for video processing |
| US20060239344A1 (en) * | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for rate control in a video encoder |
| US9667999B2 (en) * | 2005-04-25 | 2017-05-30 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for encoding video data |
| US7724305B2 (en) * | 2006-03-21 | 2010-05-25 | Mediatek Inc. | Video data conversion method and system for multiple receivers |
| NO325859B1 (no) * | 2006-05-31 | 2008-08-04 | Tandberg Telecom As | Kodek-preprosessering |
| TWI444047B (zh) * | 2006-06-16 | 2014-07-01 | Via Tech Inc | 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元 |
| US8243815B2 (en) * | 2006-06-16 | 2012-08-14 | Via Technologies, Inc. | Systems and methods of video compression deblocking |
| US9031126B2 (en) * | 2006-11-01 | 2015-05-12 | Broadcom Corporation | Method and system for video encoding using noise level estimates from vertical blanking interval TV lines |
| TWI422229B (zh) * | 2007-11-12 | 2014-01-01 | Univ Nat Chunghsing | A Dynamic Compensation Time Filter for Distortion - free Video Compression System and Its |
| KR101274112B1 (ko) | 2009-09-15 | 2013-06-13 | 한국전자통신연구원 | 영상 부호화 장치 |
| US20110135008A1 (en) * | 2009-12-07 | 2011-06-09 | Electronics And Telecommunications Research Institute | Video processing system |
| US8503534B2 (en) * | 2010-04-22 | 2013-08-06 | Maxim Integrated Products, Inc. | Multi-bus architecture for a video codec |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07101924B2 (ja) * | 1987-10-26 | 1995-11-01 | パイオニア株式会社 | 映像信号のノイズ除去装置 |
| DE3837329A1 (de) * | 1988-11-03 | 1990-05-10 | Bosch Gmbh Robert | Zweidimensionales digitales filter |
| US5008752A (en) * | 1989-06-16 | 1991-04-16 | Eastman Kodak Company | Digital image interpolator with multiple interpolation algorithms |
| JP2549013B2 (ja) * | 1990-10-08 | 1996-10-30 | 日本ビクター株式会社 | データ圧縮装置 |
| FR2680292B1 (fr) * | 1991-08-09 | 1993-11-12 | Sgs Thomson Microelectronics Sa | Filtre bidimensionnel a reponse impulsionnelle finie. |
| US5253059A (en) * | 1992-05-15 | 1993-10-12 | Bell Communications Research, Inc. | Method and circuit for adjusting the size of a video frame |
| GB9303369D0 (en) * | 1993-02-19 | 1993-04-07 | Philips Electronics Uk Ltd | Identifying film frames in a video sequence |
| KR0134325B1 (ko) * | 1993-12-16 | 1998-04-23 | 배순훈 | 영상 데이타 전처리 필터 |
-
1996
- 1996-11-25 US US08/753,354 patent/US6064450A/en not_active Expired - Lifetime
- 1996-11-27 DE DE69621901T patent/DE69621901T2/de not_active Expired - Lifetime
- 1996-12-04 JP JP32444596A patent/JP3737586B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1133173A3 (de) * | 1999-12-23 | 2005-02-16 | XSYS Interactive Research GmbH | Videosignalverarbeitungssystem bzw. Videosignalverarbeitungsverfahren |
Also Published As
| Publication number | Publication date |
|---|---|
| US6064450A (en) | 2000-05-16 |
| JP3737586B2 (ja) | 2006-01-18 |
| DE69621901D1 (de) | 2002-07-25 |
| DE69621901T2 (de) | 2002-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3737586B2 (ja) | ディジタルビデオデータストリームの前処理装置 | |
| US5731850A (en) | Hybrid hierarchial/full-search MPEG encoder motion estimation | |
| US6262770B1 (en) | Methods and apparatus for decoding high and standard definition images and for decoding digital data representing images at less than the image's full resolution | |
| US5768537A (en) | Scalable MPEG2 compliant video encoder | |
| EP1025692B1 (en) | Computational resource allocation in an information stream decoder | |
| EP1032211A2 (en) | Moving picture transcoding system | |
| EP0683612A2 (en) | HDTV raster converter and interpolation filter with section overlap | |
| WO2000030359A1 (en) | Method of transcoding coded video signals and corresponding transcoder with motion vector selection | |
| EP0777387B1 (en) | Method and apparatus for encoding digital video signals | |
| US20090110074A1 (en) | Method and System for Motion Compensated Picture Rate Up-Conversion Using Information Extracted from a Compressed Video Stream | |
| EP0778707B1 (en) | Apparatus for pre-processing of a digital video data stream | |
| EP0778698B1 (en) | Method and apparatus for fine motion estimation in digital video pictures | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP2923875B2 (ja) | 動画像符号化装置 | |
| JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JPH10262255A (ja) | 画像符号化装置 | |
| JPH11252561A (ja) | 動画像復号化方法 | |
| JPH0738899A (ja) | 画像符号化装置 | |
| JPH0937265A (ja) | 画像復号化装置 | |
| JPH11191885A (ja) | 動画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050608 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051027 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081104 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |