JPH1051784A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像符号化装置において、高画質で安定し
た圧縮符号化を実現する。 【解決手段】 シーンチェンジ検出回路１０２はシーン
チェンジの生じたフレームを検出する。画像置換え判定
回路１０４は、シーンチェンジの生じたフレームがＢ−
Ｐｉｃｔｕｒｅであるか否かを判定し、Ｂ−Ｐｉｃｔｕ
ｒｅであれば、切換回路１０６に信号を送る。切換回路
１０６はその信号を受けて、Ｂ−Ｐｉｃｔｕｒｅの符号
の代わりに、画像置換え符号を出力するように切換えを
行なう。符号量の多いＢ−Ｐｉｃｔｕｒｅの記録が禁止
され、その画像の代わりに他のフレームの画像を表示す
る符号が記録されるため、安定した圧縮符号化が実現さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は動画像符号化装置
に関し、特にテレビジョン信号などの動画像映像信号
を、フレーム内符号化と、フレーム間符号化とを組合せ
た動き予測を用いて、可変長符号により圧縮符号化する
動画像符号化装置に関する。特に、シーンチェンジ発生
時の悪影響を防止することで、画質の安定化を図る動画
像符号化装置に関する。

【０００２】

【従来の技術】動画像を圧縮符号化する符号化方式とし
て、ＭＰＥＧ方式がＭＰＥＧ−Ｖｉｄｅｏ（ＩＳＯ／Ｉ
ＥＣ １１１７２−２）およびＭＰＥＧ２−Ｖｉｄｅｏ
（ＩＳＯ／ＩＥＣ １３８１８−２）として規格化され
ている。この方式は、記録以外にもデジタル放送、デジ
タル伝送といった放送、通信分野で広く用いられてい
る。

【０００３】ＭＰＥＧ方式では、１フレームの画像内で
符号化を行なう、Ｉ−Ｐｉｃｔｕｒｅと呼ばれるフレー
ム内符号化フレーム、そして過去のフレームを参照する
ことにより圧縮を行なうＰ−Ｐｉｃｔｕｒｅ、過去およ
び未来の２つのフレームを参照することにより圧縮を行
なう、Ｂ−Ｐｉｃｔｕｒｅと呼ばれる２つのフレーム間
符号化フレームによってフレームデータが構成されてい
る。そして、Ｐ−Ｐｉｃｔｕｒｅは再生時間順に最も近
い過去に存在する参照フレーム（参照されるフレームで
あり、Ｉ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅ）
を参照することにより、Ｂ−Ｐｉｃｔｕｒｅは最も近い
過去に存在する参照フレームと最も近い未来に存在する
参照フレームとを参照することにより符号化および復号
化がなされる。

【０００４】ＭＰＥＧ方式とは、複数のフレームの集合
であるＧＯＰ（グループオブピクチャ）をフレームシー
ケンス中に構成し、このＧＯＰ内で１枚のフレームのフ
レーム内圧縮を行ない、これ以外のフレームは、他の画
像データを参照することによりフレーム間圧縮を行な
い、圧縮符号化する方式である。

【０００５】フレーム内圧縮ではＤＣＴ（Discrete Cos
ine Transform ）と量子化とを用いて得られたデータの
可変長符号化を行なうという方式が取られている。

【０００６】まず、フレームデータをマクロブロックと
呼ばれる小領域に分割し、この領域内の８×８の画素ブ
ロックごとにＤＣＴ変換を施し、周波数領域を求める。
人間の視覚特性は高周波に対して鈍感なために、この得
られた周波数領域中の高周波領域への符号割当を少なく
することにより、人間の視覚的には大きな劣化の感じら
れないフレームデータを求めることができる。この割当
を行なうのが量子化である。

【０００７】量子化は８×８画素のＤＣＴ変換を行なっ
た結果得られた８×８の周波数領域データに対し、ある
マトリックスで除算をすることにより実現される。

【０００８】復号器側では、このマトリックスを可変長
復号器から得られたデータに対して乗算（逆量子化）す
ることにより、元の逆ＤＣＴ演算を行なうマトリックス
を得ることが可能になる。

【０００９】ここで、高次のデータ、つまり高周波領域
のデータに対する除算値を大きく設定することにより、
高周波領域の符号化精度を下げることができる。またこ
れにより高周波領域に相当するデータを少なくすること
ができる。

【００１０】このようにして得られた量子化データは、
ゼロ値の多いものとなる。このため、このデータに対し
てゼロ値の数と、それに続く実値という組で可変長符号
化テーブルが形成される。可変長符号化とは、エントロ
ピー符号化の１種で、出現頻度の高いデータには短い符
号を割当て、出現頻度の低いデータには長い符号を割当
てるものである。この組合せにより、効率の高い圧縮が
行なわれる。ＭＰＥＧではこのフレームはＩ−Ｐｉｃｔ
ｕｒｅと呼ばれている。

【００１１】フレーム間圧縮の方法としては、動きベク
トル検出を用いた動き補償という手法が用いられる。こ
れにフレーム内圧縮と同様に、ＤＣＴと量子化と可変長
符号化とが組合せられて符号化が行なわれる。まず、フ
レームデータをフレーム内圧縮の場合と同様にマクロブ
ロックと呼ばれる小領域に分割する。そして、フレーム
間圧縮においては、そのフレームデータだけではなく、
参照を行なう他のフレームデータが必要となる。このフ
レームデータとしては、時間的に近い位置に存在するフ
レームのデータが用いられる。そして、各マクロブロッ
クごとに、参照されるフレームデータ中から、最もその
マクロブロックにデータ的に近い領域が検索される。こ
の「データ的に近い領域」とは、通常画素データについ
て輝度のみ比較して、その自乗誤差平均が最も少ない値
を示す領域をいう。

【００１２】ＭＰＥＧの場合には、この検索は半画素単
位で行なうことになっている。これによって各マクロブ
ロックの所定の範囲の領域から、この検索精度でデータ
的に最も近い領域が検索されることになる。これを動き
予測と呼ぶ。

【００１３】また、この動き量は動きベクトルと呼ば
れ、この値も可変長符号化される。これにより復号側で
は、参照するフレームデータが存在すれば、この「デー
タ的に近い」領域を切出すことが可能となる。

【００１４】得られたフレームデータは、符号化しよう
としているマクロブロックのデータと、当然全く同じも
のではない。このため、この差を補償してやる必要があ
る。ＭＰＥＧでは、この差の補償のために、各画素ごと
（輝度、色差）に差分を取り、この差分領域データを構
成する。

【００１５】そして、これらの中で８×８画素の各領域
ごとにデータのＤＣＴ演算を行ない、フレーム内圧縮の
場合と同様に量子化を行なう。ただし、ここで行なわれ
る量子化は、差分データのものであるため、通常全体的
に精度を落とすものとして行なわれる。

【００１６】このため、差分値においては通常高周波領
域と低周波領域との区別を行なわないものがＭＰＥＧで
はデフォルトとして用意されている。もちろん、この量
子化マトリックスもエンコーダ側で自由に変更可能であ
る。

【００１７】このようにして得られたデータを逆量子化
し、逆ＤＣＴし、参照されるフレームデータがデコーダ
内部に存在していれば、この得られた値をその動き量か
ら得られた画像領域に加算することにより、マクロブロ
ックの復号が行なわれることになる。

【００１８】ＭＰＥＧでは、このフレーム間圧縮された
画像データは、２種類存在している。過去のフレームか
らのみ参照が行なわれるフレームデータをＰ−Ｐｉｃｔ
ｕｒｅという。また、過去および未来の双方から参照が
行なわれるフレームデータをＢ−Ｐｉｃｔｕｒｅと呼
ぶ。

【００１９】Ｐ−Ｐｉｃｔｕｒｅは時間的に過去に位置
するＩまたはＰ−Ｐｉｃｔｕｒｅだけから予測される。
Ｂ−Ｐｉｃｔｕｒｅは時間的に過去および未来に位置す
るＩもしくはＰ−Ｐｉｃｔｕｒｅだけから予測される。
このため、Ｂ−Ｐｉｃｔｕｒｅは動き予測のための参照
フレームとして用いられることはない。

【００２０】これらのフレーム圧縮手法を組合せること
により、得られた符号化データは原画像データと比較し
て数分の１から数百分の１のデータになる。また比較的
高い画質が得られている。

【００２１】ただし、フレームの参照という方法を用い
ているために、上記手法を実現するためには、復号器側
において参照される側のフレームデータを保持する構造
が必要になる。また、復号器側では、参照される側のフ
レームデータとしては、復号されたフレームデータしか
当然存在しないために、エンコーダとしては、この条件
でエンコードを行なわなくてはならない。つまり、符号
化の過程において、Ｉ−ＰｉｃｔｕｒｅおよびＰ−Ｐｉ
ｃｔｕｒｅを符号化後、復号器と同じ条件で復号を行な
い、その復号後のフレームデータを保持する必要があ
る。そして、このフレームデータを参照することによ
り、フレーム間圧縮であるＰ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐ
ｉｃｔｕｒｅの符号化を行なわなくてはならない。

【００２２】図５に、ＭＰＥＧ動画像のフレームシーケ
ンスの一例を示す。図中Ａは各フレームの表示順であ
り、ＭＰＥＧで最も一般的に用いられるフレームの種類
の順を示しているが、もちろんこの順番に限定されるも
のではない。矢印は終点に当たるフレームの符号化、復
号を行なう場合に、始点にあるフレームデータを参照す
ることを示している。

【００２３】この中で、５０３、５１８はＩ−Ｐｉｃｔ
ｕｒｅである。５０６、５０９、５１２および５１５は
Ｐ−Ｐｉｃｔｕｒｅである。５０１、５０２、５０４、
５０５、５０７、５０８、５１０、５１１、５１３、５
１４、５１６、および５１７はＢ−Ｐｉｃｔｕｒｅであ
る。たとえば、フレーム５０１および５０２は、Ｉ−Ｐ
ｉｃｔｕｒｅ５０３が復号され、復号器であればフレー
ムとして復号器内部に保持されていないと復号すること
ができない。エンコーダであれば、エンコードが終了
し、Ｉ−Ｐｉｃｔｕｒｅの復号が行なわれてエンコーダ
内部にフレームデータとして保持されていないとエンコ
ードできないことになる。

【００２４】また、同様にフレーム５０４および５０５
の符号化、復号化はＩ−Ｐｉｃｔｕｒｅ５０３、および
Ｂ−Ｐｉｃｔｕｒｅ５０６が復号されていなければ、不
可能である。また、Ｐ−Ｐｉｃｔｕｒｅにおいても、５
０６は５０３が、５０９は５０６が復号されていなけれ
ば符号化、復号化は不可能である。

【００２５】このため、これらのデータの記録順は、図
中Ｂのようになる。この記録順に復号を行ない、Ｉ−Ｐ
ｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔｕｒｅの復号フレームデー
タを順次保持することにより、それぞれのフレームデー
タの符号化、復号化が可能になる。また、このような方
法のため、Ｉ−Ｐｉｃｔｕｒｅはそれ自体で高い画質を
維持する必要がある。また、Ｐ−ＰｉｃｔｕｒｅもＢ−
Ｐｉｃｔｕｒｅの参照に利用されるために、高い画質を
維持する必要がある。このため、通常Ｉ−Ｐｉｃｔｕｒ
ｅに最も多くの符号を割当て、次にＰ−Ｐｉｃｔｕｒ
ｅ、Ｂ−Ｐｉｃｔｕｒｅの順で用いるデータ量を減らす
ことにより、全体としての高画質を維持している。

【００２６】このようなＭＰＥＧ符号化方式によって動
画像の映像信号を圧縮符号化する動画像符号化装置の具
体例を図４に示す。

【００２７】装置は、入力端子４１１と、画像並べ換え
回路４１２と、ラスタスキャンからマクロブロックへの
走査変換回路４１３と、減算回路４１４と、ＤＣＴ回路
４１６と、重み付けを行なう量子化回路４１８と、可変
長符号化回路４２０と、エンコーダからの読出バッファ
４２２と、符号化データ列を出力する出力端子４２３
と、レート（量子化幅）制御回路４２４と、逆量子化回
路４２６と、逆ＤＣＴ回路４２８と、加算回路４３０
と、画像メモリ４３２と、画像メモリのデータの読出バ
ス４３２ａ，４３２ｂと、動き補償回路４３４と、モー
ド判定回路４３６と、動き検出回路４３８とを備える。

【００２８】まず、入力端子４１１から画像並べ換え回
路４１２に画像信号が入力される。画像並べ換え回路４
１２は、図５のＢに示されるように、画像記録順すなわ
ち画像の処理順にフレームの順序を入替える回路であ
る。これにより、Ｉ−Ｐｉｃｔｕｒｅとして、圧縮符号
化を行なうフレームが最初に入力され、以降図５のＢに
示されるような順序にフレームの並べ換えが行なわれる
ことになる。

【００２９】まず、画像信号は走査変換回路４１３に入
力される。通常画像信号はデジタル化された画像データ
列であり、ラスタスキャンで得られたデジタルデータで
ある。これは、画面の左上から１画素ずつデータが出力
され、１画素のラインが形成された後、次の１画素下に
相当するラインのデータが出力される形式である。ＭＰ
ＥＧでは、マクロブロックと呼ばれる小領域を単位とし
てデータの処理を行なうために、このブロックにデータ
を変換する必要がある。ＭＰＥＧでは、このマクロブロ
ックは輝度データ１６×１６画素、色差データ各８×８
画素から構成される。ＭＰＥＧでは色差の割合が画像フ
ォーマットによって変更されるが、輝度で１６×１６画
素に相当する範囲がマクロブロックとして処理され、動
きベクトルの検索もこれを単位として行なわれる。

【００３０】以下に符号化の手順を圧縮手法別に説明す
る。まず、Ｉ−Ｐｉｃｔｕｒｅのデータは、通常動きベ
クトルの検索を行なわない（ただしＭＰＥＧでは例外的
に、エラーの復帰のためにＩ−Ｐｉｃｔｕｒｅに動きベ
クトルを導入することが可能である）ために、走査変換
回路４１２を介してそのままＤＣＴ回路４１６に入力さ
れる。そして、画像データの空間−周波数変換が行なわ
れた後、量子化回路４１８によって各周波数領域への重
み付けが行なわれる。

【００３１】そして、このデータが可変長符号化回路４
２０に入力され、可変長符号化がなされる。これらのデ
ータは可変長符号化を行なうために、常時一定の転送レ
ートでデータの出力を行なうことができない。このた
め、読出バッファ４２２において、その転送時のレート
への緩衝を行なう。これにより出力端子４２３から圧縮
符号列は一定の転送レートで出力される。

【００３２】また、この可変長符号化回路４２０の出力
したデータ量はレート制御回路４２４によって観測され
る。そして、各フレームデータの予定していた符号化デ
ータ量と観測されたデータ量とで差異が大きい場合に
は、量子化の値を変更する。

【００３３】量子化において、前述したマトリックスに
エンコーダ側が決定できる量子化幅と呼ばれるスカラ値
を決めることができる。これは、量子化マトリックスの
各値にそのまま乗じて用いるものなので、この値が大き
いほど、つまり粗く量子化するほど発生するデータ量は
少なくなり、小さいほど、つまり細かく量子化するほど
発生するデータ量は多くなる。

【００３４】また、量子化回路４１８の出力は、可変長
符号化回路４２０へ入力されると同時に、逆量子化回路
４２６へも入力される。これは、前述の、参照に用いら
れる符号フレームデータを形成するためであり、以降逆
ＤＣＴが逆ＤＣＴ回路４２８でなされ、この結果が順次
画像メモリ４３２に入力される。この結果、画像メモリ
内部には、参照の基準となるＩ−Ｐｉｃｔｕｒｅの復号
画像が記憶されることになる。

【００３５】次に、Ｐ−Ｐｉｃｔｕｒｅの符号化につい
て説明する。Ｐ−Ｐｉｃｔｕｒｅの符号化の際には、各
マクロブロックごとに動きベクトルが検索される。これ
は、画像メモリ４３２に記憶されたＩ−Ｐｉｃｔｕｒｅ
またはＰ−Ｐｉｃｔｕｒｅのデータを参照することによ
り検索される。ただし、Ｐ−Ｐｉｃｔｕｒｅのデータで
は、すべてのマクロブロックを動きベクトルを用いて符
号化するわけではない。動画像データで、たとえば動き
の速い画像の場合であって、左に大きくパンする画像な
どでは右端側のマクロブロックのデータは、そのフレー
ムデータで始めて出現したデータということになる。こ
のようなデータは他のフレーム中から似た部分を検索し
ても圧縮の効果があまり得られない。

【００３６】このため、この場合にはＩ−Ｐｉｃｔｕｒ
ｅと同様に動きベクトルを用いない処理を行なうモード
などを用いることになる。他にも、背景処理を簡単に行
なうための同位置のブロックデータをそのまま切出すモ
ードがあり、これらのどのモードがそのマクロブロック
の符号化に有効であるかをモード判定回路４３６が行な
う。

【００３７】そして、モード判定回路４３６が動き補償
を行なうという判断を下すと、その命令が動き補償回路
４３４に入力される。また、動き検出回路４３８によっ
て得られた動きベクトルも同様に動き補償回路４３４に
入力される。動き補償回路はこれらのデータから相当す
る領域のデータを画像メモリ４３２中から検出し、減算
回路４１４に出力する。その差分がＤＣＴされ、量子化
され、その後にＩ−Ｐｉｃｔｕｒｅの場合と同様に符号
化される。

【００３８】ただし、Ｐ−Ｐｉｃｔｕｒｅは、時間的に
未来に位置するＰ−Ｐｉｃｔｕｒｅもしくは過去および
未来に位置するＢ−Ｐｉｃｔｕｒｅから参照に利用され
ることになる。このため、このデータはＩ−Ｐｉｃｔｕ
ｒｅを記憶したのと同様に画像メモリ４３２に記憶する
必要がある。この場合に、フレームの復号を行なうが、
Ｐ−Ｐｉｃｔｕｒｅはそのデータ自体で複号を行なうこ
とができない。したがって、この場合にはそのフレーム
の符号化に用いた動きベクトルをもう一度用いて、動き
補償回路４３４が加算回路４３０に対して該当する領域
の画素データを加算してやることにより、復号がなされ
る。そして、復号されたＰ−Ｐｉｃｔｕｒｅのデータ
は、画像メモリ４３２に記憶される。

【００３９】次に、Ｂ−Ｐｉｃｔｕｒｅの符号化につい
て説明する。Ｂ−Ｐｉｃｔｕｒｅの場合も、符号化の手
法はＰ−Ｐｉｃｔｕｒｅと基本的には同じである。ただ
し、Ｂ−Ｐｉｃｔｕｒｅの場合は、過去および未来に位
置するＩ−ＰｉｃｔｕｒｅもしくはＢ−Ｐｉｃｔｕｒｅ
からの参照により圧縮を行なうために、動きベクトルを
Ｐ−Ｐｉｃｔｕｒｅの２倍検索する必要がある。

【００４０】そして、符号化を行なうが、Ｂ−Ｐｉｃｔ
ｕｒｅはどのフレームからも参照に用いられないため、
そのまま符号化データが出力されるだけで、復号画像は
エンコーダ内に生成しなくてもよい。

【００４１】Ｂ−Ｐｉｃｔｕｒｅの場合には、マクロブ
ロックの符号化のモードは過去および未来から予測と、
過去からのみ予測と、未来からのみ予測と、単位内符号
化との４種類から選択することになる。

【００４２】このようにして、ＭＰＥＧのフレームデー
タが生成されることになるが、各符号化タイプの性質の
違いから各符号化タイプごとにデータ量の割当が異なっ
ており、データ量の割当の多い順にＩ−Ｐｉｃｔｕｒ
ｅ、Ｐ−Ｐｉｃｔｕｒｅ、Ｂ−Ｐｉｃｔｕｒｅとなる。

【００４３】

【発明が解決しようとする課題】しかしながら、従来の
技術において、データ量の割当の最も少ないＢ−Ｐｉｃ
ｔｕｒｅでシーンチェンジが発生すると、過去および未
来の双方向のフレームを参照することができなくなる。
これによりＢ−Ｐｉｃｔｕｒｅにおける高い圧縮率を維
持することができなくなり、一時的にデータ量が増加す
る。レート制御回路４２４では、一時的に増加したデー
タ量を吸収すべく続いて符号化されるフレームに割当て
るデータ量を減少させる。

【００４４】このために、引続いて符号化される参照フ
レームであるＩ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕ
ｒｅへのデータ量の割当も減少することになり、参照フ
レームの再生画質が低下する。したがって、復号時にお
ける再生画像の画質低下を一時的に招くという問題点が
あった。

【００４５】この発明はそのような問題点を解決するた
めになされたものであって、安定した再生画像を提供す
ることのできる動画像符号化装置を提供することを目的
としている。

【００４６】

【課題を解決するための手段】上記目的を達成するた
め、この発明のある局面に従うと、動画像符号化装置
は、複数のフレームから構成される動画像信号を入力と
し、符号化の際に、他のフレームに参照されるフレーム
と他のフレームから参照されないフレームとを含むフレ
ーム間符号化を行なう符号化回路と、複数のフレームに
より構成される動画像信号から、シーンチェンジの行な
われるフレームを識別する識別回路と、識別されたフレ
ームの特性を判定する判定回路と、判定回路の判定結果
に基づいて、シーンチェンジの行なわれるフレームの画
像に代えて、他のフレームの画像を表示するための情報
を出力する第１の出力回路とを備える。

【００４７】さらに、判定回路の判定結果に基づいて、
符号化された動画像信号を出力する第２の出力回路を備
える。

【００４８】さらに、複数のフレームは、参照されるフ
レームと、参照されないフレームとを含み、判定回路は
識別されたフレームが参照されないフレームであること
を判定し、第１の出力回路は識別されたフレームが参照
されないフレームであるときに、シーンチェンジの行な
われるフレームの画像に代えて他の参照されるフレーム
の画像を表示するための符号を出力する。

【００４９】さらに、複数のフレームは、参照される第
１のフレームと、参照されない複数の第２のフレームと
を含み、第２のフレームの各々は、第１のフレームを参
照し、第１の出力回路は識別されたフレームが第２のフ
レームの１つであるときに、第２のフレームの各々の画
像に代えて第１のフレームの画像を表示するための符号
を出力する。

【００５０】この発明の他の局面に従うと、動画像符号
化装置は、複数のフレームにより構成される動画像信号
を、フレームごとに圧縮符号化する符号化回路と、符号
化回路による特定のフレームの圧縮符号化の状況に基づ
いて、特定のフレームの画像に代えて他のフレームの画
像を表示するための情報を出力する出力回路とを備え
る。

【００５１】この発明のさらに他の局面に従うと、動画
像符号化装置は、複数のフレームにより構成される動画
像信号をフレームごとに圧縮符号化する符号化回路と、
符号化されたフレームのデータ量を計測する計測回路
と、計測されたデータ量に基づいて、符号化されたフレ
ームの画像に代えて他のフレームの画像を表示するため
の情報を出力する出力回路とを備える。

【００５２】さらに、動画像符号化装置は、ＭＰＥＧ方
式により符号化を行なう。これらの発明に従うと、動画
像信号においてシーンチェンジが発生したときの画像の
符号化の悪影響を低減させることができる。これによ
り、安定した復号画像を提供できる動画像符号化装置を
提供することが可能となる。

【００５３】

【発明の実施の形態】図１は、この発明の第１の実施の
形態における動画像符号化装置の構成を示すブロック図
である。

【００５４】なお、図４における従来の装置と同一の機
能を持つブロックには同一の番号を付して説明を繰返さ
ない。

【００５５】図１に示される装置は、図４の構成に加え
て、シーンチェンジ検出回路１０２と、画像置換え判定
回路１０４と、符号切換回路１０６と、画像置換え符号
発生回路１０８とを備える。

【００５６】シーンチェンジ検出回路１０２は、入力端
子４１１から入力された動画像信号を入力とし、シーン
チェンジの判定を行ない、シーンチェンジ検出信号を出
力する回路である。シーンチェンジは、たとえば動画像
の高域成分の変化、画像のエッジ成分の変動、低域成分
の変動などによって検出することができる。また、シー
ンチェンジ検出回路の現入力フレームに対して基準とな
るフレームは、時間軸上の直前に位置するフレームの他
に、符号化装置において現入力フレームが参照する参照
フレームを用いることができる。なお、ここではシーン
チェンジ検出における検出方法および対象となるフレー
ムについて例を挙げて説明したが、検出方法および対象
フレームをこれに限定するものではない。

【００５７】画像置換え判定回路１０４は、シーンチェ
ンジ検出回路１０２のシーンチェンジ検出信号を入力と
し、各フレームに対する符号化タイプ、すなわち画像が
Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−ＰｉｃｔｕｒｅまたはＢ−Ｐ
ｉｃｔｕｒｅのいずれであるかを判定する。これによ
り、シーンチェンジが検出されたフレームの符号化タイ
プが判定される。画像置換え判定回路１０４は、非参照
フレーム（他のフレームから参照されないフレーム）で
あるＢ−Ｐｉｃｔｕｒｅにおいてシーンチェンジが検出
された場合に、可変長符号化回路４２０から出力され
る、そのＢ−Ｐｉｃｔｕｒｅに相当する符号を、そのＢ
−Ｐｉｃｔｕｒｅが参照する最も近い過去に位置する参
照フレームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉ
ｃｔｕｒｅまたは、最も近い未来に位置するＩ−Ｐｉｃ
ｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅと同一の画像を復
号時に復号画として出力するよう指示するデータ量の少
ない画像置換え符号に置換えるための信号を符号切換手
段１０６に出力する。

【００５８】画像置換え符号発生回路１０８は、非参照
フレームの置換えをする場合に、符号化時にＢ−Ｐｉｃ
ｔｕｒｅに最も近い過去に位置する参照フレームである
Ｉ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕｒｅ、また
は最も近い未来に位置するＩ−Ｐｉｃｔｕｒｅもしくは
Ｐ−Ｐｉｃｔｕｒｅを復号画として出力するように指示
する、Ｂ−Ｐｉｃｔｕｒｅに相当する符号のデータ量よ
り少ないデータ量の符号である画像置換え符号を発生す
る。

【００５９】符号切換回路１０６は、画像置換え判定回
路１０４からの画像置換え指示に従って、可変長符号化
回路４２０の出力である、シーンチェンジの検出された
Ｂ−Ｐｉｃｔｕｒｅに相当する符号を、画像置換え符号
生成回路１０８の出力である画像置換え符号に置換え
る。

【００６０】たとえばＭＰＥＧ２方式では、規格上画像
置換えを行なう符号は定義されていない。しかし、各画
像の最も左上に位置する、マクロブロック単位でのスキ
ャン順で最初のマクロブロック（画像の最も左上に位置
するブロック）と、最後のマクロブロック（画像の最も
右下のブロック）のマクロブロックヘッダのみを符号化
すれば、データ量の少ない符号によって、復号時に、Ｂ
−Ｐｉｃｔｕｒｅを復号化する際に参照するいずれかの
Ｉ−ＰｉｃｔｕｒｅまたはＰ−Ｐｉｃｔｕｒｅを該Ｂ−
Ｐｉｃｔｕｒｅとして復号するように指示することがで
きる。

【００６１】まず、シーンチェンジが起きない通常時に
おける動作について説明する。入力端子４１１から入力
された動画像信号がシーンチェンジ検出回路１０２に入
力される。シーンチェンジ検出回路１０２では、シーン
チェンジの検出がなされない。したがって、画像置換え
判定回路１０４は、可変長符号化回路４２０の出力であ
る符号を選択するよう指示する。符号切換回路１０６
は、可変長符号化回路４２０の出力である符号を後段の
エンコーダ読出バッファ４２２に出力する。

【００６２】次に、非参照フレームにおいてシーンチェ
ンジが起きた場合について動作を説明する。

【００６３】図５のＢ−Ｐｉｃｔｕｒｅ５０８において
シーンチェンジが起きたと仮定する。入力端子４１１か
ら入力された動画像信号がシーンチェンジ検出回路１０
２に入力される。シーンチェンジ検出回路１０２では、
Ｂ−Ｐｉｃｔｕｒｅ５０８においてシーンチェンジを検
出し、シーンチェンジ検出信号を出力する。画像置換え
判定回路１０４では、シーンチェンジ検出信号がＢ−Ｐ
ｉｃｔｕｒｅ５０８において発生したことを確認した上
で、画像置換え符号を出力するように符号切換回路１０
６に指示する。画像置換え符号生成回路１０８は、符号
化される画像として、Ｂ−Ｐｉｃｔｕｒｅ５０８の符号
化に寄与するＰ−Ｐｉｃｔｕｒｅ５０９を、Ｂ−Ｐｉｃ
ｔｕｒｅ５０８に代わって復号画像として出力するよう
に指示する画像置換え符号を生成する。

【００６４】符号切換回路１０６は、画像置換え判定回
路１０４からの画像置換え符号出力の指示を受けて、可
変長符号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅ
５０８を符号化した符号をすべて取除き、画像置換え符
号生成回路１０８からの画像置換え符号を後段のエンコ
ーダ読出バッファ４２２に出力する。

【００６５】次に、参照フレームにおいてシーンチェン
ジが起きた場合について動作を説明する。

【００６６】図５のＰ−Ｐｉｃｔｕｒｅ５１２におい
て、シーンチェンジが起きたと仮定する。

【００６７】入力端子４１１から入力された動画像信号
が、シーンチェンジ検出回路１０２に入力される。シー
ンチェンジ検出回路１０２では、Ｐ−Ｐｉｃｔｕｒｅ５
１２においてシーンチェンジを検出し、シーンチェンジ
検出信号を出力する。画像置換え判定回路１０４では、
シーンチェンジがＰ−Ｐｉｃｔｕｒｅ５１２において発
生したことを確認し、通常動作と同様に、可変長符号化
回路４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符
号化した符号を選択するように指示する。

【００６８】符号切換回路１０６は、可変長符号化回路
４２０の出力であるＰ−Ｐｉｃｔｕｒｅ５１２を符号化
した符号を後段のエンコーダ読出バッファ４２２に出力
する。

【００６９】このようにして、Ｂ−Ｐｉｃｔｕｒｅにお
いてシーンチェンジが発生した際に発生する、データ量
の非常に多いＢ−Ｐｉｃｔｕｒｅに対する符号をデータ
量の少ない画像置換え符号に入替えることができる。こ
れにより、Ｂ−Ｐｉｃｔｕｒｅに予定より多いデータ量
の符号が発生するのを抑え、シーンチェンジが生じたと
きの符号化効率を高めることができる。このため、結果
として高画質で安定な圧縮符号化を実現することができ
る。

【００７０】また、ここでは画像置換え判定回路１０４
は、シーンチェンジ検出回路１０２のシーンチェンジ検
出結果を入力とし、シーンチェンジが検出されたＢ−Ｐ
ｉｃｔｕｒｅの画像置換えを指示するようにしたが、
（１）シーンチェンジの発生したＢ−Ｐｉｃｔｕｒｅの
参照する参照フレームと同一の参照フレームを参照す
る、すべてのＢ−Ｐｉｃｔｕｒｅの、（２）シーンチェ
ンジの発生したＢ−Ｐｉｃｔｕｒｅ以前のすべてのＢ−
Ｐｉｃｔｕｒｅの、または（３）シーンチェンジの発生
したＢ−Ｐｉｃｔｕｒｅ以降のすべてのＢ−Ｐｉｃｔｕ
ｒｅの、フレームを置換えるように指示する場合も考え
られる。

【００７１】また、画像置換え符号生成回路１０８にお
いて入力された符号の時間的に未来に位置するＰ−Ｐｉ
ｃｔｕｒｅを、復号時に、画像置換えを指示されたフレ
ームに代わって復号画像とするように説明したが、時間
的に未来に位置する参照フレームがＩ−Ｐｉｃｔｕｒｅ
であれば、そのＩ−Ｐｉｃｔｕｒｅを復号フレームとす
る。

【００７２】さらに、画像置換え符号生成回路１０８に
おいて時間的に未来に位置するＰ−Ｐｉｃｔｕｒｅまた
はＩ−Ｐｉｃｔｕｒｅを復号時に画像置換えを指示され
た画像に代わって復号フレームとするようにしたが、時
間的に過去のＰ−ＰｉｃｔｕｒｅまたはＩ−Ｐｉｃｔｕ
ｒｅ、時間的に最も近くに位置するＰ−Ｐｉｃｔｕｒｅ
またはＩ−Ｐｉｃｔｕｒｅを復号時に、画像置換えを指
示されたフレームに代わって復号フレームとするように
してもよい。

【００７３】図２は、本発明の第２の実施の形態におけ
る動画像符号化装置の構成を示すブロック図である。図
４または図１に示される回路と同一の機能を持つブロッ
クには、同一の番号を付して説明を繰返さない。

【００７４】この回路では、図４の回路に加えて、画像
置換え判定回路２０２と、画像置換え符号生成回路１０
８と、バッファメモリ２０４とを備える。

【００７５】画像置換え判定回路２０２は、モード判定
回路４３６の出力であるマクロブロックタイプおよび動
き検出回路４３８の出力である動きベクトルを入力と
し、Ｂ−Ｐｉｃｔｕｒｅにおけるフレーム内符号化マク
ロブロック数、１方向からの予測によるブロック数、所
定のしきい値を超える動きベクトル数などの動きの程度
を示すパラメータに基づいて画像置換えの判定を行な
う。

【００７６】バッファメモリ２０４は、画像置換え判定
回路２０２において判定結果が出力されるまでの期間、
可変長符号化回路４２０の出力である符号を遅延させる
ためのメモリである。

【００７７】本実施の形態においては、図１の実施の形
態におけるシーンチェンジ検出回路１０２および画像置
換え判定回路１０４の行なう一連の判定動作を、入力の
異なる新たな画像置換え判定回路２０２によって行なう
ことにより、同様の効果を得るものである。

【００７８】図３は、本発明の第３の実施の形態におけ
る動画像符号化装置の構成を示すブロック図である。図
１および図４に示される回路と同一の機能を持つブロッ
クには、同一の番号を付して説明を繰返さない。

【００７９】この回路は、図４に示される回路に加え
て、データ量計数回路３０２と、画像置換え判定回路３
０４と、レート制御回路３０６と、バッファメモリ３０
８と、画像置換え符号生成回路１０８とを備える。

【００８０】データ量計数回路３０２は、可変長符号化
回路４２０から出力される符号を入力として、フレーム
ごとにリセットされるカウンタである。データ量計数回
路３０２は、各フレームの先頭からのデータ量を出力す
る。

【００８１】画像置換え判定回路３０４は、データ量計
数回路３０２の出力であるフレーム先頭からのデータ量
を入力とし、そのデータ量がＢ−Ｐｉｃｔｕｒｅにおい
て所定のしきい値を超えた場合に、そのフレームをその
Ｂ−Ｐｉｃｔｕｒｅに最も近い過去に位置する参照フレ
ームであるＩ−ＰｉｃｔｕｒｅもしくはＰ−Ｐｉｃｔｕ
ｒｅ、または最も近い未来に位置するＩ−Ｐｉｃｔｕｒ
ｅもしくはＰ−Ｐｉｃｔｕｒｅと同一のフレーム（フレ
ーム置換え）とするため、バッファメモリ３０８から出
力されるそのＢ−Ｐｉｃｔｕｒｅに相当する符号を、デ
ータ量の少ない画像置換え符号に置換えるか否かを判定
する。そして、画像置換えを符号切換回路１０６に指示
するとともに、レート制御回路３０６にも画像置換えを
実施したことを伝える。

【００８２】レート制御回路３０６は、従来のレート制
御回路４２４の処理機能に加えて、画像置換え判定回路
３０４からの画像置換えの実施の信号を受けて、そのＢ
−Ｐｉｃｔｕｒｅにおいて発生した符号のデータ量を画
像置換え符号のデータ量に下方修正する。これにより、
後続のフレームを符号化する際のデータ量の配分を修正
する機能を備えたレート制御回路となっている。

【００８３】バッファメモリ３０８は、少なくとも画像
置換え判定回路３０４で、置換えを行なうと判定される
データ量のしきい値以上のデータの蓄積が可能な符号遅
延用バッファメモリであり、可変長符号化回路４２０の
出力である符号を入力とする。

【００８４】まず、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ
量が所定のしきい値を超えない場合の動作について説明
する。

【００８５】可変長符号化回路４２０の出力がデータ量
計数回路３０２に入力される。データ量計数回路はフレ
ームの先頭でクリアされ、フレームの先頭からのデータ
量を出力する。画像置換え判定回路３０４はそれを入力
する。

【００８６】このとき、そのＢ−Ｐｉｃｔｕｒｅにおけ
るデータ量は所定のしきい値を超えないため、画像置換
え判定回路３０４は、バッファメモリ３０８の出力であ
る、可変長符号化回路４２０の出力を遅延させた符号を
選択するように指示する。符号切換回路１０６は、可変
長符号化回路４２０の出力である符号を後段のエンコー
ダ読出バッファ４２２に出力する。

【００８７】また、Ｉ−Ｐｉｃｔｕｒｅ、Ｐ−Ｐｉｃｔ
ｕｒｅにおいても、しきい値を超えないと同様の判断が
なされ、バッファメモリ３０８の出力が選択される。

【００８８】次に、Ｂ−Ｐｉｃｔｕｒｅにおけるデータ
量が所定のしきい値を超えた場合の動作について説明す
る。

【００８９】可変長符号化回路４２０の出力が、データ
量計数回路３０２に入力される。データ量計数回路は、
フレームの先頭でクリアされ、フレームの先頭からのデ
ータ量を出力する。画像置換え判定回路３０４はそれを
入力する。

【００９０】画像置換え判定回路３０４は、データ量計
数回路３０２の出力であるデータ量を観測し、そのデー
タ量が所定のしきい値を超えたときに、画像置換え符号
を出力するように符号切換回路１０６に指示する。すな
わちＢ−Ｐｉｃｔｕｒｅに相当する符号が可変長符号化
回路４２０から出力されている途中であっても、データ
量が所定のしきい値を超えたときに画像置換え符号を出
力するように符号切換回路１０６に指示するのである。

【００９１】このようにしきい値を超えると同時に、画
像置換えを決定すれば、バッファメモリ３０８は所定の
しきい値に相当するデータ量を蓄積することのできるメ
モリであればよいことになる。符号切換回路１０６は、
画像置換え判定回路３０４からの画像置換え符号出力の
指示を受けて、バッファメモリ３０８からの、可変長符
号化回路４２０の出力であるＢ−Ｐｉｃｔｕｒｅを符号
化した符号をすべて取除き、画像置換え符号生成回路１
０８からの画像置換え符号を後段のエンコーダ読出バッ
ファ４２２に出力する。

【００９２】さらに、レート制御回路３０６では、その
Ｂ−Ｐｉｃｔｕｒｅにおいて発生した符号の総データ量
を、Ｂ−Ｐｉｃｔｕｒｅに対する画像置換え符号の総デ
ータ量に置換えて後続のフレームに割当てるデータ量を
修正する。

【００９３】このようにして、本実施の形態において
は、図１の実施の形態と同様の効果を得ることができ
る。

【００９４】また、この実施例では画像置換え判定回路
３０４において、データ量が所定のしきい値を超えると
同時に置換えを行なうようにしたが、フレームごとのデ
ータ量を計数し終えた後に判定を行なうようにしてもよ
い。

【００９５】このように、非参照フレームにおいてシー
ンチェンジが発生したときに、データ量の増加の発生を
抑えることで、シーンチェンジでの符号化効率を高める
ことができる。このため結果として、高画質で安定な圧
縮符号化を実現することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における動画像符号
化装置のブロック図である。

【図２】本発明の第２の実施の形態における動画像符号
化装置のブロック図である。

【図３】第３の実施の形態における動画像符号化装置の
ブロック図である。

【図４】従来の技術における動画像符号化装置の構成を
示すブロック図である。

【図５】フレーム内符号化フレームを含む、動き予測符
号化の参照関係を説明するための図である。

【符号の説明】

１０２ シーンチェンジ検出回路 １０４，２０２，３０４ 画像置換え判定回路 １０６ 切換回路 １０８ 画像置換え符号生成回路 ３０２ データ量計数回路 ３０６ レート（量子化幅）制御回路

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数のフレームから構成される動画像信
   号を入力とし、符号化の際に、他のフレームに参照され
   るフレームと他のフレームから参照されないフレームと
   を含むフレーム間符号化を行なう符号化手段と、 前記複数のフレームにより構成される動画像信号から、
   シーンチェンジの行なわれるフレームを識別する識別手
   段と、 前記識別されたフレームの特性を判定する判定手段と、 前記判定手段の判定結果に基づいて、前記シーンチェン
   ジの行なわれるフレームの画像に代えて、他のフレーム
   の画像を表示するための情報を、出力する第１の出力手
   段とを備えた、動画像符号化装置。
2. 【請求項２】 前記判定手段の判定結果に基づいて、前
   記符号化された動画像信号を出力する第２の出力手段を
   さらに備えた、請求項１に記載の動画像符号化装置。
3. 【請求項３】 前記複数のフレームは、参照されるフレ
   ームと、参照されないフレームとを含み、 前記判定手段は、前記識別されたフレームが参照されな
   いフレームであることを判定し、 前記第１の出力手段は、前記識別されたフレームが参照
   されないフレームであるときに、前記シーンチェンジの
   行なわれるフレームの画像に代えて、他の参照されるフ
   レームの画像を表示するための符号を、出力する、請求
   項１または２に記載の動画像符号化装置。
4. 【請求項４】 前記複数のフレームは、参照される第１
   のフレームと、参照されない複数の第２のフレームとを
   含み、 前記第２のフレームの各々は、前記第１のフレームを参
   照し、 前記第１の出力手段は、前記識別されたフレームが、前
   記第２のフレームの１つであるときに、前記第２のフレ
   ームの各々の画像に代えて前記第１のフレームの画像を
   表示するための符号を、出力する、請求項１または２に
   記載の動画像符号化装置。
5. 【請求項５】 複数のフレームにより構成される動画像
   信号を、フレームごとに圧縮符号化する符号化手段と、 前記符号化手段による特定のフレームの圧縮符号化の状
   況に基づいて、前記特定のフレームの画像に代えて他の
   フレームの画像を表示するための情報を出力する出力手
   段とを備えた、動画像符号化装置。
6. 【請求項６】 複数のフレームにより構成される動画像
   信号を、フレームごとに圧縮符号化する符号化手段と、 前記符号化されたフレームのデータ量を計測する計測手
   段と、 前記計測されたデータ量に基づいて、前記符号化された
   フレームの画像に代えて他のフレームの画像を表示する
   ための情報を出力する出力手段とを備えた、動画像符号
   化装置。
7. 【請求項７】 前記動画像符号化装置は、ＭＰＥＧ方式
   により符号化を行なう、請求項１から６のいずれかに記
   載の動画像符号化装置。