JP2003153268A

JP2003153268A - 映像符号化方法及び装置並びに記録媒体

Info

Publication number: JP2003153268A
Application number: JP2001352740A
Authority: JP
Inventors: Toshihiro Tanaka; 俊啓田中; Yasuhiko Yamane; 靖彦山根
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-11-19
Filing date: 2001-11-19
Publication date: 2003-05-23

Abstract

(57)【要約】【課題】従来の２パスビデオエンコーダは、色や輝度
に基づく視覚特性の違いを考慮した符号量割当てを行え
なかったため、２回符号化することによる画質の向上の
可能性を最大限に利用できていなかった。【解決手段】映像符号量割当て処理１０は、予備的な
符号化において第３の映像単位毎の輝度値と色差値に基
づいて算出された第２の映像単位毎の視覚クラス値を読
込む処理１２１と、シーケンス全体の目標符号量および
第１の映像単位の符号化情報に基づいてステップ１３０
にて割当てられた第１の映像単位の目標符号量及び第２
の映像単位の符号化情報と視覚クラス値に基づいて、第
２の映像単位に符号量を割り当てる処理１２２とを有す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＤＶＤオーサリン
グシステムなどに用いられる、オフラインでコンテンツ
を制作するための２パスビデオエンコーダにおいて、視
覚特性を考慮して画質を向上するための映像符号化方法
および符号量割当て方法に関する。

【０００２】

【従来の技術】ＤＶＤ−Ｖｉｄｅｏ規格に基づくオーサ
リングシステムでは、デジタル化した映像を情報圧縮
し、シーンに応じた適切なビットレートで記録すること
で、限られたディスク容量を最大限に利用し、高画質な
コンテンツを制作することを可能にしている。これを可
能にした映像圧縮技術は、ビットストリーム及び復号化
装置を規定したＭＰＥＧ２規格（ＩＳＯ／ＩＥＣ１３８
１８−２）である。

【０００３】最初に、ＭＰＥＧ２規格に基づく映像符号
化について簡単に説明する。図１４にＭＰＥＧ２に基づ
いたビデオエンコーダのブロック図を示す。まず入力映
像系列２１０に対して、フレーム並べ替え回路２２２に
おいて、フレーム（又はピクチャ）の符号化タイプに応
じて、符号化順にフレームの並べ替えが行われる。符号
化タイプには、フレーム内符号化フレーム（以下、Ｉピ
クチャと称す）、フレーム間符号化フレーム（以下、Ｐ
ピクチャと称す）およびフレーム内挿符号化フレーム
（以下、Ｂピクチャと称す）の３種類がある。Ｉピクチ
ャは、当該ピクチャのビットストリームのみを用いて復
号が可能なピクチャである。また、Ｐピクチャは、当該
ピクチャ以前に復号されたＩまたはＰピクチャのデータ
と当該ピクチャのデータのみを用いて復号が可能なピク
チャであり、Ｂピクチャは時間的に前後する２枚のＩま
たはＰピクチャのデータと当該ピクチャのデータを用い
て復号が可能なピクチャである。どのタイプのピクチャ
においても、ピクチャは輝度成分Ｙ、色差成分Ｃｂ、Ｃ
ｒの各成分において１６×１６画素を標準とする固定サ
イズのマクロブロックに分割され、符号化処理が行われ
る。

【０００４】動き推定回路２３１はフレーム並べ替え回
路２２２より出力されたフレームの動きベクトルを算出
する。なお、動き推定は、フレーム並べ替え回路２２２
より前で行っても良い。算出された動きベクトルは、後
に動き補償回路２３２で利用される。動き補償は差分器
２８２より出力されたデータをＤＣＴ回路２４１でＤＣ
Ｔ変換し、量子化回路２５１で量子化した後、逆量子化
回路２５２で逆量子化、逆ＤＣＴ回路２４２で逆ＤＣＴ
変換して得られたデータに対して前回の動き補償分を加
算器２８１で加算した値に対して行う。動き補償回路２
３２は加算器２８１より出力されたデータと動き推定回
路２３１より出力された動きベクトルより動き補償した
データを生成し、差分器２８２に出力する。また、動き
補償したデータは、次に符号化するピクチャに対する前
回の動き補償分として加算器２８１に出力される。

【０００５】差分器２８２は動き推定回路２３１より出
力されたデータと動き補償回路２３２より出力されたデ
ータの差分を取る。差分器２８２より出力された映像信
号は、差分器２８２に入力された映像信号がＩピクチャ
の場合は原画像であり、ＰまたはＢピクチャの場合は動
き補償後の差分画像となる。いずれの場合でも、ピクチ
ャは固定サイズのブロックに分割され、ＤＣＴ回路２４
１により、情報量を削減する重要な処理である離散コサ
イン変換（ＤＣＴ:Discrete Cosine Transform）処理が
行われる。量子化回路２５１はＤＣＴ回路２４１より出
力された変換係数に量子化制御回路２６３より与えられ
る量子化幅の値による量子化処理を行う。可変長符号化
回路２６１は量子化回路２６３より出力された変換係数
を一次元の系列に変換し、変換した系列を可変長符号化
する。可変長符号化後のデータは、符号化ビットレート
の制限により、量子化幅をマクロブロック毎に適応的に
変更する処理である量子化制御により制御されなければ
ならない。量子化制御は、量子化制御回路２６３で実行
される。以上のようにして出力されたデータは、復号時
のバッファ状態をシミュレートするためのＶＢＶ（Vide
o Buffering Verifier）と呼ばれる仮想的なバッファ２
６２を通して、ビデオストリーム２９０として出力され
る。

【０００６】次に、ソフトウェアで符号化を行う場合の
処理について簡単に説明する。図１６にＭＰＥＧ２に基
づいた符号化処理のブロック図を示す。まず、フレーム
読込み処理５２２が行われる。ここではフレームの符号
化順への並べ替えも同時に行われる。次に、Ｉフレーム
でない場合は、動き推定処理５３１により動きベクトル
が算出され、フレーム差分処理５８２により差分画像の
生成が行われる。ブロック分割処理５１０にて、ピクチ
ャはマクロブロックに分割される。

【０００７】分割された各マクロブロックに対して、Ｄ
ＣＴ処理５４１、量子化処理５５１、可変長符号化処理
５６１が行われる。可変長符号化後のデータは、バッフ
ァリング及び量子化制御処理５６２にて、ＶＢＶバッフ
ァリングおよび量子化制御が行われる。全てのマクロブ
ロックの符号化が終了すると、次のフレームの予測ため
の再構成画像を生成する再構成処理５３２が行われる。
全てのフレームの符号化が完了すると、符号化を終了５
９０する。

【０００８】一般的に、出力ビデオストリームの平均ビ
ットレートを高くする程、画質を良くすることができ
る。しかしＤＶＤのような蓄積媒体の応用では、ストリ
ームを記録する容量が限られているため、平均ビットレ
ートが制限される。そのため、圧縮の容易なシーンには
少ないビットレートを割り当てて不要なビット量を削減
し、圧縮の難しいシーンには多くのビットレートを割り
当てる手法である、ＶＢＲ（Variable Bit Rate）の符
号化が有効である。ＶＢＲ符号化を用いることで、許容
される平均ビットレートの範囲内で、全体として画質を
改善することが可能となる。しかしＶＢＲ符号化を有効
に行うためには、符号化するシーンの難易度などの情報
を予め収集して利用することが必須となる。そのため、
リアルタイム性が要求される応用では、許容される遅延
時間を利用して映像の情報を収集し、符号化に利用する
手法が用いられる。また、コンテンツ制作のように、映
像の品質が重視されオフラインの符号化の方が望ましい
とされる分野では、２パスエンコードが用いられる。２
パスエンコードは、最初に予備的な符号化を行って画像
の複雑さなどの特徴量を収集しておき、２回目の本符号
化では、収集した特徴量に基づいて符号化を行う手法で
ある。

【０００９】２パスビデオエンコーダの一例を、図１６
に示す。入力映像信号２１０は、選択器１１３に入力さ
れる。第１回目の符号化では選択器２１３は端子２１１
が接続されており、映像信号は予備符号化用ビデオエン
コーダ２０１に入力される。予備符号化用ビデオエンコ
ーダ２０１では、図１４で説明したＭＰＥＧ２のビデオ
エンコーダ２０１と同様の符号化が行われる。但し、第
１回目の符号化は、画像の複雑さなどを示す符号化情報
２９１を取得する目的で行われるため、図１４のバッフ
ァ２６２の制限を考慮しない場合が多い。予備符号化用
ビデオエンコーダ２０１から出力された符号データもし
くは発生符号量などの符号化情報２９１は、本符号化に
おける目標符号量を割り当てるための映像符号量割当て
器３００に入力される。映像符号量割当て器３００は得
られた符号化情報と目標ビットレートなどの符号化条件
から、フレーム、スライス等の単位毎に目標符号量を算
出する。また、目標符号量に加えて量子化幅を計算して
おくことも可能である。以上のようにして計算した結果
を保存するためのディスク３５０を備えることもある。

【００１０】上記の目標符号量に基づいて、本符号化用
ビデオエンコーダ２０２にて正式な符号化が実行され
る。この場合、選択器２１３は端子２１２に接続されて
おり、予備符号化時と全く同じ映像信号が、本符号化用
ビデオエンコーダ２０２に入力される。本符号化用ビデ
オエンコーダ２０２は、予備符号化用ビデオエンコーダ
２０１と同様の構成を取るが、図１４のバッファ２６２
の容量は有効にする必要がある。本符号化用ビデオエン
コーダ２０２は、映像符号量割当て器３０において計算
された目標符号量に基づいて、正式な符号化を行い、ビ
デオストリーム２９０を出力する。

【００１１】また、ソフトウェアで実現する際の２パス
映像符号化処理を図１８に示す。２パス映像符号化処理
４００は、まず予備的な符号化処理４０１を行う。次
に、予備的な符号化処理４０１により得られる符号化情
報に基づいて、映像符号量割当て処理１００を行う。最
後に、映像符号量割当て処理４３により得られる符号量
割当て情報に基づいて、正式な符号化処理４０２が行わ
れ、出力映像ストリームを得て終了４９０する。

【００１２】以上のように２パス映像符号化は、予備的
な符号化処理で映像シーケンス全体に対して発生符号量
などの符号化情報を取得し、符号量割当て処理でシーケ
ンス全体の符号量割当てを行い、正式な符号化ではシー
ケンス全体に対して最適化された符号量割当てに基づい
て符号化を行うため、通常のＣＢＲ符号化を行う場合や
一定の遅延を許してＶＢＲ符号化を行う場合に比べ、高
い画質を得ることが得ることができる。

【００１３】

【発明が解決しようとする課題】以上のような２パス映
像符号化を行うものとしては、例えば、特開平１１−１
３６６７３号公報や特開平１１−２６２００３号公報な
どに記載のものがある。これらに記載の手法では、シー
ンチェンジやフェードといった現象を検出することで画
質改善を試みている。しかし実際の符号化では、以上の
ような現象だけでなく、輝度値及び色差値を単に数値計
算していることに起因して、輝度や色の違いにより画質
の劣化が目立ち易い部分が生じる。２パス映像符号化の
最大のメリットである高い画質を得るという目的に対
し、このような映像の視覚的感度に基づいて符号量割当
てを行う方式はなかった。

【００１４】また、視覚的感度に基づいて符号化を行う
ものとしては、特開平９−２００７６０号公報に記載の
ものがあるが、１パス符号化であり、現在のフレームの
目標符号量を一つ前のフレームから予測するため、符号
量割当ての精度が十分でなかった。

【００１５】本発明は上記従来の問題点を解決するもの
で、映像の符号化情報を取得するための予備的な符号化
を行う機能を有する映像符号化方法において、予備的な
符号化により得られた発生符号量などの符号化情報に加
えて画素の輝度値及び色差値から得られる視覚的な感度
に基づいて符号量割当てを行うことにより、正式な符号
化時に視覚的感度に基づいた高い画質を得ることを目的
とする。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の映像符号化方法は、映像の符号化情報を取
得するための予備的な符号化において、画素の輝度値及
び色差値に基づいて第２の映像単位毎に視覚クラス値を
割り当てて、符号量割当て時には予備的な符号化により
得られた発生符号量などの符号化情報および視覚クラス
値に基づいて符号量割当てを行う。

【００１７】

【発明の実施の形態】本発明の第１の発明は、映像の符
号化情報を取得するための予備的な符号化ステップと、
前記符号化情報に基づいて正式な符号化のための符号量
割当てを行うための映像符号量割当てステップと、前記
符号量割当てステップにて割当てられた目標符号量に基
づいて正式な符号化を行う正式な符号化ステップを有す
る映像符号化方法であって、前記予備的な符号化ステッ
プは、第３の映像単位毎の輝度値と色差値に基づいて第
２の映像単位毎の視覚クラス値を算出する視覚クラス値
算出ステップを有し、前記符号量割当てステップは、前
記予備的な符号化ステップにて得られた第２の映像単位
の符号化情報と前記第２の映像単位毎の視覚クラス値に
基づいて、第２の映像単位に目標符号量を割り当てる第
２の目標符号量割当てステップを有することを特徴とす
る、映像符号化方法であり、予備的な符号化時に、第３
の映像単位（例えば画素など）毎の輝度値と色差値を用
いて第２の映像単位（例えばマクロブロックなど）毎に
視覚クラス値を算出しておき、符号量割当て時に、算出
した第１の映像単位（例えばフレームなど）の目標符号
量から第２の映像単位の目標符号量を割り当てる際、視
覚クラス値に基づく重み付けを行うことで、第１の映像
単位の内部（フレーム内）における色差値と輝度値の違
いによる視覚的感度の違いを吸収し、正式な符号化時に
より良好な符号化画質を与えることができる。

【００１８】本発明の第２の発明は、第１の発明におい
て、前記符号量割当てステップは、前記算出された第２
の映像単位毎の視覚クラス値を集計し第１の映像単位に
視覚クラス代表値を割り当てる視覚クラス代表値算出ス
テップと、前記予備的な符号化ステップにて得られた第
１の映像単位の符号化情報と前記第１の映像単位毎の視
覚クラス値に基づいて、第１の映像単位に目標符号量を
割り当てる第１の目標符号量割当てステップを有するこ
とを特徴とする、映像符号化方法であり、総符号量から
第１の映像単位に目標符号量を割り当てる際、視覚クラ
ス値に基づく重み付けを行うことで、第１の映像単位間
（フレーム間）における色差値と輝度値の違いによる視
覚的感度の違いを目標符号量に反映し、正式な符号化時
により良好な符号化画質を与えることができる。

【００１９】本発明の第３の発明は、１回のみ符号化を
行う映像符号化方法において、ある有限長Ｎ（Ｎ＞１）
個の第１の映像単位のデータを先読みして蓄積する先読
み処理ステップと、前記Ｎ個の第１の映像単位群に対し
て、第３の映像単位毎の輝度値と色差値に基づいて第２
の映像単位毎の視覚クラス値を算出する視覚クラス値割
当てステップと、前記算出された視覚クラス値を集計し
Ｎ個の第１の映像単位に視覚クラス代表値を割り当てる
視覚クラス代表値算出処理ステップと、Ｎ個の第１の映
像単位に対して符号化の複雑度を推定する複雑度推定処
理ステップと、少なくとも前記複雑度と前記視覚クラス
代表値とに基づいて、第１の映像単位に目標符号量を割
り当てる第１の目標符号量割当て処理ステップと、少な
くとも前記第１の映像単位の目標符号量と前記第２の映
像単位毎の視覚クラス値に基づいて、第２の映像単位に
目標符号量を割り当てて量子化制御を行う量子化制御処
理ステップを有することを特徴とする、映像符号化方法
であり、第１の映像単位（例えばフレーム）に対して有
限長Ｎ個の遅延を許して先読みを行うことで、第３の映
像単位毎の輝度値と色差値を用いて第２の映像単位毎に
視覚クラス値を算出しておき、Ｎ個の第１の映像単位に
ついて視覚クラス代表値を割り当てて、第１の映像単位
の目標符号量および第２の映像単位の目標符号量を割り
当てる際、視覚クラス値に基づく重み付けを行うこと
で、第１の映像単位間（フレーム間）及び第１の映像単
位の内部（フレーム内）における色差値と輝度値の違い
による視覚的感度の違いを吸収し、より良好な符号化画
質を与えることができる。

【００２０】本発明の第４の発明は、映像の符号化情報
を取得するための予備符号化用ビデオエンコーダと、前
記符号化情報に基づいて正式な符号化のための符号量割
当てを行うための映像符号量割当て器と、前記符号量割
当て器にて割当てられた目標符号量に基づいて正式な符
号化を行う本符号化用エンコーダを有する映像符号化方
法であって、前記予備符号化用エンコーダは、第３の映
像単位毎の輝度値と色差値に基づいて第２の映像単位毎
の視覚クラス値を算出する視覚クラス値割当て回路を有
し、前記符号量割当て器は、前記算出された第２の映像
単位毎の視覚クラス値を集計し第１の映像単位に視覚ク
ラス代表値を割り当てる視覚クラス値集計器と、前記予
備符号化用エンコーダにて得られた第１の映像単位の符
号化情報と前記視覚クラス代表値に基づいて、第１の映
像単位に目標符号量を割り当てる第１の目標符号量割当
て器と、前記予備符号化用エンコーダから出力された第
２の映像単位の符号化情報と前記第２の映像単位毎の視
覚クラス値に基づいて、第２の映像単位に目標符号量を
割り当てる第２の目標符号量割当て器とを有することを
特徴とする、映像符号化方法であり、総符号量から第１
の映像単位に目標符号量を割り当てる際、視覚クラス値
に基づく重み付けを行うことで、第１の映像単位間（フ
レーム間）における色差値と輝度値の違いによる視覚的
感度の違いを目標符号量に反映し、正式な符号化時によ
り良好な符号化画質を与える映像符号化装置を提供でき
る。

【００２１】以下、本発明の実施の形態について、図面
を参照しながら説明する。

【００２２】（実施の形態１）本実施の形態では、予備
的な符号化処理において、第３の映像単位（例えば画素
など）毎の輝度値と色差値に基づいて第２の映像単位
（例えばマクロブロックなど）毎の視覚クラス値を算出
し、符号量割当て処理において、第２の映像単位の符号
化情報と前記第２の映像単位毎の視覚クラス値に基づい
て、第２の映像単位に目標符号量を割り当てることを特
徴とする、映像符号化方法について説明する。

【００２３】実施の形態１における映像符号化方法は、
図１８に示した２パス映像符号化処理において、予備的
な符号化処理４０１として図２に示すフローチャート
を、映像符号量割当て処理１００として図１に示すフロ
ーチャートを用いるものである。

【００２４】図２において、５２２はフレーム読込み処
理ステップ、１１０は視覚クラス値割当て処理ステッ
プ、５８３は当該フレームがＩフレームか否か判断する
ための選択ステップ、５３１はＩフレームでない場合に
実行される動き推定処理ステップ、５８２は再構成画像
との差分を求めるフレーム差分処理ステップ、５１０は
ブロック分割処理ステップ、５４１はＤＣＴ処理ステッ
プ、５５１は量子化処理ステップ、５６１は可変長符号
化処理ステップ、５７１はマクロブロックの発生符号量
を測定するための符号量測定処理ステップ、５８４はフ
レームの符号化の終了を判定する選択ステップ、５３２
は次の予測フレームのための再構成画像を構成する再構
成処理ステップ、５８５は全てのフレームの符号化の終
了を判定する選択ステップ、５９０は終了である。

【００２５】以上のように構成された予備的符号化処理
について、以下その動作について説明する。

【００２６】まずフレーム読込み処理５２２にて読込ま
れた入力フレームに対して、視覚クラス値割当て処理１
１０が実行される。視覚クラス値割当て処理は、視覚的
に感度の高いマクロブロックには高いクラス値を、逆に
感度の低いマクロブロックには低いクラス値を割り当て
る処理である。

【００２７】視覚クラス割当て処理１１０の動作を図３
を用いて説明する。図３は視覚クラス割当て処理の流れ
を示すフローチャートである。

【００２８】図３において、１１１０はマクロブロック
番号Ｂ（Ｂは０以上の整数）の初期化ステップ、１１２
０は画素番号Ｐ（Ｐは０以上の整数）および合計値Ｓ
（Ｓは０以上の整数）の初期化ステップである。１１３
１は画素の色差値および輝度値を色空間上に変換する処
理ステップ、１１３２は色空間上の色の感度を算出する
処理ステップ、１１４は画素の輝度値から輝度の感度を
算出する処理ステップ、１１５は色の感度と輝度の感度
を合計値Ｓに加える処理ステップ、１１２１は画素番号
Ｐの加算ステップ、１１１１はマクロブロック番号Ｂの
加算ステップ、１１２２はマクロブロック内の全ての画
素について処理が終了したかどうか判断する処理ステッ
プ、１１６は現在のマクロブロックの視覚クラス値を算
出する処理ステップ、１１１２はフレーム内の全てのマ
クロブロックについて処理が終了したかどうか判断する
処理ステップ、１１７はフレーム内の視覚クラス値を出
力する処理である。

【００２９】まず、マクロブロック番号Ｂの初期化ステ
ップ１１１０および画素番号Ｐおよび合計値Ｓの初期化
ステップ１１２０が実行され、マクロブロックＢ＝０お
よび画素Ｐ＝０に対して処理が行われる。最初に、画素
の色差値および輝度値を色空間上に変換する処理ステッ
プ１１３１において、画素の色差値Ｃｂ（Ｂ，Ｐ）とＣ
ｒ（Ｂ，Ｐ）と輝度値Ｙ（Ｂ，Ｐ）を色空間にマッピン
グする。

【００３０】ここで色空間としては、色空間上での距離
が視覚的な色の差を表わすことを目標として作成され
る、均等色空間（Uniform Color Space）を用いる。均
等色空間としては、ＣＩＥの勧告したＣＩＥ１９７６Ｌ
＊ｕ＊ｖおよびＣＩＥ１９７６Ｌ＊ａ＊ｂ＊の２つがあ
り、その他にマンセル表色系などが考えられる。ここで
は、代表例として、ＣＩＥ１９７６Ｌ＊ｕ＊ｖへの変換
について簡単に説明しておく。

【００３１】まず、最初にＹ，Ｃｂ，Ｃｒを基本的な色
空間であるＲＧＢ空間の点へと変換する。次にＲＧＢ空
間をＣＩＥ１９３１ＸＹＺ空間へと変換する。ここで、
ｕ’およびｖ’を、（数１）で定義する。

【００３２】

【数１】

【００３３】ここで、基準白色面の輝度値ＹをＹ↓０、
ｕ’をｕ↓０、ｖ’をｖ↓０とすると、Ｌ＊、ｕ＊、ｖ
＊は（数２）にて定まる。

【００３４】

【数２】

【００３５】Ｌ＊ｕ＊ｖ＊空間は均等色空間であるか
ら、視覚的な色の差は（数３）の距離の式で与えられ
る。

【００３６】

【数３】

【００３７】以上のようにして、画素の色差値と輝度値
をＬ＊ｕ＊ｖ＊空間にマッピングできる。

【００３８】次に、色空間上の色の感度を算出する処理
ステップ１１３２を行う。本実施の形態では、先に説明
したＬ＊ｕ＊ｖ＊空間に対して、色の感度（chrominous
efficiency ）を定義する。微小変化ｄＹ、ｄＣｒ、ｄ
Ｃｂに対してＬ＊、ｕ＊、ｖ＊に生じる変分をそれぞれ
ｄＬ＊、ｄｕ＊、ｄｖ＊と定義すれば、色の感度Ｅ↓Ｃ
は（数４）で定義できる。

【００３９】

【数４】

【００４０】以上では、色空間上に変換する処理ステッ
プ１１３１および色の感度を算出する処理ステップ１１
３２は一回ずつ順に行うことにしているが、いくつかの
微少変化ｄＹ、ｄＣｒ、ｄＣｂに対して繰り返し感度Ｅ
↓Ｃを算出してそれらの平均値や代表値を用いることが
可能なことは言うまでもない。また、色空間としてＣＩ
Ｅ１９７６Ｌ＊ｕ＊ｖ＊空間を例に取り説明したが、色
空間はこの空間や先に述べた空間に限定されるものでは
なく、例えば画像の動きや注目点に基づく空間を定義し
たり、マクロブロック内のアクティビティの大きさに基
づいて色空間を選択したりするといった、視覚的な感度
を定義するものであれば様々な方式が適用可能である。

【００４１】輝度値から輝度の感度を算出する処理ステ
ップ１１４では、画素の輝度値Ｙ（Ｂ，Ｐ）から輝度の
感度（luminous efficiency ）を算出する。輝度の感度
を表わすモデルとしては、１９６３年にBlackwell より
発表された増分閾曲線がある。この曲線において、画像
で用いられる物体色の輝度の範囲を考慮すると、（数
５）のウェーバー比で表わされる領域が輝度の感度のモ
デルとして定義できる。

【００４２】

【数５】

【００４３】ここでＬは輝度値、ΔＬは輝度弁別の閾値
である。ωは実験的な値であり、通常０．０１〜０．０
２程度である。このモデルを用いて、輝度の感度Ｅ↓Ｌ
は、輝度の微小変化をｄＬとすると、（数６）で定義で
きる。

【００４４】

【数６】

【００４５】以上のようにして画素に対する視感度を算
出した後、色の感度と輝度の感度を合計値Ｓに加える処
理ステップ１１５を行う。このステップでは、色の感度
Ｅ↓Ｃと輝度の感度Ｅ↓Ｌを感度の合計値Ｓに反映す
る。この処理は様々な方法が考えられるが、最も簡明な
方法は、Ｅ↓ＣおよびＥ↓Ｌを上限値と下限値により閾
値処理Ｔｈ↓Ｃ（Ｘ）またはＴｈ↓Ｌ（Ｘ）した後、正
規化処理Ｎｒｍ（Ｘ）した値をそれぞれＳに加算するこ
とである。一般化すると色差の重みｗ（０＜ｗ＜１）お
よび輝度の重み１−ｗを用いて、Ｓの増分ΔＳは（数
７）にて定義できる。

【００４６】

【数７】

【００４７】輝度と色差は直交しているので、色差の重
みｐ（０＜ｐ＜∞）及び輝度の重み１／ｐを用いて、
（数８）のように積として与えることも可能である。

【００４８】

【数８】

【００４９】以上のステップをマクロブロックＢ内の全
ての画素に対して繰り返し、マクロブロックの感度Ｓが
計算できる。また、この感度を計算する処理を、画像の
特徴に応じて行うことも可能である。その例として、マ
クロブロック内の輝度値や色差値の平均値を求め、その
平均値から離れた値を持つ画素に対しては感度計算を行
わないという手法や、マクロブロックの特徴を表わして
いる代表画素をいくつか算出して、その代表画素に対し
てのみ感度計算を行う手法などが考えられる。

【００５０】計算された感度Ｓを、視覚クラス値を算出
する処理ステップ１１６において視覚クラス値Ｃｖ
（Ｂ）にマッピングする。マッピングする関数は様々な
ものが考えられるが、単純には感度Ｓを量子化Ｑｃ
（Ｘ）して（数９）のように与えることができる。

【００５１】

【数９】

【００５２】量子化の代表レベル数は、マクロブロック
単位に情報を取得することも考慮すると８または１６程
度が適当である。

【００５３】以上の処理を繰り返してフレーム内の全て
のマクロブロックに対して視覚クラス値を算出すると、
フレーム内の視覚クラス値を出力する処理ステップ１１
７を実行して終了１１９する。

【００５４】以上のようにして図２の視覚クラス値割当
て処理１１０が終了すると、予備的な符号化は図１６を
用いて説明した通常の符号化と同様に行われる。予備的
な符号化では、通常図１６で示したバッファリング及び
量子化制御処理５６２は行わない。代わりにマクロブロ
ック符号化情報出力処理５７１が行われる。マクロブロ
ック符号化情報の一例を図１０に示す。マクロブロック
符号化情報は、少なくとも発生符号量と量子化幅の組を
含む情報であり、その他にマクロブロックタイプといっ
た付加情報を含んでいても良い。

【００５５】フレームの符号化が終了すると、フレーム
符号化情報出力処理５７２が行われる。フレーム符号化
情報の一例を図１１に示す。フレーム符号化情報は、少
なくとも発生符号量及びピクチャ符号化タイプを含む。
また、映像の輝度、動き、アクティビティ等の特徴情報
を含んでいても良く、それらを符号量割当てのパラメー
タとすることも可能である。全てのフレームの符号化が
終了すると、予備的な符号化処理４０１を終了する。

【００５６】次に、映像符号量割当て処理１００の動作
を図１を用いて説明する。図１は映像符号量割当て処理
の流れを示すフローチャートである。

【００５７】図１において、１３０はフレーム符号化情
報に基づきフレーム単位に目標符号量を割り当てる処理
ステップ、１８０はフレーム番号Ｋ（Ｋは自然数）の初
期化ステップ、１２１は予備的な符号化において画素毎
の輝度値と色差値に基づいて算出されたマクロブロック
毎の視覚クラス値を読込む処理ステップ、１２２はＫ番
目のフレームにおいて第２の映像単位の符号化情報と視
覚クラス値に基づきマクロブロックに符号量を割り当て
る処理ステップ、１８１はＫの増分ステップ、１８２は
全てのフレームの割当て処理が終了したかどうかを判定
するステップ、１４２はフレーム及びマクロブロック単
位の目標符号量情報を出力する処理ステップである。

【００５８】以上のように構成された映像符号量割当て
処理について、以下その動作について説明する。

【００５９】まずフレーム符号化情報に基づきフレーム
単位に目標符号量を割り当てる処理ステップ１３０が実
行される。このステップでは、シーケンス全体の目標ビ
ットレートと予備的な符号化により得られた発生符号量
などの情報を含むフレーム符号化情報に基づいて、正式
な符号化時に与えるフレーム単位の目標符号量を計算す
る。

【００６０】次に、フレーム単位の目標符号量からマク
ロブロック単位の目標符号量を算出する一連のステップ
を行う。最初に予備的な符号化において画素毎の輝度値
と色差値に基づいて算出されたマクロブロック毎の視覚
クラス値を読込む処理ステップ１２１を行い、Ｋ番目の
フレームに対する視覚クラス値Ｃｖ（Ｂ）を全て読込
む。次に、Ｋ番目のフレームにおいて第２の映像単位の
符号化情報と視覚クラス値に基づきマクロブロックに符
号量を割り当てる処理ステップ１２２を実行する。この
ステップでは、マクロブロックの発生符号量と量子化幅
の情報とその他の付加情報を基にして算出され複雑度の
値を、視覚クラス値に応じて変調する。変調された複雑
度の値に基づき、フレームの目標符号量を各マクロブロ
ックに配分する。

【００６１】このＫ番目のフレームにおけるマクロブロ
ック目標符号量の割当て処理を図１２の例を用いて説明
する。予備的な符号化により得られたＢ番目のマクロブ
ロックの発生符号量Ｄ（Ｂ）（正確にはＤ（Ｋ，Ｂ）で
あるが以下同様の記述においてＫは省略する）と量子化
幅Ｑ（Ｂ）から、各マクロブロックの符号化の複雑度Ｘ
（Ｂ）を求める。例えば、（数１０）により定義でき
る。

【００６２】

【数１０】

【００６３】この複雑度Ｘ（Ｂ）をＣｖ（Ｂ）で重み付
けて、視覚的な複雑度Ｘｖ（Ｂ）を算出する。例えば
ａ，ｂを正の定数として、（数１１）のような一般式で
定義できる。

【００６４】

【数１１】

【００６５】この複雑度Ｘｖ（Ｂ）を全てのマクロブロ
ックに対して合計した結果のＸｖ＿ＫとＫ番目のフレー
ムの目標符号量Ｔ（Ｋ）を用いて、（数１２）により各
マクロブロックに目標符号量Ｔ（Ｂ）を割り当てる。

【００６６】

【数１２】

【００６７】このようにして図１２の割当て結果が得ら
れる。視覚クラス値Ｃｖ（Ｂ）によりマクロブロック目
標符号量に重み付けされているのが確認できる。以上の
処理では、マクロブロックの複雑度Ｘ（Ｂ）及び視覚ク
ラス値Ｃｖ（Ｂ）のみに基づいて目標符号量を求めた
が、マクロブロックにおける固定符号量などの最低保証
ビット数やマクロブロックタイプ、ブロックのアクティ
ビティなどの付加情報を用いることができる。

【００６８】全てのフレームに対してマクロブロックへ
の目標符号量を割当てる処理が終了すると、フレーム及
びマクロブロック単位の目標符号量情報を出力する処理
ステップ１４２を実行して終了１９０する。

【００６９】最後に正式な符号化処理４０２について図
４を用いて説明する。正式な符号化処理は、先の映像符
号量割当て処理１００にて割り当てられた目標符号量に
従って最終的なストリームを生成することを目的とす
る。

【００７０】まず、フレーム読込み処理５２２が行われ
た後、目標符号量読込み処理５７３が行われる。読込む
目標符号量は、フレーム目標符号量およびマクロブロッ
ク目標符号量である。マクロブロック目標符号量は、バ
ッファリング及び量子化制御処理５６２にて量子化制御
を行う際、量子化幅を算出するのに用いられる。

【００７１】量子化幅の算出方法について説明する。量
子化幅Ｑとマクロブロックの符号化の複雑度Ｘの組に対
しマクロブロックの符号量Ｄ（Ｑ，Ｘ）を関係づけるテ
ーブルを利用するのが一つの方法である。マクロブロッ
クの複雑度Ｘは、例えば一般的に知られるアクティビテ
ィなどの統計量をいくつかのレベル数に量子化した値な
どで表現できる。テーブルは、量子化幅Ｑと複雑度Ｘを
変えてテスト画像を符号化して符号量を測定することな
どにより作成し、予めエンコーダが持っておく。この算
出された量子化幅に対し、バッファ制御による重みが付
加されて、最終的な量子化幅が算出される。

【００７２】その他のステップは図１６を用いて説明し
た通常の符号化の場合と同じである。

【００７３】なお、以上の説明では、映像符号量割当て
処理１００においてマクロブロックの目標符号量を算出
したが、正式な符号化処理４０２においてフレームの目
標符号量および視覚クラス値を読込んでマクロブロック
単位の目標符号量割当てを行うといった役割分担を入れ
替える構成も可能であることは言うまでもない。

【００７４】本実施の形態の利点は、画像の情報を取得
するために予備的な符号化を行う映像符号化方法におい
て、フレーム内の視覚的感度に基づいた重み付けを行う
ことであり、そのことにより、より視覚的に良好な符号
化画質を得ることが可能となる。

【００７５】（実施の形態２）本実施の形態では、実施
の形態１において、符号量割当てステップは、前記算出
された第２の映像単位毎のクラス値を集計し第１の映像
単位に視覚クラス値を割り当てて、前記予備的な符号化
ステップにて得られた第１の映像単位の符号化情報と前
記第１の映像単位毎の視覚クラス値に基づいて、第１の
映像単位に目標符号量を割り当てる映像符号化方法につ
いて説明する。

【００７６】本実施の形態は、実施の形態１における映
像符号量割当て処理１００において、フレーム間でのビ
ット割当てに対しても視覚的感度に基づく重み付けを行
えるようにしたものである。本実施の形態における映像
符号量割当て処理を示すフローチャートを図５に示す。

【００７７】図５において、１２１は予備的な符号化に
おいて画素毎の輝度値と色差値に基づいて算出されたマ
クロブロック毎の視覚クラス値を読込む処理ステップ、
１３１は視覚クラス値を集計しフレーム単位に視覚クラ
ス代表値を算出する処理ステップ、１３２はフレーム符
号化情報と視覚クラス代表値に基づきフレームに目標符
号量を割り当てる処理ステップ、１８０はフレーム番号
Ｋの初期化ステップ、１２２はＫ番目のフレームにおい
てフレーム目標符号量と視覚クラス値に基づきマクロブ
ロックに符号量を割り当てる処理ステップ、１８１はＫ
の増分ステップ、１８２は全てのフレームの割当て処理
が終了したかどうかを判定するステップ、１４０はフレ
ーム及びマクロブロック単位の目標符号量情報を出力す
る処理ステップである。

【００７８】まず、予備的な符号化において画素毎の輝
度値と色差値に基づいて算出された、マクロブロック毎
の視覚クラス値を読込む処理ステップ１２１が実行され
る。次に、視覚クラス値を集計しフレーム単位に視覚ク
ラス代表値を算出する処理ステップ１３１が実行され
る。ここで、視覚クラス代表値Ｃｖｒ（Ｋ）は、例えば
視覚クラスＣｖ（Ｋ，Ｂ）の平均値として（数１３）に
より求めることができる。

【００７９】

【数１３】

【００８０】ここでＭＢ＿ｎｕｍはフレーム内のマクロ
ブロックの数である。Ｃｖｒ（Ｋ）は、Ｃｖ（Ｋ，Ｂ）
と異なり特に量子化せずとも良い。その理由は、情報量
が多くなることで処理に制約が出ることは殆どないため
である。

【００８１】求められた視覚クラス代表値Ｃｖｒ（Ｋ）
を利用して、フレーム符号化情報と視覚クラス代表値に
基づきフレームに目標符号量を割り当てる処理ステップ
１３２が行われる。この処理により、フレーム間の符号
量割当てにおいて視覚的な感度に基づく配分を行うこと
が可能となる。

【００８２】このフレーム目標符号量の割当て処理を図
１３の例を用いて説明する。予備的な符号化により得ら
れたＫ番目のフレームの発生符号量Ｄ（Ｋ）と平均量子
化幅Ｑａｖｇ（Ｋ）から、各フレームの符号化の複雑度
Ｘ（Ｋ）を求める。例えば、（数１４）により定義でき
る。

【００８３】

【数１４】

【００８４】この複雑度Ｘ（Ｋ）をＣｖｒ（Ｋ）で重み
付けて、視覚的な複雑度Ｘｖ（Ｋ）を算出する。例えば
ａ，ｂを正の定数として、（数１５）のような一般式で
定義できる。

【００８５】

【数１５】

【００８６】この複雑度Ｘｖ（Ｋ）を全てのフレームに
対して合計した結果のＸｖ＿ａｌｌとシーケンスの目標
符号量Ｔａｌｌを用いて、（数１６）により各フレーム
に目標符号量Ｔ（Ｋ）を割り当てる。

【００８７】

【数１６】

【００８８】以上のようにして図１３の割当て結果が得
られる。視覚クラス代表値Ｃｖｒ（Ｋ）によりフレーム
目標符号量に重み付けされているのが確認できる。

【００８９】フレームの目標符号量が求まると、以降の
処理は図１を用いて説明したのと同様である。

【００９０】本実施の形態の利点は、画像の情報を取得
するために予備的な符号化を行う映像符号化方法におい
て、フレーム内に加えてフレーム間の視覚的感度に基づ
いた重み付けを行うことであり、そのことにより、視覚
的に良好な符号化画質を得ることが可能となる。

【００９１】（実施の形態３）本実施の形態では、映像
を１回のみ符号化する場合に、第１の映像単位（例えば
フレーム）に対して有限長Ｎ個の遅延を許して先読みを
行うことで、第３の映像単位毎の輝度値と色差値を用い
て第２の映像単位毎に視覚クラス値を算出しておき、Ｎ
個の第１の映像単位について視覚クラス代表値を割り当
てて、第１の映像単位の目標符号量および第２の映像単
位の目標符号量を割り当てる際、視覚クラス値に基づく
重み付けを行う映像符号化方法について説明する。

【００９２】本実施の形態は、実施の形態２の映像符号
化方法を、一定の遅延量Ｎが許される場合に１回の符号
化で実現するための方法を実現したものである。本実施
の形態における映像符号化処理を示すフローチャートを
図６に示す。

【００９３】まず、Ｎ（Ｎ＞１）枚分のフレーム先読み
処理５２３が行われ、蓄積される。ここではフレームの
符号化順への並べ替えも同時に行われる。次に、Ｎ枚の
フレームに対して、視覚クラス値割当て処理１１０が行
われる。視覚クラス値割当て処理１１０は、実施の形態
１において図３を用いて説明した通りである。次に、Ｎ
枚のフレームに対して、視覚クラス代表値算出処理１３
１が行われる。視覚クラス代表値算出処理１３１は、実
施の形態２において図５を用いて説明した通りである。

【００９４】蓄積したＮ枚のフレームに対して複雑度推
定処理４０３が行われる。複雑度推定処理４０３は、以
降のＮ枚のフレームに対して、映像の符号化の複雑度を
推定する。推定の方法は様々なものが考えられるが、例
えば２パス映像符号化処理のように予備的な符号化をＮ
枚のフレームに対して行い、量子化幅や発生符号量など
の符号化情報を取得することが挙げられる。

【００９５】求められたフレームの複雑度とフレームの
視覚クラス代表値に基づいて、Ｎ枚の目標符号量から現
在のフレームへと目標符号量を割り当てる処理１３２が
行われる。Ｎ枚のフレームに対する目標符号量はビット
レートやピクチャ符号化タイプ、さらにビットの蓄積余
り量などを利用して算出することができる。また、現在
のＶＢＶバッファの状態から先のＮ枚のフレームに対し
てバッファ状態を予測し、現在のフレームの目標符号量
を算出するのに利用することも可能である。

【００９６】フレーム目標符号量が算出されると、以降
の処理は図１６を用いて説明した通常の映像符号化処理
と殆ど同じである。本実施の形態の特徴は、可変長符号
化処理５６１の後、バッファリング及び視覚クラス値に
基づく量子化制御処理１２３が行われる。この量子化制
御処理１２３では、フレームの目標符号量と複雑度推定
処理４０３にて算出されたマクロブロックの複雑度およ
び視覚クラス値から、次のマクロブロックのための量子
化幅を算出する処理を行う。

【００９７】本実施の形態ではフレーム数をＮ（Ｎ＞
１）としたが、一般的な応用ではＧＯＰ（Group Of Pic
tures ）数の整数倍とするのが実用的である。その理由
は、現在のフレームがどのフレームであろうと、それ以
降のＧＯＰ数の整数倍のフレームを集めると、含まれる
ピクチャタイプの構成比が一定となり、符号量割当てが
行い易いという利点があるからである。

【００９８】本実施の形態の利点は、Ｎ枚のフレームの
遅延が許容される場合には、１回の映像符号化のパスを
実行するだけで、フレーム内に加えてフレーム間の視覚
的感度に基づいた重み付けを行うことができることであ
り、そのことにより、より視覚的に良好な符号化画質を
得ることが可能となる。

【００９９】（実施の形態４）本実施の形態では、実施
の形態２の符号化を実現した映像符号化装置について説
明する。

【０１００】本実施の形態の２パスビデオエンコーダは
既に図１６を用いて説明した通りである。予備符号化用
エンコーダ２０１の構成を図７に示す。

【０１０１】図７の予備符号化エンコーダは、図１４で
説明したビデオエンコーダと同様の構成の部分について
は、同一の符号を振って説明を省略する。１１０１は視
覚クラス値割当て回路、２７０は符号化情報出力器、２
９１は出力符号化情報、２９２は出力視覚クラス値であ
る。

【０１０２】まず入力映像２１０は、フレーム並べ替え
回路２２２に入力される。次に、視覚クラス値割当て回
路１１０１にて、入力フレームに対するマクロブロック
単位の視覚クラス値割当て処理が行われる。この処理
は、図３を用いて説明したのと同様である。得られた視
覚クラス値は、出力２９２される。以降の処理は、基本
的には図１４で説明したビデオエンコーダと同様であ
る。可変長符号化回路２６１の出力から符号化情報出力
器２７０が発生符号量を測定して符号化情報２９１とし
て出力する。

【０１０３】図１６における映像符号量割当て器３００
の構成を、図８に示す。図８において、３１０はフレー
ム符号化情報、３１１はマクロブロック符号化情報、３
１２は視覚クラス値情報、３８１はフレーム目標符号
量、３８２はマクロブロック目標符号量、３８３は視覚
クラス代表値、３２１はフレーム符号量３８１を割当て
るフレーム符号量割当て器、３２２はフレーム目標符号
量３８１に基づいてマクロブロック符号量３８２を割当
てるマクロブロック符号量割当て器、３２３は視覚クラ
ス値３１２をフレーム単位で集計して視覚クラス代表値
３８３を算出する視覚クラス集計器、３４０は目標符号
量などの情報を記憶するためのメモリ、３３０は割当て
た目標符号量をメモリ３４０から読込んで出力する割当
て情報出力器、３５０はディスク、３９０は出力される
目標符号量情報である。

【０１０４】以下図８の映像符号量割当て器の動作につ
いて説明する。

【０１０５】視覚クラス値情報３１２は、視覚クラス値
集計器３２３にてフレーム単位で視覚クラス代表値３８
３の算出処理が行われる。この処理は実施の形態２で図
５のステップ１３１で説明したのと同様である。フレー
ム符号化情報３１０はフレーム符号量割当て器３２１に
入力される。フレーム符号量割当て器３２１は、シーケ
ンス全体の目標ビットレート及びフレーム符号化情報３
１０及び視覚クラス代表値３８３に基づいて、フレーム
目標符号量３８１を割り当てる。この処理は、実施の形
態２で図５のステップ１３２で説明したのと同様であ
る。計算されたフレーム目標符号量３８１はメモリ３４
０に記憶され、必要に応じてディスク３５０に記録され
る。

【０１０６】マクロブロック符号量割当て器３２２は、
マクロブロック符号化情報３１１および視覚クラス値情
報３１２とフレーム目標符号量３８１に基づいて、マク
ロブロック目標符号量３８２を割り当てる処理を行う。
この処理は、実施の形態１で図１のステップ１２２で説
明したのと同様である。割り当てられたマクロブロック
目標符号量３８２はメモリ３４０に記憶される。全ての
処理が終了すると、割当て情報出力器３３０がメモリ３
４０からフレーム目標符号量３８１及びマクロブロック
目標符号量３８２を読込んで目標符号量情報３９０とし
て出力する。

【０１０７】図１６における本符号化用ビデオエンコー
ダ２０２の構成を図９に示す。図９の本符号化用ビデオ
エンコーダは、基本的には図１４で説明したビデオエン
コーダと同様の構成を取る。２７３は目標符号量設定回
路、２７４はメモリである。

【０１０８】まず入力映像２１０は、フレーム並べ替え
回路２２２に入力される。次に、目標符号量設定回路２
７３にて、入力フレームに対するフレーム目標符号量及
びマクロブロック目標符号量が設定され、メモリ２７４
に記憶される。この処理は、実施の形態１で図４のステ
ップ５７３で説明したのと同様である。以降の処理は、
基本的には図１４で説明したビデオエンコーダと同様で
ある。量子化制御回路２６３は、バッファ２６２の出力
とメモリ２７４にある目標符号量を用いて量子化制御を
行う。この処理は、実施の形態１において図４のステッ
プ５６２で説明したのと同様である。以上のようにして
最終的なビデオストリーム２９０を得る。

【０１０９】以上のように、本実施の形態により、実施
の形態２で説明した符号化処理を具体的なハードウェア
構成で実現することが可能となる。

【０１１０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、ＤＶＤオーサリングシステムなどに用いられ
る、オフラインでコンテンツを制作するための映像符号
化方法における、映像の符号化情報を取得するための予
備的な符号化において、画素の輝度値及び色差値に基づ
いて第２の映像単位毎に視覚クラス値を割り当てて、符
号量割当て時には予備的な符号化により得られた発生符
号量などの符号化情報および視覚クラス値に基づいて符
号量割当てを行うことにより、正式な符号化時に視覚的
感度に基づいた高い画質を得ることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における映像符号量割当
て処理を示すフローチャート

【図２】同予備的な符号化処理を示すフローチャート

【図３】同視覚クラス値割当て処理を示すフローチャー
ト

【図４】同正式な符号化処理を示すフローチャート

【図５】本発明の実施の形態２における映像符号量割当
て処理を示すフローチャート

【図６】本発明の実施の形態３における映像符号化処理
を示すフローチャート

【図７】本発明の実施の形態４における予備符号化用ビ
デオエンコーダの構成を示すブロック図

【図８】同映像符号量割当て器の構成を示すブロック図

【図９】同本符号化用ビデオエンコーダの構成を示すブ
ロック図

【図１０】本発明の実施の形態１におけるマクロブロッ
ク符号化情報の一例を示す図

【図１１】同フレーム符号化情報の一例を示す図

【図１２】同フレーム目標符号量算出の一例を示す図

【図１３】同マクロブロック目標符号量算出の一例を示
す図

【図１４】ＭＰＥＧ２に基づくビデオエンコーダの構成
を示すブロック図

【図１５】２パスビデオエンコーダの構成を示すブロッ
ク図

【図１６】ＭＰＥＧ２に基づく映像符号化処理を示すフ
ローチャート

【図１７】２パス映像符号化処理を示すフローチャート

【符号の説明】

１００映像符号量割当て処理１１０視覚クラス値割当て処理１１０１視覚クラス値割当て回路１１３１色空間上への変換処理１１３２色の感度の算出処理１１４輝度の感度の算出処理１１５色及び輝度の感度の加算処理１１６視覚クラス値算出処理１１７視覚クラス値出力処理１２１視覚クラス値読込み処理１２２マクロブロック目標符号量割当て処理１２３バッファリング及び視覚クラス値に基づく量子
化制御処理１３０フレーム目標符号量の割当て処理１３１視覚クラス代表値算出処理１３２フレーム目標符号量の割当て処理１４０目標符号量情報の出力処理２０１予備符号化用ビデオエンコーダ２０２本符号化用ビデオエンコーダ２１０入力映像２２２フレーム並べ替え回路２３１動き推定回路２３２動き補償回路２４１ＤＣＴ回路２４２逆ＤＣＴ回路２５１量子化回路２５２逆量子化回路２６１可変長符号化回路２６２バッファ２６３量子化制御回路２７０符号化情報出力器２７３目標符号量設定回路２７４メモリ２９０ビデオストリーム２９１符号化情報２９２視覚クラス値３００映像符号量割当て器３１０フレーム符号化情報３１１マクロブロック符号化情報３１２視覚クラス値情報３２１フレーム符号量割当て器３２２マクロブロック符号量割当て器３２３視覚クラス値集計器３４０メモリ３５０ディスク３８１フレーム目標符号量３８２マクロブロック目標符号量３８３視覚クラス代表値３９０目標符号量情報４００映像符号化処理４０１予備的な符号化処理４０２正式な符号化処理４０３複雑度推定処理５１０ブロック分割処理５２３フレーム先読み処理５３１動き推定処理５３２再構成処理５４１ＤＣＴ処理５５１量子化処理５６１可変長符号化処理５６２バッファリング及び量子化制御処理５７１マクロブロック符号化情報出力処理５７２フレーム符号化情報出力処理５７３目標符号量読込み処理５８２フレーム差分処理

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA24 GB28 GB38 KA04 KA30 5C057 AA10 EM04 EM09 EM13 EM16 GG01 5C059 KK02 MA05 MA23 MC01 MC30 ME01 SS13 SS20 TA60 TB04 TB08 TC00 TC19 TD00 UA00 UA02 UA38 5J064 AA01 BA09 BA16 BB01 BB03 BC01 BC08 BC16 BC21 BD03

Claims

【特許請求の範囲】

【請求項１】少なくともフレーム以上の単位である第
１の映像単位と、少なくともブロック以上の単位である
第２の映像単位と、少なくとも画素以上の単位である第
３の映像単位で構成される映像信号を符号化する映像符
号化方法であって、第３の映像単位毎の色差値と輝度値
に基づいて、第２の映像単位毎に視覚的な感度を表わす
視覚クラス値を割り当て、前記視覚クラス値および第１
の映像単位の目標符号量に基づいて、第２の映像単位の
目標符号量割当てを行うことを特徴とする映像符号化方
法。
【請求項２】Ｎ個（Ｎは１以上の整数）の第１の映像
単位群に対して、前記視覚クラス値に基づいて、第１の
映像単位毎の視覚クラス代表値を算出し、前記視覚クラ
ス代表値および前記第１の映像単位群の目標符号量に基
づいて、第１の映像単位の目標符号量割当てを行うこと
を特徴とする請求項１記載の映像符号化方法。
【請求項３】前記第１の映像単位はフレームであり、
前記ＮはＧＯＰ長のＭ倍（Ｍは自然数）であることを特
徴とする請求項２記載の映像符号化方法。
【請求項４】前記第１の映像単位群で構成される映像
シーケンスに対して、映像シーケンスの情報を取得する
ための予備的な符号化を行い、前記予備的な符号化によ
り得られた符号化情報に基づき映像シーケンス全体の符
号量割当てを行う機能を有する映像符号化方法であっ
て、前記予備的な符号化において、第３の映像単位毎の
色差値と輝度値に基づいて第２の映像単位毎に視覚的な
感度を表わす視覚クラス値を割り当てて、前記符号量割
当てにおいて、前記視覚クラス値および第１の映像単位
の目標符号量に基づいて第２の映像単位の目標符号量割
当てを行うことを特徴とする請求項１記載の映像符号化
方法。
【請求項５】前記符号量割当ては、前記視覚クラス値
に基づいて、第１の映像単位毎の視覚クラス代表値を算
出し、前記視覚クラス代表値および前記映像シーケンス
の目標符号量に基づいて、第１の映像単位の目標符号量
割当てを行うことを特徴とする請求項４記載の映像符号
化方法。
【請求項６】前記視覚クラス値の割当ては、少なくと
も画素の色差値および輝度値を色の感度を表わす色空間
上に変換し、前記色空間の点の視覚的な感度である色感
度を算出し、少なくとも前記色感度を第２の映像単位毎
に集計した値を用いて視覚クラス値を求めることを特徴
とする請求項１から５のいずれかに記載の映像符号化方
法。
【請求項７】前記色空間は、ＣＩＥ１９７６Ｌ＊ａ＊
ｂ＊空間およびＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊空間および
マンセル表色系を含む均等色空間であり、前記色感度の
算出は、映像信号の属するＹＣｂＣｒ空間の微小変化量
に対して生じる前記色空間上の距離に基づくことを特徴
とする請求項６記載の映像符号化方法。
【請求項８】前記視覚クラス値の割当ては、少なくと
も画素の輝度値から輝度感度モデルを用いた視覚的な感
度である輝度感度を算出し、少なくとも前記輝度感度を
第２の映像単位毎に集計した値を用いて視覚クラス値を
求めることを特徴とする請求項１から７のいずれかに記
載の映像符号化方法。
【請求項９】前記輝度感度モデルは、ウェーバー比Δ
Ｌ／Ｌ（Ｌ：輝度値、ΔＬ：輝度弁別の閾値）に基づく
ことを特徴とする請求項８記載の映像符号化方法。
【請求項１０】少なくともフレーム以上の単位である
第１の映像単位と、少なくともブロック以上の単位であ
る第２の映像単位と、少なくとも画素以上の単位である
第３の映像単位で構成される映像信号を符号化する映像
符号化装置であって、第３の映像単位毎の色差値と輝度
値に基づいて、第２の映像単位毎に視覚的な感度を表わ
す視覚クラス値を割り当てる視覚クラス値割当て手段
と、前記視覚クラス値および第１の映像単位の目標符号
量に基づいて、第２の映像単位の目標符号量割当てを行
う第２の目標符号量割当て手段とを有することを特徴と
する映像符号化装置。
【請求項１１】Ｎ個（Ｎは１以上の整数）の第１の映
像単位群に対して、前記視覚クラス値に基づいて、第１
の映像単位毎の視覚クラス代表値を算出する視覚クラス
代表値算出手段と、前記視覚クラス代表値および前記第
１の映像単位群の目標符号量に基づいて、第１の映像単
位の目標符号量割当てを行う第１の目標符号量割当て手
段とを有することを特徴とする請求項１０記載の映像符
号化装置。
【請求項１２】前記第１の映像単位はフレームであ
り、前記ＮはＧＯＰ長のＭ倍（Ｍは自然数）であること
を特徴とする請求項１１記載の映像符号化装置。
【請求項１３】前記第１の映像単位群で構成される映
像シーケンスに対して、映像シーケンスの情報を取得す
るための予備的な符号化手段と、前記予備的な符号化手
段により得られた符号化情報に基づき映像シーケンス全
体の符号量割当てを行う符号量割当て手段とを有する映
像符号化装置であって、前記予備的な符号化手段は、第
３の映像単位毎の色差値と輝度値に基づいて第２の映像
単位毎に視覚的な感度を表わす視覚クラス値を割り当て
る視覚クラス値割当て手段を有し、前記符号量割当て手
段は、前記視覚クラス値および第１の映像単位の目標符
号量に基づいて第２の映像単位の目標符号量割当てを行
う第２の目標符号量割当て手段とを有することを特徴と
する請求項１０記載の映像符号化装置。
【請求項１４】前記符号量割当て手段は、前記視覚ク
ラス値に基づいて、第１の映像単位毎の視覚クラス代表
値を算出する視覚クラス代表値算出手段と、前記視覚ク
ラス代表値および前記映像シーケンスの目標符号量に基
づいて、第１の映像単位の目標符号量割当てを行う第１
の目標符号量割当て手段とを有することを特徴とする請
求項１３記載の映像符号化装置。
【請求項１５】前記視覚クラス値割当て手段は、少な
くとも画素の色差値および輝度値を色の感度を表わす色
空間上に変換する色空間変換手段と、前記色空間の点の
視覚的な感度即ち色感度を算出する色感度算出手段と、
少なくとも前記色感度を第２の映像単位毎に集計した値
を用いて視覚クラス値を求める視覚クラス値算出手段こ
とを特徴とする請求項１０から１４のいずれかに記載の
映像符号化装置。
【請求項１６】前記色空間は、ＣＩＥ１９７６Ｌ＊ａ
＊ｂ＊空間およびＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊空間およ
びマンセル表色系を含む均等色空間であり、前記色感度
算出手段は、映像信号の属するＹＣｂＣｒ空間の微小変
化量に対して生じる前記色空間上の距離に基づいて算出
することを特徴とする請求項１５記載の映像符号化装
置。
【請求項１７】前記視覚クラス値割当て手段は、少な
くとも画素の輝度値から輝度感度モデルを用いた視覚的
な感度即ち輝度感度を算出する輝度感度算出手段と、少
なくとも前記輝度感度を第２の映像単位毎に集計した値
を用いて視覚クラス値を求めること視覚クラス値算出手
段とを有することを特徴とする請求項１０から１６のい
ずれかに記載の映像符号化装置。
【請求項１８】前記輝度感度モデルは、ウェーバー比
ΔＬ／Ｌ（Ｌ：輝度値、ΔＬ：輝度弁別の閾値）に基づ
くことを特徴とする請求項１７記載の映像符号化装置。
【請求項１９】請求項１から１８に記載の映像符号化
方法または装置を用いて生成したストリームを記録した
記録媒体。