JPH10164579A - 符号化制御方法およびその方法を用いた符号化制御装置 - Google Patents

Abstract

(57)【要約】 【課題】 ピクチャを符号化するとき、符号量低減に限
界があり、符号化処理全体の負荷が大きくてリアルタイ
ム処理に無理が生じた。 【解決手段】 符号化装置２の前段に符号化制御装置２
０を置く。この装置は、ハイパスフィルタによってピク
チャの高周波成分を抽出する判定前処理部２２と、高周
波数成分の少ないピクチャを見いだす判定部３０と、見
いだされたピクチャの符号量を落とすよう量子化部６に
指示する指示部３２をもつ。重要度の低いピクチャにつ
いては量子化のレベル数が減らされ、符号量が減る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、符号化制御方法
および装置、特に、ピクチャを符号化する際にその符号
量を制御する方法およびその方法を用いた装置に関す
る。この符号化制御装置は、例えばＭＰＥＧ符号化装置
の前処理装置として、またはＭＰＥＧ符号化装置に組み
込んで利用することができる。

【０００２】

【従来の技術】国際符号化標準ＭＰＥＧに代表されるよ
うに、動画像などのデータを圧縮して符号化し、各種記
憶媒体に格納して提供する種類の技術が進展している。
今日、いろいろなメーカーがマルチメディア関連機器の
開発に注力しており、ＭＰＥＧに準拠した商品の市場導
入を図っている。

【０００３】図８は従来一般的なＭＰＥＧの符号化装置
の概略構成図である。同図のごとく符号化装置２は、ビ
デオ入力に対して離散コサイン変換（Discreet Cosine
Transformation、以下ＤＣＴという）を施すＤＣＴ部４
と、ＤＣＴ後のデータを量子化する量子化部６と、量子
化されたデータ（以下、量子化データという）を受け取
り、そのデータを確率手法を用いてできるだけ少ない符
号量で可変長符号化する符号化部８と、符号化されたデ
ータ（以下、符号化データという）を格納するＦＩＦＯ
構造の送信バッファ１０をもつ。図示しないが、これら
以外に、量子化部６の出力からＤＣＴ部４の入力に向け
て動き補償関連の構成がある。

【０００４】この構成において、まずビデオ入力は、ピ
クチャ（フレーム）単位でＤＣＴ部４にて離散的な空間
周波数成分に分解される。ここで高周波成分が落とさ
れ、量子化部６で所定のレベル数で量子化される。量子
化データは符号化部８で符号化され、ＭＰＥＧ固有の符
号化データのストリームが生成される。このデータスト
リームは送信バッファ１０に格納され、順次符号化出力
として外部に送出される。

【０００５】

【発明が解決しようとする課題】ＭＰＥＧの符号化で
は、大別してデータの圧縮と符号化のふたつの処理が行
われると考えることができる。前者はＤＣＴ部４と量子
化部６により、後者は符号化部８による。しかし、符号
化部８にもデータ圧縮効果がある。すなわち、ＭＰＥＧ
では確率手法にもとづくエントロピー符号化という方法
を採用することにより、差分データの形式で記述される
Ｐピクチャ（フレーム間順方向予測符号化ピクチャ）お
よびＢピクチャ（双方向予測符号化ピクチャ）の符号量
がなるべく少なくなるよう配慮されている。したがっ
て、符号化装置全体の符号量低減効果は大きい。

【０００６】しかしながら、最近では動画をリアルタイ
ムに符号化できる装置の開発、商品化が企図されてお
り、符号化の効率改善、符号量のさらなる低減に対する
要望がつよい。本発明はこうした課題に鑑みてなされた
ものであり、その目的は、符号化速度を高め、符号量を
低減する符号化制御方法と装置の提供にある。

【０００７】

【課題を解決するための手段】本発明の符号化制御方法
は、複数ピクチャの符号化を制御する方法であり、ピク
チャの重要度を判定し、重要度の低いピクチャに対する
符号量が、重要度を考慮しない場合に達成されるべき符
号量よりも少なくなるよう制御するものである。ここで
「重要度」とは主観、客観を問わず、なんらかの観点で
重要である度合いをいう。「ピクチャ」とは、ＭＰＥＧ
でいう狭義のピクチャの他、フレーム、フィールドな
ど、映像処理または表示における任意の単位である。重
要度はピクチャごとに判定してもよいし、複数のピクチ
ャ単位、または所定期間ごとに判定してもよい。

【０００８】例えばＭＰＥＧの符号化装置の場合、ピク
チャの重要度という概念をもたない。したがって、重要
度に関係なく同一の処理を行っており、あまり重要でな
いピクチャに大きな符号量が与えられる場合がある。本
発明では、予めピクチャの重要度を判定するため、重要
度の低いピクチャに対する符号量を制限することができ
る。符号量を減らす具体的方法として、量子化レベル数
の削減、ピクチャの画格の低減などがある。

【０００９】本発明によれば、全体の符号量を減らすこ
とができる他、符号量の低減による符号化処理全体のス
ピードアップが可能になる。なお、重要度の判定基準に
は、ピクチャの周波数成分、ピクチャに伴う音声関連信
号、ピクチャ間の差分などがある。

【００１０】一方、本発明の符号化制御装置は、例えば
ＭＰＥＧ装置等の符号化装置の前処理装置として、その
符号化装置に組み込んで一体化した装置として利用され
る。ここで符号化装置は、例えば、ＤＣＴなどの直交変
換、またはその他の変換を施す変換部、量子化部、およ
び符号化部、またはこれに加えて動き補償部からなる構
成である。本発明の符号化制御装置は、入力されたピク
チャの重要度を判定する判定手段（３０，６２，８６）
と、その判定結果をもとに、重要度の低いピクチャの符
号量の低減を指示する指示手段（３２，４２，６６，８
８，１０４）とを含む。この構成において、ピクチャが
入力されたとき、判定手段がその重要度を判定する。つ
づいて指示手段が判定結果を利用して重要度の低いピク
チャの符号量の低減を指示する。この装置によれば、上
述の符号化制御方法同様の効果を装置として実現するこ
とができる。

【００１１】なお指示手段は、ピクチャの量子化レベル
数の削減という形で指示を出してもよい。さらにこの装
置は、指示手段の指示に従い、ピクチャの画格を変更す
る手段（４４）を含んでもよい。「画格」とは縦横の画
素数で決まる解像度である。この場合、重要度の低いピ
クチャの画格を落とすことにより、当然符号量が減る。
この装置はさらに、最終的に符号化データストリームを
生成する機能ブロック（図８なら符号化部８）に対し
て、画格が変更されたことを伝達する構成を含んでもよ
い。その場合、装置全体の整合性維持が容易になる。

【００１２】

【発明の実施の形態】以下、本発明の好適な実施形態を
適宜図面を参照しながら説明する。

【００１３】実施形態１．図１は本実施形態の符号化制
御装置２０の構成を示す。同図のごとく、この符号化制
御装置２０はＭＰＥＧの符号化装置２の前段に置かれる
もので、ピクチャごとの重要度をピクチャの空間周波数
成分をもとに判定する判定部３０と、判定結果にしたが
って符号化装置２の量子化部６に対する指示信号３４を
出力する指示部３２をもつ。また、判定部３０による判
定の準備のために、判定前処理部２２が設けられてい
る。なお、符号化装置２自体は図８のものと同等であ
る。

【００１４】判定前処理部２２は、ビデオ入力という形
で与えられるピクチャの水平方向の画素に作用する水平
ハイパスフィルタ（以下、ハイパスフィルタをＨＰＦと
略記する）２４と、同様に垂直方向の画素に作用する垂
直ＨＰＦ２６と、水平および垂直の両方向の画素に作用
する水平垂直ＨＰＦ２８を含んでいる。これら３つのＨ
ＰＦの出力は判定部３０に与えられる。本実施形態で
は、これらのＨＰＦによってピクチャのもつ高周波成分
を抽出し、その成分が優勢なピクチャは重要度が高く、
その逆であれば重要度が低いとみなすことにする。高周
波成分が優勢なピクチャは絵柄が細かいため、一般に、
符号量をあまり落とさないうがよいためである。ここで
は３つのＨＰＦを設けているが、判定部３０ではそれら
の出力のうちひとつのみに注目してもよく、すべてに注
目してもよい。いずれのＨＰＦを参照したときに最良の
結果が得られるかはピクチャの内容に依存すると考えら
れるため、ＨＰＦごとに参照または不参照が設定できる
構成としてもよい。

【００１５】以上の構成による動作を説明する。まずビ
デオ入力があったとき、これがピクチャ単位で判定前処
理部２２の３つのＨＰＦでフィルタリング処理を受け
る。ＨＰＦの出力はピクチャの高周波成分であるから、
この高周波成分が多い場合、すなわち、例えば絶対値平
均が大きい場合、判定部３０では重要度の高いピクチャ
であるとみなす。一方、高周波成分が少ない場合、判定
部３０はそのピクチャの重要度が低いものとみなし、指
示部３２に対し、重要度の低いピクチャが検出された旨
を通知する。

【００１６】通知を受けた指示部３２は、符号化装置２
の量子化部６に対し、量子化レベル数を減らすよう指示
する指示信号３４を出力する。この指示を受けた量子化
部６は例えば量子化レベル数を半減する等の処置をと
る。その結果、重要度の低いピクチャについては、最終
的に符号量が減る。

【００１７】以上が本実施形態の符号化制御装置の構成
と動作である。この装置は符号量の合計を減らす効果を
もつだけでなく、符号量が減るピクチャはもともと重要
度が低いと考えられるため、動画全体の画質低下を抑制
することができる。また、この装置によれば、符号化装
置２における量子化データ量が削減されるため、符号化
装置２の符号化部８における処理負荷を軽減することが
でき、結果的に符号化処理全体を高速化できる。さら
に、符号化装置２がＭＰＥＧに準拠する場合、通常送信
バッファ１０の溢れを回避するために量子化レベル数を
変更する構成が存在するため、その構成に指示信号３４
を送ればよい。したがって、実現が極めて容易である。

【００１８】なお、本実施形態の符号化制御装置は符号
化装置の前段に置いたが、当然これらふたつの装置を一
体化してもよい。また、本実施形態ではピクチャごとに
重要度を判断したが、複数のピクチャを単位として判断
したり、所定期間ごとに判断してもよい。例えばＭＰＥ
Ｇの場合、ＧＯＰ（後述）ごとに、自ピクチャ内で閉じ
た符号化がなされるＩピクチャとよばれるピクチャが存
在するため、このＩピクチャについて判断された重要度
をそのＧＯＰに含まれる全ピクチャの重要度とみなして
もよい。一方、これとは逆に、ピクチャの一部領域を単
位として重要度を判断してもよい。すなわち、一部領域
を見てそのピクチャ全体の重要度を判断してもよいし、
領域ごとに重要度を判断し、領域ごとに量子化レベル数
を変更する等、きめ細かい符号量制御をなしてもよい。

【００１９】実施形態２．実施形態１では、量子化レベ
ル数の変更によって全体の符号量を低減した。本実施形
態では画格を変更することにより同様の効果を得る。図
２は本実施形態の符号化制御装置４０の構成を示してい
る。同図において図１と同等の部材には同一の符号を与
え、図１との相違を中心に説明する。

【００２０】図２における新たな構成は、図１の指示部
３２に比べてより多くの指示を出す指示部４２と、指示
部４２からの指示にしたがって画格を変更する画格変更
部４４である。画格変更部４４は、サブサンプリングを
行ってピクチャの解像度を落とす。指示部４２は、画格
を変更すべき場合にその旨を伝える第一指示信号４６を
画格変更部４４に出力し、第二指示信号４８を符号化装
置２の符号化部８に出力する。

【００２１】以上の構成による動作を説明する。まずビ
デオ入力があったとき、これがピクチャ単位で水平ＨＰ
Ｆ２４、垂直ＨＰＦ２６、水平垂直ＨＰＦ２８によるフ
ィルタリング処理を受ける。判定部３０は、これら３つ
のＨＰＦからの出力から、例えば所定のしきい値との比
較より、高周波成分の多寡を判断する。ここでも高周波
数成分が多い場合は重要度が高く、その逆の場合は重要
度が低いとみなすが、本実施形態では、ピクチャの重要
度を水平、垂直、水平垂直の三方向に独立して判定す
る。判定部３０の出力は具体的には以下の３通りとな
る。

【００２２】１．水平方向に関して重要度が低い ２．垂直方向に関して重要度が低い ３．水平垂直方向に関して重要度が低い 指示部４２は判定結果が１〜３のとき、それぞれに対応
して以下の指示を第一指示信号４６によって画格変更部
４４に伝える。

【００２３】（１）水平方向の解像度を落とす （２）垂直方向の解像度を落とす （３）水平垂直方向の解像度を落とす 画格変更部４４は（１）〜（３）の指示に従い、サブサ
ンプリング、つまり画素をとびとびにサンプリングする
ことにより、画格を落とす。図３は画格の変更の様子を
示すもので、同図（ａ）はもとのピクチャの画格が水平
７２０画素×垂直４８０画素であることを示している。
一方、同図（ｂ）は上記（１）にしたがって水平方向の
画素がもとの半分の３６０に落とされた場合を示してい
る。同様に同図（ｃ）は垂直方向の画素がもとの半分の
２４０に落とされた場合、同図（ｄ）は両方向とも、も
との画素の半分に落とされた場合を示している。同図に
おいて○の画素はサンプリングするもの、×の画素はサ
ンプリングしないものを示す。以上で画格の変更が完了
する。

【００２４】一方、指示部４２は、画格を変更すべきと
き、第二指示信号４８を符号化装置２の符号化部８に送
る。第二指示信号４８には、変更後の画格情報、例えば
図３（ｂ）の場合には「３６０×４８０」という形のデ
ータが格納されている。符号化部８は符号化後のデータ
ストリームの中に、変更後の画格情報を埋め込む。

【００２５】図４はＭＰＥＧにおける符号化データスト
リームの構成を示している。同図のごとくデータストリ
ームは、各種ヘッダ情報を含むシーケンスヘッダ（Ｓ
Ｈ）と、グループ・オブ・ピクチャ（ＧＯＰ）と呼ばれ
る複数ピクチャの符号化データの組の集合である。シー
ケンスヘッダの中にはＨＳＶ、ＶＳＶというデータ領域
があり、それぞれ水平方向および垂直方向の解像度（画
素数）が格納される。そこで、符号化部８は第二指示信
号４８から画格情報を抽出し、これをＨＳＶ、ＶＳＶに
埋め込む。この結果、画格変更部４４における画格の変
更を矛盾なくデータストリームに反映することができ
る。

【００２６】以上が本実施形態によれば、符号量の合計
を大幅に削減できるし、当然符号化装置２の処理負荷を
低減できる。画格が変更されるピクチャはもともと重要
度が低いと考えられるため、画質に対する影響も少な
い。

【００２７】実施形態３．実施形態１、２はともにピク
チャ自体の性質を利用して符号量低減を図った。本実施
形態では、ビデオ入力に伴う音声入力に注目して符号量
低減を図る。本実施形態の符号化制御装置はテレビジョ
ン映像に適用される。

【００２８】図５は本実施形態の符号化制御装置６０の
構成図である。この装置は、テレビジョン音声関連信号
をもとにピクチャの重要度を判定する判定部６２と、そ
の判定結果に沿った指示を符号化装置２の量子化部６に
指示信号６８として送る指示部６６をもつ。判定部６２
はさらに、音声入力の中から制御チャネル信号を検出す
る制御チャネル信号検出部６４をもつ。制御チャネル信
号とは、ステレオ放送と多重音声放送の場合に継続的に
活性化される信号であり、この信号を参照することによ
り、通常の音声放送、ステレオ放送、多重音声放送の区
別をつけることができる。

【００２９】以上の構成による動作を説明する。符号化
装置２にビデオ入力があると、それに同期した音声入力
が符号化制御装置６０に与えられる。例えば、テレビジ
ョン放送される番組が通常の音声放送であり、コマーシ
ャル映像がステレオ放送である場合、制御チャネル信号
検出部６４は、番組の映像が放送されている間は制御チ
ャネル信号を検出せず、コマーシャル映像が放送されて
いる間に検出する。そこで本実施形態では、制御チャネ
ル信号が検出されない間はピクチャの重要度が高く、検
出されている間は重要度が低いとみなし、判定結果を指
示部６６に送る。

【００３０】指示部６６はピクチャの重要度が低いと判
定されたとき、量子化部６における量子化レベル数を減
らすよう指示信号６８を出力する。以降の処理は実施形
態１と同等である。

【００３１】以上、本実施形態によればビデオ入力以外
の情報をもとに符号量を低減できるため、実施形態１、
２の効果に加え、符号化制御装置の実現バリュエーショ
ンを増やすことができる。本実施形態の利点は、装置の
規模が比較的小さいことにもある。

【００３２】なお、図１に対して画格変更部４４を追加
して図２ができるごとく、本実施形態でも図５に画格変
更部を追加して新たな実施形態としてもよい。

【００３３】実施形態４．この実施形態では、ピクチャ
間の差分に注目して符号量を削減する。図６は本実施形
態の符号化制御装置８０の構成図である。この装置は、
ビデオ入力をピクチャ単位で一時的に格納するフレーム
メモリ８２と、現在受信中のピクチャとフレームメモリ
８２に格納されたひとつ前のピクチャの差分をとる差分
器８４と、差分器８４の出力をもとにピクチャの重要度
を判定する判定部８６と、その判定結果に応じて符号化
装置２の量子化部６に対して指示信号９０を出力する指
示部８８をもつ。

【００３４】この構成において、まずビデオ入力があっ
たとき、それがピクチャごとにピクチャ単位でフレーム
メモリ８２に格納される。したがって、常にフレームメ
モリ８２には一回前のピクチャが残っている。いま例え
ばｎ番目のピクチャが入力されてきたとすれば、フレー
ムメモリ８２の内容は（ｎ−１）番目のピクチャであ
る。このため、差分器８４ではｎ番目のピクチャデータ
から（ｎ−１）番目のピクチャデータが差し引かれ、そ
の差分が判定部８６に入力される。

【００３５】判定部８６では、差分が大きいときにｎ番
目のピクチャの重要度が高く、その逆の場合に重要度が
低いとみなす。したがって、差分の合計があるしきい値
より小さいような場合、指示部８８から量子化レベル数
を減らすよう指示信号９０が出される。以降の処理は実
施形態１同様である。

【００３６】本実施形態でも符号量の削減、処理負荷の
軽減など他の実施形態同様の効果が得られる。本実施形
態の符号化制御装置は、例えば監視カメラの映像処理に
向く。ピクチャに変化のあったときだけ符号量を高めて
精細な映像を得ればよいためである。なお、本実施形態
でも画格変更部を追加して新たな実施形態とすることが
できる。

【００３７】実施形態５．実施形態２を基本形とする変
形例を説明する。本実施形態は、実施形態２の符号化制
御装置に雑音除去機能を付加したものである。

【００３８】図７は本実施形態の符号化制御装置１００
の構成図である。図２に対する新たな構成は、水平ＨＰ
Ｆ２４、垂直ＨＰＦ２６、水平垂直ＨＰＦ２８の３つの
出力および「０」の合計４つのデータから、指示部１０
４の出力する第三指示信号１０６に従ってひとつのデー
タを選択出力する選択部１０２と、現在入力されている
ピクチャデータから選択部１０２の出力を差し引く差分
器１０８である。なお、指示部１０４の出力する第一指
示信号４６、第二指示信号４８は実施形態２と同じであ
る。

【００３９】以上の構成においてビデオ入力があると、
判定前処理部２２、判定部３０、および指示部１０４の
第一指示信号４６と第二指示信号４８は実施形態２と同
じ動きをする。いま仮に、水平方向の高周波成分だけが
少ないとき、第一指示信号４６は「水平方向の解像度を
落とす」旨を指示する。このとき同時に、指示部１０４
は第三指示信号１０６により、「水平ＨＰＦ２４の出力
を選択出力する」旨を指示する。選択部１０２はこの指
示にしたがう。

【００４０】差分器１０８は、現在のピクチャから水平
ＨＰＦ２４を通過したピクチャを差し引くため、差分器
１０８の出力は、水平方向の高周波成分として存在する
折り返し雑音が落ちた形になる。サンプリング定理によ
れば、ある周波数ｆｓでサンプリングが可能な信号帯域
はｆｓ／２以下に限られるため、ｆｓ／２を境にして高
周波側に折り返し雑音が発生する。折り返し雑音を含む
映像データを異なる周波数でサブサンプリングすると、
折り返し雑音が本来必要な周波数成分と重畳して画質が
落ちる。本実施形態では、サブサンプリング前に不要な
高周波成分を落とすことにより、折り返し雑音による悪
影響を大幅に削減できる。

【００４１】なお、選択部１０２のひとつの入力に
「０」を持たせているのは、画格を変更しない場合、す
なわち、水平、垂直方向ともに高周波成分が多いような
場合には、もとのピクチャデータに手を加えないためで
ある。具体的に、第一指示信号４６が画格の変更を指示
しないときには、第三指示信号１０６によって「０」を
選択出力させる。

【００４２】以上が本実施形態の構成と動作である。本
実施形態によれば、実施形態２に比べ、画格を変更する
際の画質を改善することができる。また、当然全体のデ
ータ量も減る点でも効果的である。

【図面の簡単な説明】

【図１】 実施形態１の符号化制御装置の構成図であ
る。

【図２】 実施形態２の符号化制御装置の構成図であ
る。

【図３】 （ａ）〜（ｄ）は、実施形態２の画格変更部
によるサブサンプリングの様子を示す図である。

【図４】 ＭＰＥＧの符号化データストリームを示す図
である。

【図５】 実施形態３の符号化制御装置の構成図であ
る。

【図６】 実施形態４の符号化制御装置の構成図であ
る。

【図７】 実施形態５の符号化制御装置の構成図であ
る。

【図８】 従来一般的なＭＰＥＧ符号化装置の概略構成
図である。

【符号の説明】

２ 符号化装置、４ ＤＣＴ部、６ 量子化部、８ 符
号化部、１０ 送信バッファ、２０，４０，６０，８
０，１００ 符号化制御装置、２２ 判定前処理部、２
４ 水平ＨＰＦ、２６ 垂直ＨＰＦ、２８ 水平垂直Ｈ
ＰＦ、３０，６２，８６ 判定部、３２，４２，６６，
８８，１０４ 指示部、３４，６８，９０指示信号、４
４ 画格変更部、４６ 第一指示信号、４８ 第二指示
信号、６４ 制御チャネル信号検出部、８２ フレーム
メモリ、８４，１０８ 差分器、１０２ 選択部、１０
６ 第三指示信号。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数ピクチャの符号化を制御する方法で
   あって、 ピクチャの重要度を判定し、重要度の低いピクチャに対
   する符号量が、重要度を考慮しない場合に達成されるべ
   き符号量よりも少なくなるよう制御することを特徴とす
   る符号化制御方法。
2. 【請求項２】 ピクチャの重要度をピクチャの周波数成
   分を手がかりに判定する請求項１に記載の符号化制御方
   法。
3. 【請求項３】 ピクチャの重要度をピクチャに伴う音声
   関連信号を手がかりに判定する請求項１に記載の符号化
   制御方法。
4. 【請求項４】 ピクチャの重要度をピクチャ間の差分を
   手がかりに判定する請求項１に記載の符号化制御方法。
5. 【請求項５】 入力されたピクチャの重要度を判定する
   判定手段と、 その判定結果をもとに、重要度の低いピクチャの符号量
   の低減を指示する指示手段と、 を含むことを特徴とする符号化制御装置。
6. 【請求項６】 前記指示手段は、ピクチャを量子化する
   際にその量子化レベル数の削減を指示する請求項５に記
   載の符号化制御装置。
7. 【請求項７】 前記指示手段の指示に従い、ピクチャの
   画格を変更する手段をさらに含む請求項５に記載の符号
   化制御装置。