JP2000261809A - 画像特徴に応じた画像符号化装置 - Google Patents

画像特徴に応じた画像符号化装置

Info

Publication number
JP2000261809A
JP2000261809A JP5804699A JP5804699A JP2000261809A JP 2000261809 A JP2000261809 A JP 2000261809A JP 5804699 A JP5804699 A JP 5804699A JP 5804699 A JP5804699 A JP 5804699A JP 2000261809 A JP2000261809 A JP 2000261809A
Authority
JP
Japan
Prior art keywords
image
coding
frame
information
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5804699A
Other languages
English (en)
Inventor
Akio Yoneyama
暁夫 米山
Yasuyuki Nakajima
康之 中島
Hiromasa Yanagihara
広昌 柳原
Masaru Sugano
勝 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDD Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDD Corp filed Critical KDD Corp
Priority to JP5804699A priority Critical patent/JP2000261809A/ja
Priority to US09/515,896 priority patent/US6973126B1/en
Publication of JP2000261809A publication Critical patent/JP2000261809A/ja
Priority to US10/114,268 priority patent/US7116715B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 入力画像特徴に応じて、ＧＯＰサイズおよび
予測フレーム間隔を決定する動画像符号化装置を提供す
ることにある。 【解決手段】 入力画像をあらかじめフレームメモリ３
１に蓄積し、２画像間変化量解析部３２により連続する
画像間の変化量を抽出し、ＧＯＰ境界位置決定部３３に
おいて２画像間変化量解析部３２からの画像間変化量情
報ＡによりＧＯＰ境界位置を決定する。次に、簡動き探
索部３４において、該ＧＯＰ境界位置情報Ｂとフレーム
メモリ１に蓄積されている画像情報から、１ＧＯＰ内の
画像での簡易動き探索を行い、動き特徴予測情報Ｃを算
出する。予測フレーム間隔決定部３５では、動き特徴予
測情報Ｃより、予測フレーム間隔情報Ｄを算出する。画
像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予
測情報Ｃ，予測フレーム間隔情報Ｄは符号化複雑度予測
部７に伝達され、各フレーム符号化モードにおける符号
化複雑度予測情報Ｅが算出される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像符号化装置に関
し、特にデジタル動画像信号の動き補償予測を用いた符
号化を行う画像符号化装置に関する。
【０００２】
【従来の技術】連続して入力される動画像信号をより少
ない符号量で符号化する高能率符号化方式のうち、画像
信号の画像間の動きと相関を利用する符号化方式とし
て、過去の符号化された画像を復号再生し、該画像から
の小ブロック単位での動き情報を利用する動き補償予測
符号化がある。従来の動き補償予測符号化の一例を、図
８に示す。
【０００３】図８において、第１画面の入力画像信号１
が入力された場合、予測モード制御部１２により各々の
スイッチはそれぞれ側に接続されており、入力信号は
高い符号化効率を得るために直交変換器３に直接入力さ
れ、該直交変換器３でＤＣＴ（離散コサイン変換）など
を用いて直交変換され、量子化器４で直交変換係数が量
子化される。この量子化係数は第１可変長符号化器５で
ハフマン符号などの可変長符号に変換されてビデオ多重
化器１５に入力される。
【０００４】一方、逆量子化器６に入力した量子化係数
は逆量子化され、さらに逆直交変換器７で画像データが
復元される。復元された画像データはフレームメモリ９
に蓄積される。また、ビデオ多重化器１５では、第１可
変長符号化器５からの符号化データや量子化器４からの
量子化情報１８を多重化して符号化ビデオデータ出力１
６として出力する。
【０００５】次の画面の入力画像信号１が入力されるよ
うになると、符号化モード制御部１２により、各々のス
イッチは側の接点に接続され、入力画像信号１が予測
信号減算器２および動き補償器１０に入力される。動き
補償器１０では該入力画像信号１とフレームメモリ９か
ら入力された参照画像とで動きベクトルが検出され、該
動きベクトルは位置シフタ１１と第２可変長符号化器１
４に入力される。第２可変長符号化器１４では、動きベ
クトル情報がハフマン符号などの可変長符号に変換され
てビデオ多重化器１５に入力される。
【０００６】位置シフタ１１では、動きベクトルによっ
て指定される画像信号をフレームメモリ９から抽出し、
動き補償予測信号として予測信号減算器２および局所復
号加算器８に出力される。予測信号減算器２で入力画像
信号１から動き補償予測信号が減算され、その予測誤差
が符号化される。予測誤差信号は高い符号化効率を得る
ために直交変換器３においてＤＣＴ（離散コサイン変
換）などを用いて直交変換され、量子化器４で量子化さ
れた信号は第１可変長符号化器５でハフマン符号などの
可変長符号に変換される。また復号側と同一の予測信号
を用いるために、量子化器４で得られる量子化係数を逆
量子化器６で逆量子化し、逆直交変換器７で予測誤差信
号が局所的に復号される。さらに動き補償予測信号が局
所復号加算器８で復元された予測誤差信号と加算され、
フレームメモリ９に蓄積される。
【０００７】動画像の符号化では、画像間の動きや相関
を利用した符号化を行うことで、符号化効率を向上する
ことができるが、符号化された動画像から任意の時点の
画像の復号再生を行う場合には、動き補償予測で用いた
参照画像もあらかじめ復号再生されている必要があるた
め、符号化画像の先頭からの復号処理を行わないと全て
の画像の復号再生を行うことができないことになる。こ
の問題を解消するため、過去の復号再生画像と関係なく
独立して復号することができるフレーム内予測符号化フ
レームを定期的に挿入することにより、符号化効率を保
ちながら、なおかつ動画像の先頭以外からの復号再生を
可能としている。
【０００８】動画像の符号化では、高能率符号化と復号
再生の利便性から、以下の３種類の画像符号化方式を組
み合わせて利用されている。
【０００９】Ｐフレーム：片方向予測フレーム。フレー
ム間予測フレームの一つ。過去に符号化された画像から
フレーム間動き補償予測符号化により符号化される。該
画像は復号再生され、次のＰフレーム符号化のための参
照画像となる。参照される画像と参照する画像の類似性
が高い場合には符号化効率が向上する。
【００１０】Ｂフレーム：フレーム間予測フレームの一
つ。過去に符号化された時間的に前後する２枚の画像か
らフレーム間動き補償予測により符号化される。該フレ
ームは参照画像としては利用されない。
【００１１】Ｉフレーム：フレーム内符号化フレーム。
画像間の動きと相関は利用せず、１枚の画像を独立して
符号化する。したがって独立したフレームの復号が可
能。
【００１２】上記の３種類の符号化方式を組み合わせ、
独立した復号が可能な画像群の最小単位をＧＯＰ（Grou
p Of Picture）と呼ぶ。また、その符号化方式の組み合
わせをＧＯＰ構造という。一つのＧＯＰ内で最初に符号
化されるフレームはフレーム内符号化（Ｉフレーム）と
なる。図９にＧＯＰの例を示す。図９において一つのＧ
ＯＰに含まれるフレーム数をＧＯＰサイズ、Ｐフレーム
間、またはＩフレームとＰフレームとの間隔を予測フレ
ーム間隔と呼ぶ。
【００１３】従来は、入力画像の特徴に関係なくＩフレ
ーム挿入間隔、つまりＧＯＰサイズを固定値とし、一定
枚数ごとに強制的にフレーム内符号化を行っている。そ
のため、参照画像との相関が高く、フレーム間予測符号
化を用いることで符号化効率が向上できる可能性がある
場合でも、フレーム内符号化を利用しなくてはならない
場合が生ずる。
【００１４】また、予測フレーム間隔についても、最も
符号化効率のよい予測フレーム間隔は画像の特徴に依存
する。たとえば、動きの激しい映像では、予測フレーム
間隔を短くすることによって参照画像からの予測効率が
高くなり、符号化効率を向上することができる。逆に変
化がほとんどない場合には、予測フレーム間隔を長くす
ることにより、符号化効率を向上することができる。し
かし、従来の方式では画像の特徴には関係なく、固定的
に予測フレーム間隔を０．１秒程度としている。
【００１５】
【発明が解決しようとする課題】前記した従来方法によ
る画像の符号化においては、入力される画像に変化があ
り、フレーム間予測符号化が効果的ではない場合でもフ
レーム間予測符号化が用いられたり、フレーム間予測符
号化であれば効果的な符号化ができるにもかかわらず、
強制的にフレーム内予測符号化が用いられたりするた
め、符号化効率の向上や、復号再生画像の画質の向上を
妨げている。また、画像特徴変化直後の画質に大幅な変
動が起こることも避けることができない。例えば、シー
ンの変化等の大きな変化が入力画像にあった場合には、
画質が大幅に変動してしまうという問題があった。
【００１６】本発明の目的は、前記した従来技術の問題
点を解決し、入力画像の特徴や、入力画像の特徴の変化
に応じて、ＧＯＰサイズ、および予測フレーム間隔を適
応的に変化させることで、符号化効率の向上を達成し、
更に符号化画像品質を安定化させる画像符号化装置を提
供することにある。
【００１７】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、連続的に入力される動画像情報から、画
像間の変化度を検出し、その検出された情報を基に画像
間の相関を求め、その相関の度合いによりフレーム内符
号化方式を適用する画像を決定する手段を具備した点に
第１の特徴がある。この特徴によれば、ＧＯＰサイズは
画像特徴により異なるサイズとなる。
【００１８】また、本発明は、入力画像間の動き特徴を
検出し、その特徴から最適な予測フレーム間隔を決定す
る手段を具備した点に第２の特徴がある。この特徴によ
れば、入力画像間の動きの特徴により、最適な予測フレ
ーム間隔を決定することができるようになる。
【００１９】さらに、一つのＧＯＰの構造が決定した
後、各フレームを符号化する前に、ＧＯＰ内の画像の特
徴量から、各符号化方式における符号化の複雑度を予測
し、符号化時の符号量制御に反映させることで画質の変
動を抑える手段を具備した点に第３の特徴がある。
【００２０】前記した各特徴によれば、従来の固定ＧＯ
Ｐサイズおよび固定予測フレーム間隔での画像符号化方
式では避けることのできなかった入力画像の変化に伴う
画質の大幅な変動や、符号化効率の低下を解消すること
ができるようになる。
【００２１】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の構成
を示すブロック図である。なお、以下の説明では、動画
像符号化方式として、図８に示した符号化装置を用いる
ものとするが、本発明はこれに限定されるものではな
い。また、図８と同じ符号は、同一または同等物を示
す。
【００２２】この実施形態は、連続して入力される画像
信号からその画像信号の特徴の解析を行い、その情報に
応じてＧＯＰ構造を決定し、その情報から符号化処理を
行うことに特徴がある。
【００２３】図１において、連続的に入力される画像信
号はＧＯＰ構造決定部２０において、その特徴解析を行
い、入力画像に応じたＧＯＰ構造を決定し、その情報を
基に、画像の符号化の際に符号化モード制御部１２に対
してＧＯＰ構造情報信号２１を出力し、また、符号化レ
ート制御部１７に対して符号化複雑度予測情報２２を出
力する。なお、上記以外の動作は、図８の符号化装置の
動作と同様であるので、説明を省略する。
【００２４】図１におけるＧＯＰ構造決定部２０の処理
の実施形態をブロック図により示したものが図２〜図５
である。本発明の第一実施形態である図２における処理
の手順を説明する。まず連続的に入力される画像信号
は、フレームメモリ３１に蓄積される。フレームメモリ
３１では最大ＧＯＰサイズ分の画像を蓄積することがで
きるものとする。
【００２５】２画像間変化量解析部３２では、フレーム
メモリ３１に蓄積される各画像と、時間的に直前に隣接
する画像との間の映像からの変化量の算出を行い、その
結果である画像間変化量情報ＡをＧＯＰ境界決定部３３
に出力する。ここでは画像間変化量情報Ａの算出には対
象画像と直前の画像を用いたが、その他の画像を用いる
ことも可能である。
【００２６】ＧＯＰ境界位置決定部３３では、２画像間
変化量解析部３２から出力された、画像間変化量情報Ａ
から、フレームメモリ３１内においてＧＯＰ境界とする
のに最適な位置を決定し、その情報をＧＯＰ境界位置情
報Ｂとして出力する。このＧＯＰ境界位置の決定によ
り、フレームメモリ３１内にある該決定したＧＯＰ境界
位置よりも古い画像が１つのＧＯＰとなる。
【００２７】また、簡易動き探索部３４では、ＧＯＰ境
界位置決定部３３におけるＩフレーム位置挿入決定、つ
まり１ＧＯＰサイズ決定後に、ＧＯＰ境界位置決定部３
３から出力されたＩフレーム挿入位置情報であるＧＯＰ
境界位置情報Ｂと、フレームメモリ３１に蓄積されてい
る映像情報から決定された１ＧＯＰサイズ分の画像の中
から基準となる画像を決定し、その画像と他の画像との
間での簡易動き探索により、動き特徴予測情報Ｃを出力
する。
【００２８】次に、予測フレーム間隔決定部３５におい
て、簡易動き探索部３４から入力された動き特徴予測情
報Ｃにより予測フレーム間隔を決定し、予測フレーム間
隔情報Ｄを出力する。
【００２９】画像間変化量情報Ａ，ＧＯＰ境界位置情報
Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報
Ｄは、符号化複雑度予測部３７に入力され、該符号化複
雑度予測部３７において、Ｉ，Ｐ，Ｂ各フレーム符号化
モードにおける符号化の複雑度を予測し、その情報を符
号化複雑度予測情報Ｅとして符号化レート制御部３８へ
出力する。
【００３０】符号化レート制御部３８では、入力画像の
符号化時に、符号化複雑度予測部３７から入力された符
号化複雑度予測情報Ｅを反映させて符号化レート制御を
行う。また、ＧＯＰ境界位置情報Ｂおよび予測フレーム
間隔情報Ｄは、符号化モード制御部３６にも出力され、
該符号化モード制御部３６は該情報により決定されるＧ
ＯＰ構造により、符号化時のスイッチの制御を行う。
【００３１】フレームメモリ３１内の一つのＧＯＰの構
造が決定した後に、該ＧＯＰ内の各画像の符号化を行う
ため、フレームメモリ３１は図１の予測信号減算部２に
対して画像信号を出力し、出力された画像信号情報は、
フレームメモリ３１から削除される。
【００３２】フレームメモリ３１は、一つのＧＯＰの符
号化が終了すると、フレームメモリ３１内の残りの画像
の後に連続して入力される画像を蓄積する。フレームメ
モリ３１は、最大ＧＯＰサイズ分の画像信号を蓄積する
と、次のＧＯＰ構造決定のための処理を行い、この処理
を繰り返す。
【００３３】次に、本発明の第１実施形態である図２の
ＧＯＰ構造決定部２０の各部の動作の詳細を説明する。
まず、フレームメモリ３１では、連続して入力される画
像信号を蓄積する。蓄積する画像枚数は、符号化時に決
定する最大ＧＯＰサイズ以上とする。フレームメモリ３
１では、２画像間変化量解析部３２、および簡易動き探
索部３４に対して画像信号の出力を行う。また、蓄積さ
れている画像群において、一つのＧＯＰの構造が決定さ
れると、画像符号化装置に対して画像信号の出力を行
い、出力した画像信号はフレームメモリ３１から削除
し、該領域上に、新たに入力される画像信号を蓄積す
る。
【００３４】次に２画像間変化量解析部３２では、フレ
ームメモリ３１から２枚の画像情報を取り出し、該画像
間の変化量情報Ａの算出を行う。算出方法には、２枚の
画像における同位置の画素情報同士の絶対差分量のフレ
ーム内の総和量により決定する方法や、画像を小ブロッ
クに分割し、該小ブロック毎の画素の分散値を求め、該
分散値を小ブロックの代表値としたフレーム間の絶対差
分量のフレーム内の総和量により決定する方法をとる。
【００３５】前者の決定方法は、例えば図１０(a) に示
されているように、画像ｉ、ｊの各画素値を、Ｐi1，Ｐ
i2，…，Ｐin；Ｐj1，Ｐj2，…，Ｐjnとした場合、同図
の(1) 式により決定される。また、後者の決定方法は、
例えば同図(b) に示されているように、画像ｉ、ｊの各
小ブロックの分散値を、σi1，σi2，…，σim；σj1，
σj2，…，σjmとした場合、同図の(2) 式により決定さ
れる。
【００３６】なお、前記決定方法の各画素値は、輝度値
のみによる処理を行ったが、色差値による処理や、輝度
および色差値双方を用いる処理も可能である。２画像間
変化量解析部３２で算出された画像間変化量情報Ａは、
ＧＯＰ境界決定部３３、および符号化複雑度予測部３７
へ出力される。
【００３７】ＧＯＰ境界位置決定部３３では、２画像間
変化量解析部３２より入力された画像間変化量情報Ａか
ら、その値がある閾値を越えた場合に該フレーム直前を
ＧＯＰ境界とする方法をとる。また、フレームメモリ３
１内の全画像についての画像間変化量情報Ａからその最
大値をもつ画像の直前をＧＯＰ境界とする方法や、閾値
による方式と最大値による方式との論理和、論理積によ
る決定も可能である。ＧＯＰ境界位置決定部３３で得ら
れたＧＯＰ境界位置情報Ｂは、簡易動き予測部４、符号
化モード制御部３６、および符号化複雑度予測部３７へ
出力される。
【００３８】簡易動き探索部３４では、ＧＯＰ境界位置
決定部３３においてフレームメモリ３１内の画像につい
て一つのＧＯＰサイズが決定した後、該ＧＯＰ内の画像
の動き情報を予測するために簡易動き探索処理を行う。
最も正確な動き情報を収集するには、図１に示す動画像
の符号化装置における動き補償器１０での動き探索処理
と同様に、入力画像を８×８画素や１６×１６画素単位
の小ブロック単位に分割し、該小ブロックのそれぞれに
ついて動き探索を行い、その処理で得られた小ブロック
毎の動き情報から判断する方法であるが、動き探索に要
する処理量は非常に大きく、例えば画像サイズが７２０
×４８０画素で、探索範囲を±１６画素とした場合、１
枚の画像における動き探索処理に２３１回以上の加算処
理が必要となる。
【００３９】このような処理を簡易動き探索部３４で行
うことを考えると、本方式での符号化を行う場合には、
処理量の大きい動き探索処理をＧＯＰ構造決定の際と、
実際の符号化の際とで２度行う必要が生ずる。この不具
合を避けるために、ＧＯＰ構造決定の際に得られた動き
情報を、画像符号化時の動き補償器１０での動き情報と
して利用することで、動き探索の処理回数を１度とする
方法が考えられるが、本方式では予測フレーム間隔が確
定する前に簡易動き検出部３４の動作が行われるため
に、該簡易動き検出部３４の探索処理により得られた動
き情報を、画像符号化における動き補償器１０において
そのまま利用することは不可能である。
【００４０】そのため、本発明では簡易動き探索部３４
では処理量の少ない簡易な動き探索処理を行い、その情
報から画像の動き情報を予測する手段を用いる。以下に
簡易動き探索処理を説明する。
【００４１】まず、決定されたＧＯＰ内の一つの画像を
基準画像として選択し、該基準画像を小ブロック毎に分
割し、該小ブロックを一つの代表値で表現した縮小画像
を作成する。ここで、該代表値の算出には、例えば、小
ブロック内全画素値の分散を用いることができる。ま
た、基準となる画像の選択方法として、対象となるＧＯ
Ｐ内で最も古い画像を利用することとするが、他の画像
を選択することも可能である。
【００４２】次に、基準となる画像との動き特徴を把握
するため、対象画像を定め、該画像の縮小画像を作成す
る。そして基準画像と対象画像の縮小画像を用いた動き
探索処理を行う。本発明ではこの処理をＧＯＰ内の基準
画像以外の全ての画像に対して行うが、全てではなく、
選択的にいくつかの画像と行うことも可能である。
【００４３】本方式では、この小ブロック単位で画像特
徴情報をよく反映する代表値を算出し、１画像内の全て
の小ブロックの代表値から縮小画像を作成し、この縮小
画像を用いて画像間の簡易動き探索を行う。図６は縮小
画像の作成を示したものである。入力される画像のサイ
ズを水平方向Ｍ画素、垂直方向Ｎ画素とし、小ブロック
のサイズを水平および垂直方向に８画素とすると、各小
ブロックの代表値には６４画素に対して１個の値とな
り、生成される縮小画像のサイズはＮ，Ｍ共に８の倍数
の場合には、水平方向Ｍ／８画素、垂直方向Ｎ／８画素
となる。また、小ブロックのサイズは８画素×８画素以
外にも、１６画素×１６画素や、その他全ての矩形ブロ
ックでの処理が可能である。
【００４４】また、本方式では小ブロック毎の代表値の
算出には、小ブロック内全画素値の分散を利用したが、
平均値、標準偏差値、または平均値との絶対誤差和の利
用、または各々の組み合せの利用も可能である。ここで
は画素値には輝度値を用いるが、色差値、または輝度値
と色差値の双方を利用することも可能である。
【００４５】また、動き探索による動き特徴値は、一般
的な動き探索処理では、該小ブロック単位での動き探索
を行い、最も差分量の小さい位置を示すベクトルを算出
するが、本方式においては縮小画像を用いるため、動き
ベクトル情報の精度は低い。そのため、画像全体の動き
の大きさの指標として、縮小画像情報での動き探索の際
に最も動き補償予測誤差の低い位置における動き補償予
測誤差量をその画像における動き特徴値とする。また、
この動き補償予測誤差の算出には、２乗誤差量、絶対誤
差量、平方根での絶対誤差量の利用が可能である。一般
的な原画像画素情報を用いた動き探索処理と比較し、小
ブロックを１６画素単位とした縮小画像を作成し、簡易
動き探索処理の場合では、２１３回程度の加算処理とな
り、一般的な動き探索処理における演算量の１／１００
０００以下となる。得られた動き特徴予測情報Ｃは予測
フレーム間隔決定部３５へ出力される。
【００４６】１ＧＯＰ内で基準となる画像とそれ以外の
画像との間での簡易な動き探索により得られた動き補償
予測誤差量は、動き特徴予測情報Ｃとして予測フレーム
間隔決定部３５に入力される。予測フレーム間隔決定部
３５では、該動き特徴予測情報Ｃより予測フレーム間隔
を決定する。画像の符号化の際に、画像間における動き
や変化が大きい場合には予測フレーム間隔を小さくと
り、また、画像間における動きや変化が小さい場合には
予測フレーム間隔を大きくとることにより、最も効率的
な符号化を行うことができる。したがって、まず１ＧＯ
Ｐにわたる動き特徴を把握するために、１ＧＯＰ内の基
準画像とその他の画像との間の全ての動き特徴予測情報
を求め、次いでその平均値を求める。そして、該平均値
を代表値とし、該代表値を基に予測フレーム間隔を決定
する。予測フレーム間隔と、得られた平均値との間に反
比例の関係を持たせることが、本発明の一つの特徴であ
る。また、１ＧＯＰ内の代表値の算出には、平均値を利
用する方法以外にも、最大値、最小値を利用することも
可能である。
【００４７】また、入力される画像の解像度が高い場合
には、画素に対する相対的な動き量は大きくなるため、
画像の解像度と最適な予測フレーム間隔との関係は反比
例となる。本発明では予測フレーム間隔値の決定の際
に、画像の解像度情報との反比例関係を反映させること
を他の特徴とする。決定された予測フレーム間隔情報Ｄ
は、符号化複雑度予測部３７、および符号化モード制御
部３６へと出力される。ＧＯＰ境界位置情報Ｂ、および
予測フレーム間隔情報Ｄは、共に符号化モード制御部３
６に伝達され、その情報を基に各画像の符号化時のスイ
ッチの制御を行う。
【００４８】画像間変化量情報Ａ，ＧＯＰ境界位置情報
Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報
Ｄは、符号化複雑度予測部３７に入力され、Ｉフレー
ム、Ｐフレーム、Ｂフレームそれぞれの符号化モードで
の符号化における発生符号量予測の指標となる符号化複
雑度予測情報Ｅを算出し、符号化レート制御部３８へ出
力する。
【００４９】符号化レート制御部３８では、新たなＧＯ
Ｐの符号化へと処理が移る際に、各符号化モードにおけ
る符号化複雑度予測情報を、符号化複雑度予測部３７か
ら入力される符号化複雑度予測情報Ｅにより更新する。
従来は入力画像の切り替わりや、変動にかかわらず、同
じ符号化モードを持つ過去のフレームで利用した符号化
複雑度予測情報を利用していた。そのためシーンの変化
等の大きな変化が入力画像にあった場合には相関のない
フレームの符号化複雑度予測情報の影響を受け、画質が
大幅に変動してしまう問題があった。しかし、本発明に
おいては、符号化を行う画像情報からの予測であるた
め、このような問題を解消することができる。
【００５０】次に、各符号化モードに対する符号化複雑
度予測情報Ｅの算出方法を説明する。Ｉフレームにおけ
る符号化複雑度予測情報Ｅの算出には、Ｉフレームとし
て符号化される画像を小ブロック単位に分割し、該小ブ
ロック毎の画素値の分散を求め、該分散の画面内平均、
およびスケーリングパラメータである固定値ＳＩとの積
により決定する。画素値には、輝度情報、色差情報、お
よび双方の利用が可能である。
【００５１】また、該小ブロック毎の画素値の分散と、
隣接小ブロックの画素値の分散値との間で算出した絶対
差分量が閾値以上となった場合には、入力画像の該小ブ
ロック領域には輪郭等のエッジ情報が含まれていると判
断し、該小ブロック領域を符号化する際に、多くの符号
量を割り当てることができるよう、符号化レート制御部
３８に反映させることにする。
【００５２】Ｐフレームにおける符号化複雑度予測情報
Ｅは、対象ＧＯＰ内の全ての動き特徴予測情報Ｃより平
均値を求め、該平均値とスケーリングパラメータである
固定値ＳＰとの積により決定する。また、Ｉフレームに
おける符号化複雑度予測情報をスケーリングして算出す
ることも可能である。Ｂフレームにおける符号化複雑度
予測情報Ｅは、Ｐフレームにおける符号化複雑度予測情
報とスケーリングパラメータである固定値ＳＢとの積に
より決定する。
【００５３】次に、本発明の第２実施形態を、図３に示
す。この実施形態は、図２の実施形態から符号化複雑度
予測部３７の処理を省いた構成を有するものである。
【００５４】次に、本発明の第３実施形態を、図４に示
す。この実施形態は、図３の第２実施形態からＧＯＰサ
イズの決定にかかわる処理を省いた構成を有するもので
ある。この実施形態においては、ＧＯＰサイズは、あら
かじめ指定された長さで固定となり、各ＧＯＰにおい
て、動き特徴予測情報Ｃから、最適な予測フレーム間隔
を適応的に変化させるようにしている。
【００５５】次に、本発明の第４実施形態を、図５に示
す。この実施形態は、図３の第２実施形態から予測フレ
ーム間隔の決定にかかわる処理を省いた構成を有するも
のである。この実施形態においては、予測フレーム間隔
は、あらかじめ指定された間隔で固定となり、入力画像
の特徴である画像間変化量情報Ａにより、ＧＯＰサイズ
のみを適応的に変化させるようにしている。
【００５６】
【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画像の特徴や変化に応じたＧＯＰサイズ
をとるようにしたので、入力画像の変化に適応したＧＯ
Ｐサイズをとることが可能になる。また、このため、固
定ＧＯＰサイズでの符号化の場合に生じる符号化効率の
低下、画質の変動を避けることができるようになる。
【００５７】また、決定されたＧＯＰサイズから、該Ｇ
ＯＰ内の画像の動き特徴を検出し、その動き特徴に応じ
た予測フレーム間隔を設定するようにしたので、入力画
像の動き特徴に応じた予測フレーム間隔を取ることが可
能になる。また、このため、従来の固定予測フレーム間
隔での符号化を行う場合と比較し、符号化効率を向上す
ることができるようになる。
【００５８】さらに、従来の装置ではシーンチェンジ等
によって前のＧＯＰと対象ＧＯＰとの間に画像特徴に関
連がない場合においても前のＧＯＰで利用した符号化複
雑度予測情報を反映することによって、符号化画像の画
質の大幅な変動や、劣化、符号化効率の低下が発生して
いた。しかし本発明では、１ＧＯＰの符号化終了後、次
のＧＯＰの符号化処理前に、対象ＧＯＰ内の画像の特徴
から符号化複雑度予測情報を算出することにより、関連
のないＧＯＰの画像特徴の影響を受けることなく、安定
した画質での符号化を行うことができるようになる。
【００５９】ＭＰＥＧ２方式によるシーンの変化のある
画像でのシミュレーション実験結果を図７に示す。シミ
ュレーションでは４Ｍｂｉｔ／ｓの符号化レートで圧縮
符号化した場合に、ＧＯＰサイズを１５フレーム固定、
予測フレーム間距離を３フレームで固定した従来装置の
符号化に対し、本発明ではＰＳＮＲの変動が小さく、か
つ０．６５ｄＢの画質の改善を行うことができた。
【図面の簡単な説明】
【図１】 本発明を含む動き補償予測符号化装置のブロ
ック図である。
【図２】 本発明の一実施形態のＧＯＰ構造決定部の構
成を示すブロック図である。
【図３】 本発明の第２実施形態を示すブロック図であ
る。
【図４】 本発明の第３実施形態を示すブロック図であ
る。
【図５】 本発明の第４実施形態を示すブロック図であ
る。
【図６】 簡易動き探索のための縮小画像作成の説明図
である。
【図７】 本発明のシミュレーション実験結果を示すグ
ラフである。
【図８】 本発明が適用される従来の動き補償予測符号
化装置のブロック図である。
【図９】 従来のＧＯＰ構造を示す図である。
【図１０】 ２画素間変化量の算出方法の説明図であ
る。
【符号の説明】
１０…動き補償器、１２、３６…符号化モード制御部、
１７、３８…符号化レート制御部、２０…ＧＯＰ構造決
定部、２１…ＧＯＰ構造情報信号、２２…符号化複雑度
予測情報、３１…フレームメモリ、３２…２画素間変化
量解析部、３３…ＧＯＰ境界位置決定部、３４…簡易動
き探索部、３５…予測フレーム間隔決定部、３７…符号
化複雑度予測部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 柳原 広昌 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 (72)発明者 菅野 勝 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C059 KK23 MA05 MA21 MC11 ME01 NN01 NN43 PP06 RB02 TA23 TA46 TB03 TC03 TC10 TD05 TD12 UA02 UA34 5J064 AA02 BA01 BA13 BB13 BC01 BC02 BC26 BD03

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 連続して入力される画像信号に対して、
    各画像間の動き補償予測を利用した画像符号化を行う画
    像符号化装置において、 入力された画像信号に対して、時間的に隣接する入力画
    像信号との画像の変化量を算出する画像間変化量算出手
    段と、 該変化量に基づいて、動き補償予測を利用しないフレー
    ム内符号化モードを決定するフレーム内符号化モード決
    定手段とを具備したことを特徴とする画像符号化装置。
  2. 【請求項２】 連続して入力される画像信号に対して、
    各画像間の動き補償予測を利用した画像符号化を行う画
    像符号化装置において、 入力画像間の特徴量から、動き補償予測符号化を行うた
    めの片方向符号化（Ｐ）フレーム間隔を決定するＰフレ
    ーム間隔決定手段を具備したことを特徴とする画像符号
    化装置。
  3. 【請求項３】 連続して入力される画像信号に対して、
    各画像間の動き補償予測を利用した画像符号化を行う画
    像符号化装置において、 入力された画像信号に対して、時間的に隣接する入力画
    像信号との画像の変化量を算出する画像間変化量算出手
    段と、 該変化量に基づいて、動き補償予測を利用しないフレー
    ム内符号化モードを決定するフレーム内符号化モード決
    定手段と、 入力画像間の特徴量から、動き補償予測符号化を行うた
    めの片方向符号化（Ｐ）フレーム間隔を決定するＰフレ
    ーム間隔決定手段とを具備し、 前記フレーム内符号化モード決定手段による決定に基づ
    いてＧＯＰ境界位置を決定し、前記Ｐフレーム間隔決定
    手段による決定に基づいて該ＧＯＰ内のＰフレーム間隔
    を決定するようにしたことを特徴とする画像符号化装
    置。
  4. 【請求項４】 請求項１または３に記載の画像符号化装
    置において、 該フレーム内符号化モード決定手段は、前記画像間変化
    量があらかじめ設定された閾値よりも大きいときにフレ
    ーム内符号化モードを選択することを特徴とする画像符
    号化装置。
  5. 【請求項５】 請求項１、３または４のいずれかに記載
    の画像符号化装置において、 前記画像間変化量は、入力画像間の絶対差分量、および
    小ブロックに分割された入力画像の各ブロックの画素分
    散値の少なくとも一つを用いて算出すること特徴とする
    画像符号化装置。
  6. 【請求項６】 請求項２または３に記載の画像符号化装
    置において、 前記Ｐフレーム間隔決定手段は、入力画像を小ブロック
    に分割し、該小ブロックごとの代表値を用いた簡易な動
    き補償予測を行うことにより、該Ｐフレーム間隔を決定
    すること特徴とする画像符号化装置。
  7. 【請求項７】 請求項６に記載の画像符号化装置におい
    て、 前記該代表値は、小ブロック内平均および小ブロック内
    分散値のいずれか一方を用いることを特徴とする画像符
    号化装置。
  8. 【請求項８】 請求項２、３、６または７のいずれかに
    記載の画像符号化装置において、 前記Ｐフレーム間隔決定手段は、動き補償予測誤差値が
    大きい場合にフレーム間隔を小さく、また動き補償予測
    誤差値が小さい場合にフレーム間隔を大きくするように
    制御することを特徴とする画像符号化装置。
  9. 【請求項９】 請求項２、３、６または７のいずれかに
    記載の画像符号化装置において、 対象画像を小ブロック単位に分割し、該小ブロックの画
    素情報の分散値により、画像内のエッジ領域を判断する
    手段を具備したことを特徴とする画像符号化装置。
  10. 【請求項１０】 請求項３に記載の画像符号化装置にお
    いて、 前記ＧＯＰ内の画像の特徴量から、各符号化方式におけ
    る符号化の複雑度を予測する符号化複雑度予測手段を具
    備し、 該複雑度を符号化時の符号量制御に反映させるようにし
    たことを特徴とする画像符号化装置。
JP5804699A 1999-03-05 1999-03-05 画像特徴に応じた画像符号化装置 Pending JP2000261809A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5804699A JP2000261809A (ja) 1999-03-05 1999-03-05 画像特徴に応じた画像符号化装置
US09/515,896 US6973126B1 (en) 1999-03-05 2000-02-29 Video coding apparatus according to a feature of a video picture
US10/114,268 US7116715B2 (en) 1999-03-05 2002-04-03 Video coding apparatus according to a feature of a video picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5804699A JP2000261809A (ja) 1999-03-05 1999-03-05 画像特徴に応じた画像符号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002145005A Division JP3888533B2 (ja) 2002-05-20 2002-05-20 画像特徴に応じた画像符号化装置

Publications (1)

Publication Number Publication Date
JP2000261809A true JP2000261809A (ja) 2000-09-22

Family

ID=13073003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5804699A Pending JP2000261809A (ja) 1999-03-05 1999-03-05 画像特徴に応じた画像符号化装置

Country Status (1)

Country Link
JP (1) JP2000261809A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027368A (ja) * 2007-07-18 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2011176811A (ja) * 2010-02-25 2011-09-08 Internatl Business Mach Corp <Ibm> 監視ビデオをエンコードするための方法及び装置
JP2012065176A (ja) * 2010-09-16 2012-03-29 Fujitsu Ltd 動画像符号化装置
JP2016096538A (ja) * 2014-11-14 2016-05-26 アクシス アーベー ビデオの符号化方法及びビデオ符号化システム
JP2017520940A (ja) * 2014-01-14 2017-07-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 階層符号化されたコンテンツを多重化するための方法および装置
JP2018166306A (ja) * 2017-03-28 2018-10-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
JP2019205054A (ja) * 2018-05-23 2019-11-28 日本放送協会 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム
CN117544623A (zh) * 2023-11-14 2024-02-09 江苏海辰云科信息技术有限公司 一种基于预测编码算法的桌面云远程显示系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027368A (ja) * 2007-07-18 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
JP2011176811A (ja) * 2010-02-25 2011-09-08 Internatl Business Mach Corp <Ibm> 監視ビデオをエンコードするための方法及び装置
US9426477B2 (en) 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
JP2012065176A (ja) * 2010-09-16 2012-03-29 Fujitsu Ltd 動画像符号化装置
JP2017520940A (ja) * 2014-01-14 2017-07-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 階層符号化されたコンテンツを多重化するための方法および装置
JP2016096538A (ja) * 2014-11-14 2016-05-26 アクシス アーベー ビデオの符号化方法及びビデオ符号化システム
JP2018166306A (ja) * 2017-03-28 2018-10-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
JP2019205054A (ja) * 2018-05-23 2019-11-28 日本放送協会 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム
JP7068925B2 (ja) 2018-05-23 2022-05-17 日本放送協会 予測符号化法決定装置、動画像符号化装置、及び動画像復号装置、並びにプログラム
CN117544623A (zh) * 2023-11-14 2024-02-09 江苏海辰云科信息技术有限公司 一种基于预测编码算法的桌面云远程显示系统
CN117544623B (zh) * 2023-11-14 2024-06-07 江苏海辰云科信息技术有限公司 一种基于预测编码算法的桌面云远程显示系统

Similar Documents

Publication Publication Date Title
KR100392974B1 (ko) 비디오인코더및비디오인코딩방법
KR100987765B1 (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
JP4198206B2 (ja) 動き依存予測を使用したビデオ情報の圧縮方法と装置
JP3957915B2 (ja) フェード検出装置及び情報符号化装置
JPH10304383A (ja) 動き補償符号化装置、動き補償符号化方法及び符号化記録媒体
JPWO1994022269A1 (ja) 動きベクトル符号化及び復号化方法並びにその装置，画像信号符号化及び復号化方法並びにその装置
JPH07112284B2 (ja) 予測符号化装置及び復号化装置
JP4257655B2 (ja) 動画像符号化装置
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
JP3888533B2 (ja) 画像特徴に応じた画像符号化装置
JP3757088B2 (ja) 動画像符号化装置および方法
JP2000261809A (ja) 画像特徴に応じた画像符号化装置
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JP3173369B2 (ja) 画像圧縮符号化装置
JPH0846969A (ja) 映像信号符号化方式
JP3240024B2 (ja) 画像処理方法
JP2011091772A (ja) 画像符号化装置
JP3815665B2 (ja) 可変ビットレート動画像符号化装置および記録媒体
JP2000032468A (ja) 画像符号化方法および動き補償モード選択プログラムを記録した記録媒体
JP3700801B2 (ja) 画像符号化装置および画像符号化方法
JPH05308628A (ja) 動画像符号化装置
JP3690259B2 (ja) 動画像高速符号化装置及び動画像高速符号化方法
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JPH10210480A (ja) 動画像符号化方式