JP2004015501A - 動画像符号化装置および動画像符号化方法 - Google Patents
動画像符号化装置および動画像符号化方法 Download PDFInfo
- Publication number
- JP2004015501A JP2004015501A JP2002167185A JP2002167185A JP2004015501A JP 2004015501 A JP2004015501 A JP 2004015501A JP 2002167185 A JP2002167185 A JP 2002167185A JP 2002167185 A JP2002167185 A JP 2002167185A JP 2004015501 A JP2004015501 A JP 2004015501A
- Authority
- JP
- Japan
- Prior art keywords
- refresh
- blocks
- unit
- frame
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 38
- 238000011156 evaluation Methods 0.000 abstract description 34
- 230000033001 locomotion Effects 0.000 description 19
- 238000013139 quantization Methods 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】主観評価の高い画質を簡単に得られる、低コストな動画像符号化装置を提供する。
【解決手段】フレーム単位に入力される画像を複数のブロックに区切るブロック化部２と、上記複数のブロックのそれぞれに対して、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行うモード選択部１１と、上記画像を表示する自画像表示部１０１と、上記複数のブロックのうちの、自画像表示部１０１の表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する定性的リフレッシュマップ作成部１００とを有する。モード選択部１１は、上記リフレッシュマップに設定された値に従い、上記リフレッシュ周期でフレーム内符号化を行う。
【選択図】 図１
【解決手段】フレーム単位に入力される画像を複数のブロックに区切るブロック化部２と、上記複数のブロックのそれぞれに対して、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行うモード選択部１１と、上記画像を表示する自画像表示部１０１と、上記複数のブロックのうちの、自画像表示部１０１の表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する定性的リフレッシュマップ作成部１００とを有する。モード選択部１１は、上記リフレッシュマップに設定された値に従い、上記リフレッシュ周期でフレーム内符号化を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビ電話やテレビ会議などの動画像に適用される、動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
テレビ電話では、低ビットレートおよびエラー環境下（データ伝送中にエラーが発生し易い環境下）という伝送上の制約を受けることから、画質向上のために、画像内で隣接する画素のレベルの相関を利用して符号化が行われるフレーム内符号化と、過去のフレームと現在のフレームとの画素相関を利用して符号化が行われるフレーム間予測符号化とを、適当な領域ごとに適宜に選択して行う動画像符号化を一般に採用している。
【０００３】
フレーム内符号化は、エラー耐性が大きいが、発生符号量が多いという特徴を有する。一方、フレーム間予測符号化は、エラー耐性が小さいが、発生符号量が少なくなるという特徴を有する。このように、伝送エラーによる画質低下と符号化効率の間にはトレードオフの関係がある。このため、テレビ電話の動画像の符号化では、
（１）基本的には、最初のフレーム以外はフレーム間予測符号化を行わない。
【０００４】
（２）蓄積誤差解消のために定期的にフレーム内符号化を行う。
【０００５】
（３）ある定量的条件を満たす場合は、強制的にフレーム内符号化を行う。
といったことが行われる。
【０００６】
図８に、テレビ電話に採用されている従来の動画像符号化装置の概略構成を示す。この動画像符号化装置は、動画像入力部１、ブロック化部２、離散コサイン変換部３、量子化部４、符号変換部５、逆量子化部６、逆離散コサイン変換部７、フレームメモリ８、予測画像生成部９、動き検出部１０、モード選択部１１、減算器１２、２入力１出力型のスイッチ１３、加算器１４、リフレッシュマップ作成部８００を有する。
【０００７】
動画像入力部１は、ＣＣＤカメラなどの良く知られた撮像装置を備え、この撮像装置を介して所望の画像を取り込むことができる。ブロック化部２は、動画像入力部１より入力された画像データを符号化単位となるｍ×ｎ画素（ｍ、ｎは自然数）のブロックに区切り、ブロックごとに画像データ（ブロックデータ）を出力する。このブロック化部２の出力は、減算器１２の一方の入力、スイッチ１３の一方の入力および動き検出部１０にそれぞれ供給されている。
【０００８】
減算器１２は、他方の入力に予測画像生成部９の出力が供給されており、ブロック化部２の出力から予測画像生成部９の出力を減算する。この減算器１２の出力は、スイッチ１３の他方の入力に供給されている。スイッチ１３は、モード選択部１１からの制御信号に従っていずれかの入力を出力する。このスイッチ１３の出力は離散コサイン変換部３に供給されている。
【０００９】
離散コサイン変換部３は、スイッチ１３の出力データに周知の離散コサイン変換（ＤＣＴ）を施す。この離散コサイン変換部３の出力は量子化部４に供給されている。量子化部４は、離散コサイン変換部３の出力であるＤＣＴ係数を量子化する。この量子化部４の出力は符号変換部５および逆量子化部６に供給されている。
【００１０】
符号変換部５は、逆量子化部６の出力データに周知の可変長符号化を施す。この符号変換部５の出力データが、当該動画像符号化装置の出力（符号化データ）であり、画像データの受信先に設けられる動画像復号装置へ送信される。逆量子化部６は、量子化部４の出力データを逆量子化する。この逆量子化部６は、逆離散コサイン変換部７に供給されている。
【００１１】
逆離散コサイン変換部７は、逆量子化部６の出力データに周知の逆離散コサイン変換（ＩＤＣＴ）を施す。この逆離散コサイン変換部７の出力は加算器１４の一方の入力に供給されている。加算器１４は、他方の入力に予測画像生成部９の出力が供給されており、予測画像生成部９の出力と逆離散コサイン変換部７の出力とを加算したものを出力する。この加算器１４の出力はフレームメモリ８に供給されている。
【００１２】
フレームメモリ８は、加算器１４からの出力データを順次格納するもので、１フレーム分の画像データを格納することができる。このフレームメモリ８に格納された画像データは予測画像生成部９および動き検出部１０に供給されている。動き検出部１０は、ブロック化部２から供給されたブロックデータとフレームメモリ８から供給された画像データとから、フレーム間の動きを検出してその結果（動きベクトル）を予測画像生成部９に供給するとともに、対応するブロック間における誤差パワーを算出してその結果をリフレッシュマップ作成部８００に供給する。
【００１３】
予測画像生成部９は、フレームメモリ８から供給されたフレームデータと動き検出部１０から供給された動きベクトルとから予測画像を生成する。リフレッシュマップ作成部８００は、動き検出部１０から供給された誤差パワーに基づいて、ブロック化部２にて区切られた各ブロックのデータについて、強制リフレッシュ（強制的にフレーム内符号化を行うこと）を行うか否かを示すリフレッシュマップを作成する。誤差パワーが予め定めた閾値より高いブロックについてのみ、強制リフレッシュフラグがセットされる。このリフレッシュマップ作成部８００で作成されたリフレッシュマップは、モード選択部１１に供給されている。
【００１４】
モード選択部１１は、リフレッシュマップ作成部８００から供給されたリフレッシュマップに従って、スイッチ１３のスイッチング制御を行う。具体的には、モード選択部１１は、強制リフレッシュフラグがセットされたブロックについては、スイッチ１３にてブロック化部２の出力を選択させ、強制リフレッシュフラグがセットされていないブロックについては、スイッチ１３にて減算器１２の出力を選択させる。ブロック化部２の出力が選択された場合は、フレーム内符号化が行われ、減算器１２の出力が選択された場合は、フレーム間予測符号化が行われる。
【００１５】
次に、上記の動画像符号化装置の動作について具体的に説明する。ここでは、画像入力部１よりフレームＡ、フレームＢ、フレームＣ・・・の順で時系列に画像データが入力されるものと仮定して動作説明を行う。また、符号化開始時点（フレームＡの画像データの入力時点）では、リフレッシュマップは初期化（強制リフレッシュフラグがいずれのブロックにもセットされていない状態）になっているものとする。
【００１６】
最初のフレームＡの画像データが入力されると、まず、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。フレームＡの画像データの入力時点では、リフレッシュマップは初期化されているので、スイッチ１３では、モード選択部１１による制御により、全てのブロックデータについてブロック化部２の出力がそのまま選択される。なお、ブロック化部２の出力は動き検出部１０にも供給されるが、この時点では、フレームメモリ８には対応する過去のフレームの画像データが格納されていないため、動き検出部１０による動きベクトルの検出および誤差パワーの算出は行われない。
【００１７】
スイッチ１３から出力された各ブロックデータは、それぞれ離散コサイン変換部３にて離散コサイン変換され、量子化部４にて量子化された後、符号変換部５および逆量子化部６にそれぞれ供給される。符号変換部５では、量子化部４から供給された各ブロックの量子化データについて符号変換が行われる。一方、逆量子化部６では、量子化部４から供給された各ブロックの量子化データが逆量子化される。この逆量子化データは、逆離散コサイン変換部７にて逆離散コサイン変換が施され、これにより元の画像が復元される。そして、この復元画像が次フレームＢの画像データの符号化の際に用いられる参照フレームとしてフレームメモリ８に格納される。
【００１８】
次に、フレームＢの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。続いて、動き検出部１０が、このブロック化部２から出力された、現在のフレームＢの各ブロックデータとフレームメモリ８に格納された過去のフレームＡの各ブロックデータとから、各ブロック毎の動きベクトルおよび誤差パワーを求める。そして、予測画像生成部９が、フレームメモリ８から供給されたフレームＡの各ブロックデータと動き検出部１０から供給された各ブロックの動きベクトルとから各ブロックに関する予測画像を生成するとともに、リフレッシュマップ作成部８００が、動き検出部１０から供給された誤差パワーに基づいて、ブロック化部２にて区切られたフレームＢの各ブロックデータに関するリフレッシュマップを作成する。
【００１９】
上記リフレッシュマップ作成部８００にてリフレッシュマップが作成されると、モード選択部１１が、その作成されたリフレッシュマップに従ってスイッチ１３における入力の切り替えを制御する。スイッチ１３では、強制リフレッシュフラグがセットされたブロックについては、ブロック化部２の出力が選択され、強制リフレッシュフラグがセットされていないブロックについては、減算器１２の出力（ブロック化部２の出力から予測画像生成部９にて生成された予測画像を減算したもの）が選択される。
【００２０】
スイッチ１３から出力された各ブロックデータは、それぞれ離散コサイン変換部３にて離散コサイン変換され、量子化部４にて量子化された後、符号変換部５および逆量子化部６にそれぞれ供給される。符号変換部５では、量子化部４から供給された各ブロックの量子化データについて符号変換が行われる。一方、逆量子化部６では、量子化部４から供給された各ブロックの量子化データが逆量子化される。この逆量子化データは、逆離散コサイン変換部７にて逆離散コサイン変換が施された後、加算器１４にて、予測画像生成部９にて生成された予測画像が加算され、これにより元の画像（フレームＢ）が復元される。そして、この復元画像が次フレームＣの画像データの符号化の際に用いられる参照フレームとしてフレームメモリ８に格納される。
【００２１】
フレームＣの画像データにおいても、上記フレームＢの場合と同様な手順で、リフレッシュマップが作成され、その作成されたリフレッシュマップに従って、各ブロック毎に、スイッチ１３における入力の切り替えが行われる。
【００２２】
上記の動画像符号化装置の他、特開２０００−２０１３５４号公報に記載されているような動画像符号化装置もある。この動画像符号化装置では、入力画像データの各ブロックについてリフレッシュ処理の優先度を付与したリフレッシュマップが作成される。このリフレッシュマップに従って、フレーム内符号化とフレーム間予測符号化の切り替えが行われる。具体的には、優先度の高いブロックでは、リフレッシュ周期（フレーム内符号化を行う周期）を短くし、優先度の低いブロックではリフレッシュ周期を長くする、といった処理が行われる。
【００２３】
リフレッシュ処理の優先度は、入力画像データの各ブロックについて、輪郭部分など視覚的に重要な情報を含む度合または画質の劣化が主観的に目に付き易い度合（主観評価重要レベル）を表す、ブロック特徴量（画質向上における重要度）を算出し、このブロック特徴量と予め設定された閾値とを比較することで求められる。ブロック特徴量として、例えば高域通過フィルタやその他のエッジ抽出フィルタを用いた画像処理によって得られるエッジ成分のパワーを示す量が用いられる。
【００２４】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号化装置においては、以下のような問題がある。
【００２５】
主観評価重要レベルの高い部分、例えば目、鼻、口など表情を形成する部分は、画質の劣化が主観的に目に付き易い。主観評価の高い画質を得るためには、主観評価重要レベルの高い部分のリフレッシュ周期を短くして、符号化の特性が劣化しないようにする必要がある。図８に示した動画像符号化装置においては、リフレッシュを行うか否かの判定が全てのブロックについて一律に行われるため、定量的な画質の向上を見込めるが、主観評価の高い画質を得ることはできない。
【００２６】
特開２０００−２０１３５４号公報に記載のものにおいては、主観評価の高い画質を得ることはできるものの、高域通過フィルタやその他のエッジ抽出フィルタを用いてエッジ成分を検出し、そのパワーを求める必要がある。このようなエッジ成分を検出するための画像処理は複雑であり、また、エッジ検出用のフィルタを使用することからコスト面でも不利なものとなる。
【００２７】
本発明の目的は、主観評価の高い画質を簡単に得られる、低コストな、動画像符号化装置および動画像符号化方法を提供することにある。
【００２８】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画像符号化装置は、フレーム単位に入力される画像を複数のブロックに区切るブロック化手段と、前記複数のブロックのそれぞれに対して、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う選択手段と、前記画像を表示する表示手段と、前記複数のブロックのうちの、前記表示手段の表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する定性的リフレッシュマップ作成手段とを有し、前記選択手段が、前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行うことを特徴とする。
【００２９】
上記の場合、前記表示手段は、表示画面上に、前記所定の領域の範囲を制限する目印を有してもよい。また、前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであってもよい。
【００３０】
また、前記目印によって制限される範囲を変更するための変更手段をさらに有し、前記定性的リフレッシュマップ作成手段が、前記複数のブロックのうちの、前記変更手段により変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成してもよい。
【００３１】
本発明の動画像符号化方法は、フレーム単位に入力された画像を複数のブロックに区切り、ブロック毎に、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う動画像符号化方法において、前記入力された画像を表示画面上に表示する第１のステップと、前記複数のブロックのうちの、前記表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する第２のステップと、前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行う第３のステップとを含むことを特徴とする。
【００３２】
上記の場合、前記表示画面上に設けられた目印によって前記所定の領域を制限するようにしてもよい。また、前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであってもよい。
【００３３】
また、前記目印によって制限される範囲を変更するステップをさらに含み、前記第２のステップが、前記複数のブロックのうちの、前記変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成するステップであってもよい。
【００３４】
上記のとおりの本発明においては、表示画面上の所定の領域に対応するブロックのリフレッシュ周期が他のブロックに比べて短くなっている。したがって、入力される画像が表示画面上で、例えば目や鼻などの主観評価重要レベルの高い部分が常に上記所定の領域に位置するようになっていれば、主観評価重要レベルの高い領域に対応するブロックが、他のブロックに比べて短い周期でリフレッシュされることになり、主観評価の高い画質を得られる。この場合、従来行われていたようなエッジ成分を抽出するためのフィルタや画像処理は必要ない。
【００３５】
本発明のうち、目印を有するものにおいては、その目印により、被写体の一部または全体の写り位置が制限されるので、表示画面上で目や鼻などの主観評価重要レベルの高い部分が常に上記所定の領域に位置するような入力画像を容易に得られる。
【００３６】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００３７】
（実施形態１）
図１は、本発明の第１の実施形態の動画像符号化装置の概略構成を示すブロック図である。本実施形態の動画像符号化装置は、リフレッシュマップ作成部８００に代えて定性的リフレッシュマップ作成部１００が設けられ、さらに自画像表示部１０１が新たに設けられた以外は、図８に示したものとほぼ同様の構成のものである。図１中、同じ部分には同じ符号を付している。説明を簡単化するために、ここでは同じ部分の動作説明は省略する。
【００３８】
自画像表示部１０１は、例えばＬＣＤのような表示デバイスより構成されるものであって、動画像入力部１より入力された画像データを表示する。表示画面には、被写体の写る位置を制限するための目印が表示されるようになっており、この目印を基準として、主観評価重要レベルの高いブロックと、主観評価重要レベルの低いブロックとを区分することができる（定性情報の推定）。この目印の表示は、予め用意された目印用の画像データに基づいて行われ、少なくとも動画像入力部１による撮像時には、表示画面上に目印が常時表示される。利用者は、表示画面上の目印内に被写体の決められた部位が適切な大きさで収まるように動画像入力部１における撮影条件（例えば撮像カメラと被写体の距離や位置関係）を調整する。
【００３９】
図２に、目印と表示画像および定性情報の一例を示す。この目印は、テレビ電話の画像でよく見られる肩上画像に適用されるもので、被写体である人物の頭部の写り位置を制限する、４つの弧状の線部２３からなる。４つの線部２３は対角に配置されており、これら線部２３により囲まれた領域が表示画面２０のほぼ中央に位置するようになっている。表示画面上で、被写体である人物の頭部が目印内に適切な大きさで収まるようにすれば、目、鼻、口、眉毛など表情を構成する領域（主観評価重要レベルの高い領域）は、常に目印内の所定の領域に位置することになり、また、目印の外側の領域は必ず背景（主観評価重要レベルの低い領域）となる。これを利用することで、定性情報の推定が可能になっている。定性情報には、主観評価重要レベルの低い背景ブロック２１、主観評価重要レベルの高い表情構成ブロック２２、その他のブロックの３つがある。
【００４０】
定性的リフレッシュマップ作成部１００は、上記定性情報に基づいてリフレッシュマップを作成する。具体的には、定性的リフレッシュマップ作成部１００は、ブロック化部２にて区切られた複数のブロックのうちの、表示画面上における目印内の所定の領域、すなわち、主観評価重要レベルの高い領域に対応する表情構成ブロック２２に対して、リフレッシュ周期（フレーム内符号化が行われる周期）が他のブロック（主観評価重要レベルの低いブロックで、背景ブロック２１を含む）に比べて短くなるように設定したリフレッシュマップを作成する。
【００４１】
図３に、定性的リフレッシュマップ作成部１００の一構成例を示す。この定性的リフレッシュマップ作成部１００は、ブロック化部２にて区切られた複数のブロックのそれぞれについてリフレッシュ周期が予め設定されたリフレッシュ周期テーブル２００と、このリフレッシュ周期テーブル２００に保持されたリフレッシュ周期の値に基づいて作成されるリフレッシュマップ２０１とからなる。
【００４２】
図４に、リフレッシュ周期テーブル２００の一例を示す。このリフレッシュ周期テーブル２００は、ブロック番号毎に、リフレッシュ周期が格納されている。ブロック番号０〜９８は、それぞれブロック化部２にて区切られた各ブロックに対応する。ブロック構成情報（背景・表情など）から幾つかの主観評価重要レベルを設定し、そのレベルに基づいてリフレッシュ周期を設定する。この例では、ブロック番号０〜２は、背景ブロック２１に対応し、リフレッシュ周期として１２０が格納されている。ブロック番号３７〜３９は表情構成ブロック２２に対応し、リフレッシュ周期として１５が格納されている。ブロック番号３、４、９７、９８はその他のブロックに対応し、リフレッシュ周期として６０が格納されている。主観評価重要レベルには、「１（重要度高）」、「２（重要度中）」、「３（重要度小）」の３つのレベルがあり、それぞれ背景データ、その他のデータ、表情データに対応する。このリフレッシュ周期テーブル２００に格納されたリフレッシュ周期の値がブロック毎にリフレッシュマップ２０１にコピーされる。
【００４３】
リフレッシュマップ２０１に格納された値はフレーム処理毎にデクリメントされる。すなわち、ｎフレーム目の処理時に、１２０の値が格納されていたブロックのリフレッシュマップは、ｎ＋１フレーム目の処理時には１１９に、ｎ＋２フレーム目の処理時には１１８になり、ｎ＋１２０フレーム目の処理時には０になる。モード選択部１１は、リフレッシュマップ２０１に格納されている値に従い、この値が０か否かによってスイッチ１３における入力の切り替えを制御する。０であれば該当ブロックに対してフレーム内符号化を行ない、０でなければフレーム間予測符号化を行う。リフレッシュマップ２０１の値が０になったブロックに対しては、次のフレーム処理前に、リフレッシュ周期テーブル２００に格納されたリフレッシュ周期がコピーされる。よってこの例では、ｎ＋１２１フレーム目にはリフレッシュマップ上の値は１２０になり、ｎ＋１２２フレーム目では１１９になる、という具合に再びデクリメントが行なわれる。このようにして、リフレッシュテーブル２００に格納されたリフレッシュ周期でリフレッシュが行なわれる。したがって、背景ブロック２１については、リフレッシュ周期が１２０であるので、１２０フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。表情構成ブロック２２については、リフレッシュ周期が１５であるので、１５フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。その他のブロックについては、リフレッシュ周期が６０であるので、６０フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。
【００４４】
次に、本実施形態の動画像符号化装置の動作について具体的に説明する。以下の説明では、例えば携帯電話などで１対１のテレビ電話を行うような場合で、被写体と動画像入力部１のカメラ部との距離が限定されるような使用シーンを想定している。
【００４５】
動画像入力部１のカメラ部で被写体（ユーザ）を撮影すると、自画像表示部１０１にユーザの自画像が表示される。ユーザは、自画像表示部１０１の表示画面上で、頭部が目印内に適切な大きさで収まるように、カメラ部との距離や位置関係を調整する。
【００４６】
頭部が目印内に適切な大きさで収まると、次いで、ユーザは、テレビ電話を開始するための所定の操作を行う。テレビ電話が開始されると、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１の全てのリフレッシュ周期の値が０に初期化される。
【００４７】
初期化後、動画像入力部１から最初のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１のリフレッシュ周期の値は０に初期化されているので、スイッチ１３では、モード選択部１１による制御により、全てのブロックデータについてブロック化部２の出力がそのまま選択されてフレーム内符号化が行われる（リフレッシュ）。リフレッシュ後、定性的リフレッシュマップ作成部１００では、リフレッシュ周期テーブル２００の値が全てリフレッシュマップ２０１にコピーされる。ここでは、図４に示したリフレッシュ周期テーブル２００のリフレッシュ周期の値がリフレッシュマップ２０１にコピーされるものと仮定する。
【００４８】
動画像入力部１から２番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１２０、表情構成ブロック２２のリフレッシュ周期の値として１５、その他のブロックのリフレッシュ周期の値として６０が設定されている。モード選択部１１は、スイッチ１３において、全てのブロックデータについて減算器１２の出力を選択させて、フレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１、表情構成ブロック２２、その他のブロックの各リフレッシュ周期の値が１減算される。
【００４９】
動画像入力部１から３番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１９９、表情構成ブロック２２のリフレッシュ周期の値として１４、その他のブロックのリフレッシュ周期の値として５９が設定されている。モード選択部１１は、スイッチ１３において、全てのブロックデータについて減算器１２の出力を選択させて、フレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１、表情構成ブロック２２、その他のブロックの各リフレッシュ周期の値が１減算される。
【００５０】
４番目〜１６番目のフレームについても、上記の２番目および３番目のフレームの場合と同様な処理が行われる。
【００５１】
動画像入力部１から１７番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。１６番目のフレームの処理終了時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１８５、表情構成ブロック２２のリフレッシュ周期の値として０、その他のブロックのリフレッシュ周期の値として４５が設定されている。モード選択部１１は、スイッチ１３において、表情構成ブロック２２については、ブロック化部２の出力をそのまま選択させてフレーム内符号化を行わせ（リフレッシュ）、背景ブロック２１およびその他のブロックについては、減算器１２の出力を選択させてフレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１およびその他のブロックの各リフレッシュ周期の値が１減算されるとともに、表情構成ブロック２２のリフレッシュ周期の値にリフレッシュ周期テーブル２００のリフレッシュ周期の値の１５がコピーされる。
【００５２】
上述のようにして、リフレッシュマップ２０１のリフレッシュ周期の値が０になったブロックについてリフレッシュが行われ、リフレッシュ後に、そのリフレッシュ周期の値がリフレッシュ周期テーブル２００の該当するブロックのリフレッシュ周期の値にリセットされる。この動作により、表情構成ブロック２２は１５フレーム置きにリフレッシュが行われ、背景ブロック２１は１２０フレーム置きにリフレッシュが行われ、その他のブロックは６０フレーム置きにリフレッシュが行われる。
【００５３】
以上のように、本実施形態の動画像符号化装置では、エッジ成分を抽出するためのフィルタや画像処理を用いずに、目や鼻などの主観評価重要レベルの高い領域を簡単に抽出することができる。また、主観評価重要レベルの高い領域に対応するブロックについては、そのリフレッシュ周期を他のブロックに比べて短くしているので、主観評価の高い画質を提供することができる。
【００５４】
（実施形態２）
図５は、本発明の第２の実施形態である動画像符号化装置の概略構成を示すブック図である。本実施形態の動画像符号化装置は、自画像表示部１０１および定性的リフレッシュマップ作成部１００に代えて、表示部５０１、キー信号解析部５０２および定性的リフレッシュマップ作成部５００が設けられた以外は、図１に示した構成とほぼ同様のものである。図５中、同じ部分には同じ符号を付している。説明を簡単化するために、ここでは同じ部分の動作説明は省略する。
【００５５】
表示部５０１は、例えばＬＣＤのような表示デバイスより構成されるものであって、動画像入力部１より入力された画像データを表示する。表示画面には、被写体の写る位置を制限するための目印が表示されるようになっており、この目印を基準として、主観評価重要レベルの高いブロックと、主観評価重要レベルの低いブロックとを区分することができる（定性情報の推定）。目印の表示は、予め用意された目印用の画像データに基づいて行われ、少なくとも動画像入力部１による撮像時には、表示画面上に目印が常時表示される。ユーザは、表示画面上の目印内に被写体の決められた部位が適切な大きさで収まるように動画像入力部１における撮影条件（例えば撮像カメラと被写体の距離や位置関係）を調整する。
【００５６】
図６に、目印と表示画像および定性情報の一例を示す。この目印は、被写体である人物の写り位置を制限する、４つの鉤状の線部３３からなる。４つの線部３３は、対角に配置されており、表示画面３０上の所望の位置に設定することが可能である。表示画面３０上で、被写体である人物（対象物）が目印内に適切な大きさで収まるようにすれば、人物（対象物）の領域（主観評価重要レベルの高い領域）は、常に目印内に位置することになり、また、目印の外側の領域は必ず背景（主観評価重要レベルの低い領域）となる。これを利用することで、定性情報の推定が可能になっている。定性情報には、背景ブロック３１、対象物構成ブロック３２、その他のブロックの３つがある。
【００５７】
ユーザは、不図示のキー入力部において所定の入力操作を行うことで、表示画面上で目印を移動させたり、拡大・縮小させたりすることができる。例えば、キー入力部には、表示画面上における目印の移動を行うための方向キーがあり、ユーザは、この方向キーで目印を所望の方向に移動させることができる。方向キーは、例えば携帯電話機の十字キーのようなものである。拡大・縮小もこの方向キーにより行うことができる。
【００５８】
また、表示部５０１には、標準位置（予め設定された位置）に目印を表示させる標準モード、目印の移動を行う移動モード、および目印の拡大・縮小を行う拡大・縮小モードがそれぞれボタン表示されるようになっており、ユーザは、キー入力部において入力操作を行うことで、それらのモードのいずれかを選択することができる。なお、起動時は、標準モードが自動的に選択されるようになっており、目印は表示画面上の標準位置に表示される。
【００５９】
キー信号解析部５０２は、上記キー入力部での入力操作を解析する。例えば、上記キー入力部での入力操作で、移動モードが選択され、方向キーが押されると、どの方向にどれだけの量、方向キーが押されたかの情報を有するキー信号が、上記キー入力部からキー信号解析部５０２に供給される。キー信号解析部５０２はその供給されたキー信号を解析し、表示画面上における目印の移動方向、移動量を算出する。拡大・縮小モードが選択された場合は、どれだけ拡大・縮小されたかの情報を含むキー信号が上記キー入力部からキー信号解析部５０２に供給される。キー信号解析部５０２はその供給されたキー信号を解析し、表示画面上における目印の拡大・縮小量を算出する。いずれの場合も、算出結果は、定性的リフレッシュマップ作成部５００に供給される。
【００６０】
定性的リフレッシュマップ作成部５００は、上記定性情報に基づいてリフレッシュマップを作成する。具体的には、定性的リフレッシュマップ作成部５００は、ブロック化部２にて区切られた複数のブロックのうちの、表示画面上における目印内の領域、すなわち、主観評価重要レベルの高い領域に対応する対象物構成ブロック３２に対して、リフレッシュ周期が他のブロック（主観評価重要レベルの低いブロックで、背景ブロック３１を含む）に比べて短くなるように設定したリフレッシュマップを作成する。
【００６１】
上記キー入力部における入力操作により目印の移動、拡大・縮小が行われた場合は、定性的リフレッシュマップ作成部５００は、キー信号解析部５０２から供給される算出結果に基づいて定性情報を推定してリフレッシュマップを作成する。
【００６２】
図７に、定性的リフレッシュマップ作成部５００の一構成例を示す。この定性的リフレッシュマップ作成部５００は、リフレッシュ周期テーブル６００、定性情報算出部６０１、リフレッシュマップ６０３からなる。定性情報算出部６０１は、キー信号解析部５０２から供給される算出結果に基づいて、表示画面上における移動、拡大・縮小が行われた現在の目印の位置を求め、その目印からの相対的位置から各ブロックの定性情報を算出する。リフレッシュ周期テーブル６００には、各ブロックに対応するブロック番号ごとに、定性情報算出部６０１で算出された定性情報に基づくリフレッシュ周期が格納される。対象物構成ブロック３２のリフレッシュ周期は、他のブロック（背景ブロック３１、その他のブロック）に比べて短くなっている。このリフレッシュ周期テーブル６００に格納されたリフレッシュ周期の値に基づいてリフレッシュマップ６０３が作成される。
【００６３】
本実施形態の動画像符号化装置では、モード選択部１１が、リフレッシュマップ６０３に格納されている値に従い、この値が０か否かによってスイッチ１３における入力の切り替えを制御する。０であれば該当ブロックに対してフレーム内符号化を行ない、０でなければフレーム間予測符号化を行う。例えば、リフレッシュ周期テーブル６００に、背景ブロック３１のリフレッシュ周期が１２０、対象物構成ブロック３２のリフレッシュ周期が１５、その他のブロックのリフレッシュ周期が６０というような値が設定されている場合、モード選択部１１は、背景ブロック３１については、１２０フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、対象物構成ブロック３２については、１５フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、その他のブロックについては、６０フレーム置きにスイッチ１３でブロック化部２の出力を選択させる。具体的なリフレッシュ動作の手順は、上述した第１の実施形態の場合と同様であるので、ここでは省略する。
【００６４】
本実施形態の動画像符号化装置では、モード選択部１１が、リフレッシュマップ６０３のリフレッシュ周期に従ってスイッチ１３における入力の切り替えを制御する。例えば、リフレッシュマップ６０３に、背景ブロック３１のリフレッシュ周期が２００、対象物構成ブロック３２のリフレッシュ周期が１５、その他のブロックのリフレッシュ周期が６０というような値が設定されている場合、モード選択部１１は、背景ブロック３１については、２００フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、対象物構成ブロック３２については、１５フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、その他のブロックについては、６０フレーム置きにスイッチ１３でブロック化部２の出力を選択させる。具体的なリフレッシュ動作の手順は、上述した第１の実施形態の場合と同様であるので、ここでは省略する。
【００６５】
上述した各実施形態において、フレーム内符号化は、同一フレーム内における符号化であり、フィールド内予測やフィールド間予測を含む。
【００６６】
以上説明した各実施形態は、基本的には、テレビ電話やテレビ会議などの通信用動画に適用されるものであるが、フレーム内符号化とフレーム間予測符号化がブロック単位に選択されるものであれば、他の動画、例えば放送用動画においても適用することができる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、ブロックのリフレッシュ優先度を定性的観点から判断し、主観評価上重要となる情報を保持するブロックのリフレッシュは高頻度で行い、主観評価上重要ではない情報を保持するブロックのリフレッシュは低頻度で行うため、エラー発生により符号化データが欠損（符号化特性の劣化）した時に、復元画像の画質に対する主観評価の低減を効果的に抑制できる。
【００６８】
また、従来用いられていたようなエッジ成分を抽出するためのフィルタや画像処理は必要ないので、従来に比べて処理が簡単になるとともに、低コスト化を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像符号化装置の概略構成を示すブロック図である。
【図２】目印と表示画像および定性情報の一例を示す模式図である。
【図３】図１に示す定性的リフレッシュマップ作成部の一構成例を示すブロック図である。
【図４】図３に示すリフレッシュ周期テーブルの一例を示す。
【図５】本発明の第２の実施形態である動画像符号化装置の概略構成を示すブック図である。
【図６】目印と表示画像および定性情報の一例を示す模式図である。
【図７】図５に示す定性的リフレッシュマップ作成部の一構成例を示すブロック図である。
【図８】従来の動画像符号化装置の概略構成を示すブロック図である。
【符号の説明】
１ 動画像入力部
２ ブロック化部
３ 離散コサイン変換部
４ 量子化部
５ 符号変換部
６ 逆量子化部
７ 逆離散コサイン変換部
８ フレームメモリ
９ 予測画像生成部
１０動き検出部
１１ モード選択部
１２ 減算器
１３ スイッチ
１４ 加算器
２０、３０ 表示画面
２１、３１ 背景ブロック
２２ 表情構成ブロック
２３、３３ 線部
３２ 対象物構成ブロック
１００、５００ 定性的リフレッシュマップ作成部
１０１ 自画像表示部
２００、６００ リフレッシュ周期テーブル
２０１、６０３ リフレッシュマップ
５０１ 表示部
５０２ キー信号解析部
６０１ 定性情報算出部
８００ リフレッシュマップ作成部
【発明の属する技術分野】
本発明は、テレビ電話やテレビ会議などの動画像に適用される、動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
テレビ電話では、低ビットレートおよびエラー環境下（データ伝送中にエラーが発生し易い環境下）という伝送上の制約を受けることから、画質向上のために、画像内で隣接する画素のレベルの相関を利用して符号化が行われるフレーム内符号化と、過去のフレームと現在のフレームとの画素相関を利用して符号化が行われるフレーム間予測符号化とを、適当な領域ごとに適宜に選択して行う動画像符号化を一般に採用している。
【０００３】
フレーム内符号化は、エラー耐性が大きいが、発生符号量が多いという特徴を有する。一方、フレーム間予測符号化は、エラー耐性が小さいが、発生符号量が少なくなるという特徴を有する。このように、伝送エラーによる画質低下と符号化効率の間にはトレードオフの関係がある。このため、テレビ電話の動画像の符号化では、
（１）基本的には、最初のフレーム以外はフレーム間予測符号化を行わない。
【０００４】
（２）蓄積誤差解消のために定期的にフレーム内符号化を行う。
【０００５】
（３）ある定量的条件を満たす場合は、強制的にフレーム内符号化を行う。
といったことが行われる。
【０００６】
図８に、テレビ電話に採用されている従来の動画像符号化装置の概略構成を示す。この動画像符号化装置は、動画像入力部１、ブロック化部２、離散コサイン変換部３、量子化部４、符号変換部５、逆量子化部６、逆離散コサイン変換部７、フレームメモリ８、予測画像生成部９、動き検出部１０、モード選択部１１、減算器１２、２入力１出力型のスイッチ１３、加算器１４、リフレッシュマップ作成部８００を有する。
【０００７】
動画像入力部１は、ＣＣＤカメラなどの良く知られた撮像装置を備え、この撮像装置を介して所望の画像を取り込むことができる。ブロック化部２は、動画像入力部１より入力された画像データを符号化単位となるｍ×ｎ画素（ｍ、ｎは自然数）のブロックに区切り、ブロックごとに画像データ（ブロックデータ）を出力する。このブロック化部２の出力は、減算器１２の一方の入力、スイッチ１３の一方の入力および動き検出部１０にそれぞれ供給されている。
【０００８】
減算器１２は、他方の入力に予測画像生成部９の出力が供給されており、ブロック化部２の出力から予測画像生成部９の出力を減算する。この減算器１２の出力は、スイッチ１３の他方の入力に供給されている。スイッチ１３は、モード選択部１１からの制御信号に従っていずれかの入力を出力する。このスイッチ１３の出力は離散コサイン変換部３に供給されている。
【０００９】
離散コサイン変換部３は、スイッチ１３の出力データに周知の離散コサイン変換（ＤＣＴ）を施す。この離散コサイン変換部３の出力は量子化部４に供給されている。量子化部４は、離散コサイン変換部３の出力であるＤＣＴ係数を量子化する。この量子化部４の出力は符号変換部５および逆量子化部６に供給されている。
【００１０】
符号変換部５は、逆量子化部６の出力データに周知の可変長符号化を施す。この符号変換部５の出力データが、当該動画像符号化装置の出力（符号化データ）であり、画像データの受信先に設けられる動画像復号装置へ送信される。逆量子化部６は、量子化部４の出力データを逆量子化する。この逆量子化部６は、逆離散コサイン変換部７に供給されている。
【００１１】
逆離散コサイン変換部７は、逆量子化部６の出力データに周知の逆離散コサイン変換（ＩＤＣＴ）を施す。この逆離散コサイン変換部７の出力は加算器１４の一方の入力に供給されている。加算器１４は、他方の入力に予測画像生成部９の出力が供給されており、予測画像生成部９の出力と逆離散コサイン変換部７の出力とを加算したものを出力する。この加算器１４の出力はフレームメモリ８に供給されている。
【００１２】
フレームメモリ８は、加算器１４からの出力データを順次格納するもので、１フレーム分の画像データを格納することができる。このフレームメモリ８に格納された画像データは予測画像生成部９および動き検出部１０に供給されている。動き検出部１０は、ブロック化部２から供給されたブロックデータとフレームメモリ８から供給された画像データとから、フレーム間の動きを検出してその結果（動きベクトル）を予測画像生成部９に供給するとともに、対応するブロック間における誤差パワーを算出してその結果をリフレッシュマップ作成部８００に供給する。
【００１３】
予測画像生成部９は、フレームメモリ８から供給されたフレームデータと動き検出部１０から供給された動きベクトルとから予測画像を生成する。リフレッシュマップ作成部８００は、動き検出部１０から供給された誤差パワーに基づいて、ブロック化部２にて区切られた各ブロックのデータについて、強制リフレッシュ（強制的にフレーム内符号化を行うこと）を行うか否かを示すリフレッシュマップを作成する。誤差パワーが予め定めた閾値より高いブロックについてのみ、強制リフレッシュフラグがセットされる。このリフレッシュマップ作成部８００で作成されたリフレッシュマップは、モード選択部１１に供給されている。
【００１４】
モード選択部１１は、リフレッシュマップ作成部８００から供給されたリフレッシュマップに従って、スイッチ１３のスイッチング制御を行う。具体的には、モード選択部１１は、強制リフレッシュフラグがセットされたブロックについては、スイッチ１３にてブロック化部２の出力を選択させ、強制リフレッシュフラグがセットされていないブロックについては、スイッチ１３にて減算器１２の出力を選択させる。ブロック化部２の出力が選択された場合は、フレーム内符号化が行われ、減算器１２の出力が選択された場合は、フレーム間予測符号化が行われる。
【００１５】
次に、上記の動画像符号化装置の動作について具体的に説明する。ここでは、画像入力部１よりフレームＡ、フレームＢ、フレームＣ・・・の順で時系列に画像データが入力されるものと仮定して動作説明を行う。また、符号化開始時点（フレームＡの画像データの入力時点）では、リフレッシュマップは初期化（強制リフレッシュフラグがいずれのブロックにもセットされていない状態）になっているものとする。
【００１６】
最初のフレームＡの画像データが入力されると、まず、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。フレームＡの画像データの入力時点では、リフレッシュマップは初期化されているので、スイッチ１３では、モード選択部１１による制御により、全てのブロックデータについてブロック化部２の出力がそのまま選択される。なお、ブロック化部２の出力は動き検出部１０にも供給されるが、この時点では、フレームメモリ８には対応する過去のフレームの画像データが格納されていないため、動き検出部１０による動きベクトルの検出および誤差パワーの算出は行われない。
【００１７】
スイッチ１３から出力された各ブロックデータは、それぞれ離散コサイン変換部３にて離散コサイン変換され、量子化部４にて量子化された後、符号変換部５および逆量子化部６にそれぞれ供給される。符号変換部５では、量子化部４から供給された各ブロックの量子化データについて符号変換が行われる。一方、逆量子化部６では、量子化部４から供給された各ブロックの量子化データが逆量子化される。この逆量子化データは、逆離散コサイン変換部７にて逆離散コサイン変換が施され、これにより元の画像が復元される。そして、この復元画像が次フレームＢの画像データの符号化の際に用いられる参照フレームとしてフレームメモリ８に格納される。
【００１８】
次に、フレームＢの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。続いて、動き検出部１０が、このブロック化部２から出力された、現在のフレームＢの各ブロックデータとフレームメモリ８に格納された過去のフレームＡの各ブロックデータとから、各ブロック毎の動きベクトルおよび誤差パワーを求める。そして、予測画像生成部９が、フレームメモリ８から供給されたフレームＡの各ブロックデータと動き検出部１０から供給された各ブロックの動きベクトルとから各ブロックに関する予測画像を生成するとともに、リフレッシュマップ作成部８００が、動き検出部１０から供給された誤差パワーに基づいて、ブロック化部２にて区切られたフレームＢの各ブロックデータに関するリフレッシュマップを作成する。
【００１９】
上記リフレッシュマップ作成部８００にてリフレッシュマップが作成されると、モード選択部１１が、その作成されたリフレッシュマップに従ってスイッチ１３における入力の切り替えを制御する。スイッチ１３では、強制リフレッシュフラグがセットされたブロックについては、ブロック化部２の出力が選択され、強制リフレッシュフラグがセットされていないブロックについては、減算器１２の出力（ブロック化部２の出力から予測画像生成部９にて生成された予測画像を減算したもの）が選択される。
【００２０】
スイッチ１３から出力された各ブロックデータは、それぞれ離散コサイン変換部３にて離散コサイン変換され、量子化部４にて量子化された後、符号変換部５および逆量子化部６にそれぞれ供給される。符号変換部５では、量子化部４から供給された各ブロックの量子化データについて符号変換が行われる。一方、逆量子化部６では、量子化部４から供給された各ブロックの量子化データが逆量子化される。この逆量子化データは、逆離散コサイン変換部７にて逆離散コサイン変換が施された後、加算器１４にて、予測画像生成部９にて生成された予測画像が加算され、これにより元の画像（フレームＢ）が復元される。そして、この復元画像が次フレームＣの画像データの符号化の際に用いられる参照フレームとしてフレームメモリ８に格納される。
【００２１】
フレームＣの画像データにおいても、上記フレームＢの場合と同様な手順で、リフレッシュマップが作成され、その作成されたリフレッシュマップに従って、各ブロック毎に、スイッチ１３における入力の切り替えが行われる。
【００２２】
上記の動画像符号化装置の他、特開２０００−２０１３５４号公報に記載されているような動画像符号化装置もある。この動画像符号化装置では、入力画像データの各ブロックについてリフレッシュ処理の優先度を付与したリフレッシュマップが作成される。このリフレッシュマップに従って、フレーム内符号化とフレーム間予測符号化の切り替えが行われる。具体的には、優先度の高いブロックでは、リフレッシュ周期（フレーム内符号化を行う周期）を短くし、優先度の低いブロックではリフレッシュ周期を長くする、といった処理が行われる。
【００２３】
リフレッシュ処理の優先度は、入力画像データの各ブロックについて、輪郭部分など視覚的に重要な情報を含む度合または画質の劣化が主観的に目に付き易い度合（主観評価重要レベル）を表す、ブロック特徴量（画質向上における重要度）を算出し、このブロック特徴量と予め設定された閾値とを比較することで求められる。ブロック特徴量として、例えば高域通過フィルタやその他のエッジ抽出フィルタを用いた画像処理によって得られるエッジ成分のパワーを示す量が用いられる。
【００２４】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号化装置においては、以下のような問題がある。
【００２５】
主観評価重要レベルの高い部分、例えば目、鼻、口など表情を形成する部分は、画質の劣化が主観的に目に付き易い。主観評価の高い画質を得るためには、主観評価重要レベルの高い部分のリフレッシュ周期を短くして、符号化の特性が劣化しないようにする必要がある。図８に示した動画像符号化装置においては、リフレッシュを行うか否かの判定が全てのブロックについて一律に行われるため、定量的な画質の向上を見込めるが、主観評価の高い画質を得ることはできない。
【００２６】
特開２０００−２０１３５４号公報に記載のものにおいては、主観評価の高い画質を得ることはできるものの、高域通過フィルタやその他のエッジ抽出フィルタを用いてエッジ成分を検出し、そのパワーを求める必要がある。このようなエッジ成分を検出するための画像処理は複雑であり、また、エッジ検出用のフィルタを使用することからコスト面でも不利なものとなる。
【００２７】
本発明の目的は、主観評価の高い画質を簡単に得られる、低コストな、動画像符号化装置および動画像符号化方法を提供することにある。
【００２８】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画像符号化装置は、フレーム単位に入力される画像を複数のブロックに区切るブロック化手段と、前記複数のブロックのそれぞれに対して、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う選択手段と、前記画像を表示する表示手段と、前記複数のブロックのうちの、前記表示手段の表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する定性的リフレッシュマップ作成手段とを有し、前記選択手段が、前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行うことを特徴とする。
【００２９】
上記の場合、前記表示手段は、表示画面上に、前記所定の領域の範囲を制限する目印を有してもよい。また、前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであってもよい。
【００３０】
また、前記目印によって制限される範囲を変更するための変更手段をさらに有し、前記定性的リフレッシュマップ作成手段が、前記複数のブロックのうちの、前記変更手段により変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成してもよい。
【００３１】
本発明の動画像符号化方法は、フレーム単位に入力された画像を複数のブロックに区切り、ブロック毎に、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う動画像符号化方法において、前記入力された画像を表示画面上に表示する第１のステップと、前記複数のブロックのうちの、前記表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する第２のステップと、前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行う第３のステップとを含むことを特徴とする。
【００３２】
上記の場合、前記表示画面上に設けられた目印によって前記所定の領域を制限するようにしてもよい。また、前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであってもよい。
【００３３】
また、前記目印によって制限される範囲を変更するステップをさらに含み、前記第２のステップが、前記複数のブロックのうちの、前記変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成するステップであってもよい。
【００３４】
上記のとおりの本発明においては、表示画面上の所定の領域に対応するブロックのリフレッシュ周期が他のブロックに比べて短くなっている。したがって、入力される画像が表示画面上で、例えば目や鼻などの主観評価重要レベルの高い部分が常に上記所定の領域に位置するようになっていれば、主観評価重要レベルの高い領域に対応するブロックが、他のブロックに比べて短い周期でリフレッシュされることになり、主観評価の高い画質を得られる。この場合、従来行われていたようなエッジ成分を抽出するためのフィルタや画像処理は必要ない。
【００３５】
本発明のうち、目印を有するものにおいては、その目印により、被写体の一部または全体の写り位置が制限されるので、表示画面上で目や鼻などの主観評価重要レベルの高い部分が常に上記所定の領域に位置するような入力画像を容易に得られる。
【００３６】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００３７】
（実施形態１）
図１は、本発明の第１の実施形態の動画像符号化装置の概略構成を示すブロック図である。本実施形態の動画像符号化装置は、リフレッシュマップ作成部８００に代えて定性的リフレッシュマップ作成部１００が設けられ、さらに自画像表示部１０１が新たに設けられた以外は、図８に示したものとほぼ同様の構成のものである。図１中、同じ部分には同じ符号を付している。説明を簡単化するために、ここでは同じ部分の動作説明は省略する。
【００３８】
自画像表示部１０１は、例えばＬＣＤのような表示デバイスより構成されるものであって、動画像入力部１より入力された画像データを表示する。表示画面には、被写体の写る位置を制限するための目印が表示されるようになっており、この目印を基準として、主観評価重要レベルの高いブロックと、主観評価重要レベルの低いブロックとを区分することができる（定性情報の推定）。この目印の表示は、予め用意された目印用の画像データに基づいて行われ、少なくとも動画像入力部１による撮像時には、表示画面上に目印が常時表示される。利用者は、表示画面上の目印内に被写体の決められた部位が適切な大きさで収まるように動画像入力部１における撮影条件（例えば撮像カメラと被写体の距離や位置関係）を調整する。
【００３９】
図２に、目印と表示画像および定性情報の一例を示す。この目印は、テレビ電話の画像でよく見られる肩上画像に適用されるもので、被写体である人物の頭部の写り位置を制限する、４つの弧状の線部２３からなる。４つの線部２３は対角に配置されており、これら線部２３により囲まれた領域が表示画面２０のほぼ中央に位置するようになっている。表示画面上で、被写体である人物の頭部が目印内に適切な大きさで収まるようにすれば、目、鼻、口、眉毛など表情を構成する領域（主観評価重要レベルの高い領域）は、常に目印内の所定の領域に位置することになり、また、目印の外側の領域は必ず背景（主観評価重要レベルの低い領域）となる。これを利用することで、定性情報の推定が可能になっている。定性情報には、主観評価重要レベルの低い背景ブロック２１、主観評価重要レベルの高い表情構成ブロック２２、その他のブロックの３つがある。
【００４０】
定性的リフレッシュマップ作成部１００は、上記定性情報に基づいてリフレッシュマップを作成する。具体的には、定性的リフレッシュマップ作成部１００は、ブロック化部２にて区切られた複数のブロックのうちの、表示画面上における目印内の所定の領域、すなわち、主観評価重要レベルの高い領域に対応する表情構成ブロック２２に対して、リフレッシュ周期（フレーム内符号化が行われる周期）が他のブロック（主観評価重要レベルの低いブロックで、背景ブロック２１を含む）に比べて短くなるように設定したリフレッシュマップを作成する。
【００４１】
図３に、定性的リフレッシュマップ作成部１００の一構成例を示す。この定性的リフレッシュマップ作成部１００は、ブロック化部２にて区切られた複数のブロックのそれぞれについてリフレッシュ周期が予め設定されたリフレッシュ周期テーブル２００と、このリフレッシュ周期テーブル２００に保持されたリフレッシュ周期の値に基づいて作成されるリフレッシュマップ２０１とからなる。
【００４２】
図４に、リフレッシュ周期テーブル２００の一例を示す。このリフレッシュ周期テーブル２００は、ブロック番号毎に、リフレッシュ周期が格納されている。ブロック番号０〜９８は、それぞれブロック化部２にて区切られた各ブロックに対応する。ブロック構成情報（背景・表情など）から幾つかの主観評価重要レベルを設定し、そのレベルに基づいてリフレッシュ周期を設定する。この例では、ブロック番号０〜２は、背景ブロック２１に対応し、リフレッシュ周期として１２０が格納されている。ブロック番号３７〜３９は表情構成ブロック２２に対応し、リフレッシュ周期として１５が格納されている。ブロック番号３、４、９７、９８はその他のブロックに対応し、リフレッシュ周期として６０が格納されている。主観評価重要レベルには、「１（重要度高）」、「２（重要度中）」、「３（重要度小）」の３つのレベルがあり、それぞれ背景データ、その他のデータ、表情データに対応する。このリフレッシュ周期テーブル２００に格納されたリフレッシュ周期の値がブロック毎にリフレッシュマップ２０１にコピーされる。
【００４３】
リフレッシュマップ２０１に格納された値はフレーム処理毎にデクリメントされる。すなわち、ｎフレーム目の処理時に、１２０の値が格納されていたブロックのリフレッシュマップは、ｎ＋１フレーム目の処理時には１１９に、ｎ＋２フレーム目の処理時には１１８になり、ｎ＋１２０フレーム目の処理時には０になる。モード選択部１１は、リフレッシュマップ２０１に格納されている値に従い、この値が０か否かによってスイッチ１３における入力の切り替えを制御する。０であれば該当ブロックに対してフレーム内符号化を行ない、０でなければフレーム間予測符号化を行う。リフレッシュマップ２０１の値が０になったブロックに対しては、次のフレーム処理前に、リフレッシュ周期テーブル２００に格納されたリフレッシュ周期がコピーされる。よってこの例では、ｎ＋１２１フレーム目にはリフレッシュマップ上の値は１２０になり、ｎ＋１２２フレーム目では１１９になる、という具合に再びデクリメントが行なわれる。このようにして、リフレッシュテーブル２００に格納されたリフレッシュ周期でリフレッシュが行なわれる。したがって、背景ブロック２１については、リフレッシュ周期が１２０であるので、１２０フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。表情構成ブロック２２については、リフレッシュ周期が１５であるので、１５フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。その他のブロックについては、リフレッシュ周期が６０であるので、６０フレーム置きにスイッチ１３でブロック化部２の出力が選択されてリフレッシュが行われる。
【００４４】
次に、本実施形態の動画像符号化装置の動作について具体的に説明する。以下の説明では、例えば携帯電話などで１対１のテレビ電話を行うような場合で、被写体と動画像入力部１のカメラ部との距離が限定されるような使用シーンを想定している。
【００４５】
動画像入力部１のカメラ部で被写体（ユーザ）を撮影すると、自画像表示部１０１にユーザの自画像が表示される。ユーザは、自画像表示部１０１の表示画面上で、頭部が目印内に適切な大きさで収まるように、カメラ部との距離や位置関係を調整する。
【００４６】
頭部が目印内に適切な大きさで収まると、次いで、ユーザは、テレビ電話を開始するための所定の操作を行う。テレビ電話が開始されると、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１の全てのリフレッシュ周期の値が０に初期化される。
【００４７】
初期化後、動画像入力部１から最初のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１のリフレッシュ周期の値は０に初期化されているので、スイッチ１３では、モード選択部１１による制御により、全てのブロックデータについてブロック化部２の出力がそのまま選択されてフレーム内符号化が行われる（リフレッシュ）。リフレッシュ後、定性的リフレッシュマップ作成部１００では、リフレッシュ周期テーブル２００の値が全てリフレッシュマップ２０１にコピーされる。ここでは、図４に示したリフレッシュ周期テーブル２００のリフレッシュ周期の値がリフレッシュマップ２０１にコピーされるものと仮定する。
【００４８】
動画像入力部１から２番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１２０、表情構成ブロック２２のリフレッシュ周期の値として１５、その他のブロックのリフレッシュ周期の値として６０が設定されている。モード選択部１１は、スイッチ１３において、全てのブロックデータについて減算器１２の出力を選択させて、フレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１、表情構成ブロック２２、その他のブロックの各リフレッシュ周期の値が１減算される。
【００４９】
動画像入力部１から３番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。この時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１９９、表情構成ブロック２２のリフレッシュ周期の値として１４、その他のブロックのリフレッシュ周期の値として５９が設定されている。モード選択部１１は、スイッチ１３において、全てのブロックデータについて減算器１２の出力を選択させて、フレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１、表情構成ブロック２２、その他のブロックの各リフレッシュ周期の値が１減算される。
【００５０】
４番目〜１６番目のフレームについても、上記の２番目および３番目のフレームの場合と同様な処理が行われる。
【００５１】
動画像入力部１から１７番目のフレームの画像データが入力されると、ブロック化部２にてその入力画像データが複数のブロックに区切られ、各ブロックデータが順次出力される。１６番目のフレームの処理終了時点では、リフレッシュマップ２０１には、背景ブロック２１のリフレッシュ周期の値として１８５、表情構成ブロック２２のリフレッシュ周期の値として０、その他のブロックのリフレッシュ周期の値として４５が設定されている。モード選択部１１は、スイッチ１３において、表情構成ブロック２２については、ブロック化部２の出力をそのまま選択させてフレーム内符号化を行わせ（リフレッシュ）、背景ブロック２１およびその他のブロックについては、減算器１２の出力を選択させてフレーム間予測符号化を行わせる。その後、定性的リフレッシュマップ作成部１００では、リフレッシュマップ２０１に格納されている背景ブロック２１およびその他のブロックの各リフレッシュ周期の値が１減算されるとともに、表情構成ブロック２２のリフレッシュ周期の値にリフレッシュ周期テーブル２００のリフレッシュ周期の値の１５がコピーされる。
【００５２】
上述のようにして、リフレッシュマップ２０１のリフレッシュ周期の値が０になったブロックについてリフレッシュが行われ、リフレッシュ後に、そのリフレッシュ周期の値がリフレッシュ周期テーブル２００の該当するブロックのリフレッシュ周期の値にリセットされる。この動作により、表情構成ブロック２２は１５フレーム置きにリフレッシュが行われ、背景ブロック２１は１２０フレーム置きにリフレッシュが行われ、その他のブロックは６０フレーム置きにリフレッシュが行われる。
【００５３】
以上のように、本実施形態の動画像符号化装置では、エッジ成分を抽出するためのフィルタや画像処理を用いずに、目や鼻などの主観評価重要レベルの高い領域を簡単に抽出することができる。また、主観評価重要レベルの高い領域に対応するブロックについては、そのリフレッシュ周期を他のブロックに比べて短くしているので、主観評価の高い画質を提供することができる。
【００５４】
（実施形態２）
図５は、本発明の第２の実施形態である動画像符号化装置の概略構成を示すブック図である。本実施形態の動画像符号化装置は、自画像表示部１０１および定性的リフレッシュマップ作成部１００に代えて、表示部５０１、キー信号解析部５０２および定性的リフレッシュマップ作成部５００が設けられた以外は、図１に示した構成とほぼ同様のものである。図５中、同じ部分には同じ符号を付している。説明を簡単化するために、ここでは同じ部分の動作説明は省略する。
【００５５】
表示部５０１は、例えばＬＣＤのような表示デバイスより構成されるものであって、動画像入力部１より入力された画像データを表示する。表示画面には、被写体の写る位置を制限するための目印が表示されるようになっており、この目印を基準として、主観評価重要レベルの高いブロックと、主観評価重要レベルの低いブロックとを区分することができる（定性情報の推定）。目印の表示は、予め用意された目印用の画像データに基づいて行われ、少なくとも動画像入力部１による撮像時には、表示画面上に目印が常時表示される。ユーザは、表示画面上の目印内に被写体の決められた部位が適切な大きさで収まるように動画像入力部１における撮影条件（例えば撮像カメラと被写体の距離や位置関係）を調整する。
【００５６】
図６に、目印と表示画像および定性情報の一例を示す。この目印は、被写体である人物の写り位置を制限する、４つの鉤状の線部３３からなる。４つの線部３３は、対角に配置されており、表示画面３０上の所望の位置に設定することが可能である。表示画面３０上で、被写体である人物（対象物）が目印内に適切な大きさで収まるようにすれば、人物（対象物）の領域（主観評価重要レベルの高い領域）は、常に目印内に位置することになり、また、目印の外側の領域は必ず背景（主観評価重要レベルの低い領域）となる。これを利用することで、定性情報の推定が可能になっている。定性情報には、背景ブロック３１、対象物構成ブロック３２、その他のブロックの３つがある。
【００５７】
ユーザは、不図示のキー入力部において所定の入力操作を行うことで、表示画面上で目印を移動させたり、拡大・縮小させたりすることができる。例えば、キー入力部には、表示画面上における目印の移動を行うための方向キーがあり、ユーザは、この方向キーで目印を所望の方向に移動させることができる。方向キーは、例えば携帯電話機の十字キーのようなものである。拡大・縮小もこの方向キーにより行うことができる。
【００５８】
また、表示部５０１には、標準位置（予め設定された位置）に目印を表示させる標準モード、目印の移動を行う移動モード、および目印の拡大・縮小を行う拡大・縮小モードがそれぞれボタン表示されるようになっており、ユーザは、キー入力部において入力操作を行うことで、それらのモードのいずれかを選択することができる。なお、起動時は、標準モードが自動的に選択されるようになっており、目印は表示画面上の標準位置に表示される。
【００５９】
キー信号解析部５０２は、上記キー入力部での入力操作を解析する。例えば、上記キー入力部での入力操作で、移動モードが選択され、方向キーが押されると、どの方向にどれだけの量、方向キーが押されたかの情報を有するキー信号が、上記キー入力部からキー信号解析部５０２に供給される。キー信号解析部５０２はその供給されたキー信号を解析し、表示画面上における目印の移動方向、移動量を算出する。拡大・縮小モードが選択された場合は、どれだけ拡大・縮小されたかの情報を含むキー信号が上記キー入力部からキー信号解析部５０２に供給される。キー信号解析部５０２はその供給されたキー信号を解析し、表示画面上における目印の拡大・縮小量を算出する。いずれの場合も、算出結果は、定性的リフレッシュマップ作成部５００に供給される。
【００６０】
定性的リフレッシュマップ作成部５００は、上記定性情報に基づいてリフレッシュマップを作成する。具体的には、定性的リフレッシュマップ作成部５００は、ブロック化部２にて区切られた複数のブロックのうちの、表示画面上における目印内の領域、すなわち、主観評価重要レベルの高い領域に対応する対象物構成ブロック３２に対して、リフレッシュ周期が他のブロック（主観評価重要レベルの低いブロックで、背景ブロック３１を含む）に比べて短くなるように設定したリフレッシュマップを作成する。
【００６１】
上記キー入力部における入力操作により目印の移動、拡大・縮小が行われた場合は、定性的リフレッシュマップ作成部５００は、キー信号解析部５０２から供給される算出結果に基づいて定性情報を推定してリフレッシュマップを作成する。
【００６２】
図７に、定性的リフレッシュマップ作成部５００の一構成例を示す。この定性的リフレッシュマップ作成部５００は、リフレッシュ周期テーブル６００、定性情報算出部６０１、リフレッシュマップ６０３からなる。定性情報算出部６０１は、キー信号解析部５０２から供給される算出結果に基づいて、表示画面上における移動、拡大・縮小が行われた現在の目印の位置を求め、その目印からの相対的位置から各ブロックの定性情報を算出する。リフレッシュ周期テーブル６００には、各ブロックに対応するブロック番号ごとに、定性情報算出部６０１で算出された定性情報に基づくリフレッシュ周期が格納される。対象物構成ブロック３２のリフレッシュ周期は、他のブロック（背景ブロック３１、その他のブロック）に比べて短くなっている。このリフレッシュ周期テーブル６００に格納されたリフレッシュ周期の値に基づいてリフレッシュマップ６０３が作成される。
【００６３】
本実施形態の動画像符号化装置では、モード選択部１１が、リフレッシュマップ６０３に格納されている値に従い、この値が０か否かによってスイッチ１３における入力の切り替えを制御する。０であれば該当ブロックに対してフレーム内符号化を行ない、０でなければフレーム間予測符号化を行う。例えば、リフレッシュ周期テーブル６００に、背景ブロック３１のリフレッシュ周期が１２０、対象物構成ブロック３２のリフレッシュ周期が１５、その他のブロックのリフレッシュ周期が６０というような値が設定されている場合、モード選択部１１は、背景ブロック３１については、１２０フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、対象物構成ブロック３２については、１５フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、その他のブロックについては、６０フレーム置きにスイッチ１３でブロック化部２の出力を選択させる。具体的なリフレッシュ動作の手順は、上述した第１の実施形態の場合と同様であるので、ここでは省略する。
【００６４】
本実施形態の動画像符号化装置では、モード選択部１１が、リフレッシュマップ６０３のリフレッシュ周期に従ってスイッチ１３における入力の切り替えを制御する。例えば、リフレッシュマップ６０３に、背景ブロック３１のリフレッシュ周期が２００、対象物構成ブロック３２のリフレッシュ周期が１５、その他のブロックのリフレッシュ周期が６０というような値が設定されている場合、モード選択部１１は、背景ブロック３１については、２００フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、対象物構成ブロック３２については、１５フレーム置きにスイッチ１３でブロック化部２の出力を選択させ、その他のブロックについては、６０フレーム置きにスイッチ１３でブロック化部２の出力を選択させる。具体的なリフレッシュ動作の手順は、上述した第１の実施形態の場合と同様であるので、ここでは省略する。
【００６５】
上述した各実施形態において、フレーム内符号化は、同一フレーム内における符号化であり、フィールド内予測やフィールド間予測を含む。
【００６６】
以上説明した各実施形態は、基本的には、テレビ電話やテレビ会議などの通信用動画に適用されるものであるが、フレーム内符号化とフレーム間予測符号化がブロック単位に選択されるものであれば、他の動画、例えば放送用動画においても適用することができる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、ブロックのリフレッシュ優先度を定性的観点から判断し、主観評価上重要となる情報を保持するブロックのリフレッシュは高頻度で行い、主観評価上重要ではない情報を保持するブロックのリフレッシュは低頻度で行うため、エラー発生により符号化データが欠損（符号化特性の劣化）した時に、復元画像の画質に対する主観評価の低減を効果的に抑制できる。
【００６８】
また、従来用いられていたようなエッジ成分を抽出するためのフィルタや画像処理は必要ないので、従来に比べて処理が簡単になるとともに、低コスト化を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像符号化装置の概略構成を示すブロック図である。
【図２】目印と表示画像および定性情報の一例を示す模式図である。
【図３】図１に示す定性的リフレッシュマップ作成部の一構成例を示すブロック図である。
【図４】図３に示すリフレッシュ周期テーブルの一例を示す。
【図５】本発明の第２の実施形態である動画像符号化装置の概略構成を示すブック図である。
【図６】目印と表示画像および定性情報の一例を示す模式図である。
【図７】図５に示す定性的リフレッシュマップ作成部の一構成例を示すブロック図である。
【図８】従来の動画像符号化装置の概略構成を示すブロック図である。
【符号の説明】
１ 動画像入力部
２ ブロック化部
３ 離散コサイン変換部
４ 量子化部
５ 符号変換部
６ 逆量子化部
７ 逆離散コサイン変換部
８ フレームメモリ
９ 予測画像生成部
１０動き検出部
１１ モード選択部
１２ 減算器
１３ スイッチ
１４ 加算器
２０、３０ 表示画面
２１、３１ 背景ブロック
２２ 表情構成ブロック
２３、３３ 線部
３２ 対象物構成ブロック
１００、５００ 定性的リフレッシュマップ作成部
１０１ 自画像表示部
２００、６００ リフレッシュ周期テーブル
２０１、６０３ リフレッシュマップ
５０１ 表示部
５０２ キー信号解析部
６０１ 定性情報算出部
８００ リフレッシュマップ作成部
Claims (8)
- フレーム単位に入力される画像を複数のブロックに区切るブロック化手段と、
前記複数のブロックのそれぞれに対して、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う選択手段と、
前記画像を表示する表示手段と、
前記複数のブロックのうちの、前記表示手段の表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する定性的リフレッシュマップ作成手段とを有し、
前記選択手段が、前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行うことを特徴とする動画像符号化装置。 - 前記表示手段は、表示画面上に、前記所定の領域の範囲を制限する目印を有することを特徴とする請求項１に記載の動画像符号化装置。
- 前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであることを特徴とする請求項２に記載の動画像符号化装置。
- 前記目印によって制限される範囲を変更するための変更手段をさらに有し、
前記定性的リフレッシュマップ作成手段が、前記複数のブロックのうちの、前記変更手段により変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成することを特徴とする請求項２または３に記載の動画像符号化装置。 - フレーム単位に入力された画像を複数のブロックに区切り、ブロック毎に、同一フレーム内で符号化が行われるフレーム内符号化と、フレーム間で符号化が行われるフレーム間予測符号化とを選択的に行う動画像符号化方法において、
前記入力された画像を表示画面上に表示する第１のステップと、
前記複数のブロックのうちの、前記表示画面上の所定の領域に対応するブロックに対して、リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成する第２のステップと、
前記リフレッシュマップに設定された値に従い、前記リフレッシュ周期で前記フレーム内符号化を行う第３のステップとを含むことを特徴とする動画像符号化方法。 - 前記表示画面上に設けられた目印によって前記所定の領域を制限することを特徴とする請求項５に記載の動画像符号化方法。
- 前記目印が、前記画像に含まれる被写体の一部または全体の写り位置を制限するものであることを特徴とする請求項６に記載の動画像符号化方法。
- 前記目印によって制限される範囲を変更するステップをさらに含み、
前記第２のステップが、前記複数のブロックのうちの、前記変更された目印によって制限される範囲に対応するブロックに対して、前記リフレッシュ周期を他のブロックに比べて短く設定したリフレッシュマップを作成するステップであることを特徴とする請求項６または７に記載の動画像符号化方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167185A JP2004015501A (ja) | 2002-06-07 | 2002-06-07 | 動画像符号化装置および動画像符号化方法 |
| US10/452,277 US7489728B2 (en) | 2002-06-07 | 2003-06-03 | Apparatus and method for coding moving image |
| GB0313079A GB2390253A (en) | 2002-06-07 | 2003-06-06 | Image coding using a refresh map |
| CNB031476953A CN1233168C (zh) | 2002-06-07 | 2003-06-06 | 编码运动图像的设备和方法 |
| HK04107445.2A HK1064845B (en) | 2002-06-07 | 2004-09-27 | Apparatus and method for coding moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167185A JP2004015501A (ja) | 2002-06-07 | 2002-06-07 | 動画像符号化装置および動画像符号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004015501A true JP2004015501A (ja) | 2004-01-15 |
Family
ID=19195057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002167185A Pending JP2004015501A (ja) | 2002-06-07 | 2002-06-07 | 動画像符号化装置および動画像符号化方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7489728B2 (ja) |
| JP (1) | JP2004015501A (ja) |
| CN (1) | CN1233168C (ja) |
| GB (1) | GB2390253A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005260501A (ja) * | 2004-03-10 | 2005-09-22 | Oki Electric Ind Co Ltd | 動画像符号化装置、動画像復号装置及び動画像強調変換システム |
| WO2005104552A1 (ja) * | 2004-04-23 | 2005-11-03 | Sumitomo Electric Industries, Ltd. | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
| JP2013093650A (ja) * | 2011-10-24 | 2013-05-16 | Sony Corp | 符号化装置、符号化方法、およびプログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050201470A1 (en) * | 2004-03-12 | 2005-09-15 | John Sievers | Intra block walk around refresh for H.264 |
| US7697783B2 (en) | 2005-07-26 | 2010-04-13 | Sony Corporation | Coding device, coding method, decoding device, decoding method, and programs of same |
| JP4851911B2 (ja) * | 2006-10-23 | 2012-01-11 | 富士通株式会社 | 符号化装置、符号化プログラムおよび符号化方法 |
| US8824567B2 (en) * | 2007-04-04 | 2014-09-02 | Ittiam Systems (P) Ltd. | Method and device for tracking error propagation and refreshing a video stream |
| CN101257366B (zh) * | 2008-03-27 | 2010-09-22 | 华为技术有限公司 | 编解码方法、通讯系统及设备 |
| KR100949917B1 (ko) * | 2008-05-28 | 2010-03-30 | 한국산업기술대학교산학협력단 | 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템 |
| US8780986B2 (en) * | 2008-06-06 | 2014-07-15 | Apple Inc. | Refresh pixel group selection and coding adjustment |
| JP2011205465A (ja) * | 2010-03-26 | 2011-10-13 | Hitachi Consumer Electronics Co Ltd | 画像符号化方法および画像符号化装置 |
| CA2810899C (en) | 2010-10-05 | 2016-08-09 | General Instrument Corporation | Coding and decoding utilizing adaptive context model selection with zigzag scan |
| US9379911B2 (en) | 2011-05-20 | 2016-06-28 | StarLeaf Ltd. | Message storage device and a moving image message processor |
| US9247257B1 (en) * | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
| US9774856B1 (en) | 2012-07-02 | 2017-09-26 | Google Inc. | Adaptive stochastic entropy coding |
| US9509998B1 (en) | 2013-04-04 | 2016-11-29 | Google Inc. | Conditional predictive multi-symbol run-length coding |
| US9392288B2 (en) | 2013-10-17 | 2016-07-12 | Google Inc. | Video coding using scatter-based scan tables |
| US9179151B2 (en) | 2013-10-18 | 2015-11-03 | Google Inc. | Spatial proximity context entropy coding |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04123680A (ja) | 1990-09-14 | 1992-04-23 | Murata Mach Ltd | 画像通信装置 |
| US5060480A (en) * | 1990-10-30 | 1991-10-29 | L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude | Process and apparatus for the liquefaction of a flow of gaseous oxygen |
| JP3513160B2 (ja) | 1991-12-06 | 2004-03-31 | キヤノン株式会社 | 動画像信号符号化装置及びその方法 |
| JPH07203434A (ja) | 1993-12-30 | 1995-08-04 | Canon Inc | 画像送信装置 |
| JPH0993604A (ja) | 1995-09-21 | 1997-04-04 | Matsushita Electric Ind Co Ltd | 記録再生装置 |
| US6002802A (en) * | 1995-10-27 | 1999-12-14 | Kabushiki Kaisha Toshiba | Video encoding and decoding apparatus |
| GB9522077D0 (en) * | 1995-10-27 | 1996-01-03 | Univ Strathclyde | Data compression |
| EP0782076A1 (de) * | 1995-12-29 | 1997-07-02 | Siemens Aktiengesellschaft | Anordnung zum Ermitteln der Konfiguration eines Speichers |
| JP3823275B2 (ja) * | 1996-06-10 | 2006-09-20 | 富士通株式会社 | 動画像符号化装置 |
| JP3294510B2 (ja) | 1996-09-27 | 2002-06-24 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
| JPH10276395A (ja) | 1997-03-28 | 1998-10-13 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP3197893B2 (ja) | 1997-03-28 | 2001-08-13 | 松下電器産業株式会社 | 無線画像通信端末装置 |
| JP2001086501A (ja) | 1997-03-28 | 2001-03-30 | Matsushita Electric Ind Co Ltd | 画像符号化方法、イントラ符号化制御方法、データ記録媒体、画像符号化装置、画像復号装置、画像符号化復号装置及び無線画像通信端末装置 |
| JPH10304382A (ja) | 1997-04-23 | 1998-11-13 | Matsushita Electric Ind Co Ltd | フレーム間予測符号化システム |
| JP3623679B2 (ja) | 1999-01-06 | 2005-02-23 | 日本電気株式会社 | 動画像符号化装置 |
| US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
-
2002
- 2002-06-07 JP JP2002167185A patent/JP2004015501A/ja active Pending
-
2003
- 2003-06-03 US US10/452,277 patent/US7489728B2/en not_active Expired - Fee Related
- 2003-06-06 GB GB0313079A patent/GB2390253A/en not_active Withdrawn
- 2003-06-06 CN CNB031476953A patent/CN1233168C/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005260501A (ja) * | 2004-03-10 | 2005-09-22 | Oki Electric Ind Co Ltd | 動画像符号化装置、動画像復号装置及び動画像強調変換システム |
| WO2005104552A1 (ja) * | 2004-04-23 | 2005-11-03 | Sumitomo Electric Industries, Ltd. | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
| US7983497B2 (en) | 2004-04-23 | 2011-07-19 | Sumitomo Electric Industries, Ltd. | Coding method for motion-image data, decoding method, terminal equipment executing these, and two-way interactive system |
| JP2013093650A (ja) * | 2011-10-24 | 2013-05-16 | Sony Corp | 符号化装置、符号化方法、およびプログラム |
| US9693065B2 (en) | 2011-10-24 | 2017-06-27 | Sony Corporation | Encoding apparatus, encoding method and program |
| US10271056B2 (en) | 2011-10-24 | 2019-04-23 | Sony Corporation | Encoding apparatus, encoding method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030227972A1 (en) | 2003-12-11 |
| HK1064845A1 (en) | 2005-02-04 |
| GB2390253A (en) | 2003-12-31 |
| US7489728B2 (en) | 2009-02-10 |
| GB0313079D0 (en) | 2003-07-09 |
| CN1233168C (zh) | 2005-12-21 |
| CN1496125A (zh) | 2004-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004015501A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2009303236A (ja) | 適応的画像安定 | |
| KR20090063120A (ko) | 결합 이미지를 생성하는 방법 및 장치 | |
| WO2005084034A1 (en) | Image compression for transmission over mobile networks | |
| JPH04219089A (ja) | 画像符号化装置 | |
| JP2004241869A (ja) | 透かし埋め込み及び画像圧縮部 | |
| JP4794386B2 (ja) | 撮像装置 | |
| JP6435029B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
| JP2001251627A (ja) | 符号化装置、符号化方法及びプログラムを記録した記録媒体 | |
| JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
| JPH10229558A (ja) | 動画像情報の符号化装置 | |
| JP2004208146A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JP2008035281A (ja) | 画像符号化方法 | |
| JP2005341093A (ja) | コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法 | |
| JP2008141354A (ja) | 画像符号化装置および撮像装置 | |
| CN115997382A (zh) | 用于针对视频编解码的预测相关残差缩放的方法和设备 | |
| KR100584537B1 (ko) | Ｍｐｅｇ4를 이용한 감시용 카메라 정보 저장 방법 | |
| JP3202270B2 (ja) | 動画像符号化装置 | |
| JP2000165909A (ja) | 画像圧縮処理方法及び画像圧縮処理装置 | |
| JP2011129979A (ja) | 画像処理装置 | |
| JP4747109B2 (ja) | 演算量調整装置 | |
| JP4700992B2 (ja) | 画像処理装置 | |
| JPH11234638A (ja) | 画像符号化装置及び方法並びに記憶媒体 | |
| JPH06197333A (ja) | 画面に重み付けを持たせた画像圧縮方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041208 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070704 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080116 |