JPH10174104A - 動画像符号化装置及び動画像復号化装置 - Google Patents
動画像符号化装置及び動画像復号化装置Info
- Publication number
- JPH10174104A JPH10174104A JP33098896A JP33098896A JPH10174104A JP H10174104 A JPH10174104 A JP H10174104A JP 33098896 A JP33098896 A JP 33098896A JP 33098896 A JP33098896 A JP 33098896A JP H10174104 A JPH10174104 A JP H10174104A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- integrated
- information
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 20
- 230000010354 integration Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000006866 deterioration Effects 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 241000981595 Zoysia japonica Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 画質劣化の小さい動画像符号化装置を実現す
る。 【解決手段】 領域分割部１２により、入力動画像が同
一属性を有する領域に分割され、領域情報Ｓ１が生成さ
れる。動き推定部１２により、領域情報に基づいた各領
域の動き情報Ｓ２が、生成される。フレーム分割判定部
１４により、各領域情報Ｓ１が時間方向にそれぞれ分割
され、領域毎に複数の動画像系列が求められる。キーフ
レーム統合部１５により、各動画像系列に１つのキーフ
レームがそれぞれ設定され、且つその各キーフレームに
対して各動画像系列が統合され、領域毎に複数の統合画
像が生成される。統合画像符号部５０により、領域毎の
複数の統合画像がそれぞれ符号化されて統合画像符号化
データが生成される。
る。 【解決手段】 領域分割部１２により、入力動画像が同
一属性を有する領域に分割され、領域情報Ｓ１が生成さ
れる。動き推定部１２により、領域情報に基づいた各領
域の動き情報Ｓ２が、生成される。フレーム分割判定部
１４により、各領域情報Ｓ１が時間方向にそれぞれ分割
され、領域毎に複数の動画像系列が求められる。キーフ
レーム統合部１５により、各動画像系列に１つのキーフ
レームがそれぞれ設定され、且つその各キーフレームに
対して各動画像系列が統合され、領域毎に複数の統合画
像が生成される。統合画像符号部５０により、領域毎の
複数の統合画像がそれぞれ符号化されて統合画像符号化
データが生成される。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像蓄積装置等
に設けられ、入力された動画像を領域分割して符号化す
る動画像符号化装置と、その復号化を行う動画像復号化
装置に関するものである。
に設けられ、入力された動画像を領域分割して符号化す
る動画像符号化装置と、その復号化を行う動画像復号化
装置に関するものである。
【０００２】
【従来の技術】従来、この種の動画像符号化装置及び動
画像復号化装置に関する技術としては、例えば、次のよ
うな文献に記載されるものがあった。 文献；IEEE TRANSACTIONS ON IMAGE PROCESSING 、３
［５］（１９９４-７）（米）John Y.A.Wang and Edwar
d H.Adelson“Representing MovingImaging with Layer
s ”P.625-638 上記文献に示された動画像符号化装置では、入力された
動画像に対して分割処理を施し、同一属性を有する領域
に分割する。この分割された各領域を、アニメのセル画
のような２次元の平面（レイヤという）としてそれぞれ
表現し、これらを符号化するようになっている。この符
号化された各領域の画像を復号する動画像復号化装置で
は、各レイヤを奥行きの順序にしたがって重ね合わせ、
該各レイヤを動き情報に基づいて動かすことで、動画像
を再構築（復号化）している。このような動画像符号化
装置及び動画像復号化装置では、各レイヤを形成すると
きに時間方向の統合手法を用い、各領域を、１枚のテク
スチャを表すマップでそれぞれ表現することで、効率の
よい符号化を行っている。
画像復号化装置に関する技術としては、例えば、次のよ
うな文献に記載されるものがあった。 文献；IEEE TRANSACTIONS ON IMAGE PROCESSING 、３
［５］（１９９４-７）（米）John Y.A.Wang and Edwar
d H.Adelson“Representing MovingImaging with Layer
s ”P.625-638 上記文献に示された動画像符号化装置では、入力された
動画像に対して分割処理を施し、同一属性を有する領域
に分割する。この分割された各領域を、アニメのセル画
のような２次元の平面（レイヤという）としてそれぞれ
表現し、これらを符号化するようになっている。この符
号化された各領域の画像を復号する動画像復号化装置で
は、各レイヤを奥行きの順序にしたがって重ね合わせ、
該各レイヤを動き情報に基づいて動かすことで、動画像
を再構築（復号化）している。このような動画像符号化
装置及び動画像復号化装置では、各レイヤを形成すると
きに時間方向の統合手法を用い、各領域を、１枚のテク
スチャを表すマップでそれぞれ表現することで、効率の
よい符号化を行っている。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の
動画像符号化装置及び動画像復号化装置では、次のよう
な課題があった。動画像符号化装置側で、各領域毎に対
してテクスチャを統合するためのキーフレームを１つそ
れぞれ設定し、該キーフレームに対して各領域の時間方
向の統合を行ってテクスチャマップ（レイヤ）を合成す
る。ところが、長時間の動画像やテクスチャの変化が大
きい領域を含む動画像に対して、このようなテクスチャ
合成をおこなうと、ずれや歪みにより、動画像復号化装
置で再生する再生動画像に大きな画質劣化が発生すると
いう課題があった。
動画像符号化装置及び動画像復号化装置では、次のよう
な課題があった。動画像符号化装置側で、各領域毎に対
してテクスチャを統合するためのキーフレームを１つそ
れぞれ設定し、該キーフレームに対して各領域の時間方
向の統合を行ってテクスチャマップ（レイヤ）を合成す
る。ところが、長時間の動画像やテクスチャの変化が大
きい領域を含む動画像に対して、このようなテクスチャ
合成をおこなうと、ずれや歪みにより、動画像復号化装
置で再生する再生動画像に大きな画質劣化が発生すると
いう課題があった。
【０００４】
【課題を解決するための手段】前記課題を解決するため
に、本発明のうちの第１の発明は、動画像符号化装置に
おいて、次のような領域分割手段、動き推定手段、フレ
ーム分割手段、キーフレーム統合手段、統合画像符号化
手段、動き情報符号化手段及び符号化情報出力手段を備
えている。前記領域分割手段は、時系列のフレームから
なる入力動画像を入力し、該入力動画像を同一属性を有
する領域に分割すると共に該分割した領域毎の領域情報
を出力するものである。前記動き推定手段は、前記領域
情報に基づき前記各領域の動きを推定して動き情報を生
成するものである。前記フレーム分割手段は、前記各領
域情報を時間方向にそれぞれ分割し、前記領域毎に複数
の動画像系列を求めるものである。前記キーフレーム統
合手段は、前記各動画像系列に１つのキーフレームをそ
れぞれ設定する処理を前記領域毎に行い、且つ該各キー
フレームに対して該各動画像系列を統合して該領域毎に
複数の統合画像を生成するものである。前記統合画像符
号化手段は、前記領域毎の複数の統合画像をそれぞれ符
号化して統合画像符号化データを生成するものである。
前記動き情報符号化手段は、前記領域毎の動き情報を符
号化して動き符号化データを生成するものである。前記
符号化情報出力手段は、前記領域毎の前記画像符号化デ
ータと前記動き符号化データとを符号化情報として出力
するものである。
に、本発明のうちの第１の発明は、動画像符号化装置に
おいて、次のような領域分割手段、動き推定手段、フレ
ーム分割手段、キーフレーム統合手段、統合画像符号化
手段、動き情報符号化手段及び符号化情報出力手段を備
えている。前記領域分割手段は、時系列のフレームから
なる入力動画像を入力し、該入力動画像を同一属性を有
する領域に分割すると共に該分割した領域毎の領域情報
を出力するものである。前記動き推定手段は、前記領域
情報に基づき前記各領域の動きを推定して動き情報を生
成するものである。前記フレーム分割手段は、前記各領
域情報を時間方向にそれぞれ分割し、前記領域毎に複数
の動画像系列を求めるものである。前記キーフレーム統
合手段は、前記各動画像系列に１つのキーフレームをそ
れぞれ設定する処理を前記領域毎に行い、且つ該各キー
フレームに対して該各動画像系列を統合して該領域毎に
複数の統合画像を生成するものである。前記統合画像符
号化手段は、前記領域毎の複数の統合画像をそれぞれ符
号化して統合画像符号化データを生成するものである。
前記動き情報符号化手段は、前記領域毎の動き情報を符
号化して動き符号化データを生成するものである。前記
符号化情報出力手段は、前記領域毎の前記画像符号化デ
ータと前記動き符号化データとを符号化情報として出力
するものである。
【０００５】第２の発明は、動画像復号化装置におい
て、次のような符号化情報入力手段、動き情報復号手
段、統合画像復号手段、キーフレーム生成手段、中間フ
レーム生成手段及び領域合成手段を備えている。前記符
号化情報入力手段は、第１の発明の動画像符号化装置か
ら出力された符号化情報を入力し、前記画像符号化デー
タと前記動き符号化データとを分けるものである。前記
動き情報復号手段は、前記符号化情報入力手段から与え
られた動き符号化データを復号して前記領域毎の動き情
報をそれぞれ求めるものである。前記統合画像復号手段
は、前記符号化情報入力手段から与えられた画像符号化
データを復号して前記領域毎の複数の統合画像をそれぞ
れ求めるものである。前記キーフレーム生成手段は、前
記統合画像復号手段で求められた領域毎の複数の統合画
像から第１の発明における前記領域毎の複数のキーフレ
ームに対応する画像を求めるものである。前記中間フレ
ーム生成手段は、前記動き情報復号手段で求められた領
域毎の動き情報と前記統合画像復号手段で求められた領
域毎の複数の統合画像とから、前記キーフレーム以外の
中間フレームに対応する画像を領域毎に生成するもので
ある。前記領域合成手段は、前記領域毎に生成された前
記キーフレームに対応する画像及び前記中間フレームに
対応する画像からなる領域毎の動画像を合成し、動画像
を再構成するものである。第３の発明は、第１の発明の
動画像符号化装置において、前記統合画像符号化手段
は、前記動き推定手段で求められた領域毎の動き情報を
用い該各領域における複数の統合画像を符号化する構成
にしている。
て、次のような符号化情報入力手段、動き情報復号手
段、統合画像復号手段、キーフレーム生成手段、中間フ
レーム生成手段及び領域合成手段を備えている。前記符
号化情報入力手段は、第１の発明の動画像符号化装置か
ら出力された符号化情報を入力し、前記画像符号化デー
タと前記動き符号化データとを分けるものである。前記
動き情報復号手段は、前記符号化情報入力手段から与え
られた動き符号化データを復号して前記領域毎の動き情
報をそれぞれ求めるものである。前記統合画像復号手段
は、前記符号化情報入力手段から与えられた画像符号化
データを復号して前記領域毎の複数の統合画像をそれぞ
れ求めるものである。前記キーフレーム生成手段は、前
記統合画像復号手段で求められた領域毎の複数の統合画
像から第１の発明における前記領域毎の複数のキーフレ
ームに対応する画像を求めるものである。前記中間フレ
ーム生成手段は、前記動き情報復号手段で求められた領
域毎の動き情報と前記統合画像復号手段で求められた領
域毎の複数の統合画像とから、前記キーフレーム以外の
中間フレームに対応する画像を領域毎に生成するもので
ある。前記領域合成手段は、前記領域毎に生成された前
記キーフレームに対応する画像及び前記中間フレームに
対応する画像からなる領域毎の動画像を合成し、動画像
を再構成するものである。第３の発明は、第１の発明の
動画像符号化装置において、前記統合画像符号化手段
は、前記動き推定手段で求められた領域毎の動き情報を
用い該各領域における複数の統合画像を符号化する構成
にしている。
【０００６】第４の発明は、動画像復号化装置におい
て、次のような符号化情報入力手段、動き情報復号手
段、統合画像復号手段、キーフレーム生成手段、中間フ
レーム生成手段及び領域合成手段を備えている。前記符
号化情報入力手段は、第３の発明の動画像符号化装置か
ら出力された符号化情報を入力し、前記画像符号化デー
タと前記動き符号化データとを分けるものである。前記
動き情報復号手段は、前記符号化情報入力手段から与え
られた前記動き符号化データを復号して前記領域毎の動
き情報をそれぞれ求めるものである。前記統合画像復号
手段は、前記動き情報復号手段で求められた領域毎の動
き情報を用い、前記符号化情報入力手段から与えられた
前記画像符号化データを復号して前記領域毎の複数の統
合画像をそれぞれ求めるものである。前記キーフレーム
生成手段は、前記統合画像復号手段で求められた領域毎
の複数の統合画像から、第３の発明における前記領域毎
の複数のキーフレームに対応する画像を求めるものであ
る。前記中間フレーム生成手段は、前記動き情報復号手
段で求められた領域毎の動き情報と前記統合画像復号手
段で求められた領域毎の複数の統合画像とから、前記キ
ーフレーム以外の中間フレームに対応する画像を領域毎
に生成するものである。前記領域合成手段は、前記領域
毎に生成された前記キーフレームに対応する画像及び前
記中間フレームに対応する画像からなる領域毎の動画像
を合成し、再生動画像を生成するものである。
て、次のような符号化情報入力手段、動き情報復号手
段、統合画像復号手段、キーフレーム生成手段、中間フ
レーム生成手段及び領域合成手段を備えている。前記符
号化情報入力手段は、第３の発明の動画像符号化装置か
ら出力された符号化情報を入力し、前記画像符号化デー
タと前記動き符号化データとを分けるものである。前記
動き情報復号手段は、前記符号化情報入力手段から与え
られた前記動き符号化データを復号して前記領域毎の動
き情報をそれぞれ求めるものである。前記統合画像復号
手段は、前記動き情報復号手段で求められた領域毎の動
き情報を用い、前記符号化情報入力手段から与えられた
前記画像符号化データを復号して前記領域毎の複数の統
合画像をそれぞれ求めるものである。前記キーフレーム
生成手段は、前記統合画像復号手段で求められた領域毎
の複数の統合画像から、第３の発明における前記領域毎
の複数のキーフレームに対応する画像を求めるものであ
る。前記中間フレーム生成手段は、前記動き情報復号手
段で求められた領域毎の動き情報と前記統合画像復号手
段で求められた領域毎の複数の統合画像とから、前記キ
ーフレーム以外の中間フレームに対応する画像を領域毎
に生成するものである。前記領域合成手段は、前記領域
毎に生成された前記キーフレームに対応する画像及び前
記中間フレームに対応する画像からなる領域毎の動画像
を合成し、再生動画像を生成するものである。
【０００７】第５の発明は、第１または第３の発明の動
画像符号化装置において、前記フレーム分割手段を、前
記領域毎の動き情報に応じて前記各領域情報を時間方向
にそれぞれ分割する構成にしている。第６の発明は、第
１または第３の発明の動画像符号化装置において、前記
フレーム分割手段は、前記各領域情報の分割数を変更す
る機能を有している。第７の発明は、第２または第４の
発明の動画像復号化装置において、前記中間フレーム生
成手段を、前記各領域で近隣するキーフレームの統合画
像を用い前記中間フレームに対応する画像を生成する構
成にしている。第１、第３、第５または第６の発明によ
れば、以上のように動画像符号化装置を構成したので、
領域分割手段により、時系列のフレームからなる入力動
画像が同一属性を有する領域に分割され、該領域分割手
段から領域毎の領域情報が出力される。動き推定手段に
より、領域情報に基づいた各領域の動き情報が、生成さ
れる。フレーム分割手段により、各領域情報が時間方向
にそれぞれ分割され、領域毎に複数の動画像系列が求め
られる。キーフレーム統合手段により、各動画像系列に
１つのキーフレームがそれぞれ設定され、且つその各キ
ーフレームに対して各動画像系列が統合され、領域毎に
複数の統合画像が生成される。これら、フレーム分割手
段及びキーフレーム統合手段により、入力画像に適した
キーフレームの設定と統合が行われる。
画像符号化装置において、前記フレーム分割手段を、前
記領域毎の動き情報に応じて前記各領域情報を時間方向
にそれぞれ分割する構成にしている。第６の発明は、第
１または第３の発明の動画像符号化装置において、前記
フレーム分割手段は、前記各領域情報の分割数を変更す
る機能を有している。第７の発明は、第２または第４の
発明の動画像復号化装置において、前記中間フレーム生
成手段を、前記各領域で近隣するキーフレームの統合画
像を用い前記中間フレームに対応する画像を生成する構
成にしている。第１、第３、第５または第６の発明によ
れば、以上のように動画像符号化装置を構成したので、
領域分割手段により、時系列のフレームからなる入力動
画像が同一属性を有する領域に分割され、該領域分割手
段から領域毎の領域情報が出力される。動き推定手段に
より、領域情報に基づいた各領域の動き情報が、生成さ
れる。フレーム分割手段により、各領域情報が時間方向
にそれぞれ分割され、領域毎に複数の動画像系列が求め
られる。キーフレーム統合手段により、各動画像系列に
１つのキーフレームがそれぞれ設定され、且つその各キ
ーフレームに対して各動画像系列が統合され、領域毎に
複数の統合画像が生成される。これら、フレーム分割手
段及びキーフレーム統合手段により、入力画像に適した
キーフレームの設定と統合が行われる。
【０００８】統合画像符号化手段により、領域毎の複数
の統合画像がそれぞれ符号化されて統合画像符号化デー
タが生成される。一方、動き情報符号化手段により、領
域毎の動き情報が符号化されて動き符号化データが生成
される。符号化情報出力手段により、領域毎の画像符号
化データと動き符号化データとが符号化情報として出力
される。第２、第４または第７の発明によれば、第１、
第３、第５あるいは第６の発明の動画像符号化装置から
出力された符号化情報が、符号化情報入力手段によっ
て、画像符号化データと動き符号化データとに分けら
れ、その画像符号化データが統合画像復号手段に与えら
れ、動き符号化データが動き情報復号手段に与えられ
る。動き符号化データは、動き情報復号手段によって復
号されて領域毎の動き情報がそれぞれ求められる。画像
符号化データは、統合画像復号手段によって復号され、
領域毎の複数の統合画像がそれぞれ生成される。キーフ
レーム生成手段により、その領域毎の複数の統合画像か
ら、領域毎の複数のキーフレームに対応する画像が生成
される。中間フレーム生成手段により、動き情報復号手
段で求められた領域毎の動き情報と統合画像復号手段で
求められた領域毎の複数の統合画像とから、キーフレー
ム以外の中間フレームに対応する画像が領域毎に生成さ
れる。そして、領域毎に生成されたキーフレームに対応
する画像及び中間フレームに対応する画像からなる領域
毎の動画像が領域合成手段によって合成され、動画像符
号化装置における入力動画像に対応する再生動画像が生
成される。従って、前記課題を解決できるのである。
の統合画像がそれぞれ符号化されて統合画像符号化デー
タが生成される。一方、動き情報符号化手段により、領
域毎の動き情報が符号化されて動き符号化データが生成
される。符号化情報出力手段により、領域毎の画像符号
化データと動き符号化データとが符号化情報として出力
される。第２、第４または第７の発明によれば、第１、
第３、第５あるいは第６の発明の動画像符号化装置から
出力された符号化情報が、符号化情報入力手段によっ
て、画像符号化データと動き符号化データとに分けら
れ、その画像符号化データが統合画像復号手段に与えら
れ、動き符号化データが動き情報復号手段に与えられ
る。動き符号化データは、動き情報復号手段によって復
号されて領域毎の動き情報がそれぞれ求められる。画像
符号化データは、統合画像復号手段によって復号され、
領域毎の複数の統合画像がそれぞれ生成される。キーフ
レーム生成手段により、その領域毎の複数の統合画像か
ら、領域毎の複数のキーフレームに対応する画像が生成
される。中間フレーム生成手段により、動き情報復号手
段で求められた領域毎の動き情報と統合画像復号手段で
求められた領域毎の複数の統合画像とから、キーフレー
ム以外の中間フレームに対応する画像が領域毎に生成さ
れる。そして、領域毎に生成されたキーフレームに対応
する画像及び中間フレームに対応する画像からなる領域
毎の動画像が領域合成手段によって合成され、動画像符
号化装置における入力動画像に対応する再生動画像が生
成される。従って、前記課題を解決できるのである。
【０００９】
【発明の実施の形態】第１の実施形態 図１は、本発明の第１の実施形態を示す動画像符号化装
置の構成ブロック図であり、この動画像符号化装置は、
例えばプログラム制御されるプロセッサ等で構成されて
おり、動画像を入力する画像入力部１１を有し、該画像
入力部１１の出力側に領域分割部１２が接続されてい
る。画像入力部１１はカメラ等で構成され、時系列のフ
レームからなる入力動画像を領域分割部１２へ与える。
領域分割部１２は、画像入力部１１からの入力動画像
を、同一属性を有する領域に分割する領域分割手段とし
ての機能を有し、分割された領域毎の領域情報Ｓ１を出
力する構成になっている。領域分割部１２の出力側に
は、動き推定部１３が接続されている。動き推定部１３
は、領域情報Ｓ１に基づいて各領域の動きを推定する動
き推定手段としての機能を有し、動きを推定した結果で
ある領域毎の動き情報Ｓ２と、領域情報Ｓ１とを出力す
るものである。動き推定部１３の出力側には、フレーム
分割判定部１４、キーフレーム統合部１５、及び統合画
像符号化部１６が直列に接続されると共に、これらとは
並列に動き情報符号化部１７が接続されている。動き推
定部１３の出力する領域情報Ｓ１がフレーム分割判定部
１４に与えられ、動き情報Ｓ２が、フレーム分割判定部
１４とキーフレーム統合部１５と動き情報１７とに与え
られる構成になっている。そして、統合画像符号化部１
６と動き情報符号化部１７の出力側が、符号化情報出力
部１８に接続されている。
置の構成ブロック図であり、この動画像符号化装置は、
例えばプログラム制御されるプロセッサ等で構成されて
おり、動画像を入力する画像入力部１１を有し、該画像
入力部１１の出力側に領域分割部１２が接続されてい
る。画像入力部１１はカメラ等で構成され、時系列のフ
レームからなる入力動画像を領域分割部１２へ与える。
領域分割部１２は、画像入力部１１からの入力動画像
を、同一属性を有する領域に分割する領域分割手段とし
ての機能を有し、分割された領域毎の領域情報Ｓ１を出
力する構成になっている。領域分割部１２の出力側に
は、動き推定部１３が接続されている。動き推定部１３
は、領域情報Ｓ１に基づいて各領域の動きを推定する動
き推定手段としての機能を有し、動きを推定した結果で
ある領域毎の動き情報Ｓ２と、領域情報Ｓ１とを出力す
るものである。動き推定部１３の出力側には、フレーム
分割判定部１４、キーフレーム統合部１５、及び統合画
像符号化部１６が直列に接続されると共に、これらとは
並列に動き情報符号化部１７が接続されている。動き推
定部１３の出力する領域情報Ｓ１がフレーム分割判定部
１４に与えられ、動き情報Ｓ２が、フレーム分割判定部
１４とキーフレーム統合部１５と動き情報１７とに与え
られる構成になっている。そして、統合画像符号化部１
６と動き情報符号化部１７の出力側が、符号化情報出力
部１８に接続されている。
【００１０】フレーム分割判定部１４は、領域毎の領域
情報Ｓ２を時間方向にそれぞれ分割し、複数の動画像系
列を求めるフレーム分割手段としての機能を有してい
る。フレーム分割判定部１４の出力側に接続されたキー
フレーム統合部１５は、各動画像系列に対して１つのキ
ーフレームをそれぞれ設定すると共に、各キーフレーム
に対して各動画像系列を統合して領域毎に複数の統合画
像を生成するキーフレーム統合手段としての機能を有し
ている。統合画像符号化部１６は、各統合画像をそれぞ
れ符号化して画像符号化データＳ３を生成する統合画像
符号化手段としての機能を有している。動き情報符号化
部１７は、動き情報Ｓ２を符号化して動き符号化データ
Ｓ４を生成する動き情報符号化手段としての機能を有し
ている。符号化情報出力部１８は、各領域の画像符号化
データＳ３と動き符号化データ４とを符号化情報として
出力する符号化情報出力手段としての機能を有してい
る。図２の動画像復号化装置は、例えばプログラム制御
されるプロセッサ等で構成されており、符号化情報入力
部２１を備えている。符号化情報入力部２１は、図１の
動画像符号化装置から出力された符号化情報を入力し、
画像符号化データＳ３と動き符号化データＳ４とを分け
る符号化情報入力手段としての機能を有している。符号
化情報入力部２１には、統合画像復号部２２と動き情報
復号部２３とが接続され、その画像符号化データＳ３が
該統合画像復号部２２に与えられ、動き情報Ｓ４が動き
情報復号部２３に与えられるようになっている。統合画
像復号部２２の出力側には、キーフレーム生成部２４が
接続されている。キーフレーム生成部２４及び動き情報
復号部２３の出力側に、中間フレーム生成部２５が接続
されている。中間フレーム生成部２５の出力側には領域
合成部２６が接続され、この領域合成部２６の出力側に
画像出力部２７が接続されている。
情報Ｓ２を時間方向にそれぞれ分割し、複数の動画像系
列を求めるフレーム分割手段としての機能を有してい
る。フレーム分割判定部１４の出力側に接続されたキー
フレーム統合部１５は、各動画像系列に対して１つのキ
ーフレームをそれぞれ設定すると共に、各キーフレーム
に対して各動画像系列を統合して領域毎に複数の統合画
像を生成するキーフレーム統合手段としての機能を有し
ている。統合画像符号化部１６は、各統合画像をそれぞ
れ符号化して画像符号化データＳ３を生成する統合画像
符号化手段としての機能を有している。動き情報符号化
部１７は、動き情報Ｓ２を符号化して動き符号化データ
Ｓ４を生成する動き情報符号化手段としての機能を有し
ている。符号化情報出力部１８は、各領域の画像符号化
データＳ３と動き符号化データ４とを符号化情報として
出力する符号化情報出力手段としての機能を有してい
る。図２の動画像復号化装置は、例えばプログラム制御
されるプロセッサ等で構成されており、符号化情報入力
部２１を備えている。符号化情報入力部２１は、図１の
動画像符号化装置から出力された符号化情報を入力し、
画像符号化データＳ３と動き符号化データＳ４とを分け
る符号化情報入力手段としての機能を有している。符号
化情報入力部２１には、統合画像復号部２２と動き情報
復号部２３とが接続され、その画像符号化データＳ３が
該統合画像復号部２２に与えられ、動き情報Ｓ４が動き
情報復号部２３に与えられるようになっている。統合画
像復号部２２の出力側には、キーフレーム生成部２４が
接続されている。キーフレーム生成部２４及び動き情報
復号部２３の出力側に、中間フレーム生成部２５が接続
されている。中間フレーム生成部２５の出力側には領域
合成部２６が接続され、この領域合成部２６の出力側に
画像出力部２７が接続されている。
【００１１】統合画像復号部２２は、符号化情報入力部
２１から与えられた画像符号化データＳ３を復号して領
域毎の複数の統合画像をそれぞれ求める統合画像復号手
段としての機能を有し、動き情報復号部２３は、動き符
号化データＳ４を復号して領域毎の動き情報Ｓ２をそれ
ぞれ求める動き情報復号手段としての機能を有してい
る。キーフレーム生成部２４は、統合画像復号部２４で
求められた複数の統合画像からキーフレームに対応する
画像を生成するキーフレーム生成手段としての機能を有
している。中間フレーム生成部は、領域毎の動き情報Ｓ
２と統合画像復号部２２で求められた領域毎の複数の統
合画像とから、領域毎の中間フレームに対応する画像を
生成する中間フレーム生成手段としての機能を有してい
る。領域合成部２６は、領域毎に生成された複数のキー
フレームに対応する画像及び中間フレームに対応する画
像からなる各領域の動画像を合成し、再生動画像を生成
する領域合成手段としての機能を有している。画像出力
部２７は、その再生動画像を出力するものである。図３
は、図１の動画像符号化装置で行う領域分割と統合画像
の説明図であり、入力動画像と領域画像画像と統合画像
とが示されている。この図３を参照しつつ、図１の動作
を説明する。
２１から与えられた画像符号化データＳ３を復号して領
域毎の複数の統合画像をそれぞれ求める統合画像復号手
段としての機能を有し、動き情報復号部２３は、動き符
号化データＳ４を復号して領域毎の動き情報Ｓ２をそれ
ぞれ求める動き情報復号手段としての機能を有してい
る。キーフレーム生成部２４は、統合画像復号部２４で
求められた複数の統合画像からキーフレームに対応する
画像を生成するキーフレーム生成手段としての機能を有
している。中間フレーム生成部は、領域毎の動き情報Ｓ
２と統合画像復号部２２で求められた領域毎の複数の統
合画像とから、領域毎の中間フレームに対応する画像を
生成する中間フレーム生成手段としての機能を有してい
る。領域合成部２６は、領域毎に生成された複数のキー
フレームに対応する画像及び中間フレームに対応する画
像からなる各領域の動画像を合成し、再生動画像を生成
する領域合成手段としての機能を有している。画像出力
部２７は、その再生動画像を出力するものである。図３
は、図１の動画像符号化装置で行う領域分割と統合画像
の説明図であり、入力動画像と領域画像画像と統合画像
とが示されている。この図３を参照しつつ、図１の動作
を説明する。
【００１２】画像入力部１１は、時系列のフレーム３１
i （ｉ＝１，２，３，…）からなる入力動画像を領域分
割部１２へ与え、領域分割部１２は画像の輝度情報等を
用いた公知の領域分割法により、入力動画像の領域分割
を行う。図３のように、静止した柱３２の後側を車３３
が右から左へ移動している入力動画像が、領域分割部１
２に与えられた場合、領域分割により、柱３２、車３３
及び背景が分割領域となり、独立した領域画像としてフ
レーム３１i 毎に抽出される。分割領域である車３３の
領域画像は、図３中の画像３４i のようになる。領域分
割部１２は、各領域の領域画像を表す領域情報Ｓ１を出
力し、動き推定部１３へ与える。各領域の領域情報Ｓ１
が与えられた動き推定部１３と、該動き推定部１３の出
力側のフレーム分割判定部１４、キーフレーム統合部１
５、統合画像符号化部１６、動き情報符号化部１７、及
び符号化情報出力部１８とは、分割された各領域毎に処
理を行う。動き推定部１３は領域情報Ｓ１に基づき、分
割された領域の動きを推定してフレーム間の動き情報Ｓ
２を求める。フレーム分割判定部１４は、動き推定部１
２を介して得られた領域情報Ｓ１を時間方向に短く分割
し、領域の動画像（領域画像列）を複数の動画像系列に
分割する。フレーム分割判定部１４で、領域情報Ｓ１を
複数の動画像系列に分割する場合、領域画像のテクスチ
ャ変化及び動き推定誤差が大きい動画像のときには短い
動画像系列に、テクスチャ変化及び動き推定誤差の小さ
いフレーム系列ときは比較的長い動画像系列に分割する
ことにより、入力動画像を効率よく表現することができ
る。このように、領域の特徴に応じて該領域を分割する
ための判定基準としては、動画像の動き情報Ｓ２とテク
スチャ情報から算出されるフレーム間差分を利用するこ
とが可能である。
i （ｉ＝１，２，３，…）からなる入力動画像を領域分
割部１２へ与え、領域分割部１２は画像の輝度情報等を
用いた公知の領域分割法により、入力動画像の領域分割
を行う。図３のように、静止した柱３２の後側を車３３
が右から左へ移動している入力動画像が、領域分割部１
２に与えられた場合、領域分割により、柱３２、車３３
及び背景が分割領域となり、独立した領域画像としてフ
レーム３１i 毎に抽出される。分割領域である車３３の
領域画像は、図３中の画像３４i のようになる。領域分
割部１２は、各領域の領域画像を表す領域情報Ｓ１を出
力し、動き推定部１３へ与える。各領域の領域情報Ｓ１
が与えられた動き推定部１３と、該動き推定部１３の出
力側のフレーム分割判定部１４、キーフレーム統合部１
５、統合画像符号化部１６、動き情報符号化部１７、及
び符号化情報出力部１８とは、分割された各領域毎に処
理を行う。動き推定部１３は領域情報Ｓ１に基づき、分
割された領域の動きを推定してフレーム間の動き情報Ｓ
２を求める。フレーム分割判定部１４は、動き推定部１
２を介して得られた領域情報Ｓ１を時間方向に短く分割
し、領域の動画像（領域画像列）を複数の動画像系列に
分割する。フレーム分割判定部１４で、領域情報Ｓ１を
複数の動画像系列に分割する場合、領域画像のテクスチ
ャ変化及び動き推定誤差が大きい動画像のときには短い
動画像系列に、テクスチャ変化及び動き推定誤差の小さ
いフレーム系列ときは比較的長い動画像系列に分割する
ことにより、入力動画像を効率よく表現することができ
る。このように、領域の特徴に応じて該領域を分割する
ための判定基準としては、動画像の動き情報Ｓ２とテク
スチャ情報から算出されるフレーム間差分を利用するこ
とが可能である。
【００１３】図４は、図１中のフレーム分割判定部１４
が行うフレーム分割手法の説明図であり、テクスチャ変
化（フレーム間差分）と分割された動画像系列が示され
ている。フレーム分割判定部１４は、動き情報Ｓ２を用
いて計算した領域画像のフレーム間差分の和が一定の範
囲内になるフレームの領域画像を、ひとつの動画像系列
として分割する。このようにすると、例えば図４に示さ
れた部分４１と部分４２とは、フレーム間差分の和が、
ほぼ等しくなる。よって、領域画像のテクスチャ変化や
動き推定誤差の小さい部分４１に対して、部分４２のよ
うに、領域画像のテクスチャ変化や動き推定誤差の大き
いフレームが連なったところでは、各フレーム間差分が
大きくなるので、比較的短い動画像系列に分割される。
さらに、このフレーム間差分の和の許容量を変化させる
ことにより、動画像系列の分割数が変化するので、動画
像の画質制御が可能になる。キーフレーム統合部１５
は、まず、フレーム分割判定部１４で分割された各動画
像系列毎に対して、統合の基準になる１つのキーフレー
ムをそれぞれ設定する。キーフレームとしては、分割さ
れた各動画像系列の真中のフレームや、両側のフレーム
間差分の和を均等にするフレームが選ばれて設定され
る。そして、キーフレーム統合部１５は、動き情報Ｓ２
を用いて各フレームの領域画像をキーフレームに位置合
せし、時間方向の平均値、代表値、重み付け平均値等を
用いて各テクスチャの時間方向の統合を行う。統合の結
果、処理対象の分割領域に対して、図３の画像３５のよ
うな統合画像が、複数生成される。
が行うフレーム分割手法の説明図であり、テクスチャ変
化（フレーム間差分）と分割された動画像系列が示され
ている。フレーム分割判定部１４は、動き情報Ｓ２を用
いて計算した領域画像のフレーム間差分の和が一定の範
囲内になるフレームの領域画像を、ひとつの動画像系列
として分割する。このようにすると、例えば図４に示さ
れた部分４１と部分４２とは、フレーム間差分の和が、
ほぼ等しくなる。よって、領域画像のテクスチャ変化や
動き推定誤差の小さい部分４１に対して、部分４２のよ
うに、領域画像のテクスチャ変化や動き推定誤差の大き
いフレームが連なったところでは、各フレーム間差分が
大きくなるので、比較的短い動画像系列に分割される。
さらに、このフレーム間差分の和の許容量を変化させる
ことにより、動画像系列の分割数が変化するので、動画
像の画質制御が可能になる。キーフレーム統合部１５
は、まず、フレーム分割判定部１４で分割された各動画
像系列毎に対して、統合の基準になる１つのキーフレー
ムをそれぞれ設定する。キーフレームとしては、分割さ
れた各動画像系列の真中のフレームや、両側のフレーム
間差分の和を均等にするフレームが選ばれて設定され
る。そして、キーフレーム統合部１５は、動き情報Ｓ２
を用いて各フレームの領域画像をキーフレームに位置合
せし、時間方向の平均値、代表値、重み付け平均値等を
用いて各テクスチャの時間方向の統合を行う。統合の結
果、処理対象の分割領域に対して、図３の画像３５のよ
うな統合画像が、複数生成される。
【００１４】統合画像符号化部１６は、各統合画像に対
して冗長を除去する符号化を行い、画像符号化データＳ
３を符号化情報出力部１８に与える。この空間的な冗長
を除去する手法としては、従来から一般的に用いられて
いる直交変換等の画像符号化手法が適用できる。動き情
報符号化１７では、一般的な統計的冗長除去手法の例え
ばハフマン符号化法等を用いることにより、動き情報Ｓ
２の冗長を除去する符号化を行い、動き符号化データＳ
４を符号化情報出力部１８へ与える。最後に、符号化情
報出力部１８は、符号化された各領域の統合画像（画像
符号化データ）と、符号化された動き情報（動き符号化
データ）を符号化情報としてる出力する。次に、図２の
動画像復号化の動作を説明する。符号化情報入力部２１
には、図１の動画像符号化装置が出力した符号化情報が
入力される。符号化情報入力部２１は、符号化情報を画
像符号化データＳ３と動き符号化データＳ４とに分け、
この画像符号化データＳ３を統合画像復号部２２へ与え
ると共に、動き符号化データＳ４を動き情報復号部２３
に与える。統合画像復号部２２と、動き情報復号部２３
と、これらに接続されたキーフレーム生成部２４及び中
間フレーム生成部１５とは、各分割領域毎に処理を行
う。統合画像復号部２２は、画像符号化データＳ３に対
して統合画像符号化部１６とは逆の復号を行い、各領域
毎に設定された複数のキーフレームにおける統合画像を
生成する。動き情報復号部２３は、動き符号化データＳ
４に対して動き情報符号化部１７とは逆の復号を行い、
動き情報Ｓ２を生成する。
して冗長を除去する符号化を行い、画像符号化データＳ
３を符号化情報出力部１８に与える。この空間的な冗長
を除去する手法としては、従来から一般的に用いられて
いる直交変換等の画像符号化手法が適用できる。動き情
報符号化１７では、一般的な統計的冗長除去手法の例え
ばハフマン符号化法等を用いることにより、動き情報Ｓ
２の冗長を除去する符号化を行い、動き符号化データＳ
４を符号化情報出力部１８へ与える。最後に、符号化情
報出力部１８は、符号化された各領域の統合画像（画像
符号化データ）と、符号化された動き情報（動き符号化
データ）を符号化情報としてる出力する。次に、図２の
動画像復号化の動作を説明する。符号化情報入力部２１
には、図１の動画像符号化装置が出力した符号化情報が
入力される。符号化情報入力部２１は、符号化情報を画
像符号化データＳ３と動き符号化データＳ４とに分け、
この画像符号化データＳ３を統合画像復号部２２へ与え
ると共に、動き符号化データＳ４を動き情報復号部２３
に与える。統合画像復号部２２と、動き情報復号部２３
と、これらに接続されたキーフレーム生成部２４及び中
間フレーム生成部１５とは、各分割領域毎に処理を行
う。統合画像復号部２２は、画像符号化データＳ３に対
して統合画像符号化部１６とは逆の復号を行い、各領域
毎に設定された複数のキーフレームにおける統合画像を
生成する。動き情報復号部２３は、動き符号化データＳ
４に対して動き情報符号化部１７とは逆の復号を行い、
動き情報Ｓ２を生成する。
【００１５】キーフレーム生成部２４は、領域ごとの複
数のキーフレームの統合画像から、各キーフレームに対
応するキーフレーム画像を生成する。中間フレーム生成
部２５は、キーフレーム以外の中間フレームの画像を、
各キーフレームの統合画像と動き情報Ｓ２とから生成す
る。この中間フレームの画像を生成する際、動画像符号
化装置で分割された動画像系列毎に独立して中間フレー
ムを生成すると、その分割の境界付近で不連続な画像に
なり、なめらかな再生動画像が得られない。そのため、
中間フレーム生成部２５は、各中間フレームに対応する
キーフレームの統合画像ばかりでなく、隣接するキーフ
レームの統合画像を用いる。これにより、なめらかに変
化する動画像を再構成することができる。図５（ａ）〜
（ｃ）は、図２中の中間フレーム生成部２５が行う中間
フレームの生成手法の説明図であり、同図（ａ）は従来
の手法、同図（ｂ）は独立した統合画像を用いる手法、
同図（ｃ）は隣接するキーフレームの統合画像を用いる
手法をそれぞれ示している。
数のキーフレームの統合画像から、各キーフレームに対
応するキーフレーム画像を生成する。中間フレーム生成
部２５は、キーフレーム以外の中間フレームの画像を、
各キーフレームの統合画像と動き情報Ｓ２とから生成す
る。この中間フレームの画像を生成する際、動画像符号
化装置で分割された動画像系列毎に独立して中間フレー
ムを生成すると、その分割の境界付近で不連続な画像に
なり、なめらかな再生動画像が得られない。そのため、
中間フレーム生成部２５は、各中間フレームに対応する
キーフレームの統合画像ばかりでなく、隣接するキーフ
レームの統合画像を用いる。これにより、なめらかに変
化する動画像を再構成することができる。図５（ａ）〜
（ｃ）は、図２中の中間フレーム生成部２５が行う中間
フレームの生成手法の説明図であり、同図（ａ）は従来
の手法、同図（ｂ）は独立した統合画像を用いる手法、
同図（ｃ）は隣接するキーフレームの統合画像を用いる
手法をそれぞれ示している。
【００１６】従来の手法では符号化時に時間方向の分割
を行わないので、図５（ａ）のように１つキーフレーム
の統合画像から各フレームの画像が再構成され、前述の
ような画質劣化が発生する。また、分割領域をさらに時
間方向に分割し、それらに対して、図５（ｂ）のように
２つのキーフレーム１とキーフレーム２とを設定した場
合でも、キーフレーム１の統合画像とキーフレーム２の
統合画像とを独立に用いて各中間フレームを再構成する
と、元の入力動画像のテクスチャ変化が大きいときに
は、動画像系列の境界に顕著なテクスチャ変化と動きの
不連続性が表れる。これに対して、本実施形態の中間フ
レーム生成部２５は、図５（ｃ）のように、隣接するキ
ーフレーム１及び２の統合画像を混合して用い、各中間
フレームを再構成する。混合の際には、キーフレームと
の距離等を用いて重みづけするようにすると、境界にお
ける動きをなめらかにできると共に、テクスチャ変化も
なめらかに表現できる。領域合成部２６は、各領域毎に
生成されたキーフレーム画像及び中間フレームの画像
を、奥行きの順序に従って重ね合わせ、再生動画像を合
成する。この再生動画像が、画像出力部２７から出力さ
れる。
を行わないので、図５（ａ）のように１つキーフレーム
の統合画像から各フレームの画像が再構成され、前述の
ような画質劣化が発生する。また、分割領域をさらに時
間方向に分割し、それらに対して、図５（ｂ）のように
２つのキーフレーム１とキーフレーム２とを設定した場
合でも、キーフレーム１の統合画像とキーフレーム２の
統合画像とを独立に用いて各中間フレームを再構成する
と、元の入力動画像のテクスチャ変化が大きいときに
は、動画像系列の境界に顕著なテクスチャ変化と動きの
不連続性が表れる。これに対して、本実施形態の中間フ
レーム生成部２５は、図５（ｃ）のように、隣接するキ
ーフレーム１及び２の統合画像を混合して用い、各中間
フレームを再構成する。混合の際には、キーフレームと
の距離等を用いて重みづけするようにすると、境界にお
ける動きをなめらかにできると共に、テクスチャ変化も
なめらかに表現できる。領域合成部２６は、各領域毎に
生成されたキーフレーム画像及び中間フレームの画像
を、奥行きの順序に従って重ね合わせ、再生動画像を合
成する。この再生動画像が、画像出力部２７から出力さ
れる。
【００１７】以上のように、この第１の実施形態では、
動画像符号化装置にフレーム分割判定部１４とキーフレ
ーム統合部１５を設け、領域毎に動画像を時間方向に分
割して複数の動画像系列を求め、該各動画像系列毎に統
合画像を生成している。そのため、例えば長時間の動画
像であっても、適切な符号化が可能になっている。その
うえ、時間方向の分割は、動き情報Ｓ２を用いて領域の
テクスチャ変化や動き推定誤差を考慮して行うので、入
力動画像にテクスチャ変化の大きい領域が含まれていて
も、それに対応した時間方向の分割ができ、ずれや歪み
による画質劣化を抑えることができる。さらに、時間方
向に分割される動画像系列のフレーム数を可変にするこ
とにより、効率よく動画像の符号化できるようになって
いる。一方、動画像復号化装置の中間フレーム生成部２
５で、隣接するキーフレームの統合画像をも用いて中間
フレームの画像を再構成するようにしたので、再生動画
像をなめらかにすることができる。
動画像符号化装置にフレーム分割判定部１４とキーフレ
ーム統合部１５を設け、領域毎に動画像を時間方向に分
割して複数の動画像系列を求め、該各動画像系列毎に統
合画像を生成している。そのため、例えば長時間の動画
像であっても、適切な符号化が可能になっている。その
うえ、時間方向の分割は、動き情報Ｓ２を用いて領域の
テクスチャ変化や動き推定誤差を考慮して行うので、入
力動画像にテクスチャ変化の大きい領域が含まれていて
も、それに対応した時間方向の分割ができ、ずれや歪み
による画質劣化を抑えることができる。さらに、時間方
向に分割される動画像系列のフレーム数を可変にするこ
とにより、効率よく動画像の符号化できるようになって
いる。一方、動画像復号化装置の中間フレーム生成部２
５で、隣接するキーフレームの統合画像をも用いて中間
フレームの画像を再構成するようにしたので、再生動画
像をなめらかにすることができる。
【００１８】第２の実施形態 図６は、本発明の第２の実施形態を示す動画像符号化装
置の構成ブロック図であり、図７は、本発明の第２の実
施形態を示す動画像復号化装置の構成ブロックである。
この第２の実施形態の動画像符号化装置は、図１の動画
像符号化装置の統合画像符号化部１６を、動き情報Ｓ２
も利用して符号化を行う統合画像符号化部５０に置換え
たものであり、他の構成は図１と同様である。一方、第
２の実施形態の動画像復号化装置は、図２の動画像符号
化装置の統合画像復号部２２を、動き情報Ｓ２も利用し
て復号を行う統合画像復号部５１に置換えたものであ
り、他の構成は図２と同様である。統合画像符号化部５
０には、動き推定部１３で求められた領域毎の動き情報
Ｓ２が与えられ、統合画像復号部５１には、動き情報復
号部２３で求められた動き情報Ｓ２が与えられる接続に
なっている。
置の構成ブロック図であり、図７は、本発明の第２の実
施形態を示す動画像復号化装置の構成ブロックである。
この第２の実施形態の動画像符号化装置は、図１の動画
像符号化装置の統合画像符号化部１６を、動き情報Ｓ２
も利用して符号化を行う統合画像符号化部５０に置換え
たものであり、他の構成は図１と同様である。一方、第
２の実施形態の動画像復号化装置は、図２の動画像符号
化装置の統合画像復号部２２を、動き情報Ｓ２も利用し
て復号を行う統合画像復号部５１に置換えたものであ
り、他の構成は図２と同様である。統合画像符号化部５
０には、動き推定部１３で求められた領域毎の動き情報
Ｓ２が与えられ、統合画像復号部５１には、動き情報復
号部２３で求められた動き情報Ｓ２が与えられる接続に
なっている。
【００１９】動き情報Ｓ２は、領域のフレーム間の画素
の対応を示す情報であり、動画像符号化装置におけるキ
ーフレーム間の対応づけにも利用することが可能であ
る。よって、動き推定部１３で求められた領域毎の動き
情報Ｓ２をもとに、キーフレーム間の画素の対応づけを
行うことにより、時間方向の冗長を除去できる。統合画
像符号化部５０は、すでに符号化が終了した隣接キーフ
レームの統合画像と動き情報Ｓ２とに基づき、一般的に
知られた符号化手法の、キーフレーム間差分を用いた直
交変換符号化手法等を適用し、処理対象のキーフレーム
の統合画像を効率的に符号化する。この符号化された統
合画像が符号化情報出力部１８に与えられる。他の動作
は、第１の実施形態と同様である。一方、動画像復号化
装置では、動き情報復号部２３で復号された動き情報Ｓ
２と、すでに復号が終了した隣接キーフレームの統合画
像とに基づき、統合画像復号部５１は処理対象のキーフ
レームにおける統合画像の復号を行う。他の動作は第１
の実施形態と同様である。以上のように、この第２の実
施形態では、統合画像の符号化と復号を行う際に、動き
情報Ｓ２を用い、時間方向の冗長を除去する構成にした
ので、符号化の効率を改善できる。なお、本発明は、上
記実施形態に限定されず種々の変形が可能である。例え
ば、図１、図２、図６、図７の各ブロックは、個別回路
で構成することが可能である。また、各領域に対する一
連の処理は、パラレルに行っても、一連の処理を各領域
単位で繰り返して行うようにしてもよい。
の対応を示す情報であり、動画像符号化装置におけるキ
ーフレーム間の対応づけにも利用することが可能であ
る。よって、動き推定部１３で求められた領域毎の動き
情報Ｓ２をもとに、キーフレーム間の画素の対応づけを
行うことにより、時間方向の冗長を除去できる。統合画
像符号化部５０は、すでに符号化が終了した隣接キーフ
レームの統合画像と動き情報Ｓ２とに基づき、一般的に
知られた符号化手法の、キーフレーム間差分を用いた直
交変換符号化手法等を適用し、処理対象のキーフレーム
の統合画像を効率的に符号化する。この符号化された統
合画像が符号化情報出力部１８に与えられる。他の動作
は、第１の実施形態と同様である。一方、動画像復号化
装置では、動き情報復号部２３で復号された動き情報Ｓ
２と、すでに復号が終了した隣接キーフレームの統合画
像とに基づき、統合画像復号部５１は処理対象のキーフ
レームにおける統合画像の復号を行う。他の動作は第１
の実施形態と同様である。以上のように、この第２の実
施形態では、統合画像の符号化と復号を行う際に、動き
情報Ｓ２を用い、時間方向の冗長を除去する構成にした
ので、符号化の効率を改善できる。なお、本発明は、上
記実施形態に限定されず種々の変形が可能である。例え
ば、図１、図２、図６、図７の各ブロックは、個別回路
で構成することが可能である。また、各領域に対する一
連の処理は、パラレルに行っても、一連の処理を各領域
単位で繰り返して行うようにしてもよい。
【００２０】
【発明の効果】以上詳細に説明したように、第１の発明
によれば、動画像符号化装置にフレーム分割手段とキー
フレーム統合部手段とを設け、領域毎に動画像を時間方
向に分割して複数の動画像系列を求め、該各動画像系列
毎に１のキーフレームを設定すると共に該各キーフレー
ムの統合画像を生成して符号化する構成にしている。そ
のため、例えば入力動画像が長時間の動画像やテクスチ
ャ変化の大きい動画像であっても、ずれや歪みによる画
質劣化を抑えることができる。第２の発明によれば、動
画像復号化装置に統合画像復号手段と中間フレーム生成
手段を設けているので、第１の発明の動画像符号化装置
と組み合わせることにより、画質劣化の小さい再生動画
像を生成することができる。第３の発明よれば、動き情
報を用いて各領域における複数の統合画像を符号化する
構成にしたので、第１の発明の動画像符号化装置におけ
る符号化効率を向上できる。第４の発明によれば、動画
像復号化装置に統合画像復号手段と中間フレーム生成手
段とを設け、該統合画像復号手段が、領域毎の動き情報
を用いて領域毎の統合画像を求めるようにしたので、第
３の発明の動画像符号化装置と組み合せることにより、
画質劣化の小さい再生動画像を生成できる。
によれば、動画像符号化装置にフレーム分割手段とキー
フレーム統合部手段とを設け、領域毎に動画像を時間方
向に分割して複数の動画像系列を求め、該各動画像系列
毎に１のキーフレームを設定すると共に該各キーフレー
ムの統合画像を生成して符号化する構成にしている。そ
のため、例えば入力動画像が長時間の動画像やテクスチ
ャ変化の大きい動画像であっても、ずれや歪みによる画
質劣化を抑えることができる。第２の発明によれば、動
画像復号化装置に統合画像復号手段と中間フレーム生成
手段を設けているので、第１の発明の動画像符号化装置
と組み合わせることにより、画質劣化の小さい再生動画
像を生成することができる。第３の発明よれば、動き情
報を用いて各領域における複数の統合画像を符号化する
構成にしたので、第１の発明の動画像符号化装置におけ
る符号化効率を向上できる。第４の発明によれば、動画
像復号化装置に統合画像復号手段と中間フレーム生成手
段とを設け、該統合画像復号手段が、領域毎の動き情報
を用いて領域毎の統合画像を求めるようにしたので、第
３の発明の動画像符号化装置と組み合せることにより、
画質劣化の小さい再生動画像を生成できる。
【００２１】第５の発明によれば、フレーム分割手段
を、領域毎の動き情報に応じて各領域情報を時間方向に
それぞれ分割する構成にしたので、領域のテクスチャ変
化に応じた時間方向の分割が可能になり、該テクスチャ
変化に起因した画質劣化を抑えることができる。第６の
発明によれば、フレーム分割手段に、各領域情報の分割
数を変更する機能を持たせたので、画質制御が可能にな
る。第７の発明によれば、中間フレーム生成手段は、各
領域で近隣するキーフレームの統合画像を用いて中間フ
レームに対応する画像を生成する構成にしたので、再生
動画像が時間方向になめらかになる。
を、領域毎の動き情報に応じて各領域情報を時間方向に
それぞれ分割する構成にしたので、領域のテクスチャ変
化に応じた時間方向の分割が可能になり、該テクスチャ
変化に起因した画質劣化を抑えることができる。第６の
発明によれば、フレーム分割手段に、各領域情報の分割
数を変更する機能を持たせたので、画質制御が可能にな
る。第７の発明によれば、中間フレーム生成手段は、各
領域で近隣するキーフレームの統合画像を用いて中間フ
レームに対応する画像を生成する構成にしたので、再生
動画像が時間方向になめらかになる。
【図１】本発明の第１の実施形態を示す動画像符号化装
置の構成ブロック図である。
置の構成ブロック図である。
【図２】本発明の第１の実施形態を示す動画像復号化装
置の構成ブロック図である。
置の構成ブロック図である。
【図３】図１の動画像符号化装置で行う領域分割と統合
画像の説明図である。
画像の説明図である。
【図４】図１中のフレーム分割判定部１４が行うフレー
ム分割手法の説明図である。
ム分割手法の説明図である。
【図５】図２中の中間フレーム生成部２５が行う中間フ
レームの生成手法の説明図である。
レームの生成手法の説明図である。
【図６】本発明の第２の実施形態を示す動画像符号化装
置の構成ブロック図である。
置の構成ブロック図である。
【図７】本発明の第２の実施形態を示す動画像復号化装
置の構成ブロック図である。
置の構成ブロック図である。
１１ 画像入力部 １２ 領域分割部 １３ 動き推定部 １４ フレーム分割判定部 １５ キーフレーム統合部 １６，５０ 統合画像符号化部 １７ 動き情報符号化部 １８ 符号化情報出力部 ２１ 符号化情報入力部 ２２，５１ 統合画像復号部 ２３ 動き情報復号部 ２４ キーフレーム生成部 ２５ 中間フレーム生成部 ２６ 領域合成部 ２７ 画像出力部
フロントページの続き (72)発明者 金子 正秀 東京都港区芝二丁目31番19号 通信・放送 機構内
Claims (7)
- 【請求項１】 時系列のフレームからなる入力動画像を
入力し、該入力動画像を同一属性を有する領域に分割す
ると共に該分割した領域毎の領域情報を出力する領域分
割手段と、 前記領域情報に基づき前記各領域の動きを推定して動き
情報を生成する動き推定手段と、 前記各領域情報を時間方向にそれぞれ分割し、前記領域
毎に複数の動画像系列を求めるフレーム分割手段と、 前記各動画像系列に１つのキーフレームをそれぞれ設定
する処理を前記領域毎に行い、且つ該各キーフレームに
対して該各動画像系列を統合して該領域毎に複数の統合
画像を生成するキーフレーム統合手段と、 前記領域毎の複数の統合画像をそれぞれ符号化して統合
画像符号化データを生成する統合画像符号化手段と、 前記領域毎の動き情報を符号化して動き符号化データを
生成する動き情報符号化手段と、 前記領域毎の前記画像符号化データと前記動き符号化デ
ータとを符号化情報として出力する符号化情報出力手段
とを、 備えたことを特徴とする動画像符号化装置 - 【請求項２】 請求項１記載の動画像符号化装置から出
力された符号化情報を入力し、前記画像符号化データと
前記動き符号化データとを分ける符号化情報入力手段
と、 前記符号化情報入力手段から与えられた前記動き符号化
データを復号して前記領域毎の動き情報をそれぞれ求め
る動き情報復号手段と、 前記符号化情報入力手段から与えられた前記画像符号化
データを復号して前記領域毎の複数の統合画像をそれぞ
れ求める統合画像復号手段と、 前記統合画像復号手段で求められた領域毎の複数の統合
画像から請求項１記載の前記領域毎の複数のキーフレー
ムに対応する画像を求めるキーフレーム生成手段と、 前記動き情報復号手段で求められた領域毎の動き情報と
前記統合画像復号手段で求められた領域毎の複数の統合
画像とから、前記キーフレーム以外の中間フレームに対
応する画像を領域毎に生成する中間フレーム生成手段
と、 前記領域毎に生成された前記複数のキーフレームに対応
する画像及び前記中間フレームに対応する画像からなる
各領域の動画像を合成し再生動画像を生成する領域合成
手段とを、 備えたことを特徴とする動画像復号化装置。 - 【請求項３】 請求項１記載の動画像符号化装置におい
て、前記統合画像符号化手段は、前記動き推定手段で求
められた領域毎の動き情報を用い該各領域における複数
の統合画像を符号化する構成にしたことを特徴とする動
画像符号化装置。 - 【請求項４】 請求項３記載の動画像符号化装置から出
力された符号化情報を入力し、前記画像符号化データと
前記動き符号化データとを分ける符号化情報入力手段
と、 前記符号化情報入力手段から与えられた前記動き符号化
データを復号して前記領域毎の動き情報をそれぞれ求め
る動き情報復号手段と、 前記動き情報復号手段で求められた領域毎の動き情報を
用い、前記符号化情報入力手段から与えられた前記画像
符号化データを復号して前記領域毎の複数の統合画像を
それぞれ求める統合画像復号手段と、 前記統合画像復号手段で求められた領域毎の複数の統合
画像から、請求項３記載の動画像符号化装置における前
記領域毎の複数のキーフレームに対応する画像を求める
キーフレーム生成手段と、 前記動き情報復号手段で求められた領域毎の動き情報と
前記統合画像復号手段で求められた領域毎の複数の統合
画像とから、前記キーフレーム以外の中間フレームに対
応する画像を領域毎に生成する中間フレーム生成手段
と、 前記領域毎に生成された前記複数のキーフレームに対応
する画像及び前記中間フレームに対応する画像からなる
領域毎の動画像を合成し再生動画像を生成する領域合成
手段とを、 備えたことを特徴とする動画像復号化装置。 - 【請求項５】 請求項１または３記載の動画像符号化装
置において、前記フレーム分割手段は、前記領域毎の動
き情報に応じて前記各領域情報を時間方向にそれぞれ分
割する構成にしたことを特徴とする動画像符号化装置。 - 【請求項６】 請求項１または３記載の動画像符号化装
置において、前記フレーム分割手段は、前記各領域情報
の分割数を変更する機能を有することを特徴する動画像
符号化装置。 - 【請求項７】 請求項２または４記載の動画像復号化装
置において、前記中間フレーム生成手段は、前記各領域
で近隣するキーフレームの統合画像を用い前記中間フレ
ームに対応する画像を生成する構成にしたことを特徴と
する動画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33098896A JP3944564B2 (ja) | 1996-12-11 | 1996-12-11 | 動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33098896A JP3944564B2 (ja) | 1996-12-11 | 1996-12-11 | 動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10174104A true JPH10174104A (ja) | 1998-06-26 |
| JP3944564B2 JP3944564B2 (ja) | 2007-07-11 |
Family
ID=18238589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33098896A Expired - Fee Related JP3944564B2 (ja) | 1996-12-11 | 1996-12-11 | 動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3944564B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754512A (zh) * | 2020-07-17 | 2020-10-09 | 成都盛锴科技有限公司 | 一种受电弓状态信息采集方法及系统 |
| KR102546176B1 (ko) * | 2022-10-14 | 2023-06-21 | 주식회사 비브스튜디오스 | 영상의 안정성을 위한 후처리 방법 |
-
1996
- 1996-12-11 JP JP33098896A patent/JP3944564B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754512A (zh) * | 2020-07-17 | 2020-10-09 | 成都盛锴科技有限公司 | 一种受电弓状态信息采集方法及系统 |
| KR102546176B1 (ko) * | 2022-10-14 | 2023-06-21 | 주식회사 비브스튜디오스 | 영상의 안정성을 위한 후처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3944564B2 (ja) | 2007-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6560364B2 (en) | Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus | |
| JP2004519167A (ja) | 動き情報の符号化及び復号化方法 | |
| EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
| CN101001381A (zh) | 图像编码、解码装置及图像编码、解码方法 | |
| CN120088133B (zh) | 一种基于扩散模型的任意尺度视频超分辨率方法 | |
| JP2002314998A (ja) | 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法 | |
| JPH09163376A (ja) | 動画像のフレーム間符号化・復号方法および装置 | |
| JPH08116542A (ja) | 画像符号化装置、画像復号化装置および動きベクトル検出装置 | |
| JPH10174104A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| EP1723784B1 (en) | Method and device for transform-domain video editing | |
| JPH09326024A (ja) | 画像符号及び復号化方法とその装置 | |
| JP4835855B2 (ja) | 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム | |
| JP3866946B2 (ja) | 動画像符号化装置 | |
| JP2002051336A (ja) | 画像符号化装置及び画像復号装置 | |
| JP2002523987A (ja) | ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置 | |
| JP2007096541A (ja) | 符号化方法 | |
| US20020044684A1 (en) | Data processor and method of data processing | |
| JP3235266B2 (ja) | 画像拡大装置及び画像符号化復号化装置 | |
| JP2005236723A (ja) | 動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法 | |
| JP3676651B2 (ja) | 段階的可逆画像信号符号化方法，復号方法，符号化装置，復号装置，およびその符号化，復号プログラムの記録媒体 | |
| JP3148751B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2938652B2 (ja) | 時変フレーム間サブバンド符号化方法 | |
| JP3101195B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP3101262B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JPH0937240A (ja) | 動画像符号化装置及び動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070315 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |