JPH10117355A - 動画像符号化装置および動画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の部品領域を異なったフレームレート
で符号化／復号するに際して、フレームレートの違いに
起因した画像の歪みを除去して高品質な画像を得ること
のできる動画像符号化装置／動画像復号装置を提供する
こと。 【解決手段】 背景補間判定部１０７が、下位レイヤ及
び上位レイヤの部品領域が大きく動いて背景補間により
視覚的効果が得られると判定した場合、コントローラ１
０３が、下位レイヤの部品領域の領域情報に基づいてス
イッチ１０４を制御して背景補間を行なう。加重平均部
１０６は補間された背景を用いて上位レイヤと下位レイ
ヤとを加重平均して補間画像を生成する。そして、この
補間画像を用いて上位レイヤの予測符号化／復号が行わ
れる。逆に、部品領域があまり動かず、背景補間による
視覚的効果が得られないと判定した場合、補間画像作成
部１０５の出力を用いて背景を合成して補間画像を生成
する。これにより、背景補間のための形状情報を削減
し、高画質化を達成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置、およびこの動画像符号化装置で作成され
た符号化データを復号する動画像復号装置に関するもの
である。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
ＩＥ９４−１５９、ｐｐ９９−１０６（１９９５））で
は、背景となる動画像シーケンスと前景となる部品動画
像の動画像シーケンス（例えばクロマキー技術によって
切り出された人物画像や魚の映像など）を重畳して新た
なシーケンスを作成する手法が述べられている。

【０００３】また文献「画像内容に基づく時間階層符号
化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ
ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｃｏｎｔｅｎｔ”，Ｉ
ＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥ
Ｇ９５／２１１（１９９５））では、フレームレートの
低い動画像シーケンスにフレームレートの高い部品動画
像の動画像シーケンスを重畳して新たなシーケンスを作
成する手法が述べられている。

【０００４】この方式では図１５に示すように下位レイ
ヤでは低いフレームレートで予測符号化が行われ、上位
レイヤでは選択領域（網点部）についてのみ高いフレー
ムレートで予測符号化が行われる。ただし、上位レイヤ
まで復号した画像フレームは、下位レイヤで復号した画
像フレームと上位レイヤで復号した領域を重畳すること
で得られる。また、下位レイヤで符号化したフレームは
上位レイヤでは符号化せず、下位レイヤの復号画像をそ
のままコピーして用いる。また、選択領域としては例え
ば人物部分など視聴者の注目が集まる部分が選ばれてい
るものとする。

【０００５】図１１に従来手法のブロック図を示す。ま
ず従来手法の符号化側では、入力動画像は第１の駒落し
部１１０１及び第２の駒落し部１１０２によってフレー
ム間引きされ、入力画像のフレームレート以下とされた
後それぞれ上位レイヤ符号化部及び下位レイヤ符号化部
に入力される。ここで上位レイヤのフレームレートは下
位レイヤのフレームレート以上であるとする。

【０００６】下位レイヤ符号化部１１０４では入力され
た動画像全体が符号化される。符号化方式としては例え
ばＭＰＥＧやＨ．２６１などの動画像符号化国際標準化
方式が用いられる。下位レイヤ符号化部１１０４ではま
た、下位レイヤの復号画像が作成され、予測符号化に利
用されると同時に重畳部１１０５に入力される。

【０００７】図１１の上位レイヤ符号化部１１０３では
入力された動画像の選択領域のみが符号化される。ここ
でもＭＰＥＧやＨ．２６１などの動画像符号化国際標準
化方式が用いられるが、領域情報に基づいて選択領域の
みを符号化する。ただし下位レイヤで符号化されたフレ
ームは上位レイヤでは符号化されない。領域情報は人物
部などの選択領域を示す情報であり、例えば選択領域の
位置で値１、それ以外の位置で値０をとる２値画像であ
る。上位レイヤ符号化部１１０３ではまた、動画像の選
択領域のみが復号され、重畳部１１０５に入力される。

【０００８】領域情報符号化部１１０６では領域情報が
チェイン符号などを利用して符号化される。重畳部１１
０５は重畳対象フレームで下位レイヤフレームが符号化
されている場合、下位レイヤの復号画像を出力する。重
畳対象フレームで下位レイヤフレームが符号化されてい
ない場合は、重畳対象フレームの前後２枚の符号化され
た下位レイヤの復号画像と１枚の上位レイヤ復号画像を
用いて動画像を出力する。下位レイヤの２枚の画像フレ
ームは上位レイヤフレームの前及び後である。ここで作
成された動画像は上位レイヤ符号化部１１０３に入力さ
れ、予測符号化に利用される。重畳部１１０５における
画像作成方法は以下の通りである。

【０００９】まず、２枚の下位レイヤの補間画像が作成
される。時間ｔにおける下位レイヤの復号画像をＢ
（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を
表す座標である）とし、２枚の下位レイヤの時間をそれ
ぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ
１＜ｔ３＜ｔ２である）とすると時間ｔ３における補間
画素Ｉ（ｘ，ｙ，ｔ３）は、次式（１）によって計算さ
れる。

【００１０】 Ｉ（ｘ，ｙ，ｔ３）＝［（ｔ２−ｔ３）Ｂ（ｘ，ｙ，ｔ１） ＋（ｔ３−ｔ１）Ｂ（ｘ，ｙ，ｔ２）］／（ｔ２−ｔ１）・・・（１）

【００１１】次に上式（１）で求めた補間画像Ｉに上位
レイヤの復号画像Ｅを重畳する。このために、領域情報
Ｍ（ｘ，ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，
ｙ，ｔ）を作成し、次式（２）によって重畳画像Ｓを得
る。

【００１２】 Ｓ（ｘ，ｙ，ｔ）＝［１−Ｗ（ｘ，ｙ，ｔ）］Ｉ（ｘ，ｙ，ｔ） ＋Ｅ（ｘ，ｙ，ｔ）Ｗ（ｘ，ｙ，ｔ）・・・（２）

【００１３】ここで、領域情報Ｍ（ｘ，ｙ，ｔ）は選択
領域内で１、選択領域外で０の値をとる２値画像であ
り、この画像に低域通過フィルタを複数回施す事によっ
て重み情報Ｗ（ｘ，ｙ，ｔ）を得る事ができる。すなわ
ち重み情報Ｗ（ｘ，ｙ，ｔ）は選択領域内で１、選択領
域外で０、選択領域の境界部で０〜１の値をとる。以上
が重畳部１１０５における画像作成方法の説明である。
下位レイヤ符号化部、上位レイヤ符号化部、領域情報符
号化部で符号化された符号化データは、図示しない符号
化データ統合部で統合され、伝送あるいは蓄積される。

【００１４】次に、従来手法の復号側では、符号化デー
タが図示しない符号化データ分解部にて下位レイヤの符
号化データ、上位レイヤの符号化データ、領域情報の符
号化データに分解される。これらの符号化データは、図
１１に示すように下位レイヤ復号部１１０８、上位レイ
ヤ復号部１１０７及び領域情報復号部１１０９によって
復号される。

【００１５】復号側の重畳部１１１０は符号化側の重畳
部１１０５と同一の装置からなり、下位レイヤ復号画像
と上位レイヤ復号画像を用い、符号化側の説明で述べた
ものと同一の方法によって画像が重畳される。ここで重
畳された動画像はディスプレイに表示されると共に上位
レイヤ復号部１１０７に入力され、上位レイヤの予測に
利用される。ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ符号化部１
１０７、重畳部１１１０が不要であり、少ないハードウ
ェア規模で符号化データの一部を再生する事ができる。

【００１６】ところでこの時、下位レイヤと上位レイヤ
のフレームレートが異なっているため、上位レイヤに対
応する下位レイヤは時間的に前後の下位レイヤフレーム
から合成する必要がある。ところが、２枚の下位レイヤ
復号画像と１枚の上位レイヤ復号画像から出力画像を得
る際に２枚の下位レイヤの補間によって合成するため、
選択領域の位置が時間的に変化する場合に選択領域周辺
に大きな歪みが発生し、画質を大きく劣化させてしま
う。

【００１７】これを、文献「画像内容に基づく時間階層
符号化」（“Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔ
ｙ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｍａｇ
ｅｃｏｎｔｅｎｔ”，ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ
２９／ＷＧ１１ ＭＰＥＧ９６／０３７７（１９９
６））などの手法を用いて解消することができる。図１
４は前記文献に示されたこの問題の解決手法を説明する
ものである。図１４（ａ）で画像Ａ、Ｃは下位レイヤの
２枚の復号画像、画像Ｂは上位レイヤの復号画像であ
り、表示時間順はＡ、Ｂ、Ｃの順である。ただし、選択
領域を斜線で示している。

【００１８】また、上位レイヤでは選択領域のみが符号
化されるため選択領域外を破線で示している。選択領域
が図中矢印の向きに動いているため、画像Ａと画像Ｃか
ら求めた補間画像は図１４（ｂ）の網点部のように２つ
の選択領域が重複したものになる。さらに画像Ｂを式
（２）を用いて重畳すると、出力画像は図１４（ｃ）に
示すように３つの選択領域が重複した画像となる。

【００１９】特に上位レイヤの選択領域周辺（外側）に
下位レイヤの選択領域が残像のようにあらわれ、画質が
大きく劣化する。動画像全体としては下位レイヤのみが
表示されている時には上記の歪みがなく、上位レイヤと
下位レイヤの重畳画像が表示されている時には上記の歪
みが現われるため、フリッカ的歪みが発生し非常に大き
な画質劣化となる。しかし、図１４（ｃ）の左側の網点
部は画像Ｃより得ることができ、また、図１４（ｃ）の
右側の網点部は画像Ａより得ることができるため、こう
して合成した下位レイヤを用いれば前記歪みは解消でき
る。

【００２０】図１２は前記文献に示された従来の画像重
畳装置のブロック図を示す。図１２の第１の領域抽出部
１２０１は、下位レイヤの第１の領域情報及び下位レイ
ヤの第２の領域情報から第１の領域でありかつ第２の領
域でない領域を抽出する。図１３（ａ）で第１の領域情
報を点線で（点線内部が値０、点線外部が値１を持つも
のとする）表し、同様に第２の領域情報を破線であらわ
すとすると、第１の領域抽出部１２０１で抽出される領
域は図１３の斜線部となる。

【００２１】図１２の第２の領域抽出部１２０２は、下
位レイヤの第１の領域情報及び下位レイヤの第２の領域
情報から第２の領域領域でありかつ第１の領域でない領
域を抽出する。図１３（ａ）の場合、網点部が抽出され
る。

【００２２】図１２のコントローラ１２０３は、第１の
領域抽出部１２０１及び第２の領域抽出部１２０２の出
力によりスイッチ１２０４を制御する部分である。すな
わち、注目画素位置が第１の領域のみの場合にはスイッ
チ１２０４を第２の復号画像側に接続し、注目画素位置
が第２の領域のみの場合にはスイッチ１２０４を第１の
復号画像側に接続し、それ以外の場合にはスイッチ１２
０４を補間画像作成部１２０５からの出力に接続する。

【００２３】第１２の補間画像作成部１２０５は、下位
レイヤの第１の復号画像と下位レイヤの第２の復号画像
との補間画像を式（１）に従って計算する。ただし式
（１）でＢ（ｘ，ｙ，ｔ１）は第１の復号画像、Ｂ
（ｘ，ｙ，ｔ２）は第２の復号画像、Ｉ（ｘ，ｙ，ｔ
３）は補間画像であり、ｔ１，ｔ２，ｔ３はそれぞれ第
１の復号画像、第２の復号画像及び補間画像の時間であ
る。

【００２４】以上のようにして画像を作成するので、例
えば図１３（ａ）の場合、斜線部では第２の復号画像が
使用されるため選択領域外部の背景画素があらわれ、網
点部では第１の復号画像が使用されるため選択領域外部
の背景画素があらわれ、それ以外の部分では第１の復号
画像と第２の復号画像の補間画像があらわれる。

【００２５】このようにして作成された画像の上に図１
２の加重平均部１２０６によって上位レイヤの復号画像
を重ねるため、重畳された画像は図１３（ｂ）のように
選択領域（斜線部分）周辺に残像がなく、歪みの少ない
画像が得られる。図１２の加重平均部１２０６は、上記
の合成画像と上位レイヤの復号画像を加重平均によって
重畳する。

【００２６】

【発明が解決しようとする課題】しかしながら、従来の
装置によれば以下のような問題があった。 （１）部品領域の動きによる形状変化の度合が小さい場
合に、従来手法では大きな画質改善が期待できず、ま
た、上位レイヤの部品形状に対応する前後２つの形状情
報を符号化する必要があるため、テクスチャ情報符号化
に使用できる符号量が相対的に減るため、結果的に画質
低下を招くという問題（第１の問題）がある。

【００２７】（２）従来手法は部品領域が一方に動く場
合には効果があるが、部品画像が往復するような動きを
する場合には、部品の背後の情報を原理的に得ることが
できず、画質改善が見られないという問題（第２の問
題）がある。図８及び図１０はこの問題を説明するため
の図である。例えば、図１０の画像ＡとＣにおける部品
画像領域の重なった領域の背景画像（図８斜線領域）は
画像ＡとＣより得ることはできない。

【００２８】（３）従来手法では、上位レイヤの画像に
対して時間的に前後する下位レイヤが必要であるが、画
像シーケンスの最初や最後、あるいはシーンチェンジの
前後などで下位レイヤフレームの一方が存在しない場合
があり得る。そのため、部品画像の周囲で画質改善が見
られないという問題（第３の問題）がある。

【００２９】（４）従来手法は図１３（ａ）に示す４つ
の領域毎に選択的に補間処理を切替える必要があり、処
理が複雑になるという問題（第４の問題）がある。本発
明の目的はこれらの問題を解決し、符号化後のデータ量
を削減する一方、復号画像の品質を劣化させないような
動画像符号化装置、及び動画像復号装置を提供すること
にある。

【００３０】本発明は、このような問題に鑑みてなされ
たものであり、復号画像の品質を劣化させることなく符
号化後のデータ量を削減することができる動画像符号化
装置および動画像復号装置を提供することを課題とす
る。

【００３１】

【課題を解決するための手段】本発明は、前記課題を解
決達成するため、以下の構成を有する。請求項１に記載
の発明に係る動画像符号化装置は、一つの動画像シーケ
ンスを低いフレームレートの下位レイヤと高いフレーム
レートの上位レイヤとに分離し、前記上位レイヤに対応
するフレームが存在しないことを条件として前記下位レ
イヤの合成を行うための部品領域形状を符号化し、前記
上位レイヤを予測符号化する動画像符号化装置であっ
て、前記背景として現れる前記下位レイヤの部品領域が
所定のしきい値よりも大きい場合に、前記部品領域形状
を符号化し、前記下位レイヤを加重平均して得られるフ
レームと前記下位レイヤのフレームとを合成して画像情
報を生成し、前記背景として現れる前記領域が前記所定
のしきい値よりも小さい場合に、前記部品領域形状を符
号化せずに、前記下位レイヤを加重平均して前記画像情
報を生成することを特徴とする動画像符号化装置の構成
を有する。

【００３２】請求項２に記載の発明に係る動画像復号装
置は、高いフレームレートの上位レイヤに対応するフレ
ームが存在しないことを条件として低いフレームレート
の下位レイヤの合成を行い、前記上位レイヤを予測復号
し、予測復号された前記上位レイヤを前記下位レイヤに
重畳して一つの動画像シーケンスに復号する動画像復号
装置であって、部品領域形状が符号化されている場合
に、前記部品領域形状を復号し、前記下位レイヤを加重
平均して得られるフレームと前記下位レイヤのフレーム
とを合成して画像情報を生成し、前記部品領域形状が符
号化されていない場合に、前記下位レイヤを加重平均し
て前記画像情報を生成することを特徴とする動画像符号
化装置の構成を有する。

【００３３】請求項３に記載の発明に係る動画像符号化
装置は、一つの動画像シーケンスを低いフレームレート
の下位レイヤと高いフレームレートの上位レイヤとに分
離し、前記上位レイヤに対応するフレームが存在しない
ことを条件として前記下位レイヤの合成を行うための部
品領域形状を符号化し、前記上位レイヤを予測符号化す
る動画像符号化装置であって、背景として現れる領域の
周囲の画素値を用いて重なり領域の内部の画素値を補間
して画像情報を生成することを特徴とする動画像符号化
装置の構成を有する。

【００３４】請求項４に記載の発明に係る動画像復号装
置は、高いフレームレートの上位レイヤに対応するフレ
ームが存在しないことを条件として低いフレームレート
の下位レイヤの合成を行い、前記上位レイヤを予測復号
し、予測復号された前記上位レイヤを前記下位レイヤに
重畳して一つの動画像シーケンスに復号する動画像復号
装置であって、背景として現れる領域の周囲の画素値を
用いて重なり領域の内部の画素値を補間して画像情報を
生成することを特徴とする動画像復号装置の構成を有す
る。

【００３５】請求項５に記載の発明に係る動画像符号化
装置は、請求項１に記載の動画像符号化装置において、
下位レイヤの部品領域の周囲の画素値を用いて該部品領
域の内部の画素値を補間し、前記補間された下位レイヤ
のフレームを用いて画像情報を生成することを特徴とす
る動画像符号化装置の構成を有する。

【００３６】請求項６に記載の発明に係る動画像復号装
置は、請求項２に記載の動画像復号装置において、下位
レイヤの部品領域の周囲の画素値を用いて該部品領域の
内部の画素値を補間し、前記補間された下位レイヤのフ
レームを用いて画像情報を生成することを特徴とする動
画像復号装置の構成を有する。

【００３７】請求項７に記載の発明に係る動画像符号化
装置は、請求項１に記載の動画像符号化装置において、
下位レイヤの合成に必要とする前記下位レイヤのフレー
ムの数が満足されない場合であって、前記下位レイヤの
部品領域を補間して得られるフレームを用いて画像情報
を生成することを特徴とする動画像符号化装置の構成を
有する。

【００３８】請求項８に記載の発明に係る動画像復号装
置は、請求項２に記載の動画像復号装置において、下位
レイヤの合成に必要とする前記下位レイヤのフレームの
数が満足されない場合であって、前記下位レイヤの部品
領域を補間して得られるフレームを用いて画像情報を生
成することを特徴とする動画像復号装置の構成を有す
る。

【００３９】請求項９に記載の発明に係る動画像符号化
装置は、請求項１、３、５、７の何れか１項に記載の動
画像符号化装置において、隣接する２枚の下位レイヤの
フレームの間に複数の上位レイヤのフレームが存在する
場合であって、前記複数の上位レイヤの何れかについて
背景として現れる下位レイヤの部品領域が所定のしきい
値よりも大きい場合に、前記複数の上位レイヤのすべて
に前記下位レイヤのフレームの合成を行うための部品領
域形状を符号化することを特徴とする動画像符号化装置
の構成を有する。

【００４０】請求項１０に記載の発明に係る動画像復号
装置は、請求項２、４、６、８の何れか１項に記載の動
画像復号装置において、隣接する２枚の下位レイヤのフ
レームの間に複数の上位レイヤのフレームが存在する場
合であって、前記複数の上位レイヤの何れかについて前
記下位レイヤのフレームの合成を行うための部品領域形
状が符号化されている場合に、前記複数の上位レイヤの
すべてについて下位レイヤを加重平均して得られるフレ
ームと前記下位レイヤのフレームとを合成して画像情報
を生成することを特徴とする動画像復号装置の構成を有
する。

【００４１】請求項１１に記載の発明に係る動画像符号
化装置は、請求項１、３、５、７、９の何れか１項に記
載の動画像符号化装置において、背景として現れる下位
レイヤの部品領域が所定のしきい値よりも小さい場合
に、下位レイヤの部品領域を用いて上位レイヤの部品領
域を拡張して画像情報の部品領域として生成することを
特徴とする動画像符号化装置の構成を有する。

【００４２】請求項１２に記載の発明に係る動画像復号
装置は、請求項２、４、６、８、１０の何れか１項に記
載の動画像復号装置において、背景として現れる下位レ
イヤの部品領域が所定のしきい値よりも小さい場合に、
下位レイヤの部品領域を用いて上位レイヤの部品領域を
拡張して画像情報の部品領域として生成することを特徴
とする動画像復号装置の構成を有する。

【００４３】請求項１３に記載の発明に係る動画像符号
化装置および動画像復号装置は、一つの動画像シーケン
スを低いフレームレートで符号化する下位レイヤと、前
記動画像シーケンスの１つもしくは複数の特定部品領域
のみを高いフレームレートで符号化する上位レイヤとに
分離し、上位レイヤまでの復号時に上位レイヤの部品領
域を下位レイヤに合成するために、上位レイヤのフレー
ム位置に対応する下位レイヤフレームが存在しない場合
には時間的に前後に存在する下位レイヤを用いて前記存
在しない下位レイヤフレームの合成を行い、前記合成に
当たっては時間的に前に存在する下位レイヤにある第１
部品領域情報と時間的に後に存在する下位レイヤにある
第２部品領域情報を用い、前記合成する下位レイヤフレ
ーム上で第１部品領域と第２部品領域が重なる領域もし
くは第１部品領域でも第２部品領域でもない領域に対し
ては時間的に前及び後に存在する下位レイヤフレームを
加重平均し、前記合成する下位レイヤフレーム上で第１
部品領域のみの領域に対しては時間的に後にある下位レ
イヤフレームを用い、前記合成する下位レイヤフレーム
上で第２部品領域のみの領域に対しては時間的に前にあ
る下位レイヤフレームを用いることにより前記存在しな
い下位レイヤフレームを合成する、動画像符号化装置お
よび動画像復号装置において、第１部品領域情報、第２
部品領域情報および上位レイヤの部品領域情報を用いて
前記合成を行なうかどうかを判定する判定手段を備え、
前記判定に当たっては、前記合成によって補間される背
景領域の大きさを求め、前記領域の大きさが所定のしき
い値を超えた場合には、前記下位レイヤフレームの合成
を行ない、所定のしきい値よりも小さい場合は、第１部
品領域形状情報、第２部品領域形状情報を用いずに時間
的に前及び後に存在する下位レイヤの加重平均により下
位フレームの合成を行うことを特徴とする動画像符号化
装置および動画像復号装置の構成を有する。

【００４４】請求項１４に記載の発明に係る動画像符号
化装置および動画像復号装置は、一つの動画像シーケン
スを低いフレームレートで符号化する下位レイヤと、前
記動画像シーケンスの１つもしくは複数の特定部品領域
のみを高いフレームレートで符号化する上位レイヤとに
分離し、上位レイヤまでの復号時には上位レイヤの部品
領域を下位レイヤに合成する動画像符号化装置および動
画像復号装置において、上位レイヤのフレーム位置に対
応する下位レイヤフレームが存在しない場合には時間的
に前後に存在する下位レイヤを用いて前記存在しない下
位レイヤフレームの合成を行い、前記合成に当たっては
時間的に前に存在する下位レイヤにある第１部品領域情
報と時間的に後に存在する下位レイヤにある第２部品領
域情報を用い、前記合成する下位レイヤフレーム上でま
ず、第１部品領域でも第２部品領域でもない領域に対し
ては時間的に前及び後に存在する下位レイヤフレームを
加重平均し、次に前記合成する下位レイヤフレーム上で
第１部品領域のみの領域に対しては時間的に後にある下
位レイヤフレームを用い、前記合成する下位レイヤフレ
ーム上で第２部品領域のみの領域に対しては時間的に前
にある下位レイヤフレームを用い、最後に第１部品領域
と第２部品領域が重なる領域に対しては、前記領域の周
囲の画素を用いて前記領域内部の画素値を補間すること
により前記存在しない下位レイヤフレームを合成するこ
とを特徴とする動画像符号化装置および動画像復号装置
の構成を有する。

【００４５】請求項１５に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１４の動画像符
号化装置および動画像復号装置において、第１部品領域
情報、第２部品領域情報および上位レイヤの部品領域情
報を用いて前記合成を行なうかどうかを判定する判定手
段を備え、前記判定に当たっては、前記合成によって補
間される背景領域の大きさを求め、前記領域の大きさが
所定のしきい値を超えた場合には、前記下位レイヤフレ
ームの合成を行ない、所定のしきい値より小さい場合に
は、第１部品領域形状情報、第２部品領域形状情報を用
いずに時間的に前及び後に存在する下位レイヤの加重平
均により下位フレームの合成を行うことを特徴とする動
画像符号化装置および動画像復号装置の構成を有する。

【００４６】請求項１６に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は１５に
記載の動画像符号化装置および動画像復号装置におい
て、下位レイヤフレーム合成の際に、前記合成によって
補間される背景領域の大きさとして、上位レイヤ部品領
域が下位レイヤの第１の部品領域及び第２の部品領域を
覆うことのできない領域の面積を用い、前記面積の大小
によって前記合成を行なうか否かを判定することを特徴
とした動画像符号化装置および動画像復号装置の構成を
有する。

【００４７】請求項１７に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は請求項
１５に記載の動画像符号化装置および動画像復号装置に
おいて、下位レイヤフレーム合成の際に、第１部品領域
と第２部品領域が重なる領域もしくは第１部品領域でも
第２部品領域でもない領域に対しては、前後に存在する
下位レイヤフレームのうち一方の下位レイヤフレームの
画素値を用い、前記合成によって補間される背景領域の
大きさとして、上位レイヤ部品領域と他方の下位レイヤ
部品領域が前記一方の下位レイヤ部品領域を覆うことの
できない領域の面積を用い、前記面積の大小によって前
記合成を行なうか否かを判定することを特徴とした動画
像符号化装置および動画像復号装置の構成を有する。

【００４８】請求項１８に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は請求項
１５に記載の動画像符号化装置および動画像復号装置に
おいて、下位レイヤフレーム合成の際に、前記合成によ
って補間される背景領域の大きさとして、上位レイヤ部
品領域が下位レイヤの第１の部品領域及び第２の部品領
域を覆うことのできない領域の面積を用い、前記面積が
所定のしきい値より大きい場合に、下位レイヤフレーム
の第１部品領域及び第２部品領域内部をそれぞれの領域
の周囲の画素を用いて補間し、これらの加重平均により
下位フレームを合成することを特徴とした動画像符号化
装置および動画像復号装置の構成を有する。

【００４９】請求項１９に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３から１８の
何れか１項に記載の動画像符号化装置および動画像復号
装置において、下位レイヤフレーム合成の際に、第１部
品領域と第２部品領域が重なる領域もしくは第１部品領
域でも第２部品領域でもない領域に対しては、前後に存
在する下位レイヤフレームのうち一方の下位レイヤフレ
ームの画素値を用い、前記合成に当たっては、一方の下
位レイヤ部品領域外部の画素については前記下位レイヤ
フレームの画素値を用い、前記一方の下位レイヤ部品領
域内部の画素については前記領域周囲の画素を用いて補
間することを特徴とした動画像符号化装置および動画像
復号装置の構成を有する。

【００５０】請求項２０に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は請求項
１５に記載の動画像符号化装置および動画像復号装置に
おいて、下位レイヤフレーム合成の際に、前記合成に用
いられる第１部品領域及び第２部品領域のお互いに重な
らない領域の大きさを求め、前記領域の大きさが所定の
しきい値より小さい場合に、前記第２部品領域を用いる
代わりに前記第１部品領域情報を第２部品領域情報とし
て代用し、これらを用いて下位フレームの合成を行なう
ことを特徴とした動画像符号化装置および動画像復号装
置の構成を有する。

【００５１】請求項２１に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は請求項
１５に記載の動画像符号化装置および動画像復号装置に
おいて、下位レイヤフレーム合成の際に、前記合成に用
いられる第１部品領域及び第２部品領域のお互いに重な
らない領域の面積を求め、前記面積が所定のしきい値よ
り小さい場合に、前記第２部品領域を用いずに前記第１
部品領域情報を第２部品領域情報として代用し、これら
を用いて下位フレームの合成を行なうことを特徴とした
動画像符号化装置および動画像復号装置の構成を有す
る。

【００５２】請求項２２に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３又は請求項
１５に記載の動画像符号化装置および動画像復号装置に
おいて、下位レイヤフレーム合成の際に、時間的に前に
存在する第１の下位レイヤ画像もしくは、時間的に後に
存在する第２の下位レイヤ画像のどちらか一方のうち第
１の下位レイヤ画像のみしか存在しない場合には、前記
第１の下位レイヤ画像の第１部品画像領域内部を前記領
域の周囲の画素を用いて補間し、逆に、第２の下位レイ
ヤ画像のみしか存在しない場合には、前記第２の下位レ
イヤ画像の第２部品画像領域内部を同様に補間したもの
を用いて下位フレームの合成を行なうことを特徴とする
動画像符号化装置および動画像復号装置の構成を有す
る。

【００５３】請求項２３に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３から２２の
何れか１項に記載の動画像符号化装置および動画像復号
装置において、隣接する２枚の下位レイヤフレームの間
に複数の上位レイヤフレームが存在する場合、各上位レ
イヤフレームにおいて下位レイヤフレームの合成を行う
か否かの判定を行い、前記判定の少なくとも一つが下位
レイヤフレームの合成を示す場合には、前記複数の上位
レイヤフレームの全てにおいて前記合成を行い、前記判
定が全て否を示す場合には、前記複数の上位レイヤフレ
ームの全てにおいて前記合成を行わないことを特徴とす
る動画像符号化装置および動画像復号装置の構成を有す
る。

【００５４】請求項２４に記載の発明に係る動画像符号
化装置および動画像復号装置は、請求項１３から２３の
何れか１項に記載の動画像符号化装置および動画像復号
装置において、下位レイヤフレームの合成を行わない場
合、上位レイヤの部品領域を膨張させ、前記膨張された
上位レイヤ部品領域が、前記合成によって補間される背
景補間領域を含むようにし、前記膨張された上位レイヤ
の部品領域と前記部品領域内の画素値を符号化すること
を特徴とする動画像符号化装置および動画像復号装置の
構成を有する。

【００５５】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明の動画像符号
化装置および動画像復号装置は、図１１に示す従来装置
の画像重畳部１１０５および１１１０に相当する部分に
特徴を有するものであって、下位レイヤフレームを合成
し、これに下位レイヤと上位レイヤを重畳する際に、上
位レイヤの選択領域の周辺に発生する残像のような画像
の歪みを視覚上抑制するものである。

【００５６】以下、本発明の第１の実施の形態について
説明する。本実施形態に係る動画像符号化装置および動
画像復号装置は、前述の第１の問題を解決するためのも
のであり、図１１に示す従来装置の構成において、重畳
部１１０５及び１１１０に代えて、図１に示す画像重畳
部を備えて構成される。

【００５７】この画像重畳部は、一つの動画像シーケン
スの上位レイヤに対応するフレームが下位レイヤ側に存
在しない場合、下位レイヤのフレームを補間し、この補
間により得られたフレームを背景として上位レイヤの部
品領域に重畳して補間画像（画像情報）を得るものであ
る。補間画像は上位レイヤの予測符号化／復号に用いら
れる。以下、この画像重畳部を中心に本実施形態の装置
を説明する。

【００５８】ここで、図１において、第１の領域抽出部
１０１は、下位レイヤの第１の領域情報及び下位レイヤ
の第２の領域情報から第１の領域でありかつ第２の領域
でない領域を抽出する。具体的には、図１３（ａ）にお
いて、第１の領域情報を点線で（点線内部が値０、点線
外部が値１を持つものとする）表し、同様に第２の領域
情報を破線で表すと、第１の領域抽出部１０１で抽出さ
れる領域は斜線部で表す領域となる。

【００５９】図１の第２の領域抽出部１０２は、下位レ
イヤの第１の領域情報及び下位レイヤの第２の領域情報
から第２の領域でありかつ第１の領域でない領域を抽出
する。図１３（ａ）の場合、網点部が抽出される。

【００６０】図１のコントローラ１０３は、第１の領域
抽出部１０１及び第２の領域抽出部１０２の出力により
スイッチ１０４を制御する部分である。すなわち、注目
画素位置が第１の領域のみの場合にはスイッチ１０４を
第２の復号画像側に接続し、注目画素位置が第２の領域
のみの場合にはスイッチ１０４を第１の復号側画像に接
続し、それ以外の場合にはスイッチ１０４を補間画像作
成部１０５からの出力に接続する。

【００６１】図１の補間画像作成部１０５は、下位レイ
ヤの第１の復号画像と下位レイヤの第２の復号画像との
補間画像を上記［従来の技術］で述べた式（１）に従っ
て計算する。ただし、式（１）でＢ（ｘ，ｙ，ｔ１）は
第１の復号画像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画
像、Ｉ（ｘ，ｙ，ｔ３）は復号画像であり、ｔ１，ｔ
２，ｔ３はそれぞれ第１の復号画像、第２の復号画像及
び補間画像の時間である。

【００６２】図１の加重平均部１０６は、前述の式
（２）に従って作成された補間画像と、上位レイヤの復
号画像を重畳する。図１の背景補間判定部１０７は、下
位レイヤ第１の領域情報、下位レイヤ第２の領域情報お
よび上位レイヤ領域情報の３種類の領域情報をもとに、
図１４（ｃ）の網点で示された上位レイヤが前記２つの
下位レイヤ領域を覆うことのできない領域（即ち、背景
として現れる下位レイヤの部品領域）の大小によって前
記残像のような歪みの発生を抑制する合成処理を行なう
か否かを判定する。

【００６３】前記領域が所定のしきい値よりも大きい場
合にはスイッチ１０８が左側（スイッチ１０４の出力
側）に接続し、合成処理して背景補間が行なわれる。即
ち、下位レイヤを加重平均して得られるフレームと下位
レイヤのフレームとを合成処理して背景補間し、上位レ
イヤを予測符号化／復号するための画像情報を生成す
る。

【００６４】一方、前記領域が所定のしきい値以下の場
合にはスイッチ１０８が右側（補間画像作成部１０５の
出力側）に接続し、補間画像作成部１０５の出力が上位
レイヤに合成される下位レイヤとして使用される。即
ち、補間画像作成部１０５は、下位レイヤを加重平均し
て得られる画像をスイッチ１０８を介して加重平均部１
０６に与える。

【００６５】そして、加重平均部１０６は、この画像を
背景として上位レイヤに重畳して、上位レイヤを予測符
号化／復号するための画像情報を生成する。この場合
（前記領域が所定のしきい値以下の場合）、本実施形態
の装置では、下位レイヤの第１の領域情報、第２の領域
情報ともに用いないため、これらの情報は符号化されな
い。これによって領域情報分の符号量を節約できる。

【００６６】図６は、図１の背景補間判定部１０７の構
成を示すブロック図である。本実施の形態では、前記合
成処理を行なうかどうかの判定を図１４（ｃ）の網点部
の大きさによって判定するものとするが、これを実現す
るための他の手法として、例えば前記領域の面積を用い
る方法を用いてもよい。図６に示す面積判定部６０１
は、前記面積を算出するものであって、図１４（ａ）の
画面Ａの部品領域（前景領域）をＦｒ（Ａ）、部品の背
景領域をＢｒ（Ａ）とした時、前記領域は、

【００６７】 ｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｂ） ・・・ （３） と表すことができる。ただし、この式中の’∪’は集合
の結びを、’∩’は、集合の交わりを表すものとする。

【００６８】また、前記領域の面積は、式（３）にて表
される領域の画素数で表すことができる。あるいは前記
面積は領域の画素数を画像全体の画素数で正規化する手
法も考えられる。また、前記面積の他に前記領域の周囲
の長さ、前記領域の外接四角形の面積などが考えられる
が、これらの値は前記面積の計算と同様に画面全体の画
素数、大きさなどを用いて正規化する必要がある。

【００６９】なお、図１４に例示するように、Ｆｒ
（Ａ）∩Ｆｒ（Ｃ）の領域（Ｆｒ（Ｄ）とする）が全て
Ｆｒ（Ｃ）に含まれている場合には、上式（３）を用い
て前記領域を求めればよいが、より一般的には、前記領
域は、 ｛｛Ｆｒ（Ａ）∪Ｆｒ（Ｃ）｝∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ）・・・（４） として表される。

【００７０】図６の比較判定部６０２は、面積測定部６
０１で得られた面積と予め定められたしきい値（所定の
しきい値）とを比較し、前記面積がしきい値より大きけ
れば、図１に示すスイッチ１０８はスイッチ１０４側に
接続され、前記合成処理を行なう。また、前記面積が、
しきい値より大きくなければ、スイッチ１０８は図１に
示す補間画像作成部１０５に接続され、前記合成処理を
行なわず、式（１）に従って計算された補間画像が加重
平均部１０６に与えられる。

【００７１】ここまでは、図１の補間画像作成部１０５
は、式（１）を用いて補間画像を作成するものとした
が、この補間画像を作成するかわりに、前後の下位レイ
ヤフレームの一方をそのまま補間画像作成部１０５の出
力としてもよい。例えば、２枚の下位レイヤの時間をそ
れぞれｔ１，ｔ２，上位レイヤの時間をｔ３（ただし、
ｔ１＜ｔ３＜ｔ２である）とすると、現在の上位レイヤ
フレームに時間的に近い下位レイヤフレームの画素を用
いる場合、補間画素Ｉ（ｘ，ｙ，ｔ３）を次式（５ａ）
または（５ｂ）によって計算する。

【００７２】ｔ３−ｔ１＜ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ１） ・・・ （５ａ） ｔ３−ｔ１＞ｔ２−ｔ３の場合 Ｉ（ｘ，ｙ，ｔ３）＝Ｂ（ｘ，ｙ，ｔ２） ・・・ （５ｂ）

【００７３】この場合、図１４（ｃ）の網点部で示した
歪み領域（すなわち背景補間によって補間される領域）
は図１６の網点部のようになる。従って、図１の背景補
間判定部１０７で判定に用いる領域としては，図１６の
網点部を用いることになる。式（３）と同じ記号を用い
れば前記領域（図１６の網点部）は、次式（６）で表さ
れる。 ｛ｒ（Ａ）∩Ｂｒ（Ｄ）｝∩Ｂｒ（Ｂ） ・・・ （６）

【００７４】ところで、背景部分が時間的に変化してい
ると、上記の手法では下位レイヤがうまく合成できない
場合がある。このような場合には、援用する図１４にお
いて、Ｂｒ（Ａ）の領域については画像Ｃの画素値をコ
ピーし、Ｆｒ（Ａ）の領域についてはＦｒ（Ａ）の周囲
の画素値を用いて画素値の補間を行って、簡易的に背景
を合成することができる。

【００７５】この手法を実現するための画像重畳部の構
成は、図１の２点鎖線で囲む構成を図１８に示す構成に
置き換えて得られる。ただし、上位レイヤ領域情報の入
力は無いものとする。ここで、図１８に示す選択部１８
０１は、２つの下位レイヤフレームの内、現在の上位レ
イヤフレームに近いものを選択する。選択部１８０１に
より選択された領域情報はコントローラ１８０２と補間
部１８０４に入力され、復号画像（画素情報）はスイッ
チ１８０３に入力される。コントローラ１８０２はスイ
ッチ１８０３を制御し、合成される下位レイヤの画像の
画素が、領域内部（例えばＦｒ（Ａ））であればダミー
データを、領域外部（例えばＢｒ（Ａ））であれば復号
画像の画素値を補間部１８０４に与える。

【００７６】この補間部１８０４は、領域内部の画素値
を周囲の画素値から補間によって求める。この補間処理
は、背景の情報（画素値）を用いて行なうため、補間領
域（領域内部）の画素値は背景画像のそれに近くなり視
覚的な画質低下が軽減される。具体的な補間手法とし
て、文献「ＭＰＥＧ４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａ
ｔｉｏｎ Ｍｏｄｅｌ Ｖｅｒｓｉｏｎ ２．０」（Ｉ
ＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９ ｎ１２６０，１９
９６）に示されたパディング手法がある。この他、背景
領域の画素値の平均値や、予め定めた一定の値を用いる
補間方法、或いはフラクタルを利用して背景領域のテク
スチャ情報を再現するような補間画像作成法などを用い
てもよい。

【００７７】次に、本発明の第２の実施の形態を説明す
る。これは、前述の第２の問題を解決するためのもので
あり、図２は、本実施の形態の装置が備える画像重畳部
の構成を示すブロック図である。なお、図２に示す第１
の領域抽出部１０１、第２の領域抽出部１０２、コント
ローラ１０３、スイッチ１０４、補間画像作成部１０
５、加重平均部１０６は、図１に示すものと同様である
ので、これらの詳細な説明は省略する。

【００７８】図２の第３の領域抽出部２０７は、下位レ
イヤの第１の領域と第２の領域が交わる領域（即ち、背
景として現れる下位レイヤの部品領域の重なり領域）を
抽出する。図１３（ａ）の例では点線と破線で囲まれた
白色領域がこれに相当する。

【００７９】図２の画素値補間部２０８は、第３の領域
抽出部２０７にて抽出された領域の補間を行なう。即
ち、画素値補間部２０８は、コントローラ１０３とスイ
ッチ１０４によって作成された合成画素に対し、前記領
域（重なり領域）内の画素値をその周辺部に隣接する情
報（即ち、背景として現れる下位レイヤの部品領域の重
なり領域の周囲の画素値）を元に補間していく。これに
より、上位レイヤを予測符号化／復号するための画像情
報を生成する。この補間処理は、既に説明した図１８に
示す補間部１８０４の処理と同様である。

【００８０】次に、本発明の第３の実施の形態について
説明する。本実施形態の装置は、前述した第１及び第２
の課題を解決するためのものであり、前述の第２の実施
の形態に、第１の実施の形態で述べた適応的な背景補間
判定装置を組み込んで構成される。

【００８１】図３は、第３の実施形態の装置が備える画
像重畳部の構成を示すブロック図である。図３の第１の
領域抽出部１０１、第２の領域抽出部１０２、コントロ
ーラ１０３、スイッチ１０４、補間画像作成部１０５、
背景補間判定部１０８、加重平均部１０６、スイッチ１
１０は、図１に示すものと同様に動作し、また同様に、
第３の領域抽出部２０７、画素値補間部２０８は、図２
に示すものと同様に動作するものものであるため、ここ
での説明は省略する。

【００８２】このように、本実施形態の装置は、前述の
第１及び第２の実施形態の装置の構成を併せ持つことに
より、動きが小さく補間の効果が見られない場合の無駄
な形状情報の符号化が避けられるだけでなく、上位レイ
ヤの部品領域が往復するような（折り返すような）動き
をするために生じる画質低下を軽減できる。

【００８３】次に、本発明の第４の実施の形態について
説明する。これは、前述の第１、第２及び第４の問題を
解決するためのものであって、図４は本実施形態の装置
が備える画像重畳部の構成を示すブロック図である。

【００８４】ここで、図４の第１の画素値補間部４０１
は、下位レイヤの第１の復号画像中の第１の部品領域を
図２の画素値補間部２０８と同様に補間する。同様に、
図４の第２の画素値補間部４０２は、下位レイヤの第２
の復号画像中の第２の部品領域の補間を行なう。具体的
な動作の説明は図２の画素値補間部２０８の説明で既に
なされているので、ここでは省略する。

【００８５】図４の第１の補間画像作成部は４０３は、
第１の画素値補間部４０１と第２の画素値補間部４０２
の出力を前述のた式（１）に従って補間する。一方、図
４の第２の補間画像作成部４０４は、下位レイヤの第１
の復号画像と第２の復号画像を４０３と同様に式（１）
に従って補間する。いずれも、図１の補間画像作成部１
０５と全く同様の動作をするので、ここでの説明は省略
する。また、加重平均部及びスイッチは図１に示すもの
と同様である。

【００８６】図４の背景補間判定部４０７は、図１の背
景補間作成部１０７と同様に合成処理を行なうかどうか
を判定する部分であり、この判定に基づいて加重平均部
１０６に与える背景画像（上位レイヤに重畳する下位レ
イヤ）を定める。即ち、背景補間判定部４０７が、背景
として現れる下位レイヤの部品領域が所定のしきい値よ
りも大きいと判定した場合、加重平均部１０６は、下位
レイヤの部品領域の周囲の画素値を第１の補間画像作成
部４０３から入力し、これを用いて部品領域の内部の画
素値を補間して画像情報を生成する。

【００８７】また、背景補間判定部４０７が、背景とし
て現れる前記部品領域が前記所定のしきい値よりも小さ
いと判定した場合、加重平均部１０６は、下位レイヤを
加重平均して得られる画像を第２の補間画像作成部４０
４から入力し、これを用いて部品領域の内部の画素値を
補間して画像情報を生成する。本発明は、従来例での合
成処理を簡略化したもので、これによって大きな画質の
低下を招かずにハードウェアの規模を小さくすることか
できる。

【００８８】なお、本実施形態の図４に示す第２の補間
画像作成部４０４は、式（１）に従って補間を行うもの
としたが、式（５）に従って、現在の上位レイヤフレー
ムに時間的に近い下位レイヤフレームの画素を用いて補
間するものとして構成してもよい。即ち、例えば時間的
に前の下位レイヤフレームが時間的に近い場合、背景補
間判定部４０７は、式（６）で表される領域をもとに背
景補間を行うかどうかの判定を行う。また、図４の第１
の補間画像作成部は４０３は第１の画素値補間部４０１
で作成された画像をそのまま出力する。

【００８９】次に、本発明の第５の実施の形態について
説明する。本実施形態の装置は、前述の第１の問題を解
決するためのものであって、下位レイヤの第１の部品領
域と第２の部品領域の位置及び形状の差が小さい場合
に、第２の部品領域を第１の部品領域に置き換えること
によって、第２の部品領域情報に要する符号量を削減す
るものである。

【００９０】本実施形態の装置が備える画像重畳部は、
図１から図４に示す構成において、下位レイヤの第１の
領域情報及び第２の領域情報の入力部に図５に示す構成
要素をさらに備えて構成される。

【００９１】ここで、図５の比較部５０１は、下位レイ
ヤの２つの領域情報の違いを判定する部分である。下位
レイヤの部品画像があまり動かず、これを表す領域情報
の変化が小さければ、下位レイヤの第２の領域情報を利
用する代わりに、図５のスイッチ５０２が上側と接続
し、下位レイヤの第１の領域情報が出力され、符号化す
る必要のある領域情報を１つ減らす。また、下位レイヤ
の部品領域が大きく動く場合には、スイッチは下側に接
続し、それぞれの領域情報が出力される。領域情報の変
化の判断材料としては、例えば図９に示す斜線部の面積
を用いてもよい。

【００９２】次に、本発明の第６の実施の形態を説明す
る。本実施形態の装置は、前述の第３の問題を解決する
ためのものであり、図７は、本実施形態の装置を構成す
る画像重畳部の構成を示すブロック図である。同図に示
すように、本装置が備える画像重畳部は、図１に示す第
１の実施形態の構成において、さらに、存在判定部７０
９、第３の補間画像作成部７１１、スイッチ７１１、７
１２を備えて構成される。

【００９３】なお、図７の第１の領域抽出部１０１、第
２の領域抽出部１０２、加重平均部１０６、スイッチ１
０８の動作は、図１に示すものと同様であるので、ここ
での説明は省略する。また、コントローラ７０３、スイ
ッチ７０４、補間画像作成部７０５は、それぞれ図１の
コントローラ１０３、スイッチ１０４、補間画像作成部
１０５に対応する。

【００９４】先ず、背景補間判定部７０７が、背景とし
て現れる前記下位レイヤの部品領域が所定のしきい値よ
りも大きいと判断した場合、スイッチ１０８は左側（ス
イッチ７０４の出力）に接続する。そして、図７の存在
判定部７０９は、下位レイヤの第１の復号画像及び第２
の復号画像が存在するかどうか、即ち、背景補間に必要
とする下位レイヤのフレームの数が満足されているかど
うかの判定を行なう。

【００９５】ここで、存在判定部７０９が、一方の復号
画像が入力されてないと判断した場合、コントローラ７
０３を通してスイッチ７０４を最も左（第３の補間画像
作成部７１１の出力）に接続する。同時にスイッチ７１
１及びスイッチ７１２を、存在する方の復号画像及びそ
れに対応する領域情報が第３の補間画像作成部７１０に
入力されるよう接続する。例えば、時間的に後の復号画
像である第２の復号画像が存在しない場合には、第１の
復号画像と第１の領域情報が入力されるようにスイッチ
が接続される。

【００９６】次に、図７の第３の補間画像作成部７１０
は、図２の画素値補間部２０８と同様の動作により、復
号画像の内部の部品領域をその周囲の画素値を用いて補
間処理を行なう。存在判定部７０９にて一方の入力が無
いと判定されている場合には、スイッチ７０４が最も左
に接続されているため、この場合第３の補間画像作成部
７１０の出力が画像フレームの重畳に使用される。

【００９７】図７の補間画像作成部７０５及び背景補間
判定部７０７は、一方の入力が無い場合がある。この場
合、補間画像作成部７０７は、入力された下位レイヤの
部品領域のうち上位レイヤの部品領域が覆うことのでき
ない領域の大きさを用いて背景補間を行なうか判定す
る。また、補間画像作成部７０５は補間を行なわず、復
号画像をそのまま出力する。

【００９８】以上説明した第１から第６の実施の形態で
は、背景補間を行うかどうかの判定を各々の上位レイヤ
フレームについて行うものとしたが、連続した２枚の下
位レイヤフレームの間に複数の上位レイヤフレームが存
在する場合には、以下のようにして背景補間を行うもの
として構成してもよい。

【００９９】すなわち、上記複数の上位レイヤフレーム
（下位レイヤ側に対応するフレームが存在しない上位レ
イヤフレーム）の各々に対して背景補間を行うか否かの
判定を一旦行い、各々の判定結果が全て背景補間を行わ
ないことを示すものである場合には、上記複数の上位レ
イヤフレームの全てについて背景補間を行わない。この
場合、上位レイヤフレームは前後の２枚の下位レイヤフ
レームの補間画像に重畳されるか、あるいは時間的に近
い下位レイヤフレームに重畳される。

【０１００】また、少なくとも一枚の上位レイヤフレー
ムについて背景補間を行う判定が下された場合（複数の
上位レイヤの何れかについて背景として現れる下位レイ
ヤの部品領域が所定のしきい値よりも大きい場合）に
は、上記複数の上位レイヤフレームの全てについて、背
景補間によって合成された下位レイヤフレームを重畳す
る。

【０１０１】具体的には、前記複数の上位レイヤのすべ
てについて、下位レイヤを加重平均して得られるフレー
ムと下位レイヤのフレームとを合成して画像情報を生成
する。この場合、前記複数の上位レイヤのフレームの
内、例えば時間的に最初のフレームに対してのみ背景補
間を行って下位レイヤのフレームを合成し、残りの上位
レイヤフレームについては、最初の上位レイヤフレーム
に対して合成された下位レイヤフレームをそのまま用い
ればよい。

【０１０２】また、第１から第６の実施の形態の装置で
は、図１４（ｃ）や図１６に網点部で示される画像の歪
みが大きい場合に、背景補間によってこの歪みを除去す
る。しかし、画像の歪みが小さい場合には背景補間を行
わず、この画像の歪みはわずかながら存在する。この場
合の画像の歪みは視覚的に目立つものではないが、次の
ようにして、この歪みを視覚上全く発生させないように
することができる。

【０１０３】すなわち、上位レイヤの符号化を行う際
に、上位レイヤの部品領域と共に、図１４（ｃ）や図１
６の網点部で示す下位レイヤの部品領域も符号化する。
このために、上位レイヤの部品領域を図１４（ｃ）や図
１６の斜線部と網点部を両方含むように変更する（拡張
／膨張させる）。

【０１０４】図１７は、この部品領域の変更の処理を行
うための領域変換部のブロック図である。この領域変換
部は、下位レイヤの部品領域を用いて上位レイヤの部品
領域を拡張し、これを画像情報の部品領域として生成す
ることにより、図１１に示す上位レイヤ符号化部１１０
３に与えられる領域情報を変換する。

【０１０５】ここで、図１７に示す領域変換部の各構成
要素の動作について説明する。同図において、スイッチ
１７０１は、領域情報を上位レイヤの領域情報と下位レ
イヤの領域情報とに分離する。図１７のメモリ１７０２
は下位レイヤの領域情報を一時記憶する。領域統合部１
７０３は上位レイヤの領域情報に下位レイヤの領域情報
の一部を統合して新たな領域情報を作成する。

【０１０６】具体的には、例えば、図１の補間画像作成
部１０５は、式（１）に従って補間画像を作成する場
合、図１４（ｃ）の網点部を上位レイヤの領域情報に統
合して新たな領域情報を作成する。また、補間画像作成
部１０５を、式（５）に従って時間的に近い下位レイヤ
を選択して補間画像を作成するものして構成した場合に
は、図１６の網点部が上位レイヤの領域情報に統合され
る。

【０１０７】次に、図１７のスイッチ１７０４は背景補
間を行うときは上側（上位レイヤ領域情報）に、行わな
いときは下側（領域統合部１７０３の出力）に接続され
る。また、スイッチ１７０５はスイッチ１７０１と同期
して、上位レイヤ領域情報が処理されているときは上側
に接続され、下位レイヤ領域情報が処理されているとき
には下側に接続される。このように、背景補間が行われ
ない場合には、上位レイヤの領域情報を変更して膨張／
拡張させることにより、画像の歪みを発生させないよう
にすることができる。

【０１０８】

【発明の効果】以上の説明から明らかなように、本発明
によれば、以下のような効果を得ることができる。 （１）下位レイヤおよび上位レイヤ画像中の部品領域が
あまり動かず、背景補間を行なっても視覚的にその効果
が得られない場合には背景補間を行なわず、逆に、部品
領域が大きく動いた場合には背景補間を行なうことによ
り、背景補間のための形状情報を削減でき、その分の高
画質化を達成できる。

【０１０９】（２）下位レイヤ及び上位レイヤ画像中の
部品画像が、一方向へ動く代わりに往復運動や折り返し
運動、或いは方向転換運動などをする場合に、下位レイ
ヤの部品画像領域が重なる領域に対してその周囲の画素
値を用いて補間することにより視覚的な画質低下を軽減
できる。

【０１１１】（３）符号化する上位レイヤの画像に対し
て時間的に前後する下位レイヤが存在しない場合に、存
在する下位レイヤのみを用いて部品画像領域をその周囲
の画素値を用いて補間することにより、見かけ上の画質
低下を軽減できる。

【０１１２】（４）部品画像領域の補間処理に使用する
画面を領域毎に切替えずに、部品画像領域の周囲の画素
値を用いて補間するという簡略化により、ハードウェア
の規模を小さくすることができる。

【０１１３】（５）連続した２枚の下位レイヤフレーム
の間に複数の上位レイヤフレームが存在する場合に、背
景補間を行うに際し、上記複数の上位レイヤフレームの
最初の上位レイヤフレームに対してのみ背景補間を行う
ことによって、背景補間の処理量及び、背景補間に必要
な下位レイヤの部品領域情報の符号量を少なくすること
ができる。

【０１１４】（６）背景補間を行わない場合に、上位レ
イヤを符号化するにあたって、上位レイヤの部品領域と
共に背景補間によって補間される領域を符号化すること
によって、背景補間を行わないために生じる画像の歪み
を視覚上発生させないようにすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図２】本発明の第２の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図３】本発明の第３の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図４】本発明の第４の実施形態に係る動画像符号化装
置および動画像復号装置が備える画像重畳部の構成を示
すブロック図である。

【図５】本発明の第５の実施形態に係る動画像符号化装
置および動画像復号装置が備える領域情報変換部の構成
を示すブロック図である。

【図６】本発明の第１の実施形態に係る装置の画像重畳
部が備える背景補間判定部の構成を示すブロック図であ
る。

【図７】本発明の第６の実施形態に係る装置が備える画
像重畳部の構成を示すブロック図である。

【図８】従来の装置の問題を説明するための図である。

【図９】本発明の技術の第５の実施形態に係る装置の動
作を説明するための図である。

【図１０】従来の装置の問題を説明するための図であ
る。

【図１１】動画像符号化装置および動画像復号装置の構
成を示すブロック図である。

【図１２】従来の装置が備える画像重畳部の構成を示す
ブロック図である。

【図１３】（ａ）及び（ｂ）は、従来の装置が備える画
像重畳部の動作を説明するための図である。

【図１４】（ａ）〜（ｃ）は、従来の装置が備える画像
重畳部の問題を説明する図である。

【図１５】動画像符号化装置および動画像復号装置にお
けるフレーム合成の概念を説明するための図である。

【図１６】第１の実施形態に係る装置の画像重畳部が備
える補間画像作成部の動作を説明するための図である。

【図１７】本発明の実施形態に係る装置が備える領域情
報変換部の構成を示すブロック図である。

【図１８】本発明の実施形態に係る装置が備える画像重
畳部の他の構成を示すブロック図である。

【符号の説明】

１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３，７０３，１８０２ コントローラ １０４，１０８，５０２，７０４，７１１，７１２ ス
イッチ １０５，７０５ 補間画像作成部 １０６ 加重平均部 １０７，４０７，７０７ 背景補間判定部 ２０７ 第３の領域抽出部 ２０８ 画素値補間部 ３０５，４０３ 第１の補間画像作成部 ４０１ 第１の画素補間部 ４０２ 第２の画素補間部 ４０４ 第２の補間画像作成部 ５０１ 領域比較部 ６０１ 面積測定部 ６０２ 比較判定部 ７０９ 存在判定部 ７１０ 第３の補間画像作成部 １７０２ メモリ １７０３ 領域統合部 １８０１ 選択部 １８０４ 補間部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (24)

【特許請求の範囲】
1. 【請求項１】 一つの動画像シーケンスを低いフレーム
   レートの下位レイヤと高いフレームレートの上位レイヤ
   とに分離し、前記上位レイヤに対応するフレームが存在
   しないことを条件として前記下位レイヤの合成を行うた
   めの部品領域形状を符号化し、前記上位レイヤを予測符
   号化する動画像符号化装置であって、 前記背景として現れる前記下位レイヤの部品領域が所定
   のしきい値よりも大きい場合に、前記部品領域形状を符
   号化し、前記下位レイヤを加重平均して得られるフレー
   ムと前記下位レイヤのフレームとを合成して画像情報を
   生成し、前記背景として現れる前記領域が前記所定のし
   きい値よりも小さい場合に、前記部品領域形状を符号化
   せずに、前記下位レイヤを加重平均して前記画像情報を
   生成することを特徴とする動画像符号化装置。
2. 【請求項２】 高いフレームレートの上位レイヤに対応
   するフレームが存在しないことを条件として低いフレー
   ムレートの下位レイヤの合成を行い、前記上位レイヤを
   予測復号し、予測復号された前記上位レイヤを前記下位
   レイヤに重畳して一つの動画像シーケンスに復号する動
   画像復号装置であって、 部品領域形状が符号化されている場合に、前記部品領域
   形状を復号し、前記下位レイヤを加重平均して得られる
   フレームと前記下位レイヤのフレームとを合成して画像
   情報を生成し、前記部品領域形状が符号化されていない
   場合に、前記下位レイヤを加重平均して前記画像情報を
   生成することを特徴とする動画像符号化装置。
3. 【請求項３】 一つの動画像シーケンスを低いフレーム
   レートの下位レイヤと高いフレームレートの上位レイヤ
   とに分離し、前記上位レイヤに対応するフレームが存在
   しないことを条件として前記下位レイヤの合成を行うた
   めの部品領域形状を符号化し、前記上位レイヤを予測符
   号化する動画像符号化装置であって、 背景として現れる領域の周囲の画素値を用いて重なり領
   域の内部の画素値を補間して画像情報を生成することを
   特徴とする動画像符号化装置。
4. 【請求項４】 高いフレームレートの上位レイヤに対応
   するフレームが存在しないことを条件として低いフレー
   ムレートの下位レイヤの合成を行い、前記上位レイヤを
   予測復号し、予測復号された前記上位レイヤを前記下位
   レイヤに重畳して一つの動画像シーケンスに復号する動
   画像復号装置であって、 背景として現れる領域の周囲の画素値を用いて重なり領
   域の内部の画素値を補間して画像情報を生成することを
   特徴とする動画像復号装置。
5. 【請求項５】 請求項１に記載の動画像符号化装置にお
   いて、下位レイヤの部品領域の周囲の画素値を用いて該
   部品領域の内部の画素値を補間し、前記補間された下位
   レイヤのフレームを用いて画像情報を生成することを特
   徴とする動画像符号化装置。
6. 【請求項６】 請求項２に記載の動画像復号装置におい
   て、下位レイヤの部品領域の周囲の画素値を用いて該部
   品領域の内部の画素値を補間し、前記補間された下位レ
   イヤのフレームを用いて画像情報を生成することを特徴
   とする動画像復号装置。
7. 【請求項７】 請求項１に記載の動画像符号化装置にお
   いて、下位レイヤの合成に必要とする前記下位レイヤの
   フレームの数が満足されない場合であって、 前記下位レイヤの部品領域を補間して得られるフレーム
   を用いて画像情報を生成することを特徴とする動画像符
   号化装置。
8. 【請求項８】 請求項２に記載の動画像復号装置におい
   て、下位レイヤの合成に必要とする前記下位レイヤのフ
   レームの数が満足されない場合であって、 前記下位レイヤの部品領域を補間して得られるフレーム
   を用いて画像情報を生成することを特徴とする動画像復
   号装置。
9. 【請求項９】 請求項１、３、５、７の何れか１項に記
   載の動画像符号化装置において、隣接する２枚の下位レ
   イヤのフレームの間に複数の上位レイヤのフレームが存
   在する場合であって、 前記複数の上位レイヤの何れかについて背景として現れ
   る下位レイヤの部品領域が所定のしきい値よりも大きい
   場合に、前記複数の上位レイヤのすべてに前記下位レイ
   ヤのフレームの合成を行うための部品領域形状を符号化
   することを特徴とする動画像符号化装置。
10. 【請求項１０】 請求項２、４、６、８の何れか１項に
    記載の動画像復号装置において、隣接する２枚の下位レ
    イヤのフレームの間に複数の上位レイヤのフレームが存
    在する場合であって、 前記複数の上位レイヤの何れかについて前記下位レイヤ
    のフレームの合成を行うための部品領域形状が符号化さ
    れている場合に、前記複数の上位レイヤのすべてについ
    て下位レイヤを加重平均して得られるフレームと前記下
    位レイヤのフレームとを合成して画像情報を生成するこ
    とを特徴とする動画像復号装置。
11. 【請求項１１】 請求項１、３、５、７、９の何れか１
    項に記載の動画像符号化装置において、 背景として現れる下位レイヤの部品領域が所定のしきい
    値よりも小さい場合に、下位レイヤの部品領域を用いて
    上位レイヤの部品領域を拡張して画像情報の部品領域と
    して生成することを特徴とする動画像符号化装置。
12. 【請求項１２】 請求項２、４、６、８、１０の何れか
    １項に記載の動画像復号装置において、 背景として現れる下位レイヤの部品領域が所定のしきい
    値よりも小さい場合に、下位レイヤの部品領域を用いて
    上位レイヤの部品領域を拡張して画像情報の部品領域と
    して生成することを特徴とする動画像復号装置。
13. 【請求項１３】 一つの動画像シーケンスを低いフレー
    ムレートで符号化する下位レイヤと、前記動画像シーケ
    ンスの１つもしくは複数の特定部品領域のみを高いフレ
    ームレートで符号化する上位レイヤとに分離し、上位レ
    イヤまでの復号時に上位レイヤの部品領域を下位レイヤ
    に合成するために、上位レイヤのフレーム位置に対応す
    る下位レイヤフレームが存在しない場合には時間的に前
    後に存在する下位レイヤを用いて前記存在しない下位レ
    イヤフレームの合成を行い、前記合成に当たっては時間
    的に前に存在する下位レイヤにある第１部品領域情報と
    時間的に後に存在する下位レイヤにある第２部品領域情
    報を用い、前記合成する下位レイヤフレーム上で第１部
    品領域と第２部品領域が重なる領域もしくは第１部品領
    域でも第２部品領域でもない領域に対しては時間的に前
    及び後に存在する下位レイヤフレームを加重平均し、前
    記合成する下位レイヤフレーム上で第１部品領域のみの
    領域に対しては時間的に後にある下位レイヤフレームを
    用い、前記合成する下位レイヤフレーム上で第２部品領
    域のみの領域に対しては時間的に前にある下位レイヤフ
    レームを用いることにより前記存在しない下位レイヤフ
    レームを合成する、動画像符号化装置および動画像復号
    装置において、 第１部品領域情報、第２部品領域情報および上位レイヤ
    の部品領域情報を用いて前記合成を行なうかどうかを判
    定する判定手段を備え、前記判定に当たっては、前記合
    成によって補間される背景領域の大きさを求め、前記領
    域の大きさが所定のしきい値を超えた場合には、前記下
    位レイヤフレームの合成を行ない、所定のしきい値より
    も小さい場合は、第１部品領域形状情報、第２部品領域
    形状情報を用いずに時間的に前及び後に存在する下位レ
    イヤの加重平均により下位フレームの合成を行うことを
    特徴とする動画像符号化装置および動画像復号装置。
14. 【請求項１４】 一つの動画像シーケンスを低いフレー
    ムレートで符号化する下位レイヤと、前記動画像シーケ
    ンスの１つもしくは複数の特定部品領域のみを高いフレ
    ームレートで符号化する上位レイヤとに分離し、上位レ
    イヤまでの復号時には上位レイヤの部品領域を下位レイ
    ヤに合成する動画像符号化装置および動画像復号装置に
    おいて、 上位レイヤのフレーム位置に対応する下位レイヤフレー
    ムが存在しない場合には時間的に前後に存在する下位レ
    イヤを用いて前記存在しない下位レイヤフレームの合成
    を行い、前記合成に当たっては時間的に前に存在する下
    位レイヤにある第１部品領域情報と時間的に後に存在す
    る下位レイヤにある第２部品領域情報を用い、前記合成
    する下位レイヤフレーム上でまず、第１部品領域でも第
    ２部品領域でもない領域に対しては時間的に前及び後に
    存在する下位レイヤフレームを加重平均し、次に前記合
    成する下位レイヤフレーム上で第１部品領域のみの領域
    に対しては時間的に後にある下位レイヤフレームを用
    い、前記合成する下位レイヤフレーム上で第２部品領域
    のみの領域に対しては時間的に前にある下位レイヤフレ
    ームを用い、最後に第１部品領域と第２部品領域が重な
    る領域に対しては、前記領域の周囲の画素を用いて前記
    領域内部の画素値を補間することにより前記存在しない
    下位レイヤフレームを合成することを特徴とする動画像
    符号化装置および動画像復号装置。
15. 【請求項１５】 請求項１４の動画像符号化装置および
    動画像復号装置において、第１部品領域情報、第２部品
    領域情報および上位レイヤの部品領域情報を用いて前記
    合成を行なうかどうかを判定する判定手段を備え、前記
    判定に当たっては、前記合成によって補間される背景領
    域の大きさを求め、前記領域の大きさが所定のしきい値
    を超えた場合には、前記下位レイヤフレームの合成を行
    ない、所定のしきい値より小さい場合には、第１部品領
    域形状情報、第２部品領域形状情報を用いずに時間的に
    前及び後に存在する下位レイヤの加重平均により下位フ
    レームの合成を行うことを特徴とする動画像符号化装置
    および動画像復号装置。
16. 【請求項１６】 請求項１３又は１５に記載の動画像符
    号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、前記合成によって補間
    される背景領域の大きさとして、上位レイヤ部品領域が
    下位レイヤの第１の部品領域及び第２の部品領域を覆う
    ことのできない領域の面積を用い、前記面積の大小によ
    って前記合成を行なうか否かを判定することを特徴とし
    た動画像符号化装置および動画像復号装置。
17. 【請求項１７】 請求項１３又は請求項１５に記載の動
    画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、第１部品領域と第２部
    品領域が重なる領域もしくは第１部品領域でも第２部品
    領域でもない領域に対しては、前後に存在する下位レイ
    ヤフレームのうち一方の下位レイヤフレームの画素値を
    用い、前記合成によって補間される背景領域の大きさと
    して、上位レイヤ部品領域と他方の下位レイヤ部品領域
    が前記一方の下位レイヤ部品領域を覆うことのできない
    領域の面積を用い、前記面積の大小によって前記合成を
    行なうか否かを判定することを特徴とした動画像符号化
    装置および動画像復号装置。
18. 【請求項１８】 請求項１３又は請求項１５に記載の動
    画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、前記合成によって補間
    される背景領域の大きさとして、上位レイヤ部品領域が
    下位レイヤの第１の部品領域及び第２の部品領域を覆う
    ことのできない領域の面積を用い、前記面積が所定のし
    きい値より大きい場合に、下位レイヤフレームの第１部
    品領域及び第２部品領域内部をそれぞれの領域の周囲の
    画素を用いて補間し、これらの加重平均により下位フレ
    ームを合成することを特徴とした動画像符号化装置およ
    び動画像復号装置。
19. 【請求項１９】 請求項１３から１８の何れか１項に記
    載の動画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、第１部品領域と第２部
    品領域が重なる領域もしくは第１部品領域でも第２部品
    領域でもない領域に対しては、前後に存在する下位レイ
    ヤフレームのうち一方の下位レイヤフレームの画素値を
    用い、前記合成に当たっては、一方の下位レイヤ部品領
    域外部の画素については前記下位レイヤフレームの画素
    値を用い、前記一方の下位レイヤ部品領域内部の画素に
    ついては前記領域周囲の画素を用いて補間することを特
    徴とした動画像符号化装置および動画像復号装置。
20. 【請求項２０】 請求項１３又は請求項１５に記載の動
    画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、前記合成に用いられる
    第１部品領域及び第２部品領域のお互いに重ならない領
    域の大きさを求め、前記領域の大きさが所定のしきい値
    より小さい場合に、前記第２部品領域を用いる代わりに
    前記第１部品領域情報を第２部品領域情報として代用
    し、これらを用いて下位フレームの合成を行なうことを
    特徴とした動画像符号化装置および動画像復号装置。
21. 【請求項２１】 請求項１３又は請求項１５に記載の動
    画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、前記合成に用いられる
    第１部品領域及び第２部品領域のお互いに重ならない領
    域の面積を求め、前記面積が所定のしきい値より小さい
    場合に、前記第２部品領域を用いずに前記第１部品領域
    情報を第２部品領域情報として代用し、これらを用いて
    下位フレームの合成を行なうことを特徴とした動画像符
    号化装置および動画像復号装置。
22. 【請求項２２】 請求項１３又は請求項１５に記載の動
    画像符号化装置および動画像復号装置において、 下位レイヤフレーム合成の際に、時間的に前に存在する
    第１の下位レイヤ画像もしくは、時間的に後に存在する
    第２の下位レイヤ画像のどちらか一方のうち第１の下位
    レイヤ画像のみしか存在しない場合には、前記第１の下
    位レイヤ画像の第１部品画像領域内部を前記領域の周囲
    の画素を用いて補間し、逆に、第２の下位レイヤ画像の
    みしか存在しない場合には、前記第２の下位レイヤ画像
    の第２部品画像領域内部を同様に補間したものを用いて
    下位フレームの合成を行なうことを特徴とする動画像符
    号化装置および動画像復号装置。
23. 【請求項２３】 請求項１３から２２の何れか１項に記
    載の動画像符号化装置および動画像復号装置において、 隣接する２枚の下位レイヤフレームの間に複数の上位レ
    イヤフレームが存在する場合、各上位レイヤフレームに
    おいて下位レイヤフレームの合成を行うか否かの判定を
    行い、前記判定の少なくとも一つが下位レイヤフレーム
    の合成を示す場合には、前記複数の上位レイヤフレーム
    の全てにおいて前記合成を行い、前記判定が全て否を示
    す場合には、前記複数の上位レイヤフレームの全てにお
    いて前記合成を行わないことを特徴とする動画像符号化
    装置および動画像復号装置。
24. 【請求項２４】 請求項１３から２３の何れか１項に記
    載の動画像符号化装置および動画像復号装置において、 下位レイヤフレームの合成を行わない場合、上位レイヤ
    の部品領域を膨張させ、前記膨張された上位レイヤ部品
    領域が、前記合成によって補間される背景補間領域を含
    むようにし、前記膨張された上位レイヤの部品領域と前
    記部品領域内の画素値を符号化することを特徴とする動
    画像符号化装置および動画像復号装置。