JP2000324491A - 動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】任意形状の画像符号化において、従来の長方形
の画像と同等の誤り耐性を実現することを目的とする。 【解決手段】入力された動画像を符号化する符号化手段
101と、この符号化手段での符号化情報から重要情報を
取り出す重要情報再構成手段102と、同期信号を発生す
る同期信号発生手段103と、符号化手段により符号化さ
れたビット列に同期発生手段から出力された同期信号と
重要情報再構成手段により再構成された重要情報を加え
ビット列を再構成するビット列再構成手段104とを具備
することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された動画
像／静止画像をＩＳＤＮ（Integrated ServicesDigital
Network ）やインターネット等の有線通信網、あるい
はＰＨＳ（登録商標）や衛星通信等の無線通信網を用い
て伝送する情報伝送方式およびその方法が適用される情
報伝送システムにおける符号化／復号化装置に関する。

【０００２】

【従来の技術】近年、画像をはじめとする各種情報のデ
ィジタル符号化技術および広帯域ネットワーク技術の進
展により、これらを利用したアプリケーションの開発が
盛んになっており、圧縮符号化した画像などを、通信網
を利用して伝送するシステムが開発されている。

【０００３】例えば、テレビ電話、テレビ会議システ
ム、ディジタルテレビ放送においては、動画像や音声を
それぞれ少ない情報量に圧縮符号化し、それら圧縮され
た動画像符号列、音声符号列や他のデータ符号列を多重
化して一つの符号列にまとめて伝送／蓄積する技術が用
いられている。

【０００４】動画像信号の圧縮符号化技術としては動き
補償、離散コサイン変換（ＤＣＴ）、サブバンド符号
化、ピラミッド符号化、可変長符号化等の技術や、これ
らを組み合わせた方式が開発されている。また、動画像
符号化の国際標準方式としてはＩＳＯ ＭＰＥＧ−１，
ＭＰＥＧ−２，ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６２，
Ｈ．２６３が存在し、また動画像、音声・オーディオ信
号を圧縮した符号列や他のデータを多重化する国際標準
方式としてはＩＳＯ ＭＰＥＧシステム、ＩＴＵ−Ｔ
Ｈ．２２１，Ｈ．２２３が存在する。

【０００５】上述の動画像符号化国際標準方式のような
従来の動画像符号化方式においては、動画像信号をフレ
ーム毎に分割し、さらにフレームを細かい領域に分割し
たＧＯＢ(Group Of Block)やマクロブロック等の単位毎
に符号化が行われ、このフレーム、ＧＯＢ、マクロブロ
ック毎に符号化のモード等を示すヘッダ情報が付加され
る。これらのヘッダ情報はそのフレーム、ＧＯＢ等全体
の復号に必ず必要な情報である。

【０００６】このため、もしヘッダ情報に伝送路／蓄積
媒体において誤りが混入し、それがために動画像符号化
装置において正しく復号ができないと、そのヘッダ情報
のあるフレーム、ＧＯＢ等全体が正しく復号できず、動
画像復号化装置における再生動画像の品質が大きく劣化
してしまうことになる。

【０００７】すなわち、圧縮符号化された画像を通信網
を利用して伝送する場合には、受信側では伝送されてき
た“０”／“１”のビット列から、意味のある情報を再
生する復号処理が必要になる。

【０００８】そのためには、一定のビット列のまとまり
がどのような規則のもとに符号化されてきたものなのか
を指し示す情報として、前述のヘッダ情報が非常に重要
になる。このヘッダ情報とは例えば、現在復号している
フレームの予測タイプ（フレーム内の符号化であるか、
フレーム間の符号化であるか、等）、そのフレームを表
示するタイミングを示す情報（タイム・レファラン
ス）、あるいは量子化を行う際のステップサイズ情報な
どである。

【０００９】従って、これらのヘッダ情報が失われてし
まうと、それ以後に伝送されてきた情報が正しく復号で
きないことになる。

【００１０】例えば前記フレームの予測タイプが、本来
はフレーム間の符号化であることを示していたにも関わ
らず、何らかの原因でビット列に誤りが混入し、フレー
ム内の符号化を示すビットパターンに変化したとする。
この場合、その後の実際の情報が正しく伝送されてきた
としても、復号側ではその信号をフレーム内符号化の結
果と判断してしまうため、最終的には正しく復号されな
いことになる。

【００１１】よって、動画像符号化装置における再生動
画像の品質が大きく劣化してしまうことになる。

【００１２】このような誤りの混入は、特に無線テレビ
電話や携帯情報端末、無線ディジタルテレビ受信装置等
のように無線伝送路を介して動画像を伝送／蓄積するシ
ステムを用いた場合に多発する。

【００１３】従来の画像伝送は、有線通信網を用いたシ
ステムが主流であり、仮に無線通信網を用いる場合でも
誤り率が非常に少ない衛星通信を想定していた。従っ
て、伝送する符号化列の構造自体についての誤り耐性に
ついては十分な考慮がなされておらず、ヘッダ情報等の
重要情報に対する伝送路誤り保護が十分ではなかった。

【００１４】一方、今後の移動体通信の主流の一つにな
るとなると見られるＰＨＳ（簡易型携帯電話）では誤り
率が衛星通信の十万倍〜百万倍程度になるため、従来の
ように符号化されたビット列に誤り訂正を施しただけで
は十分な訂正が不可能な状態になる。

【００１５】また、ＰＨＳと同様に今後の通信の主流に
なると予想されるインターネットでは、いつ、どのよう
な誤りが混入するかが統計的に明らかになっておらず、
適切な誤り訂正が行えない場合もある。

【００１６】

【発明が解決しようとする課題】従来の構成において
は、ＨＥＣを用いて二重化できる情報中には、任意形状
の画像符号化の際に必要となる情報が含まれておらず、
オブジェクト単位で任意形状の画像を復号化した場合に
伝送誤りによりＶＯＰヘッダ情報が失われた場合に、正
しく復号できないといった問題があった。

【００１７】それ故、任意形状の画像符号化を用いて符
号化された符号列を伝送する場合に、伝送データの誤り
耐性が弱くなってしまうという問題点がある。

【００１８】本発明の目的は、任意形状画像符号化の場
合でも従来の長方形画像の符号化と同等の誤り耐性を持
たせることができるようにした動画像符号化装置および
動画像符号化データの伝送方法並びに同データを記録す
る記録媒体を提供することにある。

【００１９】

【課題を解決するための手段】第１の発明は、入力され
た動画像を符号化してビット列を生成する符号化部と、
この符号化部により得られる符号化情報から一定のビッ
ト列の纏まりがどのような規則のもとに符号化されてい
るかを指し示す情報としての重要情報を取り出して構成
する重要情報構成部と、同期信号を発生する同期信号発
生部と、前記符号化部により符号化されたビット列に前
記同期発生部から出力された同期信号と前記重要情報構
成部により再構成された重要情報を加えビット列を再構
成するビット列再構成部とを有する動画像符号化装置を
提供する。

【００２０】第２の発明は、第１の発明における重要情
報構成部が符号化情報からフレームを方形領域単位で符
号化する通常の符号化方式における重要情報である通常
画像関連情報を構成する通常画像関連重要情報構成部
と、符号化情報からフレーム内の画像を任意形状画像領
域単位で符号化する任意形状符号化方式における重要情
報である任意形状画像関連重要情報を構成する任意形状
画像関連重要情報構成部と、符号化情報から符号化して
いる画像が任意形状画像であるか否かを判定する任意形
状符号化判定部と、この任意形状符号化判定部が任意形
状画像と判定した場合に任意形状画像関連重要情報を出
力する切替部と、通常画像関連情報と切替部の出力とを
多重化する多重化部とから構成されている画像符号化装
置を提供する。

【００２１】第３の発明は、動画像を符号化して同期情
報を含むビット列を得ると共に、この符号化における一
定のビット列の纏まりがどのような規則のもとに符号化
されたかを指し示す情報としての重要情報をヘッダ情報
として付加したビット列を含む符号化データを復号する
復号化装置であって、入力されたビット列から画像ビッ
ト列を分離する分離部と、画像ビット列を復号する復号
化部と、画像ビット列から同期信号を検出し復号化部へ
通知する同期信号検出部と、復号化部の復号情報に誤り
が存在しないかどうかを判定するエラーチェック部と、
このエラーチェック部が誤りなしと判定したとき、復号
化部から出されたヘッダ情報から重要情報を構成し、復
号化部に通知する重要情報構成部とを有する画像復号化
装置を提供する。

【００２２】第４の発明は、前記第３の発明における重
要情報構成部が、ヘッダ情報から通常画像関連重要情報
を構成する通常画像関連重要情報構成部と、ヘッダ情報
から復号化している画像が任意形状画像かどうかを判定
する任意形状符号化判定部と、ヘッダ情報から任意形状
画像関連重要情報を構成する任意形状画像関連重要情報
構成部と、任意形状符号化判定部が任意形状画像と判定
した場合に、ヘッダ情報を任意形状画像関連情報再構成
部へ入力する第１の切替部と、任意形状符号化判定部で
任意形状画像と判定した場合に、任意形状画像関連重要
情報を出力する第２の切替部とから構成されている画像
復号化装置を提供する。

【００２３】第５の発明は、入力された動画像を符号化
してビット列を得る符号化部と、符号化部により得られ
る符号化情報から一定のビット列の纏まりがどのような
規則のもとに符号化されているかを指し示す情報として
の重要情報を取り出して構成する重要情報構成部と、符
号化部により符号化されたビット列を分割するビット列
分割部と、重要情報構成部により再構成された重要情報
からパケットヘッダを作成するパケットヘッダ作成部
と、ビット列分割部により分割されたビット列とパケッ
トヘッダ生成部により生成されたパケットヘッダとを用
いてパケットを構成するパケット構成部とを有する画像
復号化装置を提供する。

【００２４】第６の発明は、第５の発明の重要情報構成
部が、符号化情報から任意形状画像関連重要情報を構成
する任意形状画像関連重要情報構成部と、符号化情報か
ら任意形状画像関連重要情報を保持させた拡張ヘッダを
パケットヘッダに付加するかどうか判定する拡張ヘッダ
挿入判定部と、拡張ヘッダ挿入判定部で拡張ヘッダを挿
入すると判定された場合にヘッダ情報を任意形状画像関
連重要情報に入力する切替部とから構成されている画像
復号化装置を提供する。

【００２５】第７の発明は、動画像を符号化してビット
列を得ると共に、この符号化における一定のビット列の
纏まりがどのような規則のもとに符号化されているかを
指し示す情報としての重要情報をパケットヘッダ情報と
して付加したビット列を有する動画像符号化データを復
号化する復号化装置であって、入力されたビット列から
画像ビット列とパケットヘッダ情報を分離する分離部
と、画像ビット列を復号する復号化部と、復号化部の復
号情報から誤りが存在しないかどうかを判定するエラー
チェック部と、パケットヘッダ情報から一定のビット列
の纏まりがどのような規則のもとに符号化されているか
を指し示す情報としての重要情報を取り出して重要情報
の再構成を行い、エラーチェック部で誤りがあると判定
され復号に重要情報が必要な場合に当該構成した重要情
報を復号化部に通知する重要情報構成部とを有する画像
復号化装置を提供する。

【００２６】第８の発明は、第７の発明の重要情報構成
部が、パケットヘッダ情報から任意形状画像関連重要情
報を構成する任意形状画像関連重要情報構成部と、パケ
ットヘッダ情報から拡張ヘッダがパケットヘッダに付加
されているかどうか判定する拡張ヘッダ挿入判定部と、
拡張ヘッダ挿入判定部で拡張ヘッダが挿入されていると
判定された場合にパケットヘッダ情報を任意形状画像関
連重要情報に入力する切替部とから構成されている画像
復号化装置を提供する。

【００２７】本発明は、動画像符号化において、符号化
したデータにはヘッダを設けると共に、ヘッダには更に
拡張ヘッダ部分を設けてヘッダに格納する通常の画像符
号化方式における重要情報の他、当該拡張ヘッダに、任
意形状画像符号化方式における重要情報も含めることが
できるので、ヘッダが一部壊れていても、健全なヘッダ
を持つ部分については画像を復号可能になる。また、画
像データには同期信号を挿入しておくことにより、ビデ
オ・パケットＶＰの同期外れの問題も解消する。すなわ
ち、ビデオ・パケットＶＰは同期信号ＲＭで始まるパケ
ットであり、それ以前に誤りが存在し、同期外れが生じ
た場合でもこの同期信号ＲＭで再同期をすることが可能
である。

【００２８】これらのことから、伝送時での雑音に対す
る耐性の高い、また、任意形状画像符号化の場合でも従
来の長方形画像の符号化と同等の誤り耐性を持たせるこ
とができる動画像符号化技術が提供できる。

【００２９】

【発明の実施の形態】以下、図面を参照して本発明の実
施例を説明する。

【００３０】以下、本発明の実施の形態について図面を
参照して説明する。

【００３１】図１は、本発明の第１の実施形態に係る動
画像符号化装置の基本構成を示す。これによると、符号
化部１０１の出力は、重要情報構成部１０２およびビッ
ト列再構成部１０４に接続される。重要情報構成部１０
２の出力は同期信号発生部１０３の出力と共にビット列
再構成部１０４に接続される。ビット列再構成部１０４
の出力は多重化部１０５に接続される。多重化部１０５
の出力は伝送路１０６に接続される。

【００３２】符号化部１０１は、入力された画像信号１
３１を符号化してビット列再構成部１０４に出力し、ま
た、符号化した際の符号化情報１３３を重要情報構成部
１０２に出力するよう構成される。重要情報構成部１０
２は符号化部１０１で符号化した際の符号化情報１３３
を受けて復号に必要な重要情報１３４だけを選択して出
力するように構成される。

【００３３】同期信号発生部１０３は、任意の間隔で同
期信号１３５を発生する部であり、ビット列再構成部１
０４は、同期信号発生部１０３からの同期信号１３５を
ビット列１３２に挿入し、その後ろに、必要であれば重
要情報構成部１０２から出力された重要情報１３４を、
決められたフォーマットで挿入して出力するように構成
される。

【００３４】多重化部１０５は、ビット列再構成部１０
４で再構成されたビット列１３６を、他のデータ（例え
ば音声データ、他の物体を符号化したビット列等）と共
に多重化処理をして多重化ビット列１３７として伝送路
／蓄積媒体１０６に出力するように構成される。

【００３５】上記のような構成において、入力された動
画像の画像信号１３１は符号化部１０１で符号化され
る。この符号化部１０１により符号化されて出力された
ビット列１３２はビット列再構成部１０４に入力され
る。また、符号化部１０１で符号化した際の符号化情報
１３３は重要情報構成部１０２に入力され、復号に必要
な重要情報１３４だけが選択され出力される。

【００３６】ビット列再構成部１０４では、任意の間隔
で同期信号発生部１０３から出力された同期信号１３５
をビット列１３２に挿入し、その後ろに、必要であれば
重要情報構成部１０２から出力された重要情報１３４を
決められたフォーマットで挿入する。

【００３７】ビット列再構成部１０４で再構成されたビ
ット列１３６は多重化部１０５に入力され、他のデータ
(例えば音声データ、他の物体を符号化したビット列等)
と共に多重化処理が行われ、多重化ビット列１３７が伝
送路／蓄積媒体１０６に出力される。

【００３８】このように、本実施例では、動画像を符号
化して得たビット列に、任意の間隔で同期信号発生部１
０３から出力された同期信号１３５が挿入され、その後
ろに、必要であれば重要情報構成部１０２から出力され
た重要情報１３４が決められたフォーマットに従ってビ
ット列再構成部１０４により挿入される。

【００３９】そのため、ＭＰＥＧ−４における任意形状
の画像符号化・復号化に必要な情報、例えば、任意形状
の画像符号化では画像サイズの幅ＶＷの情報と高さＶＨ
の情報および復号した画像を表示する位置を示すための
画像位置のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲ
の情報、そして、形状情報の符号化モードを示すＶＯＰ
シェープ・コーディング・タイプ“vop_shape_coding_t
ype （ＶＳＣＴ）”や、形状情報のサイズを変換してか
ら符号化するかどうかを示すフラグであるchange_conv_
ratio_disable（ＣＣＲＤ）などが重要情報１３４とし
て生成される。この重要情報が決められたフォーマット
でビット列再構成部１０４により二重化してＶＰヘッダ
に挿入されると、任意形状画像符号化にも長方形画像の
符号化と同等の誤り耐性を持たせることができるように
なり、ＶＯＰヘッダやＶＰが一部壊れていても動画像の
復号化が可能になる。

【００４０】ＭＰＥＧ−４の場合、フレームに相当する
ものをビデオ・オブジェクト・プレーン“ Video Objec
t Plane ”と呼ぶ（図１８）。さらにこのVideo Object
Plane（以下、これをＶＯＰと呼ぶ）を複数のパケット
に分割することが可能であり、これをビデオ・パケット
“ Video Packet ”と呼ぶ（図１９）。

【００４１】ビデオ・パケット“Video Packet”（以
下、これをＶＰと呼ぶ）は同期信号（Resync Marker、
以下、ＲＭと呼ぶ）で始まるパケットであり、それ以前
に誤りが存在し、同期外れが生じた場合でもこの同期信
号で再同期をすることは可能であった。

【００４２】従って、先頭以外のビデオ・パケットＶＰ
であれば、誤りにより情報が破壊／消失したとしても、
その後のビデオ・パケットＶＰは正しく復号することが
できる。それはビデオ・オブジェクト・プレーンＶＯＰ
の先頭のＶＯＰヘッダが復号出来ていて、復号に必要な
情報が全て揃うことからである（図２０）。

【００４３】ＶＯＰヘッダ情報には前述したようにビデ
オ・オブジェクト・プレーンＶＯＰの符号化タイプ（フ
レーム内符号化、フレーム間符号化等）、タイム・レフ
ァランス、ステップサイズ等が含まれている。この情報
を失うと、全てのビデオ・パケットＶＰの復号が出来な
かった（図２１Ａ，２１Ｂ）。

【００４４】そこで、ＭＰＥＧ−４では、ビデオ・パケ
ットＶＰのヘッダの中にヘッダ・エクステンション・コ
ードＨＥＣを定義し、この値によって、その後にＶＯＰ
ヘッダの中の重要な情報を再度記述することが可能にな
っていた。

【００４５】このフォーマットについて、図２１Ａ，２
１Ｂに示す。すなわち、図２１Ａに示すように、ビデオ
・オブジェクト・プレーンＶＯＰは先頭にＶＯＰヘッダ
とそれに続いてデータが来るといった形式のパターンを
置き、その次にビデオ・パケットＶＰのヘッダとそれに
続いてデータが来るといった形式のパターンが幾つか繰
り返されると云ったフォーマットで構成されていた。

【００４６】ＶＰのヘッダの中にヘッダ・エクステンシ
ョン・コードＨＥＣを定義し、この値によって、その後
にＶＯＰヘッダの中の重要な情報を再度記述しておけ
ば、ビデオ・オブジェクト・プレーンＶＯＰが壊れてい
ない限り、ビデオ・パケットＶＰのヘッダとそれに続い
てデータの組が一つや二つ壊れていても、正常なＶＰヘ
ッダとデータの組については、ＶＯＰヘッダとそのデー
タの情報を用いて、復号可能であった。

【００４７】図２２Ａ、２２Ｂの例の場合、ビデオ・オ
ブジェクト・プレーンＶＯＰのヘッダとそれのペアとな
るデータは壊れていないが、第１のビデオ・パケットＶ
Ｐのヘッダとそれのペアとなるデータだけ壊れている様
子を示している。この場合、図２２Ｂに示すように、ビ
デオ・オブジェクト・プレーンＶＯＰとそれのデータ部
分は壊れていないので画像の第１の領域は正常に復号さ
れ、次の第２の領域は誤りが生じて劣化のある画像が復
号され、次の第３の領域以降は正常に復号されるので、
部分的には壊れているが、殆どが綺麗に再生された画像
として復号できた。

【００４８】また、ヘッダ・エクステンション・コード
ＨＥＣを設けない方式の場合、図２２Ａに示すように、
ＶＯＰヘッダが壊れていれば、他のＶＰが壊れていなく
とも復元の余地は全くなく、図２２Ｂのように、誤りの
影響で全く画像は得られないことになるが、このような
場合でもヘッダ・エクステンション・コードＨＥＣを設
ける方式の場合は再生可能であった。すなわち、ヘッダ
・エクステンション・コードＨＥＣを設ける方式の場
合、当該ヘッダ・エクステンション・コードＨＥＣが真
の場合には、このＨＥＣの後ろに重要情報が二重化さ
れ、ＨＥＣが偽の場合には重要情報が二重化されない形
態が取られる。誤りの多い伝送路を利用する場合に、Ｈ
ＥＣを真とすると共に、その後ろに重要情報を二重化し
て付加するようにする。

【００４９】その結果、図２３Ａのように、ＶＯＰの先
頭に何らかの誤りが存在し、復号できなかった場合で
も、ＨＥＣで保護された情報を利用することで、先頭を
領域の画像は正常に復元できなくとも、第２の領域以降
の部分のビデオ・パケットＶＰを復号することが可能に
なり、図２３Ｂに示すように部分的には壊れているが、
殆どが綺麗に再生された画像として復号できることにな
る。

【００５０】しかしながら、これはあくまでも長方形の
画像領域単位で実現できるに過ぎなかった。つまり、Ｖ
ＯＰヘッダ情報をＶＰヘッダの中にＨＥＣを用いて二重
化することで、ＶＯＰヘッダが失われた場合でも、ＶＰ
ヘッダの中にＨＥＣによってＶＯＰヘッダが二重化され
ていれば、それを利用することでその後のデータを正し
く復号することが可能であるが、ＨＥＣを用いて二重化
できる情報中には、任意形状の画像符号化の際に必要に
なる情報が含まれていない。そのため、従来の長方形の
画像であれば問題がなかったものの、ＭＰＥＧ−４のよ
うに、オブジェクト単位で任意形状の画像を符号化でき
るようにした方式の場合、復号化できなかった。

【００５１】これはＭＰＥＧ−４におけるオブジェクト
単位での任意形状の画像の符号化には、長方形の画像の
符号化に比べて更に多くのヘッダ情報が追加されている
ことから、これを二重化の対象とできないことが大きな
問題であった。

【００５２】また、別の観点からみてみる。インターネ
ットやイントラネット等の利用が一般化してくると、こ
のようなネットワークを利用しての通信が多くなり、イ
ンターネットテレビ電話等も利用されるようになってい
る。この場合、動画像をリアルタイムで伝送することに
なる。しかしながら、動画像をインターネットやイント
ラネット等でリアルタイムに伝送しようとすると、一般
に用いられているＴＣＰやＵＤＰのプロトコルでは問題
点が多い。特に、ヘッダが時間情報を持っていない点が
問題であった。

【００５３】そこで、近年、動画像／音声データの伝送
に利用されるプロトコルとしてＲＴＰ(Real-time Trans
fer Protocol)が注目を浴びている。すなわち、ＴＣＰ
などのプロトコルの場合、パケット毎に付属する時間情
報がないため、受信側ではその受信したデータをいつ再
生すればいいのかを知ることができなかった。そのた
め、データをパケット伝送した場合に、受信側ではその
データが動画像データや音声・サウンドデータである場
合には旨く再生することができなかった。

【００５４】しかし、ＲＴＰではパケット毎に時間情報
を付加し、受信側でそれを元に動画像データや音声・サ
ウンドデータを再生することが可能となる。このよう
に、ＲＴＰはリアルタイムデータの伝送に適したプロト
コルとなっている。

【００５５】このプロトコルには、各アプリケーション
毎に拡張ヘッダを定義できるようになっている。

【００５６】従来技術で説明したように、ＭＰＥＧ−４
ではＶＯＰヘッダ情報をＶＰヘッダの中にＨＥＣを用い
て二重化することで、ＶＯＰヘッダが失われた場合で
も、ＶＰヘッダの中にＨＥＣによってＶＯＰヘッダが二
重化されていれば、それを利用することでその後のデー
タを正しく復号することが可能であった。

【００５７】しかし、ＨＥＣを用いて二重化できる情報
中には、任意形状の画像符号化の際に必要になる情報が
含まれていない。そのため、従来の長方形の画像であれ
ば問題がなかったものの、任意形状の画像符号化では長
方形の画像の符号化に比べてヘッダ情報が追加されてい
ることから、これが二重化できないことが大きな問題で
あった。

【００５８】例えば、任意形状の画像符号化では各ＶＯ
Ｐ毎に画像サイズが変更になるため、ＶＯＰヘッダ中に
画像サイズの幅vop_width（以下、ＶＷと呼ぶ）と高さv
op_height（以下、ＶＨと呼ぶ）を記述する。また、復
号した画像を表示する位置を示すための画像位置のｘ座
標vop_horizontal_mc_spatial_ref（以下、ＶＨＭＳＲ
と呼ぶ）、ｙ座標vop_vertical_mc_spatial_ref（以
下、ＶＶＭＳＲと呼ぶ）も記述されている。これらの値
の関係が図２４に示される。

【００５９】これらの情報のないビデオ・パケットＶＰ
の情報だけで動画像を復号しようとした場合、任意形状
の画像符号化では正しく復号することができなくなる。
すなわち、任意形状の画像符号化では画像サイズの幅Ｖ
Ｗの情報と高さＶＨの情報および復号した画像を表示す
る位置を示すための画像位置のｘ座標ＶＨＭＳＲの情
報、ｙ座標ＶＶＭＳＲの情報がないと正しく復号するこ
とができなかった。

【００６０】また、形状情報の符号化モードを示すＶＯ
Ｐシェープ・コーディング・タイプ“vop_shape_coding
_type（以下、ＶＳＣＴと呼ぶ）”や、形状情報のサイ
ズを変換してから符号化するかどうかを示すフラグであ
るchange_conv_ratio_disable（以下、ＣＣＲＤと呼
ぶ）なども正しく復号するためには必要である。

【００６１】ＭＰＥＧ−４のＨＥＣによるＶＯＰヘッダ
の二重化は、これらの情報を保護していない。

【００６２】このように、本システムは、任意形状画像
符号化の場合でも従来の長方形画像の符号化と同等の誤
り耐性を持たせることができる。上記の構成において本
発明の重要な構成である重要情報構成部１０２とビット
列再構成部１０４を図２を参照して詳しく説明する。

【００６３】まず、重要情報構成部１０２の詳細につい
て説明する。

【００６４】重要情報構成部１０２は図２に示すよう
に、通常画像関連重要情報構成部２０６、任意形状画像
関連重要情報構成部２０７、任意形状符号化判定部２０
８、多重化部２１０とより構成される。

【００６５】これらのうち、通常画像関連重要情報構成
部２０６は、符号化部１０１からの符号化情報１３３を
受けて、これより通常の符号化の際、重要と判断される
情報（例えば符号化モードやタイム・レファランス等）
を選択し、通常画像関連重要情報２３８として多重化部
２１０に出力するよう構成される。任意形状画像関連重
要情報構成部２０７は、任意形状画像符号化に関連した
重要情報（例えば、画像サイズ、位置、符号化モード、
縮小変換モード等）を選択して、これを任意形状画像関
連重要情報２３９として出力するよう構成される。

【００６６】任意形状符号化判定部２０８は、符号化さ
れた画像が通常の長方形の画像であるのか任意形状の画
像であるのかを判定する部であって、判定結果を判定信
号２４０として出力する。

【００６７】切替部２０９は、任意形状符号化判定部２
０８からの判定信号２４０に応じて通常画像関連重要情
報構成部２０７からの任意形状画像関連重要情報２３９
を多重化部２１０に出力するかどうかの切替制御を行
う。多重化部２１０は、通常画像関連重要情報構成部２
０６からの通常画像関連重要情報２３８と、任意形状画
像符号化において任意形状符号化判定部２０８から出力
する任意形状画像関連重要情報２３９とを多重化し、重
要情報１３４として出力するよう構成される。

【００６８】上記のような構成において、符号化部１０
１からの符号化情報１３３は、重要情報構成部１０２の
構成要素である通常画像関連重要情報構成部２０７に入
力され、当該通常画像関連重要情報構成部２０７におい
て、通常の符号化の際、重要と判断される情報（例えば
符号化モードやタイム・レファランス等）が選択される
ことによって、この選択された情報が通常画像関連重要
情報２３８として多重化部２１０に出力される。従っ
て、通常画像関連重要情報２３８には符号化モードやタ
イム・レファランス等のような通常の符号化の際、重要
と判断される情報が集められたものとなる。

【００６９】次に、任意形状画像関連重要情報構成部２
０７においては、任意形状画像符号化に関連した重要情
報（例えば、画像サイズ、位置、符号化モード、縮小変
換モード等）が選択され、任意形状画像関連重要情報２
３８として多重化部２１０に出力される。

【００７０】一方、任意形状符号化判定部２０８では、
符号化された画像が通常の長方形の画像であるのか、任
意形状の画像であるのかを判定すると共に、その判定結
果を判定信号２４０として出力する。この判定信号２４
０により切替部２０９は制御されて、通常画像関連重要
情報構成部２０７からの任意形状画像関連重要情報２３
９を出力するかどうかの切替制御をする。

【００７１】多重化部２１０では、通常画像関連重要情
報２３８と任意形状画像符号化の場合は任意形状画像関
連重要情報２３９とを多重化し、重要情報１３４として
出力する。

【００７２】この結果、任意形状画像符号化の場合は通
常画像関連重要情報２３８と任意形状画像関連重要情報
２３９とが多重化された重要情報１３４として多重化部
２１０から出力できる。通常画像符号化の場合は、通常
画像関連重要情報２３８のみが重要情報１３４として出
力できることとなる。

【００７３】次にビット列再構成部１０４の詳細につい
て説明する。ビット列再構成部１０４は図２の上半分の
領域に示したように、ＭＢ境界判定部２０１、カウンタ
２０２、同期信号挿入判定部２０３、ヘッダ情報挿入部
２０５、加算部２０６とより構成される。

【００７４】これらのうち、ＭＢ境界判定部２０１は、
前段の符号化部１０１にて符号化されて入力されるビッ
ト列１３２について、そのビット列のデータがマクロブ
ロックＭＢの境界に当たるか否かを判定するものであ
り、また、符号量カウンタ部２０２は、前段の符号化部
１０１にて符号化されて入力されるビット列１３２につ
いて、その符号量をカウントするためのものである。

【００７５】同期信号挿入判定部２０３は、ＭＢ境界判
定部２０１がビット列１３２についてＭＢ境界と判定
し、しかも、当該ビット列１３２に対して符号量カウン
タ部２０２のカウント値がある値を超えていた場合、挿
入許可信号２３４を出力するものである。

【００７６】また、ヘッダ情報挿入部２０５は、入力さ
れた重要情報１３４と同期信号１３５からヘッダ情報を
作成し、同期信号挿入判定部２０３で挿入許可と判断さ
れた場合に、符号化されたビット列１３２に対して当該
作成したヘッダ情報２３７を付加すべく加算部２０６に
出力する。

【００７７】また、加算部２０６は符号化部１０１にて
符号化されて入力されるビット列１３２とヘッダ情報挿
入部２０５の出力とを加算してこれをビット列再構成部
１０４の再構成ビット列１３６として出力する部であ
る。

【００７８】このような構成のビット列再構成部１０４
は、前段の符号化部１０１で符号化されたビット列１３
２が入力されると、これをビット列再構成部１０４の構
成要素の一つであるＭＢ境界判定部２０１と符号量カウ
ンタ部２０２とに入力する。このＭＢ境界判定部２０１
において入力ビット列１３２が、ＭＢの境界である否か
を判定する。

【００７９】また、符号量カウンタ部２０２では、ビッ
ト列１３２の符号量をカウントする。同期信号挿入判定
部２０３では、ＭＢ境界判定部２０１での判定がＭＢ境
界と判定され、且つ、カウンタ２０２での符号量のカウ
ント値が、ある値を超えていた場合に、挿入許可信号２
３４を発生し、ヘッダ情報挿入部２０５に出力するよう
に動作する。

【００８０】一方、ヘッダ情報挿入部２０５は、入力さ
れた重要情報１３４と同期信号１３５からヘッダ情報を
作成し、同期信号挿入判定部２０３で挿入許可と判断さ
れた場合に、符号化されたビット列１３２に作成したヘ
ッダ情報２３７を付加するため加算部２０６に送る。こ
れにより、加算部２０６は符号化されたビット列１３２
にヘッダ情報２３７を挿入し、再構成されたビット列１
３６を出力する。このビット列１３６がビット列再構成
部１０４の出力となる。

【００８１】この結果、符号化部で符号化されて入力さ
れて来る画像データのビット列１３２を調べて、マクロ
ブロックＭＢの境界位置となるビットが到来した時点に
おいて、それまでの符号量が所定の値を超えていた場合
に、挿入許可信号２３４が発生される。ヘッダ情報挿入
部２０５において作成された、入力された重要情報１３
４と同期信号１３５を元にしてのヘッダ情報が、上記ビ
ット列１３２に付加できる。

【００８２】重要情報構成部１０２は、その構成要素の
一つである通常画像関連重要情報構成部２０６が符号化
部１０１からの符号化情報１３３を元に通常の符号化の
際、重要と判断される情報（例えば、符号化モードやタ
イム・レファランス等）を選び、それを通常画像関連重
要情報２３８とする。また、重要情報構成部１０２にお
ける構成要素の一つである任意形状画像関連重要情報構
成部２０７は、任意形状画像符号化に関連した重要情報
（例えば、画像サイズ、位置、符号化モード、縮小変換
モード等）を選び、これを任意形状画像関連重要情報２
３９とする。通常の画像の場合は通常画像関連重要情報
２３８のみを、また、任意形状の画像の符号化の場合に
は通常画像関連重要情報２３８と任意形状画像関連重要
情報２３９とを多重化して得ており、従って、ビット列
に挿入するヘッダ情報には通常画像情報関連重要情報と
任意形状画像関連重要情報を含ませることができ、ＭＰ
ＥＧ−４の符号化データの画像再生に必要な情報をＶＰ
ヘッダに含ませることができる。

【００８３】図３にヘッダ情報の作成に関するフローチ
ャートを示す。ビット列再構成部１０４では、まず第１
段階（ステップＳ５０２）として、符号化部１０１から
入力されて来るビット列に対し、ＭＢ（マクロブロッ
ク）の境界位置かどうかの判定を行う。

【００８４】第２段階（ステップＳ５０３）としては、
ＭＢであった場合、同期信号ＲＭを挿入すべきかどうか
の判定を行う。この判定は、ユーザの任意のアルゴリズ
ムで行うことが可能である。例えば、直前の同期信号か
ら一定のビット数を超えたならば同期信号ＲＭを挿入す
ると云ったアルゴリズムや、直前の同期信号から一定の
ＭＢ数を越えた場合、画像中の形状に沿ってＲＭを挿入
するかどうかの判断を行うなど、様々な方法が利用可能
である。

【００８５】ビデオ・パケットＶＰは同期信号ＲＭで始
まるパケットであり、それ以前に誤りが存在し、同期外
れが生じた場合でもこの同期信号ＲＭで再同期をするこ
とが可能である。

【００８６】ステップＳ５０３において同期信号ＲＭを
挿入すると判定された場合、ＲＭを挿入し、ＲＭに続く
ＶＰヘッダを挿入する(図３のステップＳ５０４）。そ
して、ステップＳ５０５に進む。

【００８７】第３段階（ステップＳ５０５）は、拡張ヘ
ッダとしてＶＯＰヘッダの重要情報を二重化するかどう
かの判定を行う。

【００８８】二重化すると判定された場合は、ＨＥＣを
真にセットし、その後、ＶＯＰヘッダの中から長方形の
画像符号化における重要情報を選択し、出力する（図３
のステップＳ５０６）。そして、ステップＳ５０７に進
む。

【００８９】最後の第４段階（ステップＳ５０７）で
は、任意形状画像か否かの判定を行う。任意形状画像の
場合は、ＶＯＬヘッダ内の任意形状画像符号化における
重要情報を選択し、出力する（図３のステップＳ５０
８）。

【００９０】以上の４つの段階を経てＶＰヘッダ部分を
生成し、ビット列に挿入する。

【００９１】図４に、任意形状画像のＶＰヘッダの構成
例を示す。図２０に示す従来のＶＰヘッダに対し、拡張
ヘッダＥｘ−Ｈｅａｄｅｒが追加されており、この拡張
ヘッダＥｘ−Ｈｅａｄｅｒには任意形状画像符号化にお
ける重要情報、すなわち、画像の幅（ＶＷ）、高さ（Ｖ
Ｈ）、画像を貼り込むＸ座標（ＶＨＭＳＲ）、Ｙ座標
（ＶＶＭＳＲ）、形状情報を縮小変換して符号化してい
るかどうかを示すフラグ（ＣＣＲＤ）、形状情報の符号
化タイプ（フレーム内符号化／フレーム間符号化等）の
情報（ＶＳＣＴ）が追加されるようになる。

【００９２】尚、任意形状画像符号化における重要情報
としては、上記情報に限定されるものではなく、アプリ
ケーションの用途により、さらに他の情報を増やすこと
も、逆に情報を減らすことも可能である。但し、送信
側、受信側でヘッダフォーマットに関して共通の認識が
必要になる。

【００９３】以上、任意形状画像符号化における重要情
報の抽出機能と任意形状画像を使用しているか否かの判
定機能と、マクロブロックの境界検出機能を持たせ、Ｖ
Ｐヘッダには拡張ヘッダ部分を設けて通常の画像符号化
における重要情報の他、同期信号を含め、任意形状画像
符号化においては任意形状画像符号化における重要情報
も含めることができるようにしたから、ヘッダが一部壊
れていても、健全なヘッダを持つ部分については画像を
復号可能になる。また、同期信号があるのでビデオ・パ
ケットＶＰの同期外れの問題も解消する。すなわち、ビ
デオ・パケットＶＰは同期信号ＲＭで始まるパケットで
あり、それ以前に誤りが存在し、同期外れが生じた場合
でもこの同期信号ＲＭで再同期をすることが可能であ
る。

【００９４】これらのことから、伝送時での雑音に対す
る耐性の高い、また、任意形状画像符号化の場合でも従
来の長方形画像の符号化と同等の誤り耐性を持たせるこ
とができるようになる動画像符号化技術を提供できる。

【００９５】以上は、符号化側での構成と処理の詳細を
説明したが、次に復号側の構成と処理の詳細を説明す
る。

【００９６】復号部について説明する。図５に示される
第１の実施形態にかかる復号部によると、符号化ビット
列が入力される分離部３０２の出力は、復号化部３０３
および同期検出部３０４に接続される。同期検出部３０
４の出力は復号化部３０３の他方入力に接続される。復
号化部３０３の出力はエラーチェック部３０５に接続さ
れる。このエラーチェック部３０５の出力は復号化部３
０３の出力と共に重要情報構成部３０６に接続される。
重要情報構成部３０６の出力は復号化部３０３に接続さ
れる。

【００９７】分離部３０２は、伝送路／記憶媒体１０６
から受信されたビット列３３１を画像用のビット列３３
２とそれ以外のデータに分離するために設けられてい
る。同期検出部３０４は分離部３０２から出力されるビ
ット列３３２中から同期信号ＲＭを検出する。また、復
号化部３０３は、分離部３０２から分離されて出力され
る画像用ビット列３３２について復号化処理して画像デ
ータを生成する。その際、復号化部３０３は、同期信号
検出部３０４により検出された同期信号に同期させなが
ら復号処理を実施するように構成されている。

【００９８】また、重要情報構成部３０６は、復号化部
３０３の現在復号処理中のデータを得て、これより当該
復号化部３０３において現在復号中のＶＯＰ（ビデオ・
オブジェクト・プレーン）のＶＯＰヘッダが存在してい
る場合は、その情報を抽出し、出力して復号化部３０３
に与えるように構成されている。

【００９９】エラーチェック部３０５は、復号化部３０
３の出力する復号情報３３４をチェックして復号作業中
に誤りが生じていないかを検出する部であり、誤りが検
出された場合、エラーチェック部３０５は、重要情報構
成部３０６に復号化処理に誤りがあったことを知らせ
て、重要情報の復号化部３０３への出力を抑止させるよ
うに構成されている。

【０１００】復号化部３０３は誤りが発生した場合に、
その誤りに対応した処理を行うように構成されている。
また、復号化部３０３は、その誤りに対応した処理を行
った後、同期検出部３０４が検出した次の同期信号の位
置から復号作業を行う。

【０１０１】このような構成において、伝送路／記憶媒
体１０６から受信されたビット列３３１は、分離部３０
２により画像用のビット列３３２と、それ以外のデータ
に分離される。その他のデータは、夫々に対応した復号
化部に送られる。

【０１０２】分離部３０２により分離された画像用ビッ
ト列３３２は、復号化部３０３に入力され、復号化が行
われる。その際、同期信号検出部３０４により同期信号
がビット列３３２中から検出されながら復号処理が行わ
れる。

【０１０３】復号化部３０３で復号化処理されることに
よって得られる復号情報３３４からエラーチェック部３
０５で復号作業中に誤りが生じていないかを検出する。
誤りが検出された場合、誤りに対応した処理が復号化部
３０３で行われた後、同期検出部３０４が検出した次の
同期信号の位置から復号作業が行われる。

【０１０４】復号化部３０３は次の同期信号の種類を判
定し、同期信号ＲＭの場合でエラー信号３３５が真の場
合に、重要情報構成部３０６からＶＯＰヘッダの情報３
４３を取得する。

【０１０５】重要情報構成部３０６は、復号化部３０３
が現在復号中のＶＯＰ（ビデオ・オブジェクト・プレー
ン）にＶＯＰヘッダが存在している場合は、その情報を
出力する。また、現在復号中のＶＯＰにＶＯＰヘッダが
存在しない場合、ＶＰヘッダ内にＨＥＣにより重要情報
が挿入されていれば、それを出力する。

【０１０６】復号化部３０３での復号化処理において
は、重要情報構成部３０６で得た重要情報が用いられ
る。重要情報構成部３０６で得た重要情報には、復号化
部３０３が現在復号中のＶＯＰ（ビデオ・オブジェクト
・プレーン）にＶＯＰヘッダが存在している場合は、そ
の情報を出力し、現在復号中のＶＯＰにＶＯＰヘッダが
存在しない場合には、ＶＰヘッダ内にＨＥＣにより重要
情報が挿入されていれば、それを出力する。符号化処理
側では、重要情報として通常の画像符号化における重要
情報の他、任意形状画像符号化においては任意形状画像
符号化における重要情報も含めるようにしてあるから、
ヘッダが一部壊れていても、健全なヘッダを持つ部分に
ついては通常の画像を符号化したデータであっても、ま
た、任意形状の画像を符号化したデータであっても、そ
のデータから画像を復号可能になる。また、同期信号が
あるのでビデオ・パケットＶＰの同期外れの問題も解消
する。すなわち、ビデオ・パケットＶＰは同期信号ＲＭ
で始まるパケットであり、それ以前に誤りが存在し、同
期外れが生じた場合でもこの同期信号ＲＭで再同期をす
ることが可能である。これらのことから、伝送時での雑
音に対する耐性の高い、また、任意形状画像符号化の場
合でも従来の長方形画像の符号化と同等の誤り耐性を持
たせることができる動画像符号化技術の復号化技術を提
供できる。

【０１０７】通常の画像符号化における重要情報の他、
任意形状画像符号化においてはその任意形状画像符号化
における重要情報もヘッダの情報として持たせて伝送す
ることにより、伝送時での雑音に対する耐性を持たせる
技術であり、受信側ではこの重要情報を如何にして抽出
して復号化部３０３に渡し、復号化処理に利用できるよ
うにするかが重要である。

【０１０８】従って、本実施例の特徴的な点は重要情報
構成部３０６にある。そこで、重要情報構成部３０６に
ついて図６を用いて詳細に説明する。

【０１０９】重要情報構成部３０６は図６に示すよう
に、通常画像関連重要情報構成部３０７、任意形状符号
化判定部３０８、切替部３０９，３１１、任意形状画像
関連重要情報構成部３１０とより構成される。

【０１１０】通常画像関連重要情報構成部３０７は、復
号化部３０３においてＶＰヘッダが発見された場合に、
そのＶＰヘッダの情報中から符号化モード情報、タイム
・レファランス等を復号し、出力するように構成され
る。

【０１１１】任意形状符号化判定部３０８は、復号化部
３０３が現在復号処理している画像が任意形状画像か、
または、従来からの長方形画像かを判定する部であっ
て、その判定結果に応じて切替部３０９，３１１は切り
替え制御される。切替部３０９，３１１は、２部の系統
切り替えスイッチである。

【０１１２】任意形状画像関連重要情報構成部３１０は
任意形状画像に関する重要情報（例えば、画像サイズ、
画像位置等）を復号する部であり、任意形状画像の場合
は切替部３０９，３１１が当該任意形状画像関連重要情
報構成部３１０に接続されるように切り替えられ、任意
形状画像に関する重要情報が再構成されて、通常画像関
連重要情報構成部３０７による通常画像に関連する重要
情報の他に任意形状画像に関する重要情報をも復号化部
３０３に与えて、復号化部３０３での任意形状画像に関
する復号化も可能にしている。

【０１１３】このような構成の重要情報構成部３０６に
おいては、復号化部３０３において入力ビット列にＶＰ
ヘッダが発見された場合は、まず通常画像関連重要情報
構成部３０７が符号化モード情報、タイム・レファラン
ス等を復号する。

【０１１４】また、任意形状符号化判定部３０８は復号
化部３０３において現在復号処理されている画像が、任
意形状画像かまたは従来からの長方形画像かを判定し、
この判定結果に応じた制御信号を発生する。

【０１１５】任意形状符号化判定部３０８からの制御信
号により切替部３０９，３１１は制御される。このと
き、任意形状画像の場合は任意形状画像関連重要情報構
成部３１０が任意形状画像に関する重要情報（例えば、
画像サイズ、画像位置等）を復号し、最終的な重要情報
３４３を作成し、重要情報構成部３０６の出力として復
号化部３０３に与える。これによって、ヘッダに拡張ヘ
ッダを設けてこの拡張ヘッダに任意形状画像に関する重
要情報を埋め込んでおけば、復号側でもこれを抽出して
任意形状画像の復号に必要な重要情報を復号化部３０３
に与えることができる。

【０１１６】以上、本実施形態によれば、任意形状画像
符号化の場合でも従来の長方形画像の符号化と同等の誤
り耐性を持たせることが可能となる。

【０１１７】第１の実施形態およびこれから説明する第
２の実施形態において、任意形状画像の符号化では“画
像のサイズ”、“位置情報”を記述する必要がある。こ
れらの情報はＭＰＥＧ−４の場合、それぞれは１３ビッ
トずつで表現されることになり、“画像のサイズ”、
“位置情報”それぞれ縦横の情報が必要であることから
計４つの情報が必要で、その必要ビット数は４×１３＝
５２の計５２ビットが必要になる。これは低ビットレー
トでの伝送の場合には大きな冗長となる可能性がある。
そこで、できるだけこのデータを圧縮して伝送すること
とする。以下、その方法について説明する。

【０１１８】ビデオ・オブジェクト・プレーンＶＯＰの
サイズ等はＭＰＥＧ−４では１３ビットで表現される
が、１３ビット全てを使用しないケースも多々ある。そ
こで、サイズの表現を可変長にし符号量を減少する方法
を考える。

【０１１９】基本的な方針は、ここでは“符号語長”＋
“値”の組で表現するものとする。図７に示すように符
号長を表すヘッダ部とそれに続くデータ部との組合せに
する。すなわち、ヘッダ“header１”とヘッダ“header
２”があり、前者は１ビット構成、後者は３ビット構成
を採る。値１から値５４２までの範囲で採用し、値
“１”と値“２”は符号語長を５ビット構成とし、値
“３”から値“６”までは符号語長を６ビット構成と
し、値“７”から値“１４”までは符号語長を７ビット
構成とする。値“１５”から値“３０”までは符号語長
を８ビット構成とし、値３１から値９４までは符号語長
を９ビット構成とし、値“９５”から値“１５８”まで
は符号語長を１０ビット構成とする。値“１５９”から
値“２８６”までは符号語長を１１ビット構成とし、値
“２８７”から値“５４２”までは符号語長を１２ビッ
ト構成とする。値“５４３”から値“８２２２”までは
ヘッダ“header１”とヘッダ“header２”を前者は１ビ
ット構成、後者は２ビット構成とし、値“５４３”から
値“１０５４”までは符号語長を１２ビット構成とし、
値“１０５５”から値“２０７８”までは符号語長を１
３ビット構成とし、値“２０２９”から値“４１２６”
までは符号語長を１４ビット構成とし、値“４１２７”
から値“８２２２”までは符号語長を１５ビット構成と
する。

【０１２０】こうすることで、語長は１３ビット固定が
数値により５ビットから１５ビットまでの可変長にな
る。この結果、ヘッダを含めても最大１８ビットで済む
ことになり、従来の５２ビットに比べると３４ビットも
構成ビット数が少なくて済む。

【０１２１】小さい画像の場合は低ビットレートで符号
化されることを要求することが一般的に多く、大きい画
像は符号化したビット列も大きなサイズになることか
ら、ビットレートに余裕がある場合が多いと思われる。
その意味でも、可変長にして小さいサイズに短い符号を
有り当てることには効果がある。

【０１２２】例えば、プレゼンテーション・レイヤ“ P
resentation Layer”がＱＣＩＦ（１７６画素×１４４
画素）の画像の場合、ＶＷ，ＶＨは最大で １１[bit] × ２ ＝２２[bit] 位置情報（ＶＨＭＳＲ，ＶＶＭＳＲ）に関しても最大 １１［bit］ × ２ ＝ ２２［bit］ 従って、両者の合計４４[ｂｉｔ]で、８[ｂｉｔ]分が圧
縮可能となる。

【０１２３】その他、図８のような画像構成の場合で
は、 ＶＷ＝１２８画素＝１０ [bit]， ＶＨ＝８０画素＝９ [bit]， ＶＨＭＳＲ＝３２画素＝９ [bit]， ＶＶＭＳＲ＝２０画素＝８ [bit] で合計 １０＋９＋８＋９＝３６ [bit] になり、１６ [bit]の削減となる。

【０１２４】本変形例の基本構成図を図９に示す。図９
において、１００１は可変長符号化部、１００２は可変
長符号生成部であり、可変長符号生成部１００２はサイ
ズ情報を受けて、これを符号語に変換するものである。
また、可変長符号化部１００１は入力された重要情報１
０３１からサイズ情報を読み出し、そのサイズの情報１
０３２を可変長符号生成部１００２に送ると共に、可変
長符号生成部１００２から得られる符号語１０３３を符
号語１０３４として出力する。

【０１２５】このような構成において、重要情報１０３
１を入力すると、当該重要情報１０３１は可変長符号化
部１００１に入力される。可変長符号化部１００１では
当該入力された重要情報１０３１からサイズ情報を読み
出し、サイズ情報１０３２を可変長符号生成部１００２
に送り、符号語１０３３を生成する。

【０１２６】可変長符号化部１００１では可変長符号生
成部１００２から得られた符号語１０３３にサイズ情報
を変換してなる符号語１０３４を出力することになる。

【０１２７】本実施形態はＭＰＥＧ−４について述べて
いるが、ＭＰＥＧ−４以外の任意形状符号化の伝送に関
しても同様の情報を付加することで、誤り耐性を向上す
ることが可能である。

【０１２８】次に、別の実施例を第２の実施形態として
説明する。

【０１２９】図１０は本発明の第２の実施形態に係る動
画像符号化装置の基本構成図である。図１０に示す動画
像符号化装置よると、符号化部６０１の出力が、ビット
列分割部６０２および重要情報構成部６０３に接続され
る。重要情報構成部６０３の出力はパケットヘッダ生成
部６０４に接続される。ビット列分割部６０２およびパ
ケットヘッダ生成部の出力はパケット構成部６０５に接
続される。パケット構成部６０５の出力は伝送路１０６
に接続される。

【０１３０】符号化部６０１は、入力された画像信号１
３１を符号化してビット列分割部６０２に出力し、ま
た、符号化した際の符号化情報６３４を重要情報構成部
６０３に出力するよう構成される。

【０１３１】また、重要情報構成部６０３は符号化部６
０１で符号化した際の符号化情報６３４を受けて復号に
必要な重要情報６３５だけを選択して出力する部であ
る。特に、通常画像関連重要情報の他に、ＭＰＥＧ−４
における任意形状の画像符号化・復号化に必要な情報、
例えば、任意形状の画像符号化では画像サイズの幅ＶＷ
の情報と高さＶＨの情報および復号した画像を表示する
位置を示すための画像位置のｘ座標ＶＨＭＳＲの情報、
ｙ座標ＶＶＭＳＲの情報、そして、形状情報の符号化モ
ードを示すＶＯＰシェープ・コーディング・タイプ“vo
p_shape_coding_type（ＶＳＣＴ）”や、形状情報のサ
イズを変換してから符号化するかどうかを示すフラグで
あるchange_conv_ratio_disable（ＣＣＲ Ｄ）などの任
意形状画像関連重要情報を重要情報６３５として取得さ
れる。これら重要情報６３５が、パケットヘッダ生成部
６０４に与えられ、通常画像関連重要情報についてはパ
ケットヘッダに通常に反映させ、任意形状画像関連重要
情報についてはパケットヘッダに新たに設けた拡張ヘッ
ダ中に、決められたフォーマットで反映させた本発明独
自の形式でパケットヘッダを生成させる。

【０１３２】このように、パケットヘッダ生成部６０４
は、重要情報６３５をパケットヘッダ内に組み込んでパ
ケットヘッダ６３６としてパケット構成部６０５に出力
し、ビット列分割部６０２は、符号化部６０１から出力
されたビット列６３２をパケットサイズに分割して出力
するように構成される。

【０１３３】パケット構成部６０５は、ビット列分割部
６０２から出力された分割ビット列６３３とパケットヘ
ッダ生成部６０４から出力されたパケットヘッダ６３６
を多重し、得られた多重データ６３７を伝送路／蓄積媒
体１０６に出力するように構成される。

【０１３４】このような構成において、入力された動画
像の画像信号１３１は符号化部６０１で符号化される。
このとき、符号化部６０１からは符号化した際の符号化
情報６３４が出力され重要情報構成部６０３に入力され
る。重要情報構成部６０３は、入力された符号化情報６
３４から復号に必要な重要情報６３５だけを選択し、出
力する。重要情報６３５はパケットヘッダ生成部６０４
において、パケットヘッダ内に組み込まれパケットヘッ
ダ６３６として出力される。

【０１３５】一方、ビット列分割部６０２では、符号化
部６０１から出力されたビット列６３２をパケットサイ
ズに分割して出力する。パケット構成部６０５では、ビ
ット列分割部６０２から出力された分割ビッ ト列６３
３とパケットヘッダ生成部６０４から出力されたパケッ
トヘッダ６３６を多重し、多重データ６３７を伝送路／
蓄積媒体１０６に出力する。

【０１３６】このように、本実施例では、動画像を符号
化して得たビット列に、重要情報構成部６０２から出力
された重要情報６３５を決められたフォーマットでパケ
ットヘッダ生成部６０４によりヘッダに挿入し、これを
動画像の符号化データに付加してパケット化し、伝送す
るようにしたものである。

【０１３７】パケットヘッダには拡張ヘッダが設けられ
ており、この拡張ヘッダには通常画像関連重要情報以外
の重要情報を格納して送るのに使用される部分である。

【０１３８】そのため、通常画像関連重要情報以外の重
要情報として、ＭＰＥＧ−４における任意形状の画像符
号化・復号化に必要な情報、例えば、任意形状の画像符
号化では画像サイズの幅ＶＷの情報と高さＶＨの情報お
よび復号した画像を表示する位置を示すための画像位置
のｘ座標ＶＨＭＳＲの情報、ｙ座標ＶＶＭＳＲの情報、
そして、形状情報の符号化モードを示すＶＯＰシェープ
・コーディング・タイプ“vop_shape_coding_type（Ｖ
ＳＣＴ）”や、形状情報のサイズを変換してから符号化
するかどうかを示すフラグであるchange_conv_ratio_di
sable（ＣＣＲＤ）などを重要情報６３５として得て、
これを決められたフォーマットでパケットヘッダ生成部
６０４により拡張ヘッダとしてパケットヘッダに挿入さ
れる。復号部はこのパケットの拡張ヘッダから取り出し
た情報を利用して復号化処理を行うように構成される
と、パケット毎に任意形状の画像を再生できるようにな
り、任意形状画像符号化の場合でも従来の長方形画像の
符号化と同等の誤り耐性を持たせることができるように
なって、ＶＯＰヘッダや一部のＶＰが壊れていても動画
像の復号化が可能になる。

【０１３９】このように、本システムは、任意形状画像
符号化の場合でも従来の長方形画像の符号化と同等の誤
り耐性を持たせることができるが、上記の構成において
本発明の重要な構成である重要情報構成部６０３を図１
１を参照して詳細に説明する。

【０１４０】図１１に重要情報構成部６０３のブロック
図を示す。重要情報構成部６０３はこの実施形態での重
要なポイントであり、図１１に示すように、重要情報構
成部６０３は、切替部２２０１と、拡張ヘッダ挿入判定
部２２０２と、任意形状画像関連重要情報構成部２２０
３とより構成される。

【０１４１】拡張ヘッダ挿入判定部２２０２は、拡張ヘ
ッダをパケットヘッダに付加するかどうかの判定を行う
部であり、符号化部６０１から入力された符号化情報６
３４から符号化部６０１が任意形状の画像符号化を実施
しているか否かを判断して任意形状の画像符号化を実施
している場合に拡張ヘッダをパケットヘッダに付加す
る。

【０１４２】切替部２２０１は、部開閉スイッチであっ
て、拡張ヘッダ挿入判定部２２０２が拡張ヘッダをパケ
ットヘッダに付加すると判断した場合に、当該拡張ヘッ
ダ挿入判定部２２０２から出力される制御信号により切
替部２２０１は、部が閉じられて符号化部６０１からの
符号化情報６３４が任意形状画像関連重要情報構成部２
２０３に与えられる。

【０１４３】任意形状画像関連重要情報構成部２２０３
は切替部２２０１を介して入力される符号化情報６３４
を入力符号化情報２２３３として受けて、これより任意
形状符号化に関連するＶＯＰヘッダ情報を選択し、重要
情報６３５として出力するよう構成される。

【０１４４】このような構成において、符号化部６０１
から重要情報構成部６０３に入力された符号化情報６３
４は拡張ヘッダ挿入判定部２２０２により拡張ヘッダを
パケットヘッダに付加するかどうかの判定を行う。付加
すると判定された場合、切替部２２０１から任意形状画
像関連重要情報構成部２２０３に入力符号化情報２２３
３が入力される。任意形状画像関連重要情報構成部２２
０３では入力符号化情報２２３３から任意形状符号化に
関連するＶＯＰヘッダ情報を選択し、重要情報６３５を
出力する。

【０１４５】以下にパケットヘッダへの重要情報の組み
込みに関し詳細に述べる。

【０１４６】任意形状画像の符号化の際、長方形画像の
符号化に比べて、画像の幅（ＶＷ）、高さ（ＶＨ）、画
像を配置するＸ座標（ＶＨＭＳＲ）、Ｙ座標（ＶＶＭＳ
Ｒ）、形状情報を縮小変換して符号化しているかどうか
を示すフラグ（ＣＣＲＤ）、形状情報の符号化モード
（ＶＳＣＴ）が必要になる。この他、アルファ・ブレン
ディングの際のアルファ値を一定に設定するためのフラ
グ(VCA)および値（ＶＣＡＶ）、計算精度を符号化／復
号化で同じにするた めの丸め演算のやり方を示すフラ
グ（ＶＲＴ）などの情報も含めることも可能であるが、
ここでは前者のＶＷ、ＶＨ、ＶＨＭＳＲ、ＶＶＭＳＲ、
ＣＣＲＤ、ＶＳＣＴを組み込むこととする。その際のパ
ケットヘッダ拡張部分のフォーマットを、図１２に示
す。ここで上の数字はビット数を表し、横１列で３２ビ
ット分を表すようになっている。ＭＰＥＧ−４の場合、
ＶＷ、ＶＨ、ＶＨＭＳＲ、ＶＶＭＳＲは各１３ビットで
表現され、残りのＣＣＥＤ、ＶＳＣＴは各１ビットであ
る。

【０１４７】ここでは、例として３２ビットにアライン
するために、最後にリザーブ“Reserve”のビット（Ｒ
Ｖ）を挿入している。ＶＷ、ＶＨなどが連続することで
同期信号などのビット列と同じものが出現する可能性が
ある場合には、例えば、図１３のように、マーカ（Ｍ）
を各値の間に挿入し、同期信号のような絶対に他に出て
きてはならないビット列に一致しないようにすることも
可能である。また、マーカＭの位置は、各情報の間であ
る必要もなく、送信側／受信側で同一の規則になってい
れば、どこに埋め込んでもかまわない。

【０１４８】最後に、拡張ヘッダがあることを示すフラ
グを通常のヘッダ情報の中に埋め込む必要がある。そこ
で、１ビットの情報で、通常ヘッダ内に拡張ヘッダが存
在するかどうかの情報を埋め込むことになる。これらの
フォーマットは例であり、この一部のデータだけでヘッ
ダ情報を構成したり、これ以外の情報と組合せて用いる
ことも可能である。

【０１４９】以上のようにして、本実施形態では、動画
像を符号化してパケット化する場合に、通常画像関連重
要情報を埋め込むパケットヘッダに拡張ヘッダを付加で
きるようにし、任意形状画像を符号化して送る場合に、
その任意形状画像関連重要情報を拡張ヘッダに埋め込ん
でパケットヘッダとしてデータに付加し、パケット化す
るようにしている。従って、パケット毎に任意形状の画
像を再生できるようになり、また、任意形状画像符号化
の場合でも従来の長方形画像の符号化と同等の誤り耐性
を持たせることができ、ＶＯＰヘッダや一部のＶＰが壊
れていても動画像の復号化が可能になる。

【０１５０】次に、このようなパケットの復号をする復
号部の例を説明する。

【０１５１】復号部の構成例について、以下に説明をす
る。図１４に示す復号部によると、符号化ビットストリ
ームを受ける分離部７０２の出力は、復号化部７０３お
よび重要情報構成部７０５に接続される。復号化部７０
３の出力は、エラーチェック部７０４を介して重要情報
構成部７０５に接続される。重要情報構成部７０５の出
力は復号化部７０３に接続される。

【０１５２】分離部７０２は伝送路／蓄積媒体１０６か
ら入力されるビット列７３１を分離処理して画像用のビ
ット列７３２とパケットヘッダ７３５、そして、それ以
外のデータとに分けるためのものである。

【０１５３】また、復号化部７０３は、分離された画像
用ビット列７３２を重要情報構成部７０５からの重要情
報を用いて復号化処理し、元の画像データを得る部であ
り、エラーチェック部７０４は、復号化部７０３にて得
られる復号情報７３３から復号中に誤りが発生していな
いかどうかをチェックするための部である。

【０１５４】また、重要情報構成部７０５は、分離部７
０２で分離処理されたうちのパケットヘッダ７３５の情
報から重要情報を構成して復号化部７０３に与えるよう
に構成される。

【０１５５】このような構成において、伝送路／蓄積媒
体１０６から入力されたビット列７３１は、分離部７０
２により画像用のビット列７３２とパケットヘッダ７３
５、そして、それ以外のデータとに分離される。その他
のデータは、夫々に対応した復号部に送られる。分離さ
れた画像用ビット列７３２は復号化部７０３に入力さ
れ、復号化が行われる。復号化部７０３における復号化
処理は、分離された画像用ビット列７３２について重要
情報構成部７０５からの重要情報を用いて行う。

【０１５６】エラーチェック部７０４は、復号化部７０
３からの復号情報７３３から復号中に誤りが発生してい
ないかどうかをチェックする。チェックの結果、誤りが
ありと判定された場合、重要情報構成部７０５はパケッ
トヘッダ７３５内に存在する重要情報７３６を構成し、
復号化部７０３は重要情報７３６を用いて符号化ビット
列の復号を開始する。

【０１５７】本システムでは、動画像を符号化してパケ
ット化する場合に、通常画像関連重要情報を埋め込むパ
ケットヘッダに拡張ヘッダが付加できる。また、任意形
状画像を符号化して送る場合に、その任意形状画像関連
重要情報を拡張ヘッダに埋め込んだパケットヘッダがデ
ータに付加される。この用にして、動画像が、パケット
化されているので、拡張ヘッダより任意形状画像関連重
要情報を取得でき、任意形状画像を復号できる。

【０１５８】本実施形態において重要な要素である重要
情報構成部７０５を図１５を参照して詳細を説明する。

【０１５９】図１５に示すように、重要情報構成部７０
５は、切替部２３０１と、拡張ヘッダ挿入判定部２３０
２と、任意形状画像関連重要情報復号部２３０３とより
構成される。

【０１６０】拡張ヘッダ挿入判定部２３０２は、拡張ヘ
ッダがパケットヘッダに付加されているかどうかの判定
を行う部であり、分離部７０２から入力されたパケット
ヘッダ７３５の情報から画像用ビット列７３２が任意形
状の画像符号化を実施しているか否かを判断して任意形
状の画像符号化を実施している場合に拡張ヘッダをパケ
ットヘッダに付加していると判断し、判断に対応する制
御信号を出力するよう構成されている。

【０１６１】切替部２３０１は、部開閉スイッチであっ
て、拡張ヘッダ挿入判定部２３０２が拡張ヘッダをパケ
ットヘッダに付加していると判断した場合に、当該拡張
ヘッダ挿入判定部２３０２から出力される制御信号によ
り切替部２３０１は、部が閉じられて分離部７０２から
のパケットヘッダ７３５の情報を任意形状画像関連重要
情報復号部２３０３に与えられる。

【０１６２】任意形状画像関連重要情報復号部２３０３
は切替部２３０１を介して入力されるパケットヘッダ７
３５の情報を入力情報２３３３として受けて、これより
任意形状符号化に関連する情報を復元し、重要情報６３
６として出力するように構成される。

【０１６３】このような構成の重要情報構成部７０５の
作用を説明する。入力されたパケットヘッダ７３５は拡
張ヘッダ挿入判定部２３０２において、パケットヘッダ
情報に拡張ヘッダが付加されているかどうかをパケット
ヘッダ情報を復号することで判定する。その結果、拡張
ヘッダがあると判定された場合、拡張ヘッダ挿入判定部
２３０２は切替部２３０１を閉じるべく制御することに
より、パケットヘッダ７３５を通し、これをパケットヘ
ッダ情報２３３３として任意形状画像関連重要情報復号
部２３０３に入力する。

【０１６４】任意形状画像関連重要情報復号部２３０３
はパケットヘッダ情報２３３３を元にして任意形状の符
号化に関する重要情報を復号し、それを重要情報７３６
として出力し、復号化部７０３へ与えることになる。

【０１６５】このようにして、任意形状画像関連の重要
情報を埋め込むことができるように設けた拡張ヘッダ中
の情報から、任意形状画像関連の重要情報を復号するこ
とができるようになる。

【０１６６】以上、本第２の実施形態の技術を用いるこ
とで、第１の実施形態と同様に任意形状画像符号化の場
合でも従来の長方形画像の符号化と同等の誤り耐性を有
することが可能となる。さらに、伝送路のプロトコルの
拡張ヘッダを用いることにより、画像符号化に関しては
ビット列を変更することなく実装できる。これは、既存
の標準方式等を利用する際に有効である。

【０１６７】第１の実施形態の変形例と同様にＶＷ，Ｖ
Ｈ，ＶＨＭＳＲ，ＶＶＭＳＲを可変長符号化にすること
により符号量を削減することが可能である。

【０１６８】なお、本実施形態はＭＰＥＧ−４について
述べているが、ＭＰＥＧ−４以外の任意形状画像符号化
の伝送に関しても同様の情報を付加することで、誤り耐
性を向上することが可能である。

【０１６９】次に、本発明の応用例として、本発明の符
号化装置／復号化装置を適用した動画像伝送システムの
実施例を図２５を参照して説明する。

【０１７０】パソコン３００１に備え付けられた（図示
しない）カメラより入力された動画像信号は、パソコン
３００１に組み込まれた符号化装置（あるいは符号化ソ
フトウェア）によって動画像符号化が行われる。この符
号化装置から出力される動画像信号は、他の音声やデー
タの情報と共に、無線機３００３により無線で伝送さ
れ、他の無線機３００４によって受信される。この無線
機には例えば、携帯電話、ＰＨＳ、無線ＬＡＮ装置など
を用いても良い。無線機３００４で受信された信号は、
動画像信号および音声やデータの情報に分解される。こ
れらのうち、動画像信号はノ一トパソコン３００５に組
み込まれた復号化装置（あるいは復号化ソフトウエア）
によって復号され、ノートＰＣ３００５のディスプレイ
に表示される。

【０１７１】一方、ノートパソコン３００５に備え付け
られた（図示しない）カメラより入力された動画像信号
は、ノートパソコン３００５に組み込まれた符号化装置
（あるいは符号化ソフトウエア）を用いて上記と同様に
復号化される。生成された動画像信号は、他の音声やデ
ータの情報と多重化され、無線機３００４により無線で
送信され、無線機３００３によって受信される。無線機
３００３によって受信された信号は、動画像信号および
音声やデータの情報に分解される。これらのうち、動画
像信号はパソコン３００１に組み込まれた復号化装置
（あるいは復号化ソフトウエア）によって復号され、パ
ソコン３００１のディスプレイに表示される。

【０１７２】パソコン３００１またはノートパソコン３
００５と、携帯テレビ電話３００６との間の動画像通信
に本発明による符号化／復号化装置を応用することもで
きる。パソコン３００１またはノートパソコン３００５
に組み込まれた符号化装置によって生成され、無線機３
００３または３００４から無線によって伝送された動画
像信号は、携帯テレビ電話３００６に組み込まれた無線
機で受信される。無線機で受信された信号は動画像信号
および音声やデータの情報に分解される。これらのう
ち、動画像信号は携帯テレビ電話３００６に組み込まれ
た復号化装置（あるいは復号化ソフトウエア）によって
復号され、携帯テレビ電話３００６のディスプレイに表
示される。

【０１７３】一方、携帯テレビ電話３００６に組み込ま
れたカメラ１００７より入力された動画像信号は、携帯
テレビ電話３００６に組み込まれた符号化装置（あるい
は符号化ソフトウエア）を用いて上記のパソコン３００
１およびノートパソコン３００５の例と同様に符号化さ
れる。生成された動画像信号は、他の音声やデータの情
報を多重化され、携帯テレビ電話３００６に組み込まれ
た無線機により無線で送信され、無線機３００３または
３００４によって受信される。無線機３００３または３
００４によって受信された信号は、動画像信号よび音声
やデータの情報に分解される。これらのうち、動画像信
号はパソコン３００１またはノートパソコン３００５に
組み込まれた復号化装置（あるいは復号化ソフトウェ
ア）によって復号され、パソコン３００１またはノート
パソコン３００５のディスプレイに表示される。

【０１７４】図２６は、図１の第１の実施形態の符号化
装置に対応した第４の実施形態の符号化装置を示してい
る。この第４の実施形態によると、多重化部１０５から
出力される多重化ビット列が記録媒体１０７格納され
る。この記録媒体１０７は、本発明に従ってフォーマッ
トされている。即ち、記録媒体１０７は、形状情報ヘッ
ダと、これに続く複数のＶＯＰが格納されている。形状
情報ヘッダは符号化データ内で共通に扱われる情報を納
めたフィールドであり、ＶＯＰヘッダよりも上位の情報
が格納されている。例えば、矩形画像の画像サイズ等が
格納される。各ＶＯＰは複数のマクロブロックを含んで
おり、最初のマクロブロックにはＶＯＰヘッダとこのＶ
ＯＰヘッダの後ろに設けたＭＢデータとで構成され、以
降のマクロブロックはＶＰヘッダとこのＶＰヘッダに後
続するＭＢデータとで構成される。ＶＰヘッダは図４に
従ってフォーマッチングされる。

【０１７５】図２７は、図５の第１の実施形態の復号化
装置に対応する第４の実施形態の復号化装置を示してい
る。この復号化装置は、第４の実施形態の符号化装置に
よって記録媒体１０７に格納された多重化ビット列を読
み取り、復号化する。

【０１７６】図２８は、図１０の第２の実施形態の符号
化装置に対応した第５の実施形態の復号化装置を示して
いる。この符号化装置は、パケット構成部６０５から出
力される多重化データを記録媒体１０７に本発明のフォ
ーマットに従って格納する。即ち、フォーマットは形状
情報ヘッダと複数のＶＯＰを含み、各ＶＯＰの複数のマ
クロブロックの各々にはＶＰヘッダが設けられる。

【０１７７】図２９は、図１４の第２の実施形態の復号
化装置に対応する第５の実施形態の復号化装置を示して
いる。この復号化装置は、第５の実施形態の符号化装置
によって記録媒体１０７に格納された多重化ビット列を
読み取り、復号化する。

【０１７８】以下、図３０にしたがって図２７の復号化
装置３０３での処理の内容を説明する。

【０１７９】蓄積媒体１０７から画像符号列を順次読み
込み、まず同期符号を検出する（ステップＳ１１）。も
し、検出された同期符号がＶＯＰ ｓｔａｒｔ ｃｏｄ
ｅだったら（ステップＳ１２のＹＥＳ）、直前に復号さ
れたＶＯＰ（フレーム）を画像情報出力装置へ出力する
処理を行う（ステップＳ１３）。そして、画像符号列中
ＶＯＰ ｓｔａｒｔ ｃｏｄｅに引き続くＶＯＰヘッダ
（図２９中ＶＯＰ ｈｅａｄｅｒ）の復号を行う（ステ
ップＳ１４）。もし、ＶＯＰヘッダが正しく復号できた
ら（ステップＳ１５のＹＥＳ）、復号化装置中の一時記
憶回路に記録されている情報を復号されたＶＯＰヘッダ
情報（時刻情報、ＶＯＰ予測モード等）で置き換える
（ステップＳ１６）。そしてＶＯＰヘッダに引き続くマ
クロブロックデータ（図２９中ＭＢ ｄａｔａ）を復号
し、そのビデオパケットの復号を行う（ステップＳ１
７）。

【０１８０】もし、検出された同期符号がｒｅｓｙｎｃ
ｍａｒｋｅｒだったら（ステップＳ１８のＹＥＳ）、ｒ
ｅｓｙｎｃ ｍａｒｋｅｒに引き続くビデオパケットヘ
ッダ（マクロブロック番号（ＭＢＡ）、ビデオパケット
量子化パラメータ（ＳＱ）、ヘッダ拡張コードＨＥ
Ｃ））の復号を行う（ステップＳ１９）。もし、ビデオ
パケットヘッダ中のヘッダ拡張コードＨＥＣ＝“０”だ
った場合には（ステップＳ２０のＮＯ）、そのビデオパ
ケットの復号を行う（ステップＳ１７）。もし、ヘッダ
拡張コードＨＥＣ＝“１”だった場合には（ステップＳ
２０のＹＥＳ）、それに引き続く二重化情報（図２９中
ＤＵＰＨ）の復号を行う（ステップＳ２１）。このと
き、任意形状か否かを判定し（ステップＳ２１−１）、
ＹＥＳであれば、任意形状画像関連重要情報を復号化す
る（ステップＳ２１−２）。判定がＮＯであれば、ステ
ップ２２にジャンプする。もし、二重化情報が正しく復
号できたならば（ステップＳ２２のＹＥＳ）、この二重
化情報と、一時記憶回路に保存されていた情報を比較す
る（ステップＳ２３）。もし比較結果が等しければ（ス
テップＳ２３のＮＯ）、ビデオパケットヘッダに引き続
くマクロブロックデータ（図２９中ＭＢｄａｔａ）を復
号し、そのビデオパケットを復号する（ステップＳ１
７）。もし、比較結果が等しくなければ（ステップＳ２
３のＹＥＳ）、このビデオパケットは直前に復号された
ＶＯＰとは異なるＶＯＰに属すると判定し、直前に復号
したＶＯＰを画像情報出力装置に出力する処理を行い
（ステップＳ２４）、一時記憶装置に記録されている情
報を復号した二重化情報で置き換える（ステップＳ２
５）。さらにそのビデオパケットの復号を行う（ステッ
プＳ１７）。

【０１８１】以上、図３０に示した同期符号検出から始
まる一連の処理を、蓄積媒体８１０に記録されている画
像符号列を順次読み込みながら繰り返していき、動画像
信号を再生する。

【０１８２】なお、画像符号列をそのまま蓄積媒体に記
録するのではなく、音声信号やオーディオ信号を符号化
した符号列、データ、制御情報等との多重化を行った符
号列を蓄積媒体に記録するようにしても良い。この場
合、蓄積媒体に記録した情報を画像符号化装置８２０で
符号する前に、逆多重化装置で画像符号列と音声・オー
ディオ符号列、データ、制御情報を逆多重化する処理を
行い、逆多重化された画像符号列を符号化装置８２０で
復号する。

【０１８３】また、図２９では、蓄積媒体８１０に記録
されている情報が復号化装置８２０に信号線８０を介し
て伝達される例を示したが、信号線以外に、有線／無線
／赤外線等の伝送路を介して情報を伝達しても構わな
い。

【０１８４】以上のように本発明によれば、蓄積媒体に
記録されている符号列は、重要な情報が二重化して記録
されているため、蓄積媒体に記録された情報に謝りがあ
る場合や、蓄積媒体に記録された情報を再生画像に送る
信号線や伝送路において誤りが生じる場合においても、
劣化の少ない再生画像を再生することができる。

【０１８５】

【発明の効果】以上のように本発明によれば、任意形状
画像を符号化した場合でも、従来の長方形画像の符号化
と同等の誤り耐性能力を持たせることが可能となる。ま
た、動画像／音声データの伝送に利用されるプロトコル
としてのＲＴＰの拡張ヘッダを用いることでデータをパ
ケット伝送する場合においても、ＭＰＥＧ−４などの既
存の標準方式に則ったかたちで符号化して伝送でき、し
かも、従来の長方形画像の符号化と同等の誤り耐性能力
を持たせることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における符号化部の基
本的構成を示す図。

【図２】本発明の第１の実施形態における符号化部の重
要情報構成部およびビット列再構成部の詳細な基本的構
成を示す図。

【図３】本発明の第１の実施形態におけるビット列再構
成部の基本フローを示す図。

【図４】本発明の第１の実施形態におけるVPの拡張ヘッ
ダフォーマットを示した図。

【図５】本発明の第１の実施形態の復号化部における基
本的構成を示す図。

【図６】本発明の第１の実施形態の復号化部における重
要情報構成部の詳細な基本的構成を示す図。

【図７】本発明で用いる符号語構成を説明するための
図。

【図８】可変長符号化の効果を説明した例を示す図。

【図９】重要情報に可変長符号化を行うことを示した
図。

【図１０】本発明の第２の実施形態における符号化部の
基本的構成図。

【図１１】本発明の第２の実施形態における符号化部の
重要情報構成部の詳細な構成図。

【図１２】本発明の第２の実施形態における拡張パケッ
トヘッダの例を示した図。

【図１３】本発明の第２の実施形態における拡張パケッ
トヘッダの例を示した図（マーカー有り）。

【図１４】本発明の第２の実施形態における復号化部の
基本的構成を示す図。

【図１５】本発明の第２の実施形態における復号化部の
重要情報構成部の詳細な構成を示す図。

【図１６】任意形状画像の符号化を説明した図。

【図１７】任意形状画像の復号化を説明した図。

【図１８】ＭＰＥＧ−４のＶＯＰ構造を示した図。

【図１９】ＭＰＥＧ−４のＶＰ構造を示した図。

【図２０】ＭＰＥＧ−４のＶＰヘッダフォーマットを示
した図。

【図２１】通常のＶＰの問題点を示した図。

【図２２】通常のＶＰの効果を示した図。

【図２３】ＨＥＣを用いた場合のＶＰの効果を示した
図。

【図２４】任意形状画像の復号時に画像を合成して再生
する場合の必要情報を示した図。

【図２５】本発明の第３に実施例に係る符号化/復号化
装置が適用される無線動画像伝送システムの例を示す
図。

【図２６】第１の実施形態の符号化装置に対応した第４
の実施形態の符号化装置を示す図。

【図２７】第１の実施形態の復号化装置に対応する第４
の実施形態の復号化装置を示す図。

【図２８】第２の実施形態の符号化装置に対応した第５
の実施形態の復号化装置を示す図。

【図２９】第２の実施形態の復号化装置に対応する第５
の実施形態の復号化装置を示す図。

【図３０】第３の実施形態の復号化装置のフローチャー
トを示す図。

【符号の説明】

１０１…符号化部 １０２…重要情報構成部 １０３…同期信号発生部 １０４…ビット列再構成部 １０５…多重化部 １０６…伝送路 ２０１…ＭＢ境界判定部 ２０２…カウンタ ２０３…同期信号挿入判定部 ２０５…ヘッダ情報挿入部 ２０６…加算部 ２０６…通常画像関連重要情報構成部 ２０７…任意形状画像関連重要情報構成部 ２０８…任意形状符号化判定部 ２１０…多重化部 ２３２…ＭＢ境界判定信号 ２３３…符号量データ ２４１…任意形状画像符号化に関する重要情報 ３０２…分離部 ３０３…復号化部 ３０４…同期検出部 ３０５…エラーチェック部 ３０６…重要情報構成部 ３０７、通常画像関連重要情報構成部 ３０８…任意形状符号化判定部 ３０９，３１１…切替部 ３１０…任意形状画像関連重要情報構成部 ３３３…同期信号検出信号 ３３６，３３７，３４１，２３３５…重要情報を含むヘ
ッダ情報 ３３８，３３９…切替部制御信号 ３４０，３４２…重要情報 ３４４，７３７…復号画像信号 ６０１…符号化部 ６０２…ビット列分割部 ６０３…重要情報構成部 ６０４…パケットヘッダ生成部 ６０５…パケット構成部 ７３４…エラー検出信号 １００１…可変長符号化部 １００２…可変長符号生成部 ２２０１…切替部 ２２０２…拡張ヘッダ挿入判定部 ２２０３…任意形状画像関連重要情報構成部 ３００１…パソコン ３００３、３００４…無線機 ３００５…ノートパソコン ３００６…携帯テレビ電話

Claims (14)

【特許請求の範囲】
1. 【請求項１】入力された動画像を符号化してビット列を
   得る符号化手段と、 この符号化手段での符号化情報から一定のビット列の纏
   まりがどのような規則のもとに符号化されたものである
   のかを指し示す情報としての重要情報を取り出して再構
   成する重要情報再構成手段と、 同期信号を発生する同期信号発生手段と、 前記符号化手段により符号化されたビット列に前記同期
   発生手段から出力された同期信号と前記重要情報再構成
   手段により再構成された重要情報を加えビット列を再構
   成するビット列再構成手段と、を具備したことを特徴と
   する動画像符号化装置。
2. 【請求項２】請求項１に記載の画像符号化装置におい
   て、 前記重要情報再構成手段は、 前記符号化情報からフレームを方形領域単位で符号化す
   る通常の符号化形態における重要情報である通常画像関
   連情報を再構成する通常画像関連重要情報再構成手段
   と、 前記符号化情報からフレーム内の画像を任意形状画像領
   域単位で符号化する任意形状符号化形態における重要情
   報である任意形状画像関連重要情報を再構成する任意形
   状画像関連重要情報再構成手段と、 前記符号化情報から符号化している画像が任意形状画像
   であるか否かを判定する任意形状符号化判定手段と、 前記任意形状符号化判定手段が任意形状画像と判定した
   場合に前記任意形状画像関連重要情報を出力する切替手
   段と、 前記通常画像関連情報と切替手段の出力とを多重化する
   多重化手段と、を備えることを特徴とする動画像符号化
   装置。
3. 【請求項３】動画像を符号化して同期情報を含むビット
   列を得ると共に、この符号化における一定のビット列の
   纏まりがどのような規則のもとに符号化されたものであ
   るのかを指し示す情報としての重要情報をヘッダ情報と
   して付加した形態のビット列とする動画像符号化におけ
   る復号化装置として、 入力されたビット列から画像ビット列を分離する分離手
   段と、 前記画像ビット列を復号する復号化手段と、 前記画像ビット列から同期信号を検出し前記復号化手段
   へ通知する同期信号検出手段と、 前記復号化手段の復号情報から誤りが存在しないかどう
   かを判定するエラーチェック手段と、 エラーチェック手段が誤りなしと判定したとき、前記復
   号化手段から出されたヘッダ情報から重要情報を再構成
   し、復号化手段に通知する重要情報再構成手段と、を具
   備したことを特徴とする動画像復号化装置。
4. 【請求項４】請求項３に記載の動画像復号化装置におい
   て、 前記重要情報再構成手段は、 前記ヘッダ情報から通常画像関連重要情報を再構成する
   通常画像関連重要情報再構成手段と、 前記ヘッダ情報から復号化している画像が任意形状画像
   かどうかを判定する任意形状符号化判定手段と、 ヘッダ情報から任意形状画像関連重要情報を再構成する
   任意形状画像関連重要情報再構成手段と、 前記任意形状符号化判定手段任意形状画像と判定した場
   合に、ヘッダ情報を任意形状画像関連情報再構成手段へ
   入力する切替手段と、 前記任意形状符号化判定手段で任意形状画像と判定した
   場合に、前記任意形状画像関連重要情報を出力する切替
   手段と、を具備した構成とすることを特徴とする動画像
   符号化装置。
5. 【請求項５】入力された動画像を符号化してビット列を
   得る符号化手段と、 この符号化手段での符号化情報から一定のビット列の纏
   まりがどのような規則のもとに符号化されたものである
   のかを指し示す情報としての重要情報を取り出して再構
   成する重要情報再構成手段と、 前記符号化手段により符号化されたビット列を分割する
   ビット列分割手段と、 前記重要情報再構成手段により再構成された重要情報か
   らパケットヘッダを作成するパケットヘッダ作成手段
   と、 前記ビット列分割手段により分割されたビット列と前記
   パケットヘッダ生成手段により生成されたパケットヘッ
   ダとを用いてパケットを構成するパケット構成手段と、
   を具備したことを特徴とする動画像符号化装置。
6. 【請求項６】請求項５に記載の動画像符号化装置におい
   て、 前記重要情報再構成手段は、 前記符号化情報から任意形状画像関連重要情報を再構成
   する任意形状画像関連重要情報再構成手段と、 前記符号化情報から任意形状画像関連重要情報を保持さ
   せた拡張ヘッダをパケットヘッダに付加するか否かを判
   定する拡張ヘッダ挿入判定手段と、 拡張ヘッダを挿入すると前記拡張ヘッダ挿入判定手段が
   判定した場合に、前記ヘッダ情報を前記任意形状画像関
   連重要情報に入力する切替手段と、を具備したことを特
   徴とする動画像符号化装置。
7. 【請求項７】動画像を符号化してビット列を得ると共
   に、この符号化における一定のビット列の纏まりがどの
   ような規則のもとに符号化されたものであるのかを指し
   示す情報としての重要情報をパケットヘッダ情報として
   付加した形態のビット列とする動画像符号化における符
   号化データの復号化装置において、 入力されたビット列から画像ビット列とパケットヘッダ
   情報を分離する分離手段と、 前記画像ビット列を復号する復号化手段と、 前記復号化手段の復号情報から誤りが存在しないかどう
   かを判定するエラーチェック手段と、 前記パケットヘッダ情報から一定のビット列の纏まりが
   どのような規則のもとに符号化されたものであるのかを
   指し示す情報としての重要情報を取り出して重要情報の
   再構成を行い、前記エラーチェック手段で誤りがあると
   判定され復号に重要情報が必要な場合に当該再構成した
   重要情報を復号化手段に通知する重要情報再構成手段
   と、を具備したことを特徴とする動画像復号化装置。
8. 【請求項８】請求項７に記載の動画像復号化装置におい
   て、 前記重要情報再構成手段は、 前記パケットヘッダ情報から任意形状画像関連重要情報
   を再構成する任意形状画像関連重要情報再構成手段と、 前記パケットヘッダ情報から拡張ヘッダがパケットヘッ
   ダに付加されているか否かを判定する拡張ヘッダ挿入判
   定手段と、 拡張ヘッダが挿入されていると前記拡張ヘッダ挿入判定
   手段が判定した場合に前記パケットヘッダ情報を前記任
   意形状画像関連重要情報に入力する切替手段と、を具備
   したことを特徴とする動画像符号化装置。
9. 【請求項９】動画像を符号化し、符号化ビット列を生成
   する動画像符号化装置を含むサーバコンピュータと、 前記サーバコンピュータの符号化ビット列を送信する送
   信機と、 前記サーバコンピュータからの符号化ビット列を受信す
   る受信機と、 前記受信機からの符号化ビット列を復号化する動画像復
   号化装置を含むクライアントコンピュータと、を具備
   し、 前記動画像符号化装置は、 入力された動画像を符号化して符号化情報を前記ビット
   列として生成する符号化部と、 前記符号化部の符号化情報から、一定のビット列の纏ま
   りがどのような規則のもとに符号化されているかを指し
   示す情報としての重要情報を取り出して再構成する重要
   情報再構成部と、 同期信号を発生する同期信号発生部と、 前記符号化部により符号化されたビット列に前記同期発
   生部から出力された同期信号と前記重要情報再構成部に
   より再構成された重要情報を加えビット列を再構成する
   ビット列再構成部と、 で構成され、 前記動画像復号化装置は、受信した前記符号化ビット列
   から前記動画像情報に対応する画像ビット列を分離する
   分離部と、 前記画像ビット列を復号する復号化部と、 前記ビット列から同期信号を検出し前記復号化部へ通知
   する同期信号検出部と、 前記復号化部の復号情報から誤りが存在しないかどうか
   を判定するエラーチェック部と、 前記エラーチェック部が誤りなしと判定したとき、前記
   復号化部から出された前記ヘッダ情報から重要情報を再
   構成し、復号化部に通知する重要情報再構成部と、 で構成される、 動画像伝送システム。
10. 【請求項１０】動画像を符号化し、符号化ビット列を生
    成する動画像符号化装置を含むサーバコンピュータと、 前記サーバコンピュータの符号化ビット列を送信する送
    信機と、 前記サーバコンピュータからの符号化ビット列を受信す
    る受信機と、 前記受信機からの符号化ビット列を復号化する動画像復
    号化装置を含むクライアントコンピュータと、を具備
    し、 前記動画像符号化装置は、 入力された動画像を符号化した符号化情報を符号化ビッ
    ト列として生成する符号化部と、 前記符号化部での符号化情報から一定のビット列の纏ま
    りがどのような規則のもとに符号化されているかを指し
    示す重要情報を取り出して再構成する重要情報再構成部
    と、 前記符号化部により符号化されたビット列を分割し、複
    数の分割ビット列を生成するビット列分割部と、 前記重要情報再構成部により再構成された重要情報から
    パケットヘッダを作成するパケットヘッダ作成部と、 前記分割ビット列と前記パケットヘッダとを用いてパケ
    ットを構成するパケット構成部と、 で構成され、 前記動画像復号化装置は、 受信された前記ビット列から前記動画像情報の画像ピッ
    ト列とパケットヘッダ情報とを分離する分離部と、 前記画像ビット列を復号する復号化部と、 前記復号化部の復号情報から誤りが存在しないかどうか
    を判定するエラーチェック部と、 前記パケットヘッダ情報から前記重要情報を取り出して
    重要情報を再構成し、前記エラーチェック部で誤りがあ
    ると判定され、復号に重要情報が必要な場合に当該再構
    成した重要情報を復号化部に通知する重要情報再構成部
    とで構成される、 動画像伝送システム。
11. 【請求項１１】記録すべき画像の任意形状情報を格納す
    る形状情報ヘッダと、 各々が複数のマクロブロックを含んでおり、各マクロブ
    ロックはＶＰヘッダとこのＶＰヘッダの後ろに設けたＭ
    Ｂデータとで構成され、前記ＶＰヘッダは符号化ビット
    列の一定のビット列の纏まりがどのような規則のもとに
    符号化されているかを指し示す重要情報を含む、複数の
    ＶＯＰ（Video Object Plane）と、が記録された記録媒
    体。
12. 【請求項１２】前記ＶＰヘッダの重要情報は画像の幅、
    画像の高さ、画像を貼り込むＸ座標およびＹ座標、形状
    情報を縮小変換して符号化しているかどうかを示すフラ
    グ、形状情報の符号化タイプの情報を含む請求項１１の
    記録媒体。
13. 【請求項１３】入力されたビット列から画像列を分離す
    る分離手段と、 前記が画像ビット列を復号する復号化手段と、 前記画像ビット列から同期信号を検出し、前記復号化手
    段へ通知する同期信号検出手段と、 前記復号化手段から出されたヘッダ情報から重要情報を
    再構成し、復号化手段に通知する重要情報再構成手段
    と、 を具備する動画像復号化装置。
14. 【請求項１４】前記重要情報再構成手段は、 前記ヘッダ情報から通常画像関連重要情報再構成手段
    と、 前記ヘッダ情報から復号化している画像が任意形状画像
    かどうかを判定する任意形状符号化判定手段と、 ヘッダ情報から任意形状画像関連重要情報を再構成する
    任意形状画像関連重要情報再構成手段と、 前記任意形状符号化判定手段が任意形状であると判定し
    た場合にヘッダ情報を任意形状画像関連情報再構成手段
    へ入力する切り替え手段と、 前記任意形状符号化判定手段で任意形状画像だと判定さ
    れた場合に前記任意形状画像関連重要情報を出力する切
    り替え手段と、 を具備する請求項１３の動画像符号化装置。