JPH09247666A - 動画像復号タイミング推定方法および動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】動画像の符号化フレームを復号する際の２番目
に復号を行う符号化フレームの復号タイミングを少ない
演算量で正確に推定できる動画像復号タイミング推定方
法、動画像符号化装置および動画像復号化装置を提供す
る。 【解決手段】ＭＰＥＧビデオデコーダ４０３でビデオビ
ットストリーム４０７から最初に復号される符号化フレ
ームの表示順を示す番号、フレーム構造／フィールド構
造の識別データ、フレーム構造の場合に画面の表示方法
の識別データ、および、２番目に復号される符号化フレ
ームのフレーム構造／フィールド構造の識別データ、フ
レーム構造の場合に画面の表示方法の識別データ、画面
の表示期間を示すデータを抽出し、復号開始タイミング
制御回路４０８で抽出された各データと、画面の表示の
連続性を基に、２番目の符号化フレームの復号開始時を
推定してデコーダ４０３で符号化フレームを復号する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、個別に符
号化される動画像、音声等の符号化データ列を同期化し
て多重化するＭＰＥＧシステムにおける動画像の復号タ
イミング推定方法および、それを用いた動画像符号化装
置および動画像復号化装置に関する。

【０００２】

【従来の技術】個別に符号化された動画像（ビデオ）、
音声（オーディオ）等のデータ列を同期・多重して１本
化するＭＰＥＧシステムには、主に、ＣＤ−ＲＯＭ等の
蓄積メディアのアプリケーションに対応したＭＰＥＧ１
システム、このＭＰＥＧ１のアプリケーションを含む幅
広いアプリケーションに対応したＭＰＥＧ２システムと
がある。

【０００３】このようなＭＰＥＧシステムでは、ビデ
オ、オーディオ等を個別に符号化して得られた別個のデ
ータ列（ストリーム）を時分割多重して１本のストリー
ムにし、蓄積メディアに記録したり、通信ネットワーク
を介して伝送する。再生側では、蓄積メディアから読み
出され、あるいは、通信ネットワークを介して受信され
た多重ストリームから各個別のストリームを分離してそ
れぞれの復号器に送り、各複合器で個別にストリームを
復号して出力装置（ビデオモニタ、スピーカなど）に出
力する。その際、送信側で意図したように、受信側で各
個別ストリームを同期復号、再生出力するようになって
いる。

【０００４】ところで、ＭＰＥＧの符号化画像には、画
面の全てをイントラ符号化するイントラ符号化画像（Ｉ
ピクチャ）、フレーム間順方向予測符号化画像（Ｐピク
チャ）、過去の再生画像からの順方向予測と未来の再生
画像からの逆方向予測をも使う双方向予測符号化画像
（Ｂピクチャ）という３つの画像タイプがある。

【０００５】双方向予測符号化のＢピクチャが挿入され
る場合、過去の再生画像のみならず、未来の再生画像を
も参照する必要があるために、画面の処理順序と原画面
の順序が異なることに注意が必要である。

【０００６】すなわち、符号器では、Ｂピクチャをスキ
ップして次のＩ、Ｐピクチャを先に符号化し、その後、
間にあるＢピクチャを符号化する。復号器は、Ｂピクチ
ャを直ちに復号して表示するが、Ｉ、Ｐピクチャは復号
した後も間に入るＢピクチャの処理が終了してから表示
する。従って、符号器と復号器を通すとＩまたはＰピク
チャの現れる周期だけの遅延が発生することになる。

【０００７】この様子を具体的に示したものが図８であ
る。図８では、入力画像（原画像）、符号化画像、表示
画像の関係を画面の処理順と原画面の順序の相違を含め
て表している。

【０００８】図８において、ｂ１２、ｂ１３は、（ｎ−
１）番目のＧＯＰ（Ｇｒｏｕｐｏｆ Ｐｉｃｔｕｒｅ：
Ｉピクチャが少なくとも１枚入った画面群構造）に含ま
れるＢピクチャを表し、ｐ１４は、（ｎ−１）番目のＧ
ＯＰの最後のｐピクチャを表す。

【０００９】Ｉ２は、ｎ番目のＧＯＰの最初のＩピクチ
ャを表し、ｐ５は、ｎ番目のＧＯＰの最初のｐピクチャ
を表し、Ｂ０、Ｂ１、Ｂ３、Ｂ４は、ｎ番目のＧＯＰに
含まれるＢピクチャを表す。

【００１０】各ピクチャ間の復号のインターバルＴｘｘ
（ｘｘ＝Ｂ０、Ｂ１、Ｉ２、…、Ｐ５、…）は、復号を
行っているときに表示を行うピクチャの表示時間であ
る。すなわち、 （１） 現在、Ｂピクチャを復号しているなら、次のピ
クチャの復号開始までのインターバルは、そのＢピクチ
ャが表示される期間である。

【００１１】（２） 現在、ＩまたはＰピクチャを復号
しているなら、次のピクチャの復号開始までのインター
バルは直前に復号を行ったＩまたはＰピクチャが表示さ
れる期間である。

【００１２】ＭＰＥＧ１では、順次走査（ノンインタレ
ース）の画像のみを扱っているが、ＭＰＥＧ２では、順
次走査の画像だけでなく、インタレース走査（飛び越し
走査）の画像も扱うことができる。順次走査方式とイン
タレース走査方式の違いを図９を参照して簡単に説明す
る。

【００１３】図９では、３０Ｈｚ（詳しくは２９．９７
Ｈｚ）順次走査方式（図９（ｂ）参照）と、３０Ｈｚイ
ンタレース走査方式、すなわち、フィールド周波数６０
Ｈｚの場合（図９（ａ）参照）を例にとり示している。
順次走査では、１枚のフレームの中の画像は、全て同じ
時間にサンプリングされたものであるが、インタレース
走査では、１枚のフレームの中の画像は異なった時間に
サンプリングされたものが１ライン毎に交互に（すなわ
ち、奇数ラインと偶数ラインを交互に）繰り返されてい
る。この異なった時間にサンプリングされた画像をそれ
ぞれ第１フィールド、第２フィールドと呼び、インタレ
ース走査の画面では、１枚のフレームは、通常２枚のフ
ィールド画像から構成されることになる（図９（ａ）参
照）。

【００１４】ＭＰＥＧ２では、ピクチャ（ＭＰＥＧにお
ける１枚の画像単位）にフレームを割り当てることもフ
ィールドを割り当てることもできる。ピクチャにフレー
ムが割り当てられた場合、この割り付け方をフレーム構
造と呼ぶ。ピクチャにフィールドが割り当てられた場
合、この割り付け方をフィールド構造と呼ぶ。１つの画
像シーケンスの中で、フレーム構造とフィールド構造が
混在してもよいし、どちらか一方の構造だけで符号化し
てもよい。

【００１５】一方、ＭＰＥＧ１では、順次走査方式であ
るため、全てがフレーム画像として扱われていて、１フ
レームの表示時間は、２フィールド期間である。ＭＰＥ
Ｇ２では、１フレームを表示する期間は、２フィールド
あるいは３フィールドと任意に設定することができる。
例えば、フレーム周期２４Ｈｚの映画ソースをＮＴＳＣ
方式のフレーム周期３０Ｈｚのインタレースの受像装置
でフレームレート変換して表示される場合、２：３プル
ダウンと呼ばれるテレシネ変換の情報を表すフラグ（Ｔ
ＦＦ、ＲＦＦ）を多重して符号化を行う。

【００１６】ここで、フラグＴＦＦ（ｔｏｐ ｆｉｅｌ
ｄ ｆｉｒｓｔ）とは、フレーム構造の場合、最初に表
示されるフィールドが上位（ｔｏｐ ｆｉｅｌｄ）か下
位（ｂｏｔｔｏｍ ｆｉｅｌｄ）かを示し、フラグＲＥ
Ｆ（ｒｅｐｅａｔ ｆｉｒｓｔ ｆｉｅｌｄ）は、１ピ
クチャの表示期間が２フィールドか、３フィールドかを
示している。なお、この２つのフラグは、各ピクチャ毎
に与えられるデータである。

【００１７】さて、ここで、ランダムアクセス時やチャ
ンネルホッピング時のように、符号化データの途中から
エントリーする場合を考える。例えば、図８のｎ番目の
ＧＯＰから復号を開始する場合、最初のＩまたはＰピク
チャの復号時に表示を行う画像がない。このような場
合、図８中の復号画像ｐ１４の表示時間が不明であるた
め、Ｉ２ピクチャの次に復号を行うＢ０ピクチャの復号
開始までのインターバルが２フィールド後であるか３フ
ィールド後であるか特定できない。

【００１８】また、シーケンスのスタートアップ時も同
様に符号化側がＩ２ピクチャとＢ０ピクチャの復号イン
ターバルを２フィールドとして符号化を行ったか３フィ
ールドにして符号化を行ったかが不明な場合、前述と同
様な問題が発生する。

【００１９】従来、Ｂ０ピクチャの復号開始時刻を推定
するには、次のような方法がある。すなわち、ＭＰＥＧ
方式で符号化された画像データには、、付加情報とし
て、符号化された各ピクチャの先頭のバイトが受信バッ
ファに入力されてから復号に用いるまでのバッファ滞留
時間（ＶＤ：ＶＢＶ Ｄｅｌａｙ）が多重されている。
このＶＤの値は、９０Ｈｚのクロックで測定したときの
クロック数を１６ビットで表現したものである。ＶＤと
受信バッファの占有量Ｂｎ、伝送レートＲの関係は、 ＶＤ＝９００００×Ｂｎ／Ｒ となる。

【００２０】これより、受信バッファの占有量がＢｎと
なった時刻にＢ０ピクチャの復号を開始することが可能
である。しかし、この方法では、Ｂｎを求めるために除
算を行う必要があるため、ハードウエアの規模が懸念さ
れる。また、可変レート符号化を行った場合は、伝送レ
ートＲがピクチャ単位で変化する場合や、ＶＤの値が
「０ｘＦＦＦＦ」という特殊な値で記録される場合があ
るため、Ｂｎを計算を行うことが非常に困難になる。

【００２１】一方、従来の動画像符号化技術であるＭＰ
ＥＧ１では、２：３プルダウンと呼ばれるテレシネ変換
の情報を表すフラグ（ＴＦＦ、ＲＦＦ）がなく、全てが
フレーム画像として扱われていた。従って、ＭＰＥＧ１
により符号化された動画像信号を復号する場合、Ｂ０ピ
クチャの復号を開始する時刻は、Ｉ２ピクチャの復号か
ら１フレーム（２フィールド）後でよい。

【００２２】

【発明が解決しようとする課題】ＭＰＥＧ２では、前述
したように、２：３プルダウンされた画像を扱う可能性
があるため、２番目に入力された符号化画像（Ｂ０ピク
チャ）の復号を開始する時刻が最初に入力された符号化
画像（Ｉ２ピクチャ）の復号から２フィールド後か３フ
ィールド後であるかを容易に特定できないという問題点
がある。

【００２３】すなわち、従来において、最初のＩピクチ
ャの次に復号を行うＢピクチャの復号開始時刻を推定す
るには、 （１） 固定伝送レートの場合、ハードウエアの増加が
予想される。 （２） 可変伝送レートの場合、従来技術では不可能で
ある。 という問題点があった。

【００２４】復号開始時間が正確に推定されないと、受
信した圧縮データを蓄える受信バッファのオーバーフロ
ーやアンダーフローが発生する恐れがあり、正常に復号
が行われなくなる恐れがある。また、ＭＰＥＧシステム
において、再生側でビデオ、オーディオを同期復号する
ことが困難となる。同様に、ＭＰＥＧシステムの符号側
においても、復号の開始タイミングを正確に掴めない
と、オーディオ等の他のデータが適正な時刻に多重され
なくなる。

【００２５】そこで、本発明は、上記問題点を鑑みてな
されたもので、動画像の符号化フレームを復号する際の
２番目に復号を行う符号化フレームの復号タイミングを
少ない演算量で正確に推定できる動画像復号タイミング
推定方法、および、それを用いた動画像符号化装置およ
び動画像復号化装置を提供することを目的とする。

【００２６】

【課題を解決するための手段】本発明の動画像復号タイ
ミング推定方法は、動画像の符号化フレームを復号する
際の復号タイミングを推定する動画像復号タイミング推
定方法において、最初に復号する符号化フレームの表示
順が１番目の場合、２番目に復号する符号化フレームの
復号開始タイミングは、最初に復号する符号化フレーム
の表示開始時と推定し、最初に復号する符号化フレーム
の表示順が２番目の場合、２番目に復号する符号化フレ
ームの表示期間が２フィールド期間であるとき、 ２番
目に復号する符号化フレームの復号開始タイミングは、
最初に復号する符 号化フレームの表示開始時の２フィ
ールド期間前と推定し、２番目に復号する符号化フレー
ムの表示期間が３フィールド期間であるとき、 ２番目
に復号する符号化フレームの復号開始タイミングは、最
初に復号する符 号化フレームの表示開始時の３フィー
ルド期間前と推定し、最初に復号する符号化フレームの
表示順が３番目の場合、最初に復号する符号化フレーム
がフレーム構造のとき、２番目に復号する符号化フレー
ムがフレーム構造で、その最初に表示されるフィールド
と、最初に復号する符号化フレームの最初に表示される
フィールドが同じで、かつ、２番目に復号する符号化フ
レームの表示期間が２フィールドのとき、２番目に復号
する符号化フレームの復号開始タイミングは、最初に復
号する符号化フレームの表示開始時の４フィールド期間
前と推定し、２番目に復号する符号化フレームがフレー
ム構造で、その最初に表示されるフィールドと、最初に
復号する符号化フレームの最初に表示されるフィールド
が同じで、かつ、２番目に復号する符号化フレームの表
示期間が３フィールドのとき、２番目に復号する符号化
フレームの復号開始タイミングは、最初に復号する符号
化フレームの表示開始時の５フィールド期間前と推定
し、２番目に復号する符号化フレームがフレーム構造
で、その最初に表示されるフィールドと、最初に復号す
る符号化フレームの最初に表示されるフィールドが異な
るとき、２番目に復号する符号化フレームの復号開始タ
イミングは、最初に復号する符号化フレームの表示開始
時の５フィールド期間前と推定し、２番目に復号する符
号化フレームがフィールド構造における上位フィールド
で、最初に復号する符号化フレームの最初に表示される
フィールドが上位フィールドのとき、２番目に復号する
符号化フレームの復号開始タイミングは、最初に復号す
る符号化フレームの表示開始時の４フィールド期間前と
推定し、２番目に復号する符号化フレームがフィールド
構造における上位フィールドで、最初に復号する符号化
フレームの最初に表示されるフィールドが下位フィール
ドのとき、２番目に復号する符号化フレームの復号開始
タイミングは、最初に復号する符号化フレームの表示開
始時の５フィールド期間前と推定し、２番目に復号する
符号化フレームがフィールド構造における下位フィール
ドで、最初に復号する符号化フレームの最初に表示され
るフィールドが上位フィールドのとき、２番目に復号す
る符号化フレームの復号開始タイミングは、最初に復号
する符号化フレームの表示開始時の５フィールド期間前
と推定し、２番目に復号する符号化フレームがフィール
ド構造における下位フィールドで、最初に復号する符号
化フレームの最初に表示されるフィールドが下位フィー
ルドのとき、２番目に復号する符号化フレームの復号開
始タイミングは、最初に復号する符号化フレームの表示
開始時の４フィールド期間前と推定し、最初に復号する
符号化フレームがフィールド構造における上位フィール
ドのとき、２番目に復号する符号化フレームがフレーム
構造で、上位フィールドが先に表示され、かつ、２番目
に復号する符号化フレームの表示期間が２フィールドの
とき、２番目に復号する符号化フレームの復号開始タイ
ミングは、最初に復号する符号化フレームの表示開始時
の４フィールド期間前と推定し、２番目に復号する符号
化フレームがフレーム構造で、上位フィールドが先に表
示され、かつ、２番目に復号する符号化フレームの表示
期間が３フィールドのとき、２番目に復号する符号化フ
レームの復号開始タイミングは、最初に復号する符号化
フレームの表示開始時の５フィールド期間前と推定し、
２番目に復号する符号化フレームがフレーム構造で、下
位フィールドが先に表示されるとき、２番目に復号する
符号化フレームの復号開始タイミングは、最初に復号す
る符号化フレームの表示開始時の５フィールド期間前と
推定し、２番目に復号する符号化フレームがフィールド
構造における上位フィールドのとき、２番目に復号する
符号化フレームの復号開始タイミングは、最初に復号す
る符号化フレームの表示開始時の４フィールド期間前と
推定し、２番目に復号する符号化フレームがフィールド
構造における下位フィールドのとき、２番目に復号する
符号化フレームの復号開始タイミングは、最初に復号す
る符号化フレームの表示開始時の５フィールド期間前と
推定し、最初に復号する符号化フレームがフィールド構
造における下位フィールドのとき、２番目に復号する符
号化フレームがフレーム構造で、上位フィールドが先に
表示されるとき、２番目に復号する符号化フレームの復
号開始タイミングは、最初に復号する符号化フレームの
表示開始時の５フィールド期間前と推定し、２番目に復
号する符号化フレームがフレーム構造で、下位フィール
ドが先に表示され、かつ、２番目に復号する符号化フレ
ームの表示期間が２フィールドのとき、２番目に復号す
る符号化フレームの復号開始タイミングは、最初に復号
する符号化フレームの表示開始時の４フィールド期間前
と推定し、２番目に復号する符号化フレームがフレーム
構造で、下位フィールドが先に表示され、かつ、２番目
に復号する符号化フレームの表示期間が３フィールドの
とき、２番目に復号する符号化フレームの復号開始タイ
ミングは、最初に復号する符号化フレームの表示開始時
の５フィールド期間前と推定し、２番目に復号する符号
化フレームがフィールド構造における上位フィールドの
とき、２番目に復号する符号化フレームの復号開始タイ
ミングは、最初に復号する符号化フレームの表示開始時
の５フィールド期間前と推定し、２番目に復号する符号
化フレームがフィールド構造における下位フィールドの
とき、２番目に復号する符号化フレームの復号開始タイ
ミングは、最初に復号する符号化フレームの表示開始時
の４フィールド期間前と推定することにより、動画像の
符号化フレームを復号する際の２番目に復号を行う符号
化フレームの復号タイミングを少ない演算量で正確に推
定できる。

【００２７】また、本発明の動画像復号化装置は、動画
像の符号化データ列から、最初に復号される符号化フレ
ームの表示順を示す番号、フレーム構造／フィールド構
造の識別データ、フレーム構造の場合に画面の表示方法
の識別データと、２番目に復号される符号化フレームの
フレーム構造／フィールド構造の識別データ、フレーム
構造の場合に画面の表示方法の識別データ、画面の表示
期間を示すデータを抽出する抽出手段と、この抽出手段
で抽出された各データと、画面の表示の連続性を基に、
２番目の符号化フレームの復号開始時を推定する推定手
段とを具備し、この推定手段で推定された復号開始時を
もとに、前記符号化フレームを復号することにより、動
画像の符号化フレームを復号する際の２番目に復号を行
う符号化フレームの復号タイミングを少ない演算量で正
確に推定できる。

【００２８】また、本発明の動画像符号化装置は、動画
像の符号化データ列から、最初に復号される符号化フレ
ームの表示順を示す番号、フレーム構造／フィールド構
造の識別データ、フレーム構造の場合に画面の表示方法
の識別データと、２番目に復号される符号化フレームの
フレーム構造／フィールド構造の識別データ、フレーム
構造の場合に画面の表示方法の識別データ、画面の表示
期間を示すデータを抽出する抽出手段と、この抽出手段
で抽出された各データと、画面の表示の連続性を基に、
２番目の符号化フレームの復号タイミングを算出する算
出手段とを具備し、前記算出された復号タイミング情報
を前記符号化フレームに付加することにより、動画像の
符号化フレームを復号する際の２番目に復号を行う符号
化フレームの復号タイミングを少ない演算量で正確に推
定できる。

【００２９】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。図１は、ＭＰＥＧ２のデータ
構造の一例を概略的に示したものである。ＭＰＥＧ２に
よって符号化された画像データは、上からシーケンス
層、ＧＯＰ層、ピクチャ層、…、ブロック層までの階層
構成をとるが、図１では、シーケンス層とＧＯＰ層につ
いて示している。

【００３０】シーケンス層のデータ構造は、例えば、一
連の同じ属性をもつ画面グループ（ＧＯＰ）のデータ
（例えば、順次走査であることを示すＰＳ（Ｐｒｏｇｒ
ｅｓｓｉｖｅ Ｓｅｑｕｅｎｃｅ）等）を含むシーケン
スヘッダ（ＳＨ）と、ＧＯＰのデータからなる。

【００３１】ＧＯＰ層のデータ構造は、ランダムアクセ
スの単位となる画面グループ（ＧＯＰ）を構成する複数
の画面に共通のデータを含むＧＯＰヘッダと、そのＧＯ
Ｐを構成する各画面（ピクチャ）のデータからなる。

【００３２】ピクチャ層のデータ構造は、各画面毎に、
その１枚の画面に共通な属性のデータ（例えば、ＴＲ、
ＴＦＦ、ＲＥＦ、ＰＳＴＲ等）を含むピクチャヘッダ
と、各画面（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の
符号化データからなる。

【００３３】このような構造のＭＰＥＧ２のデータは、
ＭＰＥＧシステムにおいて、さらに、複数のパケットに
分解され、オーディオパケット等ともに時分割多重され
て、１本のデータ列を生成する。その際、ビデオ、オー
ディオ等の復号器を含むＭＰＥＧシステム復号器におい
て時刻基準となるＳＴＣ（基本となる同期信号）の値を
符号器側で意図した値にセット・校正するための情報で
あるＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅ
ｎｃｅ）、アクセス・ユニットと呼ばれる復号再生の単
位（すなわち、ビデオは１フレーム、オーディオは１オ
ーディオ・フレーム）毎に必要に応じて、再生出力の時
刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ
Ｔｉｍｅ Ｓｔａｍｐ）、復号の時刻管理情報であるＤ
ＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）が付
加される。

【００３４】ＭＰＥＧシステムの復号器における時刻基
準ＳＴＣがＰＴＳに一致したとき、そのアクセス・ユニ
ットを再生出力する。ＰＴＳは、例えば、９０ＫＨｚの
クロックで計測した値で表される。

【００３５】ＤＴＳは、ＭＰＥＧにおいて、Ｉピクチャ
とＰピクチャは、Ｂピクチャよりも先行して符号化デー
タ列に送出されるために、復号する順序と再生出力する
順序が異なることに対応して設けられたもので、ＰＴＳ
とＤＴＳが異なる場合には、両方のタイムスタンプをつ
け、一致する場合はＰＴＳだけをつける。

【００３６】次に、本実施形態に係る復号タイミング推
定方法について、図２、図３に示すフローチャートを参
照して説明する。なお、以下の説明において、符号化フ
レームとは、符号化対象である１画面の符号化データ
で、インタレース走査では、１符号化フレームは２枚の
フィールド画像から構成されるものである。

【００３７】まず、この復号タイミング推定方法で用い
られるＭＰＥＧ２で定義されているデータ、すなわち、
ＴＲ、ＴＦＦ、ＲＥＦ、ＰＳＴＲについて説明する。こ
れらは、ＭＰＥＧ２のデータ構造では、ピクチャ層に付
加されているものである。

【００３８】ＴＲ（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎ
ｃｅ）は、ピクチャの表示順を示す番号である。図２、
図３では、ＧＯＰの先頭にある、すなわち、復号処理の
順番が最初の符号化フレームのＴＲをＴＲ０と示してい
る。図２、図３では、ＴＲ０の値として、例えば、ＴＲ
０＝０、１、２の場合を示している。

【００３９】ＰＳＴＲ（Ｐｉｃｔｕｒｅ Ｓｔｒｕｃｔ
ｕｒｅ）は、符号化フレームがフレーム構造かフィール
ド構造かを示すもので、フィールド構造の場合は、上位
フィールド（ｔｏｐ）か、下位フィールド（ｂｏｔｔｏ
ｍ）かも合わせて示す。図２、図３では、ＰＳＴＲの値
を、ＰＳＴＲ＝「ｆｒａｍ」、「ｔｏｐ」、「ｂｏｔｔ
ｏｍ」と示している。また、図２、図３では、復号処理
の順番が最初の符号化フレームのＰＳＴＲをＰＳＴＲ
０、復号処理の順番が２番目の符号化フレームのＰＳＴ
ＲをＰＳＴＲ１と示している。

【００４０】ＴＦＦ（Ｔｏｐ Ｆｉｅｌｄ Ｆｉｒｓ
ｔ）は、符号化フレームがフレーム構造の場合に、最初
に表示されるフィールドが上位フィールド（ｔｏｐ）か
下位フィールド（ｂｏｔｔｏｍ）かを示す。図２、図３
では、ＴＦＦ＝０のとき、ｔｏｐから表示し、ＴＦＦ＝
１のとき、ｂｏｔｔｏｍから表示することを示してい
る。また、図２、図３では、復号処理の順番が最初の符
号化フレームのＴＦＦをＴＦＦ０、２番目の符号化フレ
ームのＴＦＦをＴＦＦ１と示している。

【００４１】ＲＥＦ（Ｒｅｐｅａａｔ Ｆｉｒｓｔ Ｆ
ｉｅｌｄ）は、２：３プルダウンの際に使われて、１符
号化フレームの表示期間が２フィールドか、３フィール
ドかを示している。図２、図３では、ＲＥＦ＝０のとき
２フィールドで、ＲＥＦ＝１のとき３フィールドである
ことを示している。また、図２、図３では、最初の符号
化フレームのＲＥＦをＲＥＦ０、２番目の符号化フレー
ムのＲＥＦをＲＥＦ１と示している。

【００４２】基準時刻ＳＴＣに基づき、９０ＫＨｚのク
ロック数で表した１フィールド期間の値を図２、図３に
おいてＦＰＲＤと示している。最初の符号化フレームの
ＰＴＳ、ＤＴＳをそれぞれＰＴＳ０、ＤＴＳ０とする
と、本発明の復号タイミング推定方法では、２番目の符
号化フレームに付加されたＰＳＴ１、ＴＦＦ１、最初の
符号化フレームに付加されたＴＲ０、ＰＳＴＲ０、ＰＴ
Ｓ０、ＴＦＦ０等の情報を有効に用いて、２番目の符号
化フレームが得られた時点で２番目の符号化フレームの
復号開始時間ＤＴＳ１を推定することを目的とするもの
である。

【００４３】なお、ここで取り扱う動画像データは、Ｂ
ピクチャを含み（ＬＤ（ｌｏｗ ｄｒｌａｙ）＝０）、
順次走査である（ＰＳ（ｐｒｏｇｒｅｓｓｉｖｅ ｓｅ
ｑｕｅｎｃｅ）＝０）ものとする。ＬＤ、ＰＳは、画像
の表示周期（例えば、２４Ｈｚ／２９．９７Ｈｚ）を識
別するデータＦＲＣ（ｆｒａｍｅ ｒａｔｅ ｃｏｄ
ｅ）とともに、シーケンス層に付加されるデータであ
る。

【００４４】まず、最初の符号化フレームがＴＲ０＝
２、ＰＳＴＲ０＝「ｆｒａｍｅ」、ＴＦＦ０＝１、２番
目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍｅ」、Ｔ
ＦＦ１＝０、ＲＥＦ１＝０の場合について説明する。

【００４５】ステップＳ１で、ＴＲ０＝２、すなわち、
最初の符号化フレームの表示番号が「２」であるので、
ステップＳ４に進む。ステップＳ４で、ＰＳＴＲ０＝
「ｆｒａｍｅ」、すなわち、最初の符号化フレームがフ
レーム構造であるので、ステップＳ５に進む。

【００４６】ステップＳ５で、ＰＳＴＲ１＝「ｆｒａｍ
ｅ」、すなわち、２番目の符号化フレームがフレーム構
造であるので、ステップＳ８に進む。ステップＳ８で、
ＴＦＦ０＝１、ＴＦＦ１＝０、すなわち、最初の符号化
フレームは上位フィールドが先に表示され、２番目のフ
レームは下位フィールドが先に表示されるので、図３の
ステップＳ１４に進む。

【００４７】この場合、図４を参照して具体的に説明す
る。ＴＲ０＝２より最初の符号化フレーム（Ｉ２）が表
示されるまで符号化フレーム（Ｂピクチャ）が２枚挿入
されるわけであるが、Ｉ２がフレーム構造でしかもＴＦ
Ｆ＝１であることからＩ２の表示は上位（ｔｏｐ）フィ
ールドから開始される。

【００４８】また、２番目の符号化フレームＢ０はフレ
ーム構造でしかもＴＦＦ１＝０であることからＢ０の表
示は下位フィールド（ｂｏｔｔｏｍ）から開始される。
また、ＲＥＦ１＝０であるからＢ０の表示期間は２フィ
ールドである。

【００４９】従って、図４に示すように、ＢＯは、ｂｏ
ｔｔｏｍ→ｔｏｐと表示され、Ｉ２は、ｔｏｐから表示
される。画面表示の際は、必ずｂｏｔｔｏｍフィールド
とｔｏｐフィールドが交互に表示され、これを「表示の
連続性」と呼ぶことにする。

【００５０】この例では、Ｉ２が表示される前に表示さ
れる他方の符号化フレーム（Ｂピクチャ）Ｂ１の表示期
間が不明であるが、仮に、Ｂ１の表示期間が特定できれ
ば、Ｉ２の表示時刻ＰＳＴ０からＢ０、Ｂ１の表示期間
を引いたものがＢ０の復号開始時刻になることが容易に
理解できよう。

【００５１】さて、表示の連続性から、２番目に表示さ
れるＢピクチャ（Ｂ１）は、図４に示すように、奇数フ
ィールド期間の表示であることがわかる。さらに、各符
号化フレームは、２または３フィールド期間の表示しか
許されないため、Ｂ１は、３フィールド期間の表示であ
ることが判断できる。

【００５２】従って、Ｂ０の復号開始時刻ＤＴＳ１は、
Ｉ２の表示開示時刻の５フィールド前になることが推定
される（図４参照）。すなわち、図３のステップＳ１４
において、ＢＯの復号開始時刻ＤＴＳ１は、次式（１）
より求まる。

【００５３】 ＤＴＳ１＝ＰＴＳ０−５×ＦＰＲＤ …（１） ステップＳ８で、ＴＦＦ０＝ＴＦＦ１＝０、あるいは、
ＴＦＦ０＝ＴＦＦ１＝１のとき、すなわち、図４におい
て、Ｉ２とＢ０が共に下位フィールドあるいは上位フィ
ールドから先に表示される場合は、図３のステップＳ１
３に進む。

【００５４】ステップＳ１３では、前述同様の原理に基
づき、２番目の符号化フレームＢ０の復号開始時刻ＤＴ
Ｓ１は、ＲＦＦ１の値に応じて、次式（２）より求まる
ことがわかる ＤＴＳ１＝ＰＴＳ０−２×（２＋ＲＦＦ１）×ＦＰＲＤ …（２） ステップＳ５で、２番目の符号化フレームＢ０がＰＳＴ
Ｒ１＝「ｔｏｐ」であるとき、すなわち、上位フィール
ドから表示が開始されるとき、ステップＳ９に進む。

【００５５】ステップＳ９では、最初の符号化フレーム
Ｉ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の前
に表示される符号化フレームＢ０、Ｂ１の表示期間を推
定する。すなわち、ＴＦＦ０＝１のとき、ステップＳ１
５に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進
む。

【００５６】ステップＳ１５では、符号化フレームＢ
Ｏ、Ｂ１の表示期間は、４フィールドと推定されるの
で、Ｂ１の復号開始時刻ＤＴＳ１は、次式（３）より求
めることができる。

【００５７】 ＤＴＳ１＝ＰＴＳ０−４×ＦＰＲＤ …（３） となる。ステップＳ１４では、符号化フレームＢ０、Ｂ
１の表示期間は５フィールドと推定されるので、Ｂ１の
復号開始時間ＤＴＳ１は、（１）式より求めることがで
きる。

【００５８】ステップＳ５で、２番目の符号化フレーム
Ｂ０がＰＳＴＲ１＝「ｂｏｔｔｏｍ」であるとき、すな
わち、下位フィールドから表示が開始されるとき、ステ
ップＳ１０に進む。

【００５９】ステップＳ１０では、最初の符号化フレー
ムＩ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の
前に表示される符号化フレームＢ０、Ｂ１の表示期間を
推定する。すなわち、ＴＦＦ０＝１のとき、符号化フレ
ームＢ０、Ｂ１の表示期間は５フィールドと推定できる
ので、ステップＳ１４に進み、ＴＦＦ１＝０のとき、符
号化フレームＢ０、Ｂ１の表示期間は４フィールドと推
定できるので、ステップＳ１５に進む。

【００６０】ステップＳ４で、最初の符号化フレームＩ
２がＰＳＴＲ０＝「ｔｏｐ」のとき、すなわち、Ｉ２が
フィールド構造で、しかも上位フィールドの場合は、ス
テップＳ６に進む。

【００６１】ステップＳ６で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０が
フレーム構造のときは、ステップＳ１１に進む。ステッ
プＳ１１では、２番目の符号化フレームＢ０のＴＦＦ１
の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推
定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１
３に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進
む。

【００６２】ステップＳ６で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフ
ィールド構造で、しかも、上位フィールドのときは、Ｂ
０、Ｂ１の表示期間は４フィールドと推定できるので、
ステップＳ１５に進む。

【００６３】ステップＳ６で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ
０がフィールド構造で、しかも、下位フィールドのとき
は、Ｂ０、Ｂ１の表示期間は５フィールドと推定できる
ので、ステップＳ１４に進む。

【００６４】ステップＳ４で、最初の符号化フレームＩ
２がＰＳＴＲ０＝「ｂｏｔｔｏｍ」のとき、すなわち、
Ｉ２がフィールド構造で、しかも下位フィールドの場合
は、ステップＳ７に進む。

【００６５】ステップＳ７で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０が
フレーム構造のときは、ステップＳ１２に進む。ステッ
プＳ１２では、２番目の符号化フレームＢ０のＴＦＦ１
の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推
定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１
４に進み、ＴＦＦ１＝０のとき、ステップＳ１３に進
む。

【００６６】ステップＳ７で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフ
ィールド構造で、しかも、上位フィールドのときは、Ｂ
０、Ｂ１の表示期間は５フィールドと推定できるので、
ステップＳ１４に進む。

【００６７】ステップＳ７で、２番目の符号化フレーム
がＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ
０がフィールド構造で、しかも、下位フィールドのとき
は、Ｂ０、Ｂ１の表示期間は４フィールドと推定できる
ので、ステップＳ１５に進む。

【００６８】次に、最初の符号化画像がＴＲ０＝１、Ｐ
ＳＴＲ０＝「ｆｒａｍｅ」、２番目の符号化フレームが
ＰＳＴＲ１＝「ｆｒａｍｅ」、ＲＥＦ１＝０の場合につ
いて説明する。

【００６９】ステップＳ１で、ＴＲ０＝１のとき、すな
わち、最初の符号化フレームの表示番号が「１」である
とき、ステップＳ３に進む。この場合、図５を参照して
具体的に説明する。ＴＲ０＝１より、最初の符号化フレ
ームＩ２が表示されるまでＢピクチャの符号化フレーム
が１枚挿入されるわけであるが、２番目の符号化フレー
ムＢ０は、ＲＥＦ１＝０より、その表示期間は２フィー
ルド期間となることがわかる。すなわち、Ｂ０の復号開
始時刻ＤＴＳ１は、最初の符号化フレームＩ２の表示開
始時刻の２フィールド前になることが推定される。

【００７０】もし、２番目の符号化フレームＢ０が、Ｒ
ＥＦ１＝１であるときは、その表示期間は３フィールド
期間となる。すなわち、Ｂ０の復号開始時刻ＤＴＳ１
は、最初の符号化フレームＩ２の表示開始時刻の３フィ
ールド前になることが推定される。

【００７１】これらをまとめると、図３のステップＳ３
において、Ｂ０の復号開始時刻ＤＴＳ１は、次式（４）
より求めることができる。 ＤＴＳ１＝ＰＴＳ０−（２＋ＲＥＦ１）×ＦＲＰＤ …（４） ステップＳ１で、ＴＲ０＝０のとき、すなわち、最初の
符号化フレームの表示番号が「０」のとき、そのＧＯＰ
内の画像が他のＧＯＰから独立再生可能である場合が考
えられる。このとき、ステップＳ２に進み、２番目の符
号化フレームの復号時刻ＤＴＳ１は、最初の符号化フレ
ームの表示開始時刻ＰＴＳ０と同じとなる。

【００７２】以上、説明したように、上記動画像復号タ
イミング推定方法によれば、最初に復号される符号化フ
レームの表示順を示す番号（ＴＲ０）、フレーム構造／
フィールド構造の識別データ（ＰＳＴＲ０）、フレーム
構造の場合、画面の表示方法の識別データ（ＴＦＦ０）
と、２番目に復号される符号化フレームのフレーム構造
／フィールド構造の識別データ（ＰＳＴＲ１）、画面の
表示方法の識別データ（ＴＦＦ１）、画面の表示期間を
示すデータ（ＲＦＦ１）、画面の表示の連続性を基に、
最初に復号される符号化フレームの表示開始時刻（ＰＴ
Ｓ０）より何フィールド期間前に２番目の符号化フレー
ムの復号が開始されるか、すなわち、２番目の符号化フ
レームの復号開始時刻（ＤＴＳ１）を少ない演算量で正
確に推定することができる。

【００７３】なお。図２、３、では、ＴＲの値が０、
１、２の場合について説明したが、これに限るものでは
なく、ＴＲの値に応じて前述同様に復号開始時刻の推定
が可能となる。

【００７４】次に、この復号タイミング推定方法を、Ｍ
ＰＥＧシステムの符号器および復号器に適用することを
考える。図６は、ＭＰＥＧシステムの復号器側の要部の
構成を概略的に示したものである。ＭＰＥＧ１あるいは
ＭＰＥＧ２のビデオ、オーディオ等の多重化されたビッ
トストリーム（以下、ＭＰＥＧビットストリームと呼
ぶ）４０１が、蓄積メディアから読み出され、あるい
は、ネットワークを介して受信されると、まず、ＭＰＥ
Ｇシステムデコーダ４０２に入力される。

【００７５】ＭＰＥＧシステムデコーダ４０２は、以下
の処理を行う。 （１） ＭＰＥＧビットストリーム４０１からビデオの
ビットストリーム４０７を分離してＭＰＥＧビデオデコ
ーダ４０３に出力する。

【００７６】（２） ＭＰＥＧビットストリーム４０１
からオーディオのビットストリーム４１２を分離してオ
ーディオデコーダ４１３に出力する。 （３） ＭＰＥＧビットストリーム４０１から最初の符
号化フレームの再生出力の時刻管理情報（ＰＴＳ）４０
５と、復号の時刻管理情報（ＤＴＳ）４０６を分離し、
復号開始タイミング制御回路４０８に出力する。

【００７７】（４） ＭＰＥＧビットストリーム４０１
からシステム時刻基準参照値（ＳＣＲ）４０４を分離
し、復号開始タイミング制御回路４０８に出力し、それ
をもとに具備されるＭＰＥＧシステムの時刻基準となる
ＳＴＣカウンタをセットする。

【００７８】復号開始タイミング制御回路４０は、ＳＴ
Ｃカウンタの値と最初の符号化フレームのＤＴＳの値が
一致した時点で復号開始信号４１０をＭＰＥＧビデオデ
コーダに出力する。

【００７９】ＭＰＥＧビデオデコーダ４０３は、復号開
始信号４１０を受けて最初の符号化フレームの復号を開
始し、ビデオ信号４１１を出力する。ＭＰＥＧビデオデ
コーダ４０３は、図１に示したような構造のビデオシー
ケンスから、期待される表示方法（すなわち、ＬＤ、Ｐ
Ｓ、ＦＲＣ）のデータを分離する。さらに、最初の符号
化フレームの先頭（ピクチャヘッダ）に含まれる符号化
フレームの表示順を示す番号（ＴＲ０）、フレーム構造
／フィールド構造の識別データ（ＰＳＴＲ０）、フレー
ム構造の場合、画面の表示方法の識別データ（ＴＦＦ）
を分離し、これらデータ４０９を復号開始タイミング制
御回路４０８に出力する。

【００８０】次に、ＭＰＥＧビデオデコーダ４０３で最
初の符号化フレームの復号が終了すると、２番目の符号
化フレームの先頭（ピクチャヘッダ）に含まれるフレー
ム構造／フィールド構造の識別データ（ＰＳＴＲ１）、
画面の表示方法の識別データ（ＴＦＦ１）、画面の表示
期間を示すデータ（ＲＦＦ１）を分離、これらデータ４
０９を復号開始タイミング制御回路４０８に出力する。

【００８１】復号開始タイミング制御回路４０８では、
図２、図３に示したフローチャートに従って、２番目の
符号化フレームの復号開始時刻を算出し、その算出され
た時刻とＳＴＣカウンタの値が一致した時点で、復号開
始信号４１０を出力する。

【００８２】ＭＰＥＧビデオデコーダ４０３では、復号
開始信号４１０を受けて、２番目の符号化フレームの復
号を開始し、ビデオ信号４１１を出力する。一方、復号
開始タイミング制御回路４０８は、オーディオデコーダ
４１３からオーディオのビットストリームから分離され
たＰＴＳ４１５を受け取り、それを基に、ビデオ信号と
同期再生するように、オーディオの復号開始信号４１６
を出力する。

【００８３】オーディオデコーダ４１３は、オーディオ
ビットストリーム４１２を受け、復号開始信号４１６に
より復号を介しし、復号されたオーディオ信号４１４を
出力する。

【００８４】図７は、ＭＰＥＧシステムの符号器側の要
部の構成を概略的に示したものである。符号化されたビ
デオのビットストリーム５０１はビデオ文法解釈部５０
２に入力され、それと同時に、システム多重化部５０３
に入力される。

【００８５】ビデオ文法解釈部５０２は、図１に示した
ような構造のビデオシーケンスから、期待される表示方
法（すなわち、ＬＤ、ＰＳ、ＦＲＣ）のデータを分離す
る。さらに、最初の符号化フレームの先頭（ピクチャヘ
ッダ）に含まれる符号化フレームの表示順を示す番号
（ＴＲ０）、フレーム構造／フィールド構造の識別デー
タ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方
法の識別データ（ＴＦＦ）を分離し、これらデータ５０
５をＰＴＳ／ＤＴＳ算出回路５０４に出力する。

【００８６】ＭＰＥＧシステムエンコーダ５０３は、以
下の処理を行う。 （１） ビデオのビットストリーム５０１の最初の符号
化フレームに対し、適切なＰＴＳ、ＤＴＳを多重し、こ
の最初の符号化フレームに対するＰＴＳ、ＤＴＳのデー
タ５０６をＰＴＳ／ＤＴＳ算出回路５０４に出力する。

【００８７】（２） 符号化されたオーディオのビット
ストリーム５０９に対し、適切なＰＴＳを多重する。 （３） ビデオとオーディオのビットストリームを多重
することにより、ＭＰＥＧシステムのビットストリーム
５０８を出力する。

【００８８】ＰＴＳ／ＤＴＳ算出回路５０４では、図
２、図３に示したフローチャートに従って、２番目の符
号化フレームのＰＴＳおよびＤＴＳを算出し、これらデ
ータ５０７をＭＰＥＧシステムエンコーダ５０３に出力
する。

【００８９】ＭＰＥＧシステムエンコーダ５０３では、
２番目の符号化フレームに対し、これらの値を参考にし
て、多重タイミングを制御する。また、必要に応じて、
ＰＴＳ／ＤＴＳ算出回路５０４で算出されたＰＴＳ、Ｄ
ＴＳを多重してＭＰＥＧシステムのビットストリーム５
０８を出力する。

【００９０】多重化ビットストリーム５０８は、例え
ば、蓄積メディアに蓄積されたり、ネットワークを介し
てユーザ宅に配信されたりするようになっている。以上
説明したように、上記実施形態に係るＭＰＥＧシステム
の復号化装置によれば、動画像の符号化フレームを復号
する際の２番目に復号を行う符号化フレームの復号タイ
ミングを少ない演算量で正確に推定できるので、 （１） ビデオとオーディオを正確に同期再生できる。 （２） ビデオのビットストリームを受信して一時蓄積
する受信バッファの復号開始時におけるオーバーフロー
またはアンダーフローを未然に防止できる。

【００９１】また、上記実施形態に係るＭＰＥＧシステ
ムの符号化装置によれば、 （１） ビデオとオーディオを正確に同期多重すること
ができる。 （２） ビデオとオーディオを多重する際にこれらビッ
トストリームを一時蓄積するバッファのオーバーフロー
またはアンダーフローを未然に防止できる。

【００９２】

【発明の効果】以上説明したように、本発明によれば、
動画像の符号化フレームを復号する際の２番目に復号を
行う符号化フレームの復号タイミングを少ない演算量で
正確に推定できる動画像復号タイミング推定方法、およ
び、それを用いた動画像符号化装置および動画像復号化
装置を提供できる。

【図面の簡単な説明】

【図１】ＭＰＥＧ２のデータ構造の一例を示した図。

【図２】復号タイミング推定方法の処理手順を説明する
ためのフローチャート。

【図３】復号タイミング推定方法の処理手順を説明する
ためのフローチャート。

【図４】最初の符号化フレームの表示順が「２」である
ときの２番目の符号化フレームの復号開始タイミングの
推定方法を具体的に説明するための図。

【図５】最初の符号化フレームの表示順が「１」である
ときの２番目の符号化フレームの復号開始タイミングの
推定方法を具体的に説明するための図。

【図６】ＭＰＥＧシステムの復号化装置の要部の構成を
概略的に示した図。

【図７】ＭＰＥＧシステムの符号化装置の要部の構成を
概略的に示した図。

【図８】入力画像（原画像）、符号化画像、表示画像の
関係を画面の処理順と原画面の順序の相違を含めて表し
た図。

【図９】順次走査方式とインタレース走査方式について
説明するための図。

【符号の説明】

４０１…ＭＰＥＧシステムのビットストリーム、４０２
…ＭＰＥＧシステムデコーダ、４０３…ＭＰＥＧビデオ
デコーダ、４０７…ビデオストリーム、４０８…復号開
始タイミング制御回路、４１３…オーディオデコーダ、
５０１…ビデオのビットストリーム、５０２…ビデオ文
法解釈部、５０３…ＭＰＥＧシステムデコーダ、５０４
…ＰＴＳ／ＤＴＳ算出回路、５０８…ＭＰＥＧシステム
のビットストリーム、５０９…オーディオビデオストリ
ーム。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 動画像の符号化フレームを復号する際の
   復号タイミングを推定する動画像復号タイミング推定方
   法において、 最初に復号する符号化フレームの表示順が１番目の場
   合、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時と
   推定し、 最初に復号する符号化フレームの表示順が２番目の場
   合、 ２番目に復号する符号化フレームの表示期間が２フィー
   ルド期間であるとき、 ２番目に復号する符号化フレー
   ムの復号開始タイミングは、最初に復号する符 号化フ
   レームの表示開始時の２フィールド期間前と推定し、 ２番目に復号する符号化フレームの表示期間が３フィー
   ルド期間であるとき、 ２番目に復号する符号化フレー
   ムの復号開始タイミングは、最初に復号する符 号化フ
   レームの表示開始時の３フィールド期間前と推定し、 最初に復号する符号化フレームの表示順が３番目の場
   合、 最初に復号する符号化フレームがフレーム構造のとき、 ２番目に復号する符号化フレームがフレーム構造で、そ
   の最初に表示されるフィールドと、最初に復号する符号
   化フレームの最初に表示されるフィールドが同じで、か
   つ、２番目に復号する符号化フレームの表示期間が２フ
   ィールドのとき、２番目に復号する符号化フレームの復
   号開始タイミングは、 最初に復号する符号化フレームの表示開始時の４フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフレーム構造で、そ
   の最初に表示されるフィールドと、最初に復号する符号
   化フレームの最初に表示されるフィールドが同じで、か
   つ、２番目に復号する符号化フレームの表示期間が３フ
   ィールドのとき、２番目に復号する符号化フレームの復
   号開始タイミングは、 最初に復号する符号化フレームの表示開始時の５フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフレーム構造で、そ
   の最初に表示されるフィールドと、最初に復号する符号
   化フレームの最初に表示されるフィールドが異なると
   き、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時の
   ５フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける上位フィールドで、最初に復号する符号化フレーム
   の最初に表示されるフィールドが上位フィールドのと
   き、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時の
   ４フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける上位フィールドで、最初に復号する符号化フレーム
   の最初に表示されるフィールドが下位フィールドのと
   き、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時の
   ５フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける下位フィールドで、最初に復号する符号化フレーム
   の最初に表示されるフィールドが上位フィールドのと
   き、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時の
   ５フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける下位フィールドで、最初に復号する符号化フレーム
   の最初に表示されるフィールドが下位フィールドのと
   き、２番目に復号する符号化フレームの復号開始タイミ
   ングは、最初に復号する符号化フレームの表示開始時の
   ４フィールド期間前と推定し、 最初に復号する符号化フレームがフィールド構造におけ
   る上位フィールドのとき、 ２番目に復号する符号化フレームがフレーム構造で、上
   位フィールドが先に表示され、かつ、２番目に復号する
   符号化フレームの表示期間が２フィールドのとき、２番
   目に復号する符号化フレームの復号開始タイミングは、
   最初に復号する符号化フレームの表示開始時の４フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフレーム構造で、上
   位フィールドが先に表示され、かつ、２番目に復号する
   符号化フレームの表示期間が３フィールドのとき、２番
   目に復号する符号化フレームの復号開始タイミングは、
   最初に復号する符号化フレームの表示開始時の５フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフレーム構造で、下
   位フィールドが先に表示されるとき、２番目に復号する
   符号化フレームの復号開始タイミングは、最初に復号す
   る符号化フレームの表示開始時の５フィールド期間前と
   推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける上位フィールドのとき、２番目に復号する符号化フ
   レームの復号開始タイミングは、最初に復号する符号化
   フレームの表示開始時の４フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける下位フィールドのとき、２番目に復号する符号化フ
   レームの復号開始タイミングは、最初に復号する符号化
   フレームの表示開始時の５フィールド期間前と推定し、 最初に復号する符号化フレームがフィールド構造におけ
   る下位フィールドのとき、 ２番目に復号する符号化フレームがフレーム構造で、上
   位フィールドが先に表示されるとき、２番目に復号する
   符号化フレームの復号開始タイミングは、最初に復号す
   る符号化フレームの表示開始時の５フィールド期間前と
   推定し、 ２番目に復号する符号化フレームがフレーム構造で、下
   位フィールドが先に表示され、かつ、２番目に復号する
   符号化フレームの表示期間が２フィールドのとき、２番
   目に復号する符号化フレームの復号開始タイミングは、
   最初に復号する符号化フレームの表示開始時の４フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフレーム構造で、下
   位フィールドが先に表示され、かつ、２番目に復号する
   符号化フレームの表示期間が３フィールドのとき、２番
   目に復号する符号化フレームの復号開始タイミングは、
   最初に復号する符号化フレームの表示開始時の５フィー
   ルド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける上位フィールドのとき、２番目に復号する符号化フ
   レームの復号開始タイミングは、最初に復号する符号化
   フレームの表示開始時の５フィールド期間前と推定し、 ２番目に復号する符号化フレームがフィールド構造にお
   ける下位フィールドのとき、２番目に復号する符号化フ
   レームの復号開始タイミングは、最初に復号する符号化
   フレームの表示開始時の４フィールド期間前と推定する
   ことを特徴とする動画像復号タイミング推定方法。
2. 【請求項２】 動画像の符号化データ列から、最初に復
   号される符号化フレームの表示順を示す番号、フレーム
   構造／フィールド構造の識別データ、フレーム構造の場
   合に画面の表示方法の識別データと、２番目に復号され
   る符号化フレームのフレーム構造／フィールド構造の識
   別データ、フレーム構造の場合に画面の表示方法の識別
   データ、画面の表示期間を示すデータを抽出する抽出手
   段と、 この抽出手段で抽出された各データと、画面の表示の連
   続性を基に、２番目の符号化フレームの復号開始時を推
   定する推定手段と、 を具備し、この推定手段で推定された復号開始時をもと
   に、前記符号化フレームを復号することを特徴とする動
   画像復号化装置。
3. 【請求項３】 動画像の符号化データ列から、最初に復
   号される符号化フレームの表示順を示す番号、フレーム
   構造／フィールド構造の識別データ、フレーム構造の場
   合に画面の表示方法の識別データと、２番目に復号され
   る符号化フレームのフレーム構造／フィールド構造の識
   別データ、フレーム構造の場合に画面の表示方法の識別
   データ、画面の表示期間を示すデータを抽出する抽出手
   段と、 この抽出手段で抽出された各データと、画面の表示の連
   続性を基に、２番目の符号化フレームの復号タイミング
   を算出する算出手段とを具備し、 前記算出された復号タイミング情報を前記符号化フレー
   ムに付加することを特徴とする動画像符号化装置。