WO2004008752A1

WO2004008752A1 - 画像データ処理装置及び方法

Info

Publication number: WO2004008752A1
Application number: PCT/JP2003/008433
Authority: WO
Inventors: Takuji Himeno; Fumiyoshi Abe; Hiroyasu Tsuchida; Kenji Yamasaki; Toshinori Kouzai
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-08
Filing date: 2003-07-02
Publication date: 2004-01-22
Anticipated expiration: 2005-01-08
Also published as: EP1521460A1; CN1672410A; KR20050025328A; EP1521460A4; JP3736504B2; CN100440958C; US20050232596A1; JP2004048104A

Description

明細書画像データ処理装置及び方法技術分野本発明は、 MP E G (Motion Picture Expert Group)方式により符号化した画像データを記録媒体上へ記録処理する画像データ処理装置及び方法に関する。

本出願は、日本国において 2002年 7月 8日に出願された日本特許出願番号 2002 - 199073を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。背景技術従来、動画像を高効率で圧縮符号化する手法として、 MP EG 2 ( I S O/ I EC 138 18) に代表されるディジタル動画像符号化方式が提案されている。この MP E G 2方式による画像圧縮は、画像間の動き補償と D CT (Discrete Co sine Transformation)とを組合せたハイブリッド'方式の変換を行い、これにより得られる信号に対してさらに量子化や可変長符号化を施す。

MP EG 2方式では、符号化方式として双方向予測符号化方式が採用されている。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化及び双方向予測符号化の 3タイプの符号化が行われ、各符号化タイプによる画像は、それぞれ Iピクチャ、 Pピクチャ及び Bピクチャと呼ばれている。また、 I , P， Bの各ピクチャを適切に組み合わせてランダムアクセスの単位となる GOP (Group of Pictures)が構成される。ちなみに各ピクチャの発生符号量は， Iピクチャが最も多く、次に Pピクチャ、 Bピクチャと続くのが一般的である。この MP EG 2方式のように、ピクチャタイプ毎に発生符号量が異なる符号化方法において、記録媒体へ記録した符号化ビットストリームを、再生時にデコ一ダにおいて正確に符号化して画像を得るためには、デコーダにおける入力バッファ内のデータ占有量をエンコーダで常に把握しなければならない。

図 1は、デコーダにおける入力バッファにおける、供給された MP EGストリ —ムに対するデータ占有量の推移を表している。図 1において、横軸は時間（t)を示しており、供給される MP EGストリームに含まれる各ピクチャのデコードのタイミング（ t l 0 1、 t l 02、 t 103 ···) が記されている。また、縦軸は、入力バッファが格納するデータ占有量を示している。

入力バッファは、 MPEG 2方式で画像圧縮された MP E Gストリームをそのビットレートに応じて順次格納していく。そして、 MP E Gストリームの供給が開始された t 1 00から VB Vディレイ（vbv— delay)時間経過した t 10 1において、デコード処理のために、最初のピクチャがデコーダより引き抜かれる。このデコーダにより引き抜かれるピクチャのデータ量は、そのピクチャのデータサイズ（picture— size) と、ピクチャスタートコードのデータサイズ（picture_star し code) と、シーケンスヘッダのデ一夕サイズ（seduencejieader) と、 GOPへッダのデータサイズ（GOP— header) とを加えたデータ量（以下、イメージサイズと称する）である。

ちなみに入力バッファには、 t 10 1以降においても、 MP EGストリームが所定のビットレートに応じて順次供給され続ける。 t 101からデコード管理時間（Decode Time Stamp)の間隔である Δ D T S毎に経過していく t 102、 t 10 3、 …においても、各ピクチャのイメージサイズ分のデータ量がデコーダにより引き抜かれる。このような入力バッファでは、供給された MP E Gストリームの総データ量と、各デコードタイミングで引き抜かれたピクチャのイメージサイズの総デ一夕量との差分が、入力バッファのバッファサイズより大きくなるとォ一バーフローし、逆に小さくなるとアンダーフローすることになる。

このため、 MP EG方式では、デコーダにおける入力バッファに対応する仮想バッファとして、エンコーダ側に VBV (Video Buffering Verifier) バッファを想定し、発生する符号量を制御する。エンコーダでは、 VBVバッファを破綻させないように、換言すれば VB Vバッファをアンダーフロー或いはオーバーフローさせないように各ピクチャの発生符号量をコントロールする。

ところで、画像データが既に録画されている磁気テープ等の記録媒体上において、その録画終了位置から画像データを新たに録画する、いわゆるつなぎ録りをする場合がある。ちなみに、フレーム内のみ圧縮する DV (Digital Video) 方式の VTR (Video Tape Recorder) では、 1フレームを 10本のトラックに分けて記録するため、テープ走行中に再生から記録に切り替え、録画するフレームを圧縮した画像データを次のトラックから記録することで容易につなぎ録りすることができる。

しかし、フレーム間圧縮を利用する MP E G 2方式では、 1フレームのサイズが変動するため、記録するトラックの数を固定することができず、容易につなぎ録りすることができなかった。

図 2は、かかる従来例について、記録媒体の編集点前後における MP E Gストリームに対するデ一夕占有量の推移例を表している。 VBV_delay_0は、既に記録媒体上に記録されている画像データの記録終了位置直前の VB Vディレイであり、 VBV_delay— 2は、 1回目のつなぎ録りを行った画像データの先頭に位置する Iピクチャの VBVディレイである。この図 2に示すように、 VBV— delay— 0よりも VB V一 delay_2の方が小さい場合には、コピ一ピクチャ無しでスタッフィングのみ揷入されることとなる。一方、 VBV— delay_0よりも VBV_delay一 2の方が大きい場合には、コピーピクチャ及びスタッフィングが揷入されることとなる。

しかしながら、 1回目のつなぎ録りが行われた記録媒体の編集点において他の画像データを再度録画する、いわゆる 2回目のつなぎ録りを行うと以下の問題点が生じる。

先ず VBV— delay_0よりも VBV_delay_2の方が小さいためにスタッフィングバイトのみ挿入される場合において、挿入されるスタッフイングバイトは、編集点直前のビデオエレメン夕リストリーム（ES) と一体としてデコードされる。このため、記録媒体上においてスタッフイングとビデオ E Sとの境界が無くなり、後から分離できないという問題点が生じる。

図 2において、 1回目のつなぎ録りを行った画像データの Iピクチャの先頭を編集点として、 2回目のつなぎ録りを行う場合に、 2回目のつなぎ録りを行った画像デ一夕の先頭に位置する Iピクチャの VB Vディレイを VBV_delay— 3としたとき、 VBV delay— 3は、 VBV— delay— 2より大きく、かつ VBV_delay_0より小さレ^ このため、 VBV_delay一 3と VBV_delay_0とを比較して揷入するスタッフィングバィト等の量を決めれば足りるところ、 VBV— delay— 3が VBV— delay_2より大きいため、 VBV_delay— 0と VBV— delay_2との間に既に挿入されているスタッフィングバイトを残したまま、更にコピーピクチャとスタッフィングバイトを揷入することとなる。このため、無駄な画面ホールドが発生してしまうという問題点がある。同様に、 VBV_delay_0よりも VBV_delay_2の方が大きいためにコピーピクチャ及びスタッフィングバイトが揷入されている場合においても、 2回目のつなぎ録りの際に、 VBV_delay_3と VBV— delay_0とを比較して挿入するスタッフィングバイト等の量を決めれば足りるところ、 VBV— de 1 ay— 3が VBV— de 1 ay_ 0より小さい場合にはコピーピクチャは不要となるにもかかわらず、 VBV_delay一 2と VBV_delay_ 0との関係において不要なコピーピクチャやスタッフィングバイトを残した上で、更に追加のスタッフイングを揷入することとなる。このため、無駄な画面ホールドが発生してしまう。

更に、 2回目のつなぎ録り時において、既に録画されている画像データの補助デー夕を記録媒体から読み出した VBV_de 1 ay_ 0を、 V B Vバッファにおけるデー夕占有量に換算し、これをエンコーダの初期値として設定することにより、つなぎ録りする編集点の前後を連続再生しても入力バッファを破綻させることなくデコードできるようにする方法も提案されている。

しかし、 VBV_delay— 2との関係で無駄なスタッフィングゃコピーピクチャが残されていると読み出した VBV—delay_0の値が小さくなりエンコード後の画質が劣化したり、無駄な画面ホールドが生じてしまうという問題点がある。発明の開示本発明の目的は、上述したような従来の画像データ処理装置及び方法が有する問題点を解消すことができる新規な画像データ処理装置及び方法を提供することにある。

本発明の他の目的は、 2回目のつなぎ録り時において、不要なスタッフイングやコピーピクチャを除去し、画質の劣化を防止することができる画像データ処理装置及び方法を提供することにある。

本発明に係る画像データ処理装置は、 MP EG方式により符号化され、またそれぞれ補助記録領域（AUX_V) が設けられ、 Iピクチャ又は Pピクチャを先頭とし、かつ Bピクチャを含むデ一夕グループ（P a c k— V) からなる画像デ —夕を処理する画像データ処理装置において、 P a c k— Vが既に記録されている記録媒体上の編集点上に、編集されるデ一夕グループ（P a c k_V— h) を記録し、また復号化時に用いられる VBV (Video Buffering Verifier) バッファのビット占有量に応じて、当該 P a c k— V— hの前に、それぞれ挿入補助記録領域（E d i t AUX_V_h) が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む揷入デ一タグループ（E d i t P a c k_V_h) を記録媒体上へ記録する記録手段を備え、記録手段は、記録媒体上の編集点に上記 E d i t P a c k— V— hが記録されている場合に、当該 E d i t P a c k— V_hと独立して、新たに入力されたデータグループ

(P a c k_V_n) の前に位置し、それぞれ挿入補助記録領域（E d i t AU X_V_n) が設けられコピ一ピクチャ及び/又はスタッフィングバイトを含む揷入データグループ（E d i t P a c k_V_n) を、編集点に基づき記録するようにしたものである。

本発明に係る画像データ処理方法は、 MP E G方式により符号^され、またそれぞれ補助記録領域（AUX— V) が設けられ、 I ピクチャ又は Pピクチャを先頭とし、かつ Bピクチャを含むデータグループ（P a c k— V) からなる画像デ一夕を処理する画像データ処理方法において、上記 P a c k—Vが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（P a c k_V_ h) を記録し、復号化時に用いられる VBV (Video Buffering Verifier) バッファのビット占有量に応じて、当該 P a c k—V— hの前に、それぞれ挿入補助記録領域（E d i t AUX_V_ ) が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ

(E d i t P a c k_V_h) を記録媒体上へ記録する記録ステップを有し、記録ステップは、記録媒体上の編集点に上記 E d i t P a c k— V— hが記録されている場合に、当該 E d i t P a c k—V— hと独立して、新たに入力されたデ —夕グループ（P a c k— V— n) の前に位置し、それぞれ挿入補助記録領域

(Ed i t AUX_V_n) が設けられコピ一ピクチャ及び/又はスタッフイングバイトを含む挿入データグループ（Ed i t P a c k_V_n) を、編集点に基づき記録するようにしたものである。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。図面の簡単な説明図 1は、デコーダの入力バッファへ供給された MP E Gストリームに対するデ —夕占有量の推移を表した図である。

図 2は、従来技術の問題点を説明するための図である。

図 3は、本発明を適用した画像データ処理装置を示すブロック図である。

図 4は、記録トラックが形成された磁気テープを示す平面図である。

図 5は、磁気テープに形成されたヘリカルトラックの構成を示した図である。図 6は、デ一夕グループを示す図である。

図 7は、画像データ処理装置に対して最後に供給されたデータグループにおけるデ一夕占有量の推移を表した図である。

図 8は、次ピクチャの vbv_delay— nの値が未知の場合に、記録時に予め演算する例を説明するための図である。

図 9は、つなぎ録り時における、 E C C処理部の E C C B a n kメモリの処理について説明するための図である。

図 10は、エンコーダにおける符号量制御のフロ一を示す図である。

図 1 1 A及び図 1 1 Bは、 vbv—delay_nに基づいて演算した vbv— occupancy— fが、設定値を下回る場合においてコピーピクチャを挿入し続ける例を説明するための図である。

図 12は、他の電子機器から入力された画像デ一夕のデータストリームをつなぎ録りする場合において、継承した vbv_de 1 ay一 nの値が極端に小さいときの処理について説明をするための図である。図 13は、記録 END点直後のピクチャタイプが Pピクチャである場合におけるつなぎ録りの欠点について説明するための図である。

図 14は、演算したコピーピクチャやスタッフィングの記録方法について説明をするための図である。

図 1 5は、 1回目のつなぎ録りを行ったデータグループ N 1の先頭を再記録位置として、 2回目のつなぎ録りを行う場合の、時刻に対する VBVバッファのデ —夕占有量を示した図である。

図 16は、スタッフィングバイトを構成する E Sのみに対して P E Sヘッダを付加する場合について説明するための図である。

図 1 7は、 2回目のつなぎ録り時における再記録位置について説明をするための図である。

図 18は、コピーピクチャとスタッフィングパイトの両方を磁気テープ上へ記録する場合について説明するための図である。発明を実施するための最良の形態以下、本発明に係る画像データ処理装置及び方法を図面を参照しながら詳細に説明する。

本発明を適用した画像データ処理装置 1は、動画像を高効率で圧縮符号化する MPEG2 ( I SO/ I EC 138 18) 方式によりディジタル動画像符号化して磁気テープに記録する装置であり、図 3に示すように、外部入力部 1 1と、ピクチャサイズ測定部 12と、エンコーダ 13と、挿入処理部 14と、補助デ一夕生成部 1 5と、ストリーム記録処理部 1 6と、 ECC (Error Correction Code) 処理部 1 7と、記録回路 18と、再生回路 19と、補助データ抽出部 20と、ストリ一ム再生処理部 2 1と、ヘッダ抽出部 22と、 VBV (Video BufferingVer ifier) ディレイ抽出部 23と、外部出力部 24と、デコーダ 25と、制御部 26 とを備えている。

外部入力部 1 1は、外部にある他の電子機器から T S (Transport Stream) として伝送される画像データを P E S (Packet ized Elementary Stream) へ分割し、これをストリーム記録処理部 16へ送信する。ちなみに、この外部入力部 1 1に入力される画像データを構成する各ピクチャのサイズは、ピクチャサイズ測定部 12により測定される。

エンコーダ 13は、 VB Vディレイ抽出部 23から送信される VB V (VideoB uifering Verifier) ディレイに基づいて、入力される画像データを、ピクチャ夕イブ、量子化ステップ等の符号化パラメ一夕に基づいて符号化を行う。このェンコーダ 1 3は、この符号化した画像データをストリーム記録処理部 16へ送信する。

挿入処理部 14は、画像データの符号化時において、発生符号量が少ない場合における疑似データとして、前ピクチャを繰り返して表示するコピーピクチャやスタッフイングバイトを生成する。ちなみに、このスタッフィングバイトは、特に意味を持たないデータであり、デコーダ側において読み捨てられる。この挿入処理部 14は、生成したコピ一ピクチャやスタッフィングバイトをストリーム記録処理部 16へ出力する。

補助データ生成部 15は、 Iピクチャ又は Pピクチャを先頭とし、 Bピクチャを含むデータグループ毎に付される補助データ（AUX) をストリーム記録処理部 16へ出力する。

ストリーム記録処理部 16は、外部入力部 1 1或いはエンコーダ 13から画像デ一夕を取得する。また、このストリーム記録処理部 16は、挿入処理部 14からコピーピクチャやスタッフィングバイトが供給され、補助データ生成部 1 5力、ら補助データが、更にはヘッダ抽出部 22から各種ヘッダが入力される。ストリ —ム記録処理部 16は、画像データにおける Iピクチャ或いは Pピクチャから始まるデータグループ間に、補助データやコピーピクチャ等を揷入して一つのデータストリームを形成する。このときストリーム記録処理部 16は、生成したデータストリームから VBVディレイ抽出部 23により VBVディレイが抽出される場合もある。ストリーム記録処理部 16は、この形成したデータストリームを E CC処理部 1 7へ送信する。

ECC処理部 17は、入力されたデ一タストリームに E C C (Error Correcti on Code) を付加し、またインタリーブ処理等を施す。この ECC処理部 1 7は、図示しない独自の E C C B a n kメモリを有し、実際に磁気テープ 4へ記録するデータストリームを一時記憶させる。

記録回路 1 8は、 E C C処理部 1 7から入力されたデータストリ一ムを磁気テ —プ 4へ記録する。この記録回路 1 8は、例えば、入力されたデータをシリアルデータに変換した上で増幅し、図示しない回転ドラムを介して回転させられる磁気テープ 4へ、図示しない磁気へッドを介して記録する。

再生回路 1 9は、磁気テープ 4上に記録されている画像デ一夕を再生し、また後述する磁気テープ 4上の補助記録領域に記録されている補助データを読み出し、これを E C C処理部 1 7へ送信する。

ストリ一ム再生処理部 2 1は、磁気テープ 4から再生される画像データ並びに補助データが再生回路 1 9及び E C C処理部 1 7を介して入力される。このストリーム再生処理部 2 1は、入力された画像データを外部出力部 2 4或いはデコ一ダ 2 5へ出力する。このストリーム再生処理部 2 1に入力された補助データにおいて、 P T S (Presentat ion Time Stamp)や D T S (Decoding Time S 即）についてはヘッダ抽出部 2 2により抽出され、 V B Vディレイについては V B Vディレィ抽出部 2 3により抽出される。その他の補助デ一夕については、補助デ一夕抽出部 2 0により抽出される。

外部出力部 2 4は、ストリーム再生処理部 2 1から P E Sとして入力される画像データをデコードして T S化し、他の電子機器へ伝送する。デコーダ 2 5は、ストリ一ム再生処理部 2 1から P E Sとして入力される画像データをピクチャ夕ィプ、量子化ステップ等の符号化パラメ一夕に基づいて復号化を行う。

なお、本発明に係る画像データ処理装置 1を構成する回路、要素は、制御部 2 6による制御に基づき動作する。

次に、本発明を適用した画像データ処理装置 1における磁気テープ 4への記録方式について説明をする。なお、ここで説明する記録方式は、特開 2 0 0 1 — 2 7 5 0 7 7公報において提案されている方式に基づく。

磁気テープ 4は、図 4に示すように、磁気ヘッドにより映像信号等の情報が記録されるヘリカルトラック 3 2から構成される。

ヘリカルトラック 3 2は、磁気テープ 4の長手方向に対して傾斜されて形成されている。

1本のヘリカルトラック 3 2は、図 5に示すように、 1 2 3個のシンクブロックと 1 8個の C 2パリティシンクブロックから構成される。このヘリカルトラック 32の 1 6本を E C C処理部 1 7における C 2 E C Cのインタリーブ単位とする。 EC C処理部 1 7では、この 1 6本分のヘリカルトラック 32におけるシンクブロックを E C C面にインタリーブして割り当て、 C 2パリティを生成してこれを C 2パリティシンクプロックへ記録する。

1つのシンクブロックは、 9 5バイ卜のデータ部に、 1バイトのシンクブロックヘッダ (S Bヘッダ) と、トラックペア No. やシンクブロック N o · 等からなる 3バイトの I D部と、それらを対象とした C 1パリティの 1 0バイトが付されており、さらに 2バイトのシンクパターンを先頭に付した 1 1 1バイトで構成されている。

このトラックペア No. は、 —アジマス、 +アジマスの順で隣り合うヘリカルトラック 3 2間で同値をとる。以下このトラックペア No. を 2倍して +アジマストラックのみ 1を加えた N ο . を卜ラック N o . とする。また S Bヘッダは、そのシンクプロックに記録されるデータの種類が記録されている。

ちなみに、 MP EG 2方式の P E Sパケットとして構成されている V i d e o データや A u d i oデ一夕は、それぞれシンクブロックに分割して記録されることとなる。 V i d e oデータは、図 6に示すように、 I ピクチャ、 Bピクチャ、 Bピクチャの 3フレーム、或いは Pピクチャ、 Bピクチャ、 Bピクチャの 3フレ —ムの P E Sを結合し、これに P T S時刻に応じた A u d i oデ一夕を加えて、 Au d i o、 V i d e oの順で交互にシンクブロック上へ記録する。この Au d i oと V i d e oの結合単位を以後、 P a c kという。 I ピクチャ、 Bピクチャ. Bピクチャの順で構成される 3フレームの V i d e oデータ、或いは Pピクチャ. Bピクチャ、 Bピクチャの順で構成される 3フレームの V i d e oデータをデータグループという。

なお、 Au d i oデ一夕の補助デ一夕として AUX— Aを、 V i d e oデータの補助デ一夕として AUX— Vのシンクブロックを P a c k毎に記録する。

次に、本発明を適用した画像データ処理装置 1の動作について説明をする。 MP E G 2方式を採用する画像データ処理装置 1は、ピクチャタイプ毎に発生符号量が異なるため、磁気テープ 4へ記録したデータストリームを、再生時にデコーダ 2 5において正確に符号化して画像を得るためには、デコーダ 25における入力バッファ内のデ一夕占有量をエンコーダ 1 3で常に把握しなければならない。

図 7は、画像データ処理装置 1に対して最後に供給されたデ一夕グループしにおける、デコーダ 25の入力バッファのデータ占有量の推移を表している。この図 7において、横軸は時刻（ t) を示しており、供給されるデ一夕グループ Lを構成する各ピクチャのデコードのタイミング（P、 B l、 B 2 ) が記されている。また縦軸は、入力バッファが格納するデータ占有量を示している。

入力バッファは、 MPEG 2方式で圧縮符号化されたデータストリ一ムをそのビットレートに応じて順次格納していく。 Pピクチャが供給される時刻は、 t l 1から t 12までであり、また B 1ピクチャが供給される時刻は、 1; 12から 1 1 3までであり、更に B 2ピクチャが供給される時刻は、 t 13から t 14までである。またデコーダ 25は、デコード処理のため、 t 21において Pピクチャを引き抜く。同様にデコーダ 25は、デコード処理のため、セ 22にぉぃて81 ピクチャを引き抜き、更に t 23において B 2ピクチヤを引き抜く。

このデコーダ 25 こより引き抜かれる各ピクチャのデータ量は、ピクチャのデ —夕サイズ (picture— size) と、ピクチャスタートコードのデータサイズ (pict ure— start— code) と、シーケンスへッタのデータサイズ（sequence— header) と、 GO Pヘッダのデータサイズ（GOPJieader) とを加えたデ一夕量（以下、ィメージサイズと称する）である。このデ一夕グループ Lの先頭に位置する Pピクチヤのピクチャスタートコードの最終パイトが供給されてから、デコーダ 25により引き抜かれる時間（ t l l〜t 2 1) を VBVディレイ（vbv— delay— 1) と称する, 図 7において、データグループ Lの後方には、データグループ Lの次に挿入すべきピクチャ (以下、次ピクチャという）が示されている。この次ピクチャの V BVディレイ（vbv_delay_n) は、 t 14から t 1 5までの時間である。画像デー夕処理装置 1は、最後にデータグループ Lが供給されたときに、多めにェンコ一ドすることにより、この次ピクチャの vbv一 delay_nを取得することができる。画像データ処理装置 1は、このようにして取得することができる VBVディレィ（vbv_delay_l、 vbv_delay_n) を補助データとして、各データグループ毎に設けられた AUX— Vへ記録する。図 7中の下段には、デ一タグループ L並びに次ピクチャについて設けられた A U X— Vの磁気テープ 4における記録位置を示している。データグループ Lにおける AUX— Vの記録位置は、データグループ L の先頭に位置する Pピクチヤの前に設けられている。同様に、次ピクチャの AU X— Vのシンクブロックは、次ピクチャの記録位置前方であり、かつデータダル —プ Lの記録位置後方に設けられている。

画像データ処理装置 1は、データグループ Lの Pピクチヤについて取得した vb v_delay一 1を、デ一夕グループ Lについて設けられた A U X— Vへ記録する。同様に次ピクチャについて取得した vbv一 delay_nを、次ピクチャについて設けられた A UX_ Vへ記録する。

このようなデ一タストリームが記録された磁気テープ 4を再生することにより、各 AUX— Vに記録されている vbv_delay_l, vbv— delay_nを読み出すことができる：これにより、画像データ処理装置 1は、画像データが既に記録されている磁気テープ 4において、その記録終了位置から画像データを新たに記録する、いわゆるつなぎ録りをする場合においても、既に記録されている画像データの情報を得ることができる。なお、つなぎ録りする画像データに対して、このように vbv_dela y一 1等を同時に記録しておく画像デ一夕を下地画像データという。

すなわち、この画像データ処理装置 1は、次ピクチャをつなぎ録りする画像デ —夕として想定することにより、つなぎ録りする次ピクチャがもつべき vbv_dela y—nを記録時に予め求めて磁気テープ 4上へ記録することができる。これにより再生時において、磁気テープ 4から vbv_delay— nを読み出すだけで、 VBVバッファにおけるデータ占有量に換算してエンコーダの初期値として設定することができるため、 1フレームのサイズが変動する MP EG 2方式においても、各ピクチャの発生符号量を制御することができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。

なお、本発明に係る画像データ処理装置 1は、このデ一タグループ Lについて、最後に供給されたデータグループであることを示すための END点フラグを AU X— Vへ記録することも可能である。これによりつなぎ録りする際に、この EN D点フラグに基づいて画像データが記録されている領域を容易に識別することができ、既存の画像データ上に上書きしてしまうような不都合を回避することも可能となる。

画像データ処理装置 1は、最後に供給されるデータグループ Lゃ次ピクチャに限らず、他の全てのデータグループ毎に先頭のピクチャの VBVディレイを識別し、これを各データグループ毎に設けられた AUX— Vへ記録してもよい。次ピクチャの AUX— Vにおいても同様に vbv_delay—iiが記録されているため、各ピクチヤ毎に VB Vディレイを AUX— Vへ記録することにより、記録媒体上に設けられた全ての AUX— Vの補助データ種を共通化することができる。

さらに、画像データ処理装置 1は、補助データとして、 VBVディレイ以外に DT S等を用いてこれを AUX— Vへ記録しても良く、また VB Vディレイの代替として DTSや PTSを用いてもよいことは勿論である。

他の電子機器から入力された DT Sや P T Sをそのまま AUX— Vへ記録すると、再生時において、記録した DT Sや PTSがジャンプしてしまう塲合があるため、通常この DTSや PT Sにオフセット値を加算してから AUX— Vへ記録する。デ一夕グループ Lの AUX— Vから取得した DT Sを DT S 0とする。また、つなぎ録りする次ピクチャから取得した DTSを DTS 2とする。このとき、オフセット値を、 DTS O— DTS 2 + (コピーピクチャの枚数） X (コピーピクチャの表示時間）、に基づいて演算し、これを DTS又は PTSに加算してから記録を行う。

符号化されたストリームや、他の電子機器から入力されたストリームを途中で打ち切る場合には、上述の如く次ピクチャの vbv_delay— nの値を認識することができるが、他の電子機器から供給されたデ一タストリームを最後のピクチャまで全て記録しきったときには次ピクチャが存在しない。かかる場合には、次ピクチャの vbv— delay_nの値を認識することができず、記録時において A U X— V上に補助デ一夕として記録することができない。このため、他の電子機器から供給されたピクチャを磁気テープ 4上へ記録する場合には、記録時において予め次ピクチャの vbv— delay一 nの値を演算し、これを次ピクチャの AUX— Vへ記録しておく。これにより、再生時において、この次ピクチャの vbv_delay_nを容易に読み出すことができ、入力バッファを破綻させることなく容易につなぎ録りを行うことができる。

図 8は、この次ピクチャの vbv_delay nの値が未知の場合に、記録時に予め演算する例を説明するための図である。画像データ処理装置 1には、最後に供給され、 Pピクチャ、 B 1ピクチャ、 B 2ピクチヤの順で構成されるデータグループが供給される。このとき、画像データ処理装置 1は、この最後に供給されるデータグループ Lの次に供給されるべき次ピクチャの vbv— delay_nを、データグループ L の先頭に位置する Pピクチヤの vbv_delay_Iと、当該データグループ Lの転送時間 (FT) 並びに表示時間（ET) とから、以下の式（1) により求める。

vbv_delay_n=vbv_delay_l+ E T - F T · · · · ( 1 )

ここで転送時間 F Tについては、データグループ Lを構成する 3フレームを抽出してビット数の合計（dビット）を演算する。そして、この dをビットレート

(Bitrate) で割ると転送に必要な時間となり、これに 90 000を乗じることにより、 VB Vディレイと同じ 90 KH zの時間軸における転送時間（FT) となる。またこのデ一タグループ Lを構成する 3フレームの表示間隔（ET) は、フレームレートが 29. 97 H zの場合において 3003の 3倍となり、これと上述の FTとの差分が VB Vディレイの変化量となる。これにより vbv_delay_nは、さらに以下の式（2) により求めることができる。

vbv_delay_n=vbv_delay_l + 3003 X 3- 90000 Xd/ Bitrate · · · · ( 2 ) 画像データ処理装置 1は、このようにして求めた vbv— delay_nを、次ピクチャの AUX— Vに記録する。 AUX- Vに対して VB Vディレイを記録する場合のみならず、 D T Sを記録する場合においても、同様の手法により次ピクチャの DTS を予め求めることができる。

このように、本発明に係る画像データ処理装置 1は、次ピクチャの vbv_delay— nの値が未知であっても、上述の計算式（1) 或いは式（2) に基づいて求めることができるため、再生時においてエンコーダの初期値を得るために記録終了位置直前において既に録画されている画像データをすベて読み出し、ピクチャサイズを計算する必要がなくなる。これにより本発明に係る画像データ処理装置 1は、計算時間を減らすことができ、 R E C操作の遷移時間を短くすることも可能となる。

次に、つなぎ録り時における、 E C C処理部 1 7の E C C B a n kメモリの処理について説明をする。

先ず録画（REC) 中に、一時停止（REC— PAUS E) し、再度録画（R EC) することによりつなぎ録りする場合について説明をする。エンコーダ 1 3 により符号化されたデ一タストリ一ムや、外部入力部 1 1を介して入力されたデ —タストリームを磁気テープ 4上へ記録中に、 REC— P AUS E操作を行った場合、図 9に示すように、最後に供給される 3フレームのピクチャからなるデ一夕グループ Lを E C C B a n kに書き込み終わったときのシンクブロックを記録 END点とし、その後に再度 RE C操作を行うことによりつなぎ録りする次ピクチャが含まれる P a c kの AUX— Aと、 Au d i oデータのシンクブロックを書き込む。そして最後に次ピクチャの vbv— delay_nや END点フラグ等の補助デ— 夕を記録するための AUX— Vのシンクブロックを書き込む。

この図 9に示す AUX— Aから AUX— Vまでがつなぎ録り時において、補助データを読み出し、つなぎ録りするデ一タストリ一ムの書き込みを開始するエリァである。ちなみに当該エリアが、この AUX— Aのシンクブロックを含む EC CB a n kから、その次の E C C B a n kまでに至る場合において、記録処理を共通化するため、次ピクチャの AUX— Vにおけるシンクブロックの次のシンクブロック以降を Nu 1 1データで埋める。

E C C処理部 1 7は、供給されるデ一タストリーム全てを記録して下地画像デ ―タを生成するのに必要な ECCB a n kを、シンクブロック或いは Nu l 1デ —夕で埋めた後、磁気テープ 4上へ記録する際に使用する記録電流や、図示しない回転ドラム等のような磁気テープ 4へデ一タストリ一ムを記録するための機構を停止させる。これは、磁気テープ 4へ記録する際に、最後に記録すべきへリカルトラックへデ一夕を記録した後に即記録電流を停止すると、その最後に記録すべきヘリカル卜ラックにエラーが生じる可能性があるため、余分に記録電流を流しておくためである。

磁気テープ 4における下地画像データの記録 E N D点からつなぎ録りを行う場合には、先ず磁気テープ 4を再生することにより、既に記録してある下地画像デ一夕のデータストリ一ムを一度 E C C処理部 1 7における ECCB a n kへ書き込み、各 AUX— Vから END点フラグを探し出す。かかる END点フラグが付されている AUX— Vを含む E C CB a n kと、その次に続く ECCB a n kのみを ECCB a n kメモリへ保存しておき、それ以降の E C CB a n kのメモリへの書き込みを中止して次ピクチャの記録へ備える。このとき、 END点フラグが存在する AUX— Vから VB Vディレイや DT S等を取り出しておいてもよい _c 次に、磁気テープ 4の再生画を見ながら、つなぎ録りする次ピクチャの記録を開始する再記録位置を指定する場合について説明をする。 E CCB a n kにおいて、再生 PAUS E操作時に画面上に表示されていた画像のデータストリームは、後から供給される画像のデータストリームにより上書きされている場合が多い。

3フレームから構成されるデータグループ毎に磁気テープ 4上へ記録していく本発明では、再生画を見ながら指定した次ピクチャの再記録位置に、 I ピクチャ、或いは Pピクチャが存在している場合は、当該 I ピクチャ、或いは Pピクチャの直前を次ピクチャの再記録位置とするが、一方、指定した次ピクチャの再記録位置に、 Bピクチャが存在している場合には、当該 Bピクチャを構成するデ一タグループ先頭の I ピクチャ、或いは Pピクチャの直前を次ピクチャの再記録位置とする。

ECC処理部 1 7は、このようにして次ピクチャの再記録位置を、指定した記録位置に存在するピクチャタイプに応じて決定し、磁気テープ 4を決定した記録位置に応じて巻き戻して再生し、これを順次 E C C B a n kメモリへ書き込んでいく。その際に DT S等を介して、決定した再記録位置や、その再記録位置の直後に位置するデータグループの I ピクチャ或いは Pピクチャをサーチし、その P a c k先頭の AUX— Aを含む E C CB a n kと、その次に続く ECCB a n k のみを ECCB a n kメモリへ保存しておき、それ以降の E CCB a n kの EC C b a n kメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、 END点フラグが存在する AUX— Vから VB Vディレイや DT S等を取り出しておいてもよい。

磁気テープ 4の再生画を見ることなく、再記録位置を選ばずにつなぎ録りを行う場合には、磁気テープ 4を再生してデータストリームを順次 EC CB a n kメモリへ書き込んでいく。その際に再記録位置を、デ一夕グループ単位で再生順にサーチする。そして任意の再記録位置の直後に位置するデータグループの I ピクチヤ或いは Pピクチャの先頭の AUX— Aを含む E C CB a n kと、その次に続く ECCB a n kのみを ECCB a n kメモリへ保存しておき、それ以降の EC CB a n kの ECCB a n kメモリへの書き込みを中止して次ピクチャの記録へ備える。このときも同様に、 END点フラグが存在する AUX— Vから VB Vディレイや DT S等を取り出しておいてもよい。

なお、上述の如く EC CB a n kメモリへ 2つの ECCB a n kが保存されている場合において、新たに入力されるデ一夕ストリームは、以下のようにして E C C B a n kから書き戻す。すなわち、再記録位置直前のシンクブロック内のデ —タストリームは、そのまま ECCB a n kメモリへ残しておく。そして再記録位置以降のシンクブロックに新たに入力されるデータストリームを重ね書きし、 E C C B a n kメモリ上で合成する。このとき、この新たなデータストリームが重ね書きされて合成された E C CB a n kメモリ内の各デ一タストリ一ムについてそれぞれ C 2パリティを生成し直す。

そして、再生するデ一夕ストリームのトラック No. を視認しつつ再生を行い、 ECCB a n kに付されたトラック No. と一致するトラックからつなぎ録りを行うようにする。すなわち、書き戻す前後のデータストリームを磁気テープ 4上において連続しておくことにより、つなぎ録りを開始する再記録位置において特別な処理を施すことなく、スムーズな再生を実現することができる。

次に、上述の如く下地画像データが形成された磁気テープ 4の再生時において、 AUX— Vに記録されている次ピクチャの vbv_de 1 ay— nを継承してエンコーダの初期値として設定する方法について説明をする。

画像データ処理装置 1は、再生時において、 AUX— Vに記録されている次ピクチャの vbv_de 1 ay_nを取得し、これをエンコーダ 1 3における VBVバッファのデータ占有量（vbv_occupancy) に換算し、この値をエンコーダの初期値として設定する。この VBVバッファは、デコーダ 2 5における入力バッファに対応する仮想バッファとして想定することで、各ピクチャ毎に発生する符号量を制御すベく設けられるものである。この VB Vバッファの vbv_occupancyは、継承した vbv — delay_nに基づき、以下の式（3) により演算することができる。

vbv_occupancy=vbv_delay_nX Bit rate/ 9 0 0 0 0 · · · · (3) ところで、この式（3) により求められた vbv— occupancyは、画質にとって最適な値になるとは限らず、アンダーフローやオーバ一フローが生じ、継続的に画質を劣化させてしまう場合がある。このため、この式（3) により求められた vbv_ occupancyがいかなる値であっても、 VB Vバッファの容量に応じてこれを最適にコントロールし、画質の劣化を防止する必要がある。

画像データ処理装置 1は、式（3) により演算した vbv_occupancyの初期値（以下、この初期値を vbv一 occupancy_fと称する）から、徐々にこの vbv_occupancyを補正することにより、最適な vbv_occupancyの目標値（以下、この目標値を vbv一 o ccupancy_tと称する）へ遷移させる。具体的には、 vbv— occupancy_fと vbv— occup ancy— tの差分を求めることにより、 vbv_occupancy_tへ収束させるために必要な符号発生補正量を求める。次にこの符号発生補正量を、 vbv— occupancy— tへ遷移させるのに必要な GOPの数（以下、この GO Pの数を nuinber_GOPと称する）で割ることにより、 1 GO Pあたりの符号発生量補正値を求める。すなわち、この符号発生量補正値は、以下の式（4) により演算することができる。

符号発生量補正値 = (vbv一 occupancy— t— vbv— occ擊 ncy一 f) /number— GOP

• · · · (4) このように画像データ処理装置 1は、 vbv— occupancy— ίから vbv—occupancy_tへ遷移させるために複数の GO Pを費やす。すなわち、目標とする vbv一 occupancy_ tへ複数の GO P数（numbeし G0P) をかけて徐々に補正することができるため、 1 GO Pあたりの補正量を減らすことができ、一時的な画質の劣化を抑えることができる。

図 1 0は、このエンコーダ 1 3における符号量制御のフロ一を示しており、図中矢印方向は時間軸を表している。

先ずステップ S 1 1において、式（3) より vbv— delay_nに基づいて演算した V bv— occupancy— fと、 vbv_occupancy— tとの差分を求める。次 :ステップ S 1 2 ίこ; ¾ いて、この求めた差分を numbeし G0Pで除して、 1 G 0 Pあたりの符号発生量補正値を求める。次に、ステップ S 1 3において、ビットレートにより制御された各 GO Pにおける符号の総加算量に対し、この符号発生量補正値を減算することにより補正する。

一方、 G0P先頭を除く各画像データは、ステップ S 2 1において、各フレーム毎に remain_biし G0Pから発生符号量を減算される。また G0P先頭ではステップ S 22 において、ステップ S 2 1を経た各画像データの符号量に対して、ステップ S 1 3にて各 GO P毎に補正された総加算量が加算され、さらにステツプ S 2 3の 1 フレーム単位のエンコード処理に基づくフレーム内発生符号量が減算される。ェンコーダ 1 3は、このようにして符号量制御された remain_biし G0Pを得ることができる。この remain_biし G0Pは、 G O P単位で符号量をコントロールされているため、継続的に画質が劣化することはなくなる。

この number— G0Pは、いかなる値に設定してもよく、一定の値に固定しても良いし、 vbv— occupancy— t— vbv_occupancy_fの値に応じてその都度任意に設定してもよレ。仮 ίこ number— G0Pを一定のィ直 ίこ固定すると、 vbv_occupancy_t - vbv_occupan cy—fの値を問わず各 GO Pへ均等に割り振ることができる。また、 numbeし G0Pを vbv— occupancyj— vbv_occupancy_fの値に応じてその都度任意に設定することにより、 1 GO Pあたりの補正量を最初に決め、必要な numbeし G0Pを後から設定することも可能となる。

画像デ一夕処理装置 1は、上述の remain— bit_G0Pを各ピクチャへ割り当てる。このときピクチャタイプ毎の複雑さに応じて、割り当てる符号量を変えても良い。例えば、 I ピクチャの複雑さを示す係数を Xi、 Pピクチャの複雑さを示す係数を Xp、 Bピクチャの複雑さを示す係数を Xbとし、 GOP内における Pピクチャの未符号化枚数を Np、 GO P内における Bピクチャの未符号化枚数を Nbとするとき、 I ピクチャの割り当て係数 Y_i、 Pピクチャの割り当て係数 Y一 p、 Bピクチャの割り当て係数 Y_bは、それぞれ以下の式（5) 、式（6) 、式（7) により表すことができる。

Y_i=HNp - Xp/Xi - 1/Kp+Nb - Xb/Xi - 1/ b · · · · (5)

Y_p-Np+Nb · Xb/Xp · Kp/Kb · · · · ( 6 )

Y_b=Nb+Np · Xp/Xb · Kb/Kp . · · · (7) (Kp=l.0, Kb=l.4)

ここで remain— bit_G0Pを、上述の如く求められた各ピクチャの割り当て係数 Y_ i、 Y— P、 Y_bにより除算することにより、各ピクチャタイプへ割り当てる符号量を求めることができる。なお、 Xi, Xp, Xbの各初期値を、それぞれ 1.39xbitrate, 0. 52 X bit rate, 0.37Xbitrateとしても良い。

次に、継承した vlnし d e 1 ay_nに基づいて演算した vb V— 0 c c up anc y_ ίの値が極端に小さい場合における処理について説明をする。

式（3) により演算した vbv_occupancy_fが極端に小さいと、式（4) に基づいて vbv— occupancy_tへ遷移させても、以下に説明する理由により画質が大幅に劣化してしまう。

すなわち、つなぎ録りする次ピクチャの発生符号量との関係で、極端に vbv_oc cupancy_fが小さいと、エンコード時において V B Vバッファのアンダーフローが生じないように、次ピクチャの発生符号量に制約がかかり、画質が劣化してしまう。またかかる場合に、 number— G0Pを一定の値に固定すると、 vbv_occupancy_tへ遷移するまでの最初の数 GO Pは、極端に vbv_occupancyが低い状態であるため、画質が著しく劣化し、また最適な vbv一 occupancyjへ遷移するまで長時間を費やすため、早期に画質を改善することができない。更に vbv一 occupancy一 tへの遷移時間を短縮するために、 1 GOPあたりの符号発生補正量を大きくすると、 vbv一 occu pancy一 tへ遷移するまでの間、画質が大幅に劣化してしまう。

このため、本発明に係る画像データ処理装置 1では、かかる画質の劣化を抑えるべく、式（3) により演算した vbv_occupancy—fについて、所定の設定値を下回る場合にコピーピクチャを挿入することにより、大幅な画質劣化よりむしろ画面のホールドを選択できるようにする。

図 1 1 Aに示すように、 vbv— delay一 nに基づいて演算した vbv_occupancy_fが、設定値を下回る場合において、図 1 1 Bに示すように、コピーピクチャを挿入し続ける。これにより、 VBVディレイ（vbv— delay_n2) は、 t 41から t 42の時間帯に相当することとなるため見かけ上大きくなり、これに基づいて演算された vbv— occupancy_f2は、設定値を上回る。これにより、画面がホールドされる時間は増加するが、画質の劣化を抑えることが可能となる。なお、このコピーピクチャの挿入枚数（N) は、次ピクチャの vbv— delay_n2に応じて得られる vbv一 occupancyj 2が設定値以上となるように計算して決定する。先ず、コピーピクチャを N枚挿入すると、次ピクチャの引き抜かれる時刻 t 4 2が N枚分遅延するため、 vbv_delay_n2は、 N枚分長くなる。一方、コピーピクチヤ 1枚の転送時間 F Tの N倍だけ次ピクチャが後ろへずれることになるため、その分 vbv_delay_n2は短くなる。

ここでコピーピクチャ 1枚の表示時間を ETとしたとき、 vbv_delay— n2は、以下の式（8) により表される。

vbv— delay— n2 = vbv— del ay一 n+ NX (ET— FT) · · · · (8)

ちなみにコピーピクチャの表示時間 ETは、フレーム周波数が 29. 9 7 Hz のときに 30 0 3となり、フレーム周波数が 2 5 Hzのときは 36 00となる。コピーピクチヤの枚数（N) は、 vbv_delay— n2が、 vbv— occupancyの設定値から式（3) を用いて演算した vbv_delayの設定値（vbv_delay_s) 以上となるように計算して求める。すなわち、上述した式（8) に基づき以下に示す式（9) を導き出すことができる。

vbv— delay— n+ N X (ET— FT) ≥vbv_delay_s · · · · (9)

この式（9) を変形した以下の式（ 1 0) 式により、コピ一ピクチャの挿入枚数（N) を求める。

N≥ (vbv一 del ay— s— vbv一 del ay— n) / (ET— FT) · · · · ( 1 0) 本発明を適用した画像データ処理装置 1では、このように演算したコピーピクチヤを N枚挿入することにより得られる vbv— delay_n2を取得し、 VB Vバッファにおけるデータ占有量に換算してエンコーダの初期値とすることができる。これにより、式（3) により演算した vbv_occupancy_fが極端に小さい場合であっても、大幅に画質を劣化させることなく vbv_occupancyを最適にコントロールすることができる。

次に、他の電子機器から入力された画像デ一夕のデータストリームをつなぎ録りする場合において、継承した vbv一 de 1 ay— nの値が極端に小さいときの処理について説明をする。

他の電子機器から入力されたデ一タストリームをつなぎ録りする場合には、コピーピクチヤに加えてスタッフィングバイトを揷入することにより、 vbv_occupa ncyをコントロールする。

図 1 2に示すように、 vbv— delay一 nに基づいて演算した vbv_occupancy_fが、設定値を下回る場合において、 t 5 1から t 5 2まで、コピーピクチャを挿入し、またスタッフィングバイトを揷入する。

このコピ一ピクチャの枚数やスタッフィングバイトの量は以下の方法で決定することができる。

先ず、記録 END点の直後に位置する次ピクチャの AUX— Vから vbv— de 1 ay_ nを取得する。次に、つなぎ録りする画像データが他の電子機器から供給されたときに、当該供給された画像データの先頭に位置する I ピクチャのヘッダから VB Vディレイを取得し、これを vbv_delay— n3とする。また、次ピクチャのヘッダから 4 0 0 b p s単位で表される Bitrateを取得する。

このとき、コピーピクチャのバイト数を B_copyとしたとき、その転送時間を 9 0 KH z単位に換算した T_copyは、以下の式（1 1 ) で表すことができる。

T_copy=B_copy/BitrateX換算係数 · · · · （1 1 )

この換算係数は、 9 0 KH z単位において、以下の式（1 2) により 1 8 0 0となる。

90000HzX8bit/400bps= 1800 · · · · ( 1 2)

ここで、取得した VB Vディレイの差分値 VBVD_TNは、以下の式（ 1 3) により定義することができる。

VBVD_TN- vbv_de 1 ay_n3 - vbv_de 1 ay_n · · · · ( 1 3)

ここで、 VBVD一 TN≤0のとき、コピ一ピクチャの枚数（N—copy) を 0とし、ス夕ッフイングバイトの揷入のみ実行する。一方、 VBVD— TN>0のとき、以下の式（1 4) により求めた枚数（N—copy) 分、コピーピクチャを挿入する。ちなみに、この式（ 1 4) では求める N—copyを整数に切り上げる。

N_copy=VBVD_TN/ (ET - T一 copy) · · · · (1 4)

式（ 1 4) において整数に切り上げられた分を式（ 1 5) 、式（1 6) 式により求められるスタッフイングバイト（B一 Stuf) により補う。

T Stuf= (ET— T copy) XN-VBVD TN · · · · ( 1 5) B_Stuf = T_Stuf xBitrate/1800 · · · · ( i 6 )

すなわち、本発明を適用した画像データ処理装置 1は、他の電子機器からデー夕ストリームが入力された場合において、それぞれ取得した vbv_delay一 nと、 vbv — delay_n3に応じて、コピーピクチャを挿入し、或いはスタッフイングバイトを挿入することができる。これにより、 vbv_delay_n3に対して、 vbv_delay_nがいかなる値であっても、コピーピクチャを挿入し、またスタッフイングバイトを挿入することができるため、画質をほとんど劣化させることなく、所望の vbv_occupanc yへコン卜ロールすることができる。

記録 E N D点直後のピクチャタイプが Pピクチャである場合において、当該 P ピクチャから、 Iピクチャで始まる次ピクチャをつなぎ録りする場合には、図 1 3に示すように、シーケンスヘッダ/ GO Pヘッダ分だけレートが上がってしまう。このため、シーケンスヘッダ/ GOPヘッダ分応じた VBVディレイを補正値として、求めた vbv_delay一 nから差し引く必要がある。

この補正値を計算する際には、整数でステップ化する。この整数によるステツプ化の際に、端数が生じた場合には切り上げることにより、シーケンスヘッダ Z GO Pヘッダ分のレートを下げるようにする。演算した補正値は、次ピクチャの vbv一 delay—nの継承時、コピ一ピクチャやスタッフィング量の計算時において用いる。

次に、演算したコピーピクチャやスタッフィングの記録方法について説明をする。

図 14に示すように、磁気テープ上には、それぞれ AUX— Vが設けられ、 I ピクチャ又は Pピクチャを先頭とし、 Bピクチャを含むデータグループが既に記録されている。ちなみに図 14に示す例では、下地画像データの例として、画像データ処理装置 1に対して最後に供給されたデータグループ Lが示されている。このデ一夕グループ Lの記録 END点以降の再記録位置には、 1回目のつなぎ録りする次ピクチャを含むデ一夕グループ N 1が記録されることとなる。このデ —夕グループ N 1においても補助デ一夕を記録するための A U X— Vが設けられている。

更に、データグループ Lとデータグループ N 1の間には、挿入補助記録領域 (E d i t AUX_V_h) が設けられコピーピクチャ及び/又はスタッフイングバイトを含む揷入デ一夕グループ（E d i t P a c k_V_h) が記録される。この E d i t P a c k— V— hは、 VBVバッファのビット占有量に応じて設けられる。

このコピーピクチャやスタッフィングバイトを一つにまとめた E d i t P a c k— V— hは、あくまでデータグループ Lゃデ一夕グループ N 1と独立したデ一夕グループとして記録する。これにより、状況に応じてこの E d i t P a c k__ V—hのみを分離することが可能となる。 E d i t AUX— V— hには、スタツフイングの VBVディレイに相当する値を記録する。このとき、デ一夕グループ N 1の AUX— V記録されている vbv_delay_nを継承して、この E d i t AUX— V_hへ記録してもよい。

このように 1回目のつなぎ録りが行われた記録媒体の再記録位置において他の画像データを再度録画する、いわゆる 2回目のつなぎ録りを行う場合には、この E d i t P a c k— V—hを分離して除去する。そして、図 14に示すように、 2回目のつなぎ録りを行うデータグループ N 2が記録される。このデ一タグループ N 1においても補助データを記録するための AUX— Vが設けられている。更に、データグループ Lとデータグループ N 2の間に、揷入補助記録領域（E d i t AUX— V—h 2) が設けられコピーピクチャ及び/又はスタツフィングバイトを含む挿入データグループ（E d i t P a c k_V_h 2 ) が記録される。

このように、 2回目のつなぎ録り時において、 1回目のつなぎ録り時に記録した E d i t P a c k— V— hを除去することにより、以下の効果を得ることがでさる。

図 1 5は、 1回目のつなぎ録りを行ったデータグループ N 1の先頭を再記録位置として、 2回目のつなぎ録りを行う場合の、時刻に対する VBVバッファのデ —夕占有量を示している。この図 1 5に示されるように、デ一夕グループ N 2の VB Vディレイ（vbv_delay_h2)は、デ一夕グループ N 1の V B Vディレイ（vbv— delay_hl) よりも大きく、またデ一夕グループ Lの vbv_delay— nよりも小さい。このため、 vbv_delay_h2と vbv_delay— nとを比較して、挿入するコピ一ピクチャの枚数やスタッフィングバイトの量を決めれば足りるところ、 1回目のつなぎ録り時において vbv_delay— nと、 vbv— delayjilとの関係で、既に不要なスタッフイングバィト等が、 E d i t P a c k_V_hを介して記録されている。

本発明を適用した画像データ処理装置 1によれば、データグループ N 2が供給されるまでに、 1回目のつなぎ録りにおけるスタッフィングバイト等を含む E d i t P a c k— V— hが除去されている。このため、 vbv_de layjilを無視して、 vbv_delay_h2と vbv— delay— nとの間で、揷入するスタッフイングバイトの量を決定することができる。また、不要なスタッフイングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。

一方、 vbv_delay— nよりも vbv_delay_hlの方が大きいためにコピ一ピクチャ及びスタッフィングバイトが挿入される場合においても、データグループ N 2が供給されるまでに、 Ed i t P a c k_V— hが除去されている。このため、 vbv— de layjilを無視して、 vbv— (361&ー112と^¥_(161& _11との間で、挿入するコピーピクチャの枚数やスタッフイングバイトの量を決定することができる。また、不要なコピーピクチャやスタッフィングバイト等が記録されることがなくなり、ェンコ一ド後の画質の劣化を防止し、ひいては、無駄な画面ホールドを抑えることができる。

なお、 Ed i t P a c k_V_h 1がスタッフィングバイトのみで構成される場合には、図 1 6に示すように、当該スタッフイングバイトを構成する E Sのみに対して P E Sへッダを付加する。

これにより、スタッフイングバイトのみを構成する E Sを、他の ESと合わせて PE Sパケットを構成する必要がなくなり、またスタッフィングの境界が明示されることとなるため、デコード時において、当該 P E Sヘッダが付されたスタッフィングバイトを容易に除去することができる。

次に、 2回目のつなぎ録り時における再記録位置について説明をする。

図 1 7は、 t 61から始まる vbv一 delay_nに対して、コピ一ピクチャやスタッフイングを挿入させて t 62から始まる vbv_delay_hlを示している。このとき、 2 回目のつなぎ録りが行われ、更に追加スタッフィングが付された vbv_delay_h2は、 t 62から追加スタッフィング分だけ遅れた t 63から開始することとなる。このとき、 Vbv— (^1&ー112と 13¥_(161&—11との間で、正確な追加スタッフイング量を決定しても、記録開始位置を t 6 3とすれば、 2回目のつなぎ録り時において除去される E d i t P a c k— V— hにおけるスタッフィングパイト等の分だけ、無駄な画面ホ一ルドが発生してしまう。このため、本発明では、 2回目のつなぎ録り時における記録開始位置を、 vbv_de l ay一 nの開始時刻である t 6 1から、追加スタッフィング量遅延させた時刻 t 7 1となるように制御する。

すなわち、 1回目のつなぎ録り時におけるスタッフィングバイト量が記録された E d i t P a c k— V_ hを一度除去して、 vbv— de l ay_li2と vbv— de lay— nとの間で新たに追加スタッフイング量を計算し、この計算したスタッフィング量を次ピクチャの前に挿入する。これにより無駄な画面ホールドを減らすことができる。なお、 E d i t A U X— V— hには、コピ一ピクチャであることを識別するためのフラグや、そのコピ一ピクチャの枚数を識別するためのフラグを記録しておいてもよい。

なお、コピーピクチヤとスタッフィングバイトの両方を磁気テープ 4上へ記録する場合には、図 1 8に示すように、先ずコピーピクチャを挿入し、その後にス夕ッフイングバイトを揷入する。これにより、アンダ一フローの発生を防止することができる。

なお、本発明は上述した実施の形態に限定されるものではなく、例えば、磁気テープ 4に記録する場合のみならず、他の磁気ディスクを利用した他の記録媒体にも適用可能である。また、上述の手法は、放送においても適用できることは勿

B冊で、あ。産業上の利用可能性上述したように、本発明に係る画像データ処理装置及び方法は、 1回目のつなぎ録り時に記録した E d i t P a c k _V—hを分離して除去することができるため、不要なスタッフイングバイト等が記録されることがなくなり、無駄な画面ホールドの発生を抑えることも可能となる。

Claims

請求の範囲

1. MP E G方式により符号化され、それぞれ補助記録領域（AUX— V) が設けられ、 I ピクチャ又は Pピクチャを先頭とし、かつ Bピクチャを含むデータグループ（P a c k— V) からなる画像データを処理する画像データ処理装置において、

上記 P a c k— Vが既に記録されている記録媒体上の編集点上に、編集されるデ一タグループ（P a c k— V— h) を記録し、復号化時に用いられる VBV

(Video Buffering Verifier) バッファのビット占有量に応じて、当該 P a c k — V— hの前に、それぞれ挿入補助記録領域（E d i t AUX_V_h) が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（E d i t P a c k_V_h) を記録媒体上へ記録する記録手段を備え、

上記記録手段は、上記記録媒体上の編集点に上記 E d i t P a c k— V— hが記録されている場合に、当該 E d i t P a c k_V_hと独立して、新たに入力されたデータグループ（P a c k— V— n) の前に位置し、それぞれ揷入補助記録領域（E d i t AUX_V_n) が設けられコピーピクチャ及び/又はスタッフィングバイトを含む挿入データグループ（E d i t P a c k_V_n) を、上記編集点に基づき記録することを特徴とする画像データ処理装置。

2. 上記記録手段は、新たに入力された P a c k— V— nの前に位置する E d 1 t P a c k— V— nを、上記編集点に記録する際に除去することを特徵とする請求の範囲第 1項記載の画像データ処理装置。

3. 上記 AUX— Vに記録されている VB Vディレイ（VBV— delay)と、上記 E d i t AUX— V— nに記録されている VBVディレイ（VBV— delay— n )とを読み出して比較する比較手段と、

上記比較手段による比較結果に応じて、上記 E d i t P a c k— V—nを構成するコピーピクチャの枚数を或いはスタッフィングバイトを制御する制御手段とを

備えることを特徴とする請求の範囲第 1項記載の画像データ処理装置。

4. 上記記録手段は、上記 E d i t P a c k— V— nを構成するスタッフイングバイトに基づく VBV_delay_nを上記 E d i t AU X— V— nへ記録することを特徴とする請求の範囲第 1項記載の画像データ処理装置。

5. 上記記録手段は、上記 E d i t P a c k— V— hがスタッフイングバイトのみで構成される場合に、当該スタッフイングバイトに対して、 PTSと DT Sを含まない P E Sヘッダを付加することを特徴とする請求の範囲第 1項記載の画像データ処理装置。

6. 上記記録手段は、上記記録媒体上において既にコピーピクチャが存在する場合において、該コピーピクチャを識別するフラグを上記記録媒体上に記録することを特徴とする請求の範囲第 1項記載の画像データ処理装置。

7. 上記記録手段は、上記コピーピクチャの先頭を上記編集点とすることを特徴とする請求項 6記載の画像データ処理装置。

8. 上記記録手段は、 E d i t P a c k— V— hがコピーピクチャ及びスタッフイングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを揷入後にスタッフィングバイトを挿入し、 E d i t P a c k_V— nがコピーピクチヤ及びスタッフイングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを挿入することを特徴とする請求の範囲第 1項記載の画像データ処理装置。

9. MP E G方式により符号化され、それぞれ補助記録領域（AUX— V) が設けられ、 I ピクチャ又は Pピクチャを先頭とし、かつ Bピクチャを含むデータグループ（P a c k— V) からなる画像デ一夕を処理する画像データ処理方法において、

上記 P a c k—Vが既に記録されている記録媒体上の編集点上に、編集されるデータグループ（P a c k— V— h) を記録し、復号化時に用いられる VB V

(Video Buffering Verifier) バッファのビット占有量に応じて、当該 P a c k _V— hの前に、それぞれ挿入補助記録領域（E d i t AUX_V__h) が設けられ、前ピクチャを繰り返して表示するコピーピクチャ及び/又はスタッフィングパイトを含む挿入データグループ（E d i t P a c k_V_h) を記録媒体上へ記録する記録ステップを有し、上記記録ステップは、上記記録媒体上の編集点に上記 E d i t P a c k_V__ hが記録されている場合に、当該 E d i t P a c k— V— hと独立して、新たに入力されたデ一夕グループ（P a c k— V_n) の前に位置し、それぞれ揷入補助記録領域（E d i t AUX_V_n) が設けられコピーピクチャ及び/又はスタッフィングパイトを含む挿入データグループ（E d i t P a c k_V__n) を、上記編集点に基づき記録することを特徴とする画像データ処理方法。

1 0. 上記記録ステップにおいて、新たに入力された P a c k— V— nの前に位置する E d i t P a c k— V— nを、上記編集点に記録する際に除去することを特徴とする請求の範囲第 9項記載の画像データ処理方法。

1 1. 上記 AUX— Vに記録されている VB Vディレイ（VBV— delay)と、上記 E d i t AUX— V— nに記録されている V B Vディレイ（VBV_delay_n )とを読み出して比較する比較ステップと、

上記比較手段による比較結果に応じて、上記 E d i t P a c k_V— nを構成するコピーピクチャの枚数を或いはスタッフイングバイ卜を制御する制御ステツプと

を有することを特徴とする請求の範囲第 9項記載の画像データ処理方法。

1 2. 上記制御ステップにおいて、上記 E d i t P a c k— V— nを構成するスタツフイングバイトに基づく VBV_delay— nを上記 E d i t AUX— V— nへ記録することを特徴とする請求の範囲第 9項記載の画像データ処理方法。

1 3. 上記記録ステップにおいて、上記 E d i t P a c k— V— hがスタッフィングバイトのみで構成される塲合に、当該スタッフイングバイトに対して、 PT Sと DT Sを含まない P E Sヘッダを付加することを特徴とする請求の範囲第 9 項記載の画像データ処理方法。

14. 上記記録ステップにおいて、上記記録媒体上において既にコピーピクチャが存在する場合に、該コピーピクチャを識別するフラグを上記記録媒体上に記録することを特徴とする請求の範囲第 9項記載の画像データ処理方法。

1 5. 上記記録ステップにおいて、上記コピーピクチャの先頭を上記編集点とすることを特徴とする請求の範囲第 1 4項記載の画像データ処理方法。

1 6. 上記記録ステップにおいて、 E d i t P a c k V_hがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを挿入後にスタッフィングバイトを揷入し、

E d i t P a c k— V— nがコピーピクチャ及びスタッフィングバイトの双方で構成されている場合に、記録媒体上へコピーピクチャを揷入後にスタッフイングバイトを挿入する

ことを特徴とする請求の範囲第 9項記載の画像データ処理方法。