JPH1066092A

JPH1066092A - 映像データ圧縮装置およびその方法

Info

Publication number: JPH1066092A
Application number: JP9105739A
Authority: JP
Inventors: Kanji Mihara; 寛司三原; Atsuo Yada; 敦雄矢田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-23
Filing date: 1997-04-23
Publication date: 1998-03-06

Abstract

(57)【要約】【課題】シーンチェンジ部分の映像の品質を劣化させる
ことなく、映像データを実時間的に圧縮符号化する。【解決手段】エンコーダ制御部１２は、２枚のピクチャ
ー間の差分値（フレーム間残差）を順次、算出する。ホ
ストコンピュータ２０は、フレーム間残差の値の経時的
な変化を監視し、例えば、フレーム間残差の値が直前の
フレーム間残差に比べて１．５倍以上の値になった場合
に、２つの映像データの時間方向の境界（シーンチェン
ジ）を検出する。シーンチェンジを検出した場合、ホス
トコンピュータ２０は、映像の品質が劣化しないように
ピクチャータイプシーケンスを変更し、さらに、ピクチ
ャーそれぞれに割り当てるデータ量を算出する。エンコ
ーダ１８は、変更されたピクチャータイプシーケンス、
および、目標データ量に基づいて映像データを圧縮符号
化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、非圧縮映像データ
を圧縮符号化する映像データ圧縮装置およびその方法に
関する。

【０００２】

【従来の技術】例えば、ＭＰＥＧ(moving picture expe
rts group)方式では、非圧縮のディジタル映像データ
を、Ｉピクチャー(intra coded picture) 、Ｂピクチャ
ー(bi-directionaly coded picture) およびＰピクチャ
ー(predictive coded picture)から構成されるＧＯＰ(g
roup of pictures) 単位に圧縮符号化する。

【０００３】このようなＭＰＥＧ方式を採用した場合
に、編集処理により、時間方向に相関しない複数の非圧
縮映像データ（以下、シーンとも記す）を連続的に接続
して１つの非圧縮映像データ（編集映像データ）とし、
この編集映像データを、例えば、ピクチャータイプシー
ケンスＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ，Ｐ，
Ｂで圧縮符号化すると、圧縮符号化後のシーンの最初の
ピクチャーがＰピクチャーになることがある。この最初
のＰピクチャーを伸長復号するためには、直前のピクチ
ャーを参照する必要があるが、それは、他のシーンから
生成された圧縮映像データであるから、最初のＰピクチ
ャーの伸長復号に、相関がない他のシーンから生成され
たピクチャーを用いることとなり、動き予測誤差が著し
く増大するため膨大なデータ量が必要となり、限られた
データ量しか使用できない場合には、伸長復号後の映像
が劣化してしまう。

【０００４】かかる不具合を解消するために、例えば、
特開平７−１９３８１８号公報に画像処理方法および画
像処理装置が開示されている。特開平７−１９３８１８
号公報に開示された画像処理方法および画像処理装置
は、例えば２つのシーン（第１のシーンと第２のシー
ン）を含む非圧縮の編集映像データを、例えば、上記ピ
クチャータイプシーケンスＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ，
Ｐ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂで圧縮符号化する際に、第２の
シーンを圧縮符号化した第２の圧縮映像データ（下に示
すピクチャータイプシーケンスにおけるＩ₂，Ｂ₂，Ｐ
₂）の先頭のＰピクチャーを、第１のシーンを圧縮符号
化した第１の圧縮映像データ（下に示すピクチャータイ
プシーケンスにおけるＩ₁，Ｂ₁，Ｐ₁）の最後のピク
チャーを参照しないＩピクチャーに変更し、さらに、発
生するデータ量の増大を抑えるために、第１の圧縮映像
データの最後のＩピクチャーをＰピクチャーに変更して
圧縮符号化を行う。

【０００５】つまり具体的には、特開平７−１９３８１
８号公報に開示された画像処理方法および画像処理装置
は、上記ピクチャータイプシーケンスを変更せずに圧縮
符号化して、第１の圧縮映像データおよび第２の圧縮映
像データが、ピクチャータイプシーケンスＢ₁，Ｉ₁，
Ｂ₁，Ｐ₁，Ｂ₁，Ｐ₁，Ｂ₁，Ｐ₂，Ｂ₂，Ｐ₂，Ｂ
₂，Ｐ₂，Ｂ₂で得られる場合に、第１の圧縮映像デー
タの最後のＩピクチャーをＰピクチャーに変更し、さら
に、第２の圧縮映像データの最初のＰピクチャーをＩピ
クチャーに変更して圧縮符号化し、ピクチャータイプシ
ーケンスＢ₁，Ｐ₁，Ｂ₁，Ｐ₁，Ｂ₁，Ｐ₁，Ｂ₁，
Ｉ₂，Ｂ₂，Ｐ₂，Ｂ₂，Ｐ₂，Ｂ₂の第１の圧縮映像
データおよび第２の圧縮映像データを得るように構成さ
れている。

【０００６】一方、例えば、ＭＰＥＧ方式で圧縮符号化
された圧縮映像データを、光磁気ディスク（ＭＯディス
ク；magneto-oprical disc）等の記録媒体に記録する際
には、圧縮符号化後の圧縮映像データのデータ量（ビッ
ト量）を、伸長復号後の映像の品質を高く保ちつつ記録
媒体の記録容量以下、あるいは、通信回線の伝送容量以
下にする必要がある。このために、まず、非圧縮映像デ
ータを予備的に圧縮符号化して圧縮符号化後のデータ量
を見積もり（１パス目）、次に、見積もったデータ量に
基づいて圧縮率を調節し、圧縮符号化後のデータ量が記
録媒体の記録容量以下になるように再度、圧縮符号化す
る（２パス目）方法が採られる（以下、このような圧縮
符号化方法を「完全２パスエンコード」とも記す）。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た完全２パスエンコードにより圧縮符号化を行うと、同
じ非圧縮映像データに対して同様な圧縮符号化処理を２
回施す必要があり、時間がかかってしまう。また、１回
の圧縮符号化処理で最終的な圧縮映像データを生成する
ことができないために、撮影した映像データをそのまま
実時間的（リアルタイム）に圧縮符号化し、記録または
伝送することができない。

【０００８】そこで、実時間的な圧縮符号化を可能にす
るために、非圧縮画像データをＦＩＦＯによるフレーム
ディレイ回路および第１のエンコーダに入力し、第１の
エンコーダにおいて、非圧縮画像データについて短時間
分だけディフィカルティ（難しさ）の情報を求め、フレ
ームディレイ回路において遅延された非圧縮画像データ
と、第１のエンコーダからのディフィカルティの情報と
を、第２のエンコーダに出力する。そして、第２のエン
コーダにおいて、第１のエンコーダからのディフィカル
ティの情報に基づいて決定したターゲットビットに基づ
いて、入力した非圧縮画像データを符号化する方法が提
案されている（以下、このような圧縮符号化方法を「簡
易２パスエンコード」とも記す）。

【０００９】ところで、このような簡易２パスエンコー
ドを採用すれば、前述した編集処理において、時間方向
に相関しない複数の非圧縮映像データ（以下、シーンと
も記す）を連続的に接続して１つの非圧縮映像データ
（編集映像データ）とした後に圧縮符号化を行う際に、
第１のエンコーダにおいて求めたディフィカルティを利
用してシーンチェンジを検出することが考えられる。す
なわち、シーンチェンジに伴うピクチャタイプの変更機
能と、簡易２パスによるピクチャ単位でのレートアサイ
ン機能とを組み合わせることが考えられる。しかしなが
ら、これには以下のような問題がある。すなわち、１パ
ス目に行うディフィカルティの検出においては、本来の
ＧＯＰ位相で、シーンチェンジ対策を行わない状態でエ
ンコードを行い、それによる発生ビット量などからディ
フィカルティを測定する。次に、その測定したディフィ
カルティに基づいて、シーンチェンジを検出し、ピクチ
ャタイプの変更（入れ替え）を行う。しかしながら、こ
のようにピクチャタイプを変更した結果、２パス目に実
際のエンコードを行うときに、ディフィカルティを測定
したピクチャタイプと異なるピクチャタイプで符号化を
行うことになり、ディフィカルティの測定結果が適切に
使用されないという問題がある。

【００１０】本発明は上述した従来技術の問題点に鑑み
てなされたものであり、２パスエンコードによらずに、
複数のシーンを連続的に含む映像データを所定のデータ
量以下に圧縮符号化して圧縮映像データを生成すること
ができ、しかも、連続的な複数のシーンの時間方向にお
ける境界（シーンチェンジ）部分を圧縮符号化した圧縮
映像データに対する伸長復号の結果として得られる映像
の品質を保持することができる映像データ圧縮装置およ
びその方法を提供することを目的とする。

【００１１】また、本発明は、シーンチェンジやカメラ
フラッシュ等を含む映像データを高い圧縮率で圧縮符号
化可能である上に、シーンチェンジやカメラフラッシュ
の前後に発生する符号化歪みを顕著に低減することがで
きる映像データ圧縮装置およびその方法を提供すること
を目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る映像データ圧縮装置は、非圧縮映像デ
ータを順次、それぞれ所定の遅延時間Ｔ_kずつ（ｎ−
１）段階に遅延する（ｎ−１）個の遅延手段と（但し、
ｎ，ｋは整数、２≦ｎ，１≦ｋ≦ｎ）、それぞれ前記非
圧縮映像データ、または、前記（ｎ−１）個の遅延手段
それぞれが順次、遅延した前記非圧縮映像データを、所
定の圧縮符号化方法により圧縮符号化して圧縮映像デー
タを生成するｎ個の圧縮符号化手段と、第１番目〜第ｎ
−１番目の前記圧縮符号化手段が生成した前記圧縮映像
データから所定の付加データを生成する付加データ生成
手段とを有し、第ｋ番目の前記圧縮符号化手段は、前記
付加データ生成手段が、第（ｋ−１）番目の前記圧縮符
号化手段が生成した前記圧縮映像データから生成した前
記付加データに基づいて、第１番目〜第（ｋ−１）番目
の前記遅延手段が順次、遅延した前記非圧縮映像データ
を圧縮符号化する。

【００１３】好適には、１（ｎ＝２）個の前記遅延手段
および２個の前記圧縮符号化手段を有し、連続する複数
の非圧縮映像データそれぞれを圧縮符号化した後の先頭
のピクチャーがＰピクチャーまたはＩピクチャーになる
ように、前記複数の非圧縮映像データのピクチャーの順
序を変更する順序変更手段と、ピクチャーの順序を変更
した前記複数の非圧縮映像データのフレーム間の差分値
または予測誤差値を算出する差分値・予測誤差算出手段
とをさらに有し、２個の前記圧縮符号化手段の内、第１
の圧縮符号化手段は、ピクチャーの順序を変更した前記
複数の非圧縮映像データを、一定のピクチャータイプシ
ーケンスを有する所定の圧縮符号化方法により圧縮符号
化し、複数の種類のピクチャーを含む第１の圧縮映像デ
ータを生成し、前記遅延手段は、前記非圧縮映像データ
が所定の数のピクチャー入力される時間だけ、前記非圧
縮映像データを遅延し、前記付加データ生成手段は、算
出した前記差分値または前記予測誤差値、および、前記
非圧縮映像データが所定の数のピクチャー入力される間
に生成した前記第１の圧縮映像データのデータ量に基づ
いて、前記複数の非圧縮映像データを圧縮符号化した後
の圧縮映像データのデータ量の目標値を示す目標値デー
タを、前記付加データとして、同じ非圧縮映像データを
圧縮符号化した圧縮映像データのピクチャーのデータ量
のみと相関を有するように、ピクチャーごとに生成し、
２個の前記圧縮符号化手段の内、第２の圧縮符号化手段
は、遅延した前記複数の非圧縮映像データを、前記第１
の圧縮符号化手段の圧縮符号化方法に対応する圧縮符号
化方法により圧縮符号化し、前記複数の非圧縮映像デー
タそれぞれに対応する第２の圧縮映像データを生成す
る。

【００１４】好適には、前記第１の圧縮符号化手段は、
ピクチャーの順序を変更した前記複数の非圧縮映像デー
タを圧縮符号化して、少なくともＩピクチャーとＰピク
チャーとを含む前記第１の圧縮映像データを生成し、前
記付加データ生成手段は、算出した前記差分値または前
記予測誤差値の変化に基づいて、前記複数の非圧縮映像
データの時間方向の境界を検出する境界検出手段と、前
記複数の非圧縮映像データの時間方向の境界のピクチャ
ーを圧縮符号化した後の圧縮映像データのデータ量の目
標値を示す目標値データを、同じ非圧縮映像データから
生成された前記第１の圧縮映像データに含まれるピクチ
ャーのデータ量に基づいて算出する目標値データ算出手
段とを有し、前記第２の圧縮符号化手段は、遅延した前
記複数の非圧縮映像データそれぞれの最初のピクチャー
をＩピクチャーに圧縮符号化し、前記第２の圧縮映像デ
ータを生成する。

【００１５】好適には、前記第２の圧縮符号化手段は、
前記複数の非圧縮映像データそれぞれに対応する前記第
２の圧縮映像データの最後のＩピクチャーをＰピクチャ
ーに変更して圧縮符号化し、前記第２の圧縮映像データ
を生成する。

【００１６】本発明に係る映像データ圧縮装置は、複数
のシーンの非圧縮の映像データを連続して接続してある
編集映像データを圧縮符号化する装置であって、順序変
更手段は、編集映像データのピクチャーを、圧縮符号化
に適した順序に並び替える。この際に、順序変更手段
は、連続する複数の非圧縮映像データそれぞれを圧縮符
号化した後の先頭のピクチャーが、Ｐピクチャーまたは
Ｉピクチャーになるように編集映像データのピクチャー
の順序を変更する。差分値・予測誤差算出手段は、ピク
チャーの順番が変更された後の編集映像データに含まれ
る隣接する２枚のピクチャー間の差分値（フレーム間残
差）または予測誤差値（ＭＥ残差）を順次、算出する。
第１の圧縮符号化手段は、編集映像データを、例えば、
ＭＰＥＧ等の方式により、一定のピクチャータイプシー
ケンスで圧縮符号化し、第１の圧縮映像データを生成す
る。

【００１７】遅延手段は、編集映像データの各ピクチャ
ーに対するデータ量の割り当て処理が可能な時間だけ、
つまり、編集映像データが所定の数のピクチャー入力さ
れ、データ量の割り当て処理に要する量のデータが集ま
るのに必要な時間だけ非圧縮映像データを遅延する。付
加データ生成手段は、差分値・予測誤差値算出手段が算
出したフレーム間残差またはＭＥ残差の値の経時的な変
化を監視し、これらのいずれかの値が、例えば、インパ
ルス状に増加した部分を、編集映像データに含まれる複
数の映像データの時間方向の境界（シーンチェンジ）と
判断する。

【００１８】さらに、付加データ生成手段は、シーンチ
ェンジの有無、および、遅延手段の遅延時間に対応する
枚数の編集映像データのピクチャーから生成した第１の
圧縮映像データのデータ量に基づいて、圧縮符号化した
後の編集映像データのピクチャーそれぞれに割り当てる
データ量の目標値（目標値データ）を算出する。この
際、付加データ生成手段は、異なるシーンの映像データ
間にまたがった処理により目標値データが算出され、映
像の品質が劣化することがないように、同一の映像デー
タに閉じた処理により、同一の映像データから生成され
た圧縮映像データのピクチャーのデータ量のみと相関を
有するように目標値データを算出する。第２の圧縮符号
化手段は、遅延手段が遅延した複数の非圧縮映像データ
を、第１の圧縮符号化手段と同様に、例えばＭＰＥＧ方
式により圧縮符号化して第２の圧縮映像データを生成す
る。

【００１９】また、本発明に係る映像データ圧縮方法
は、非圧縮映像データを順次、所定の遅延時間Ｔ_kずつ
順次、（ｎ−１）段階に遅延し（ｎ，ｋは整数、２≦
ｎ，１≦ｋ≦ｎ）、それぞれ前記非圧縮映像データ、ま
たは、ｋ段階に遅延した前記非圧縮映像データを、所定
の圧縮符号化方法により圧縮符号化して、ｎ＋１個の圧
縮映像データを生成し、第１段階〜第（ｎ−１）段階に
遅延した前記非圧縮映像データそれぞれから生成した前
記圧縮映像データから所定の付加データを生成する映像
データ圧縮方法であって、第ｋ段階に遅延した前記非圧
縮映像データに対する圧縮符号化は、第（ｋ−１）段階
に遅延した前記非圧縮映像データから生成した前記付加
データに基づいて行なわれる。

【００２０】

【発明の実施の形態】第１実施形態以下、本発明の第１の実施形態を説明する。ＭＰＥＧ方
式といった映像データの圧縮符号化方式により、高い周
波数成分が多い絵柄、あるいは、動きが多い絵柄などの
符号化の難度(difficulty)が高い映像データを圧縮符号
化すると、一般的に圧縮に伴う歪みが生じやすくなる。
このため、難度が高い映像データは低い圧縮率で圧縮符
号化する必要があり、難度が高いデータを圧縮符号化し
て得られる圧縮映像データに対しては、難度が低い絵柄
の映像データの圧縮映像データに比べて、多くの目標デ
ータ量を配分する必要がある。

【００２１】このように、映像データの難度に対して適
応的に目標データ量を配分するためには、従来技術とし
て示した２パスエンコード方式が有効である。しかしな
がら、２パスエンコード方式は、実時間的な圧縮符号化
に不向きである。第１の実施形態として示す簡易２パス
エンコード方式は、かかる２パスエンコード方式の問題
点を解決するためになされたものであり、非圧縮映像デ
ータを予備的に圧縮符号化して得られる圧縮映像データ
の難度データから非圧縮映像データの難度を算出し、予
備的な圧縮符号化により算出した難度に基づいて、ＦＩ
ＦＯメモリ等により所定の時間だけ遅延した非圧縮映像
データの圧縮率を適応的に制御することができる。

【００２２】図１は、本発明に係る映像データ圧縮装置
１の構成を示す図である。図１に示すように、映像デー
タ圧縮装置１は、圧縮符号化部１０およびホストコンピ
ュータ２０から構成され、圧縮符号化部１０は、エンコ
ーダ制御部１２、動き検出器(motion estimator)１４、
遅延・圧縮符号化部１６、第１のエンコーダ(encoder)
１８（＃１）から構成され、遅延・圧縮符号化部１６
は、ＦＩＦＯメモリ１６０および第２のエンコーダ１６
２（＃２）から構成される。映像データ圧縮装置１は、
これらの構成部分により、編集装置およびビデオテープ
レコーダ装置等の外部機器（図示せず）から入力される
非圧縮映像データＶＩＮに対して、上述した簡易２パス
エンコードを実現する。

【００２３】映像データ圧縮装置１において、ホストコ
ンピュータ２０は、映像データ圧縮装置１の各構成部分
の動作を制御する。また、ホストコンピュータ２０は、
遅延・圧縮符号化部１６のエンコーダ１６２が非圧縮映
像データＶＩＮを予備的に圧縮符号化して生成した圧縮
映像データのデータ量、ＤＣＴ処理後の映像データの直
流成分（ＤＣ成分）の値および直流成分（ＡＣ成分）の
電力値を制御信号Ｃ１６を介して受け、受けたこれらの
値に基づいて圧縮映像データの絵柄の難度を算出する。
さらに、ホストコンピュータ２０は、算出した難度に基
づいて、エンコーダ１８が生成する圧縮映像データの目
標データ量Ｔ_jを制御信号Ｃ１８を介してピクチャーご
とに割り当て、エンコーダ１８の量子化回路１６６（図
４）に設定し、エンコーダ１８の圧縮率をピクチャー単
位に適応的に制御する。

【００２４】動き検出器１４は、非圧縮映像データの動
きベクトルおよびフレーム間の差分値（フレーム間残
差）の算出を行い、動きベクトルおよびフレーム間残差
をエンコーダ制御部１２およびエンコーダ１６２，１８
に対して出力し、フレーム間残差を、制御信号ｃ１９を
介してホストコンピュータ２０に対して出力する。ここ
で、動き検出器１４が算出するフレーム間残差は、下の
式１に示すように定義される。

【００２５】

【数１】

【００２６】つまり、式１に示すように、フレーム間残
差（Δ）は、現在入力されているフレームの画素の画素
値（Ｙ_i）と、１つ前のフレームの同じ位置にある画素
の画素値（Ｒ_i）との差分絶対値〔｜Ｙ_i−Ｒ_i｜、な
お、差分の２乗値（Ｙ_i−Ｒ_i）²としてもよい〕を、
フレームの画素全部について累加算した値として定義さ
れる。このフレーム間残差は、通常、映画フィルムの映
像（２４フレーム／秒）をビデオ信号（３０フレーム／
秒）に変換する際に、１秒当たりのフレーム数の差を利
用して圧縮効率を向上させる２−３プルダウン処理にお
いて、処理の結果として得られたビデオ信号の隣接する
フレームが、元の映画フィルムの映像の同じフレームに
含まれるか否かを判断するために用いられる。

【００２７】図２は、図１に示したエンコーダ制御部１
２の構成を示す図である。図２に示すように、エンコー
ダ制御部１２は、ピクチャー並びかえ回路１２０、走査
変換ブロック化回路１２２、フレームメモリ回路１２
４、加算回路１２６およびピクチャータイプ制御部１２
８から構成される。エンコーダ制御部１２は、これらの
構成部分により、非圧縮映像データＶＩＮのピクチャー
の有無をホストコンピュータ２０に通知し、さらに、非
圧縮映像データＶＩＮのピクチャーごとに圧縮符号化の
ための前処理を行う。

【００２８】エンコーダ制御部１２において、フレーム
メモリ回路１２４は、入力される非圧縮映像データＶＩ
Ｎに対して所定の遅延時間、例えば、非圧縮映像データ
ＶＩＮがＭ枚（ＭはＰピクチャーの間隔）分等の遅延時
間を与えてピクチャー並びかえ回路１２０および加算回
路１２６に対して出力する。ピクチャー並びかえ回路１
２０は、遅延されていない非圧縮映像データＶＩＮ、お
よび、フレームメモリ回路１２４が遅延した非圧縮映像
データＶＩＮに対して、ピクチャータイプ制御部１２８
から入力されるピクチャータイプに基づいて、図６
（Ａ），（Ｂ）を参照して後述するように、符号化順に
並べ替える処理を行う。

【００２９】走査変換ブロック化回路１２２は、非圧縮
映像データＶＩＮに対して、ピクチャー・フィールド変
換、および、非圧縮映像データＶＩＮが映画の映像デー
タである場合に３：２プルダウン処理（３０フレーム／
秒の映像データを、映画の２４フレーム／秒の映像デー
タに変換し、冗長性を圧縮符号化前に取り除く処理）等
を行い、さらに、これらの処理を行った後の映像データ
をマクロブロック化して映像データＳ１２を生成し、遅
延・圧縮符号化部１６のＦＩＦＯメモリ１６０およびエ
ンコーダ１６２に対して出力する。

【００３０】加算回路１２６は、遅延されていない非圧
縮映像データＶＩＮと、フレームメモリ回路１２４が、
この場合にはＰピクチャーの間隔によらず、１フレーム
分の遅延時間だけ遅延した非圧縮映像データの差分値を
算出し、ピクチャータイプ制御部１２８に対して出力す
る。ピクチャータイプ制御部１２８は、動き検出器１４
が生成したフレーム間残差に基づいて、エンコーダ１６
２，１８が非圧縮映像データの各フレームを圧縮符号化
して生成するフレームのピチャータイプ（Ｉピクチャ
ー、ＰピクチャーおよびＢピクチャーの別）を指定す
る。

【００３１】遅延・圧縮符号化部１６において、ＦＩＦ
Ｏメモリ１６０は、エンコーダ制御部１２から入力され
た映像データＳ１２を、例えば、非圧縮映像データＶＩ
Ｎが、Ｌ（Ｌは整数）ピクチャー入力される時間だけ遅
延し、遅延映像データＳ１６としてエンコーダ１８に対
して出力する。

【００３２】図３は、図１に示した遅延・圧縮符号化部
１６のエンコーダ１６２の構成を示す図である。エンコ
ーダ１６２は、例えば、図３に示すように、加算回路１
６４、ＤＣＴ回路１６６、量子化回路（Ｑ）１６８、可
変長符号化回路（ＶＬＣ）１７０、逆量子化回路（Ｉ
Ｑ）１７２、逆ＤＣＴ（ＩＤＣＴ）回路１７４、加算回
路１７６および動き補償回路１７８から構成される一般
的な映像データ用圧縮符号化器であって、入力される映
像データＳ１２をＭＰＥＧ方式等により圧縮符号化し、
圧縮映像データのピクチャーごとのデータ量等を映像エ
ンコーダ２０に対して出力する。

【００３３】加算回路１６４は、加算回路１７６の出力
データを映像データＳ１２から減算し、ＤＣＴ回路１６
６に対して出力する。ＤＣＴ回路１６６は、加算回路１
６４から入力される映像データを、例えば、１６画素×
１６画素のマクロブロック単位に離散コサイン変換（Ｄ
ＣＴ）処理し、時間領域のデータから周波数領域のデー
タに変換して量子化回路１６８に対して出力する。ま
た、ＤＣＴ回路１６６は、ＤＣＴ後の映像データのＤＣ
成分の値およびＡＣ成分の電力値を映像エンコーダ２０
に対して出力する。

【００３４】量子化回路１６８は、ＤＣＴ回路１６６か
ら入力された周波数領域のデータを、固定の量子化値Ｑ
で量子化し、量子化データとして可変長符号化回路１７
０および逆量子化回路１７２に対して出力する。可変長
符号化回路１７０は、量子化回路１６８から入力された
量子化データを可変長符号化し、可変長符号化の結果と
して得られた圧縮映像データのデータ量を、制御信号Ｃ
１６を介してホストコンピュータ２０に対して出力す
る。逆量子化回路１７２は、可変長符号化回路１６８か
ら入力された量子化データを逆量子化し、逆量子化デー
タとして逆ＤＣＴ回路１７４に対して出力する。

【００３５】逆ＤＣＴ回路１７４は、逆量子化回路１７
２から入力される逆量子化データに対して逆ＤＣＴ処理
を行い、加算回路１７６に対して出力する。加算回路１
７６は、動き補償回路１７８の出力データおよび逆ＤＣ
Ｔ回路１７４の出力データを加算し、加算回路１６４お
よび動き補償回路１７８に対して出力する。動き補償回
路１７８は、加算回路１７６の出力データに対して、動
き検出器１４から入力される動きベクトル、および、エ
ンコーダ制御部１２から入力されるピクチャータイプに
基づいて動き補償処理を行い、加算回路１７６に対して
出力する。

【００３６】図４は、図１に示したエンコーダ１８の構
成を示す図である。図４に示すように、エンコーダ１８
は、図３に示したエンコーダ１６２に、量子化制御回路
１８０を加えた構成になっている。エンコーダ１８は、
これらの構成部分により、映像エンコーダ２０から設定
される目標データ量Ｔ_jに基づいて、ＦＩＦＯメモリ１
６０によりＬピクチャー分遅延された遅延映像データＳ
１６に対して動き補償処理、ＤＣＴ処理、量子化処理お
よび可変長符号化処理を施して、ＭＰＥＧ方式等の圧縮
映像データＶＯＵＴを生成し、外部機器（図示せず）に
出力する。

【００３７】エンコーダ１８において、量子化制御回路
１８０は、可変長量子化回路１７０が出力する圧縮映像
データＶＯＵＴのデータ量を順次、監視し、遅延映像デ
ータＳ１６の第ｊ番目のピクチャーから最終的に生成さ
れる圧縮映像データのデータ量が、映像エンコーダ２０
から設定された目標データ量Ｔ_jに近づくように、順
次、量子化回路１６８に設定する量子化値Ｑ_jを調節す
る。また、可変長量子化回路１７０は、圧縮映像データ
ＶＯＵＴを外部に出力する他に、遅延映像データＳ１６
を圧縮符号化して得られた圧縮映像データＶＯＵＴの実
際のデータ量Ｓ_jを制御信号Ｃ１８を介してホストコン
ピュータ２０に対して出力する。

【００３８】以下、第１の実施形態における映像データ
圧縮装置１の簡易２パスエンコード動作を説明する。図
５（Ａ）〜（Ｃ）は、第１の実施形態における映像デー
タ圧縮装置１の簡易２パスエンコードの動作を示す図で
ある。エンコーダ制御部１２は、映像データ圧縮装置１
に入力された非圧縮映像データＶＩＮに対して、エンコ
ーダ制御部１２により符号化順にピクチャーを並べ替え
る等の前処理を行い、図５（Ａ）に示すように映像デー
タＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ
１６２に対して出力する。なお、エンコーダ制御部１２
によるピクチャーの順番並べ替えにより、図５等に示す
ピクチャーの符号化の順番と伸長復号後の表示の順番と
は異なる。

【００３９】ＦＩＦＯメモリ１６０は、入力された映像
データＳ１２の各ピクチャーをＬピクチャー分だけ遅延
し、エンコーダ１８に対して出力する。エンコーダ１６
２は、入力された映像データＳ１２のピクチャーを予備
的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピク
チャーを圧縮符号化して得られた圧縮符号化データのデ
ータ量、ＤＣＴ処理後の映像データのＤＣ成分の値、お
よび、ＡＣ成分の電力値をホストコンピュータ２０に対
して出力する。

【００４０】例えば、エンコーダ１８に入力される遅延
映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピ
クチャーだけ遅延されているので、図５（Ｂ）に示すよ
うに、エンコーダ１８が、遅延映像データＳ１６の第ｊ
（ｊは整数）番目のピクチャー（図５（Ｂ）のピクチャ
ーｂ）を圧縮符号化している際には、エンコーダ１６２
は、映像データＳ１２の第ｊ番目のピクチャーからＬピ
クチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５
（Ｂ）のピクチャーａ）を圧縮符号化していることにな
る。従って、エンコーダ１８が遅延映像データＳ１６の
第ｊ番目のピクチャーの圧縮符号化を開始する際には、
エンコーダ１６２は映像データＳ１２の第ｊ番目〜第
（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲
ｃ）の圧縮符号化を完了しており、これらのピクチャー
の圧縮符号化後の実難度データＤ_j，Ｄ_j+1，Ｄ_j+2，
…，Ｄ_j+L-1は、ホストコンピュータ２０により既に算
出されている。

【００４１】ホストコンピュータ２０は、下に示す式２
により、エンコーダ１８が遅延映像データＳ１６の第ｊ
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Ｔ_jを算出し、算出した
目標データ量Ｔ_jを量子化制御回路１８０に設定する。

【００４２】

【数２】

【００４３】但し、式２において、Ｄ_jは映像データＳ
１２の第ｊ番目のピクチャーの実難度データであり、
Ｒ’_jは、映像データＳ１２，Ｓ１６の第ｊ番目〜第
（ｊ＋Ｌ−１）番目のピクチャーに割り当てることがで
きる目標データ量の平均であり、Ｒ’_jの初期値（Ｒ’
₁）は、圧縮映像データの各ピクチャーに平均して割り
当て可能な目標データ量であり、下に示す式３で表さ
れ、エンコーダ１８が圧縮映像データを１ピクチャー分
生成する度に、式４に示すように更新される。

【００４４】

【数３】

【００４５】

【数４】

【００４６】なお、式３中の数値ビットレート(Bit rat
e)は、通信回線の伝送容量や、記録媒体の記録容量に基
づいて決められる１秒当たりのデータ量（ビット量）を
示し、ピクチャーレート(Picture rate)は、映像データ
に含まれる１秒当たりのピクチャーの数（３０枚／秒
（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆ
_j+Lは、ピクチャータイプに応じて定められるピクチャ
ー当たりの平均データ量を示す。エンコーダ１８のＤＣ
Ｔ回路１６６は、入力される遅延映像データＳ１６の第
ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８
に対して出力する。量子化回路１６８は、ＤＣＴ回路１
６６から入力された第ｊ番目のピクチャーの周波数領域
のデータを、量子化制御回路１８０が目標データ量Ｔ_j
に基づいて調節する量子化値Ｑ_jにより量子化し、量子
化データとして可変長符号化回路１７０に対して出力す
る。可変長符号化回路１７０は、量子化回路１６８から
入力された第ｊ番目のピクチャーの量子化データを可変
長符号化して、ほぼ、目標データ量Ｔ_jに近いデータ量
の圧縮映像データＶＯＵＴを生成して出力する。

【００４７】同様に、図５（Ｂ）に示すように、エンコ
ーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目
のピクチャー（図５（Ｃ）のピクチャーｂ’）を圧縮符
号化している際には、エンコーダ１６２は、映像データ
Ｓ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチ
ャー（図５（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、
これらのピクチャーの実難度データＤ_j+1，Ｄ_j+2，Ｄ
_j+3，・・・，Ｄ_j+Lは、ホストコンピュータ２０によ
り既に算出されている。

【００４８】ホストコンピュータ２０は、式２により、
エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Ｔ_j+1を算出し、エンコ
ーダ１８の量子化制御回路１８０に設定する。

【００４９】エンコーダ１８は、ホストコンピュータ２
０から量子化制御回路１８０に設定された目量データ量
Ｔ_jに基づいて第（ｊ＋１）番目のピクチャーを圧縮符
号化し、目標データ量Ｔ_j+1に近いデータ量の圧縮映像
データＶＯＵＴを生成して出力する。さらに以下、同様
に、映像データ圧縮装置１は、遅延映像データＳ１６の
第ｋ番目のピクチャーを、量子化値Ｑ_k（ｋ＝ｊ＋２，
ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符
号化し、圧縮映像データＶＯＵＴとして出力する。

【００５０】以上説明したように、第１の実施形態に示
した映像データ圧縮装置１によれば、短時間で非圧縮映
像データＶＩＮの絵柄の難度を算出し、算出した難度に
応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮
符号化することができる。つまり、第１の実施形態に示
した映像データ圧縮装置１によれば、２パスエンコード
方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩ
Ｎの絵柄の難度に基づいて適応的に非圧縮映像データＶ
ＩＮを圧縮符号化をすることができ、実況放送といった
実時間性を要求される用途に応用可能である。なお、第
１の実施形態に示した他、本発明に係るデータ多重化装
置１は、エンコーダ１６２が圧縮符号化した圧縮映像デ
ータのデータ量を、そのまま難度データとして用い、ホ
ストコンピュータ２０の処理の簡略化を図る等、種々の
構成を採ることができる。

【００５１】第２実施形態以下、本発明の第２の実施形態として、編集処理によ
り、複数の非圧縮映像データ（以下、非圧縮映像データ
をシーンとも記す）を連続的に接続して１つの非圧縮映
像データ（編集映像データ）とし、この複数のシーンか
らなる編集映像データを、第１の実施形態に示した映像
データ圧縮装置１（図１）を用いて圧縮符号化する簡易
２パスエンコード方式（以下、「改良簡易２パスエンコ
ード方式」とも記す）を説明する。例えば、複数のシー
ンを連続的に含む編集映像データをピクチャータイプシ
ーケンスＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，
Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂで圧縮符号化すると、
圧縮符号化後の最初シーンのピクチャーがＰピクチャー
になることがある。この最初のシーンのＰピクチャーを
伸長復号するためには、直前のピクチャーを参照する必
要があるが、それは、他のシーンから生成された圧縮映
像データであるから、最初のＰピクチャーの伸長復号
に、相関がない他のシーンから生成されたピクチャーを
用いると、伸長復号の結果として得られる映像が劣化し
てしまう。

【００５２】かかる不具合を解消するために、例えば、
第１のシーンと第２のシーンとを、この順番で連続的に
含む非圧縮の編集映像データを、従来の技術として示し
た画像処理方法および画像処理装置を変更せずに適用
し、簡易２パスエンコード方式により圧縮符号化する
と、ピクチャータイプシーケンスＰ₁，Ｂ₁，Ｂ₁，
Ｐ’₁，Ｂ₁，Ｂ₁，Ｐ₁，Ｂ₁，Ｂ₁，Ｐ₁，Ｂ₁，
Ｂ₁，Ｉ’₂，Ｂ₂，Ｂ₂，Ｉ₂の第１の圧縮映像デー
タ（Ｉ₁，Ｂ₁，Ｐ₁）および第２の圧縮映像データ
（Ｉ₂，Ｂ₂，Ｐ₂）を得ることができる。なお、ピク
チャータイプシーケンス中のＰ’₁，Ｉ’₂は、それぞ
れ本来のＩピクチャーおよびＰピクチャーから変更され
たＰピクチャーおよびＩピクチャーを示す。

【００５３】しかしながら、簡易２パスエンコード方式
においては、上述のように、ホストコンピュータ２０が
ピクチャーの種類ごとに実難度データを算出し、目標デ
ータ量Ｔ_jを算出する。従って、第１の圧縮映像データ
のピクチャーＰ’₁には、他のＩピクチャーのデータ量
に基づいて算出された目標データ量Ｔ_jが割り当てら
れ、また、第２の圧縮映像データのピクチャーＩ’₂に
は、他のＰピクチャーのデータ量に基づいて算出された
目標データ量Ｔ_jが割り当てられてしまうことになる。

【００５４】ここで、通常、Ｉピクチャーのデータ量は
Ｐピクチャーのデータ量よりも多く、ホストコンピュー
タ２０が上述のように目標データ量Ｔ_jを生成し、エン
コーダ１８がこの目標データ量Ｔ_jを用いて圧縮符号化
を行うと、ピクチャーＩ’₂を伸長復号して得られる映
像の品質が低下してしまう。さらに、ホストコンピュー
タ２０がピクチャーＰ’₁に不適当に多くのデータ量を
割り当ててしまい、伸長復号後の映像が全体として劣化
してしまうことになる。このように、簡易２パスエンコ
ード方式に、従来の技術として示した画像処理方法およ
び画像処理装置を変更せずに適用することはできない。
第２の実施形態に示す改良した簡易２パスエンコード方
式は、かかる編集映像データを圧縮符号化する際に生じ
る不都合を解決するためになされたものである。

【００５５】図６（Ａ）〜（Ｃ）は、図１に示したエン
コーダ制御部１２が行う非圧縮映像データのピクチャー
の順番の入れ替え処理を示す図であって、（Ａ）は編集
映像データＶＩＮの実時間的なピクチャータイプシーケ
ンスを示し、（Ｂ）はエンコーダ制御部１２により順番
が入れ替えられたピクチャータイプシーケンスを示し、
（Ｃ）はエンコーダ１８が遅延映像データＳ１６を圧縮
符号化した結果として出力する圧縮映像データＶＯＵＴ
のピクチャータイプシーケンスを示す。なお、図６
（Ａ）〜（Ｃ）中の”シーンチェンジ(Scene Change)”
は、編集映像データに含まれる第１のシーンおよびその
第１の圧縮映像データ（前のシーン）と、第２のシーン
およびその第２の圧縮映像データ（後ろのシーン）の時
間方向における境界（シーンチェンジ）を示す。

【００５６】映像データ圧縮装置１のエンコーダ制御部
１２には、例えば、図６（Ａ）に示すように、エンコー
ダ１６２およびエンコーダ１８により、１５枚のピクチ
ャー（Ｎ＝１５，Ｍ＝３、但し、Ｎは１ＧＯＰを構成す
るピクチャー数（Ｉピクチャーの間隔）、ＭはＰピクチ
ャーの間隔）から構成されるＧＯＰ単位に圧縮符号化さ
れる編集映像データＶＩＮが入力される。なお、図６
（Ａ），（Ｂ）には、編集映像データのピクチャーの圧
縮符号化後のピクチャータイプを示してある。

【００５７】エンコーダ制御部１２のピクチャー並びか
え回路１２０（図２）は、図６（Ａ）に示したピクチャ
ータイプシーケンスで入力される非圧縮映像データのピ
クチャーの順番を、図６（Ｂ）に示すように、エンコー
ダ１６２およびエンコーダ１８における圧縮符号化に適
した順番、つまり、Ｂピクチャーが直後のＩピクチャー
またはＰピクチャーの後ろになる順番に入れ替えて、映
像データＳ１２としてエンコーダ１６２およびＦＩＦＯ
メモリ１６０に対して出力する。

【００５８】具体例を挙げて説明すると、図６（Ａ）に
示したように、第１のシーンのデータと第２のシーンの
データとの間のシーンチェンジがＢピクチャーに圧縮符
号化されるべきピクチャーで発生しても、このＢピクチ
ャーに圧縮符号化されるべきピクチャーは、ピクチャー
並びかえ回路１２０により直後のＰピクチャーまたはＩ
ピクチャーの後ろに並べ替えられ、エンコーダ１６２，
１８が符号化する順番としては、後ろのシーンの最初の
ピクチャータイプは必ずＰピクチャーまたはＩピクチャ
ーに圧縮符号化されるピクチャーになる。動き検出器１
４は、動きベクトル、および、式１に示したフレーム間
残差の算出を行い、エンコーダ制御部１２、エンコーダ
１６２，１８およびホストコンピュータ２０に対して出
力する。

【００５９】ＦＩＦＯメモリ１６０は、例えば、入力さ
れる映像データＳ１２を１５ピクチャー分、遅延してエ
ンコーダ１８に対して出力する。エンコーダ１６２は、
映像データＳ１２を、ピクチャータイプシーケンスＩ，
Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，
Ｂ，Ｂ，Ｐ，Ｂ，Ｂで圧縮符号化して、圧縮映像データ
のデータ量等をホストコンピュータ２０に対して出力
し、ホストコンピュータ２０は、これらのピクチャーの
実難度データＤ_jを算出する。このとき、シーンチェン
ジがあった場合には、エンコーダ制御部１２において、
映像データＳ１２は図６（Ｂ）に示すように並べ替えら
れている。従って、エンコーダ１６２は、既に並べ替え
られた映像データＳ１２についてエンコードを行う。

【００６０】ホストコンピュータ２０は、動き検出器１
４から入力されるフレーム間残差の値の経時的な変化を
監視する。ピクチャーの絵柄はシーンチェンジ前後で大
きく変化する。従って、シーンチェンジをはさんだ２つ
のピクチャーの映像データから算出されたフレーム間残
差の値は、他の部分のピクチャー間から生成されたフレ
ーム間残差の値と比べて、インパルス状に増大する。従
って、ホストコンピュータ２０は、フレーム間残差の値
が、直前のフレーム間残差の値に比べて、例えば１．５
倍（実用的には１．４倍〜１．８倍の間の値とすると好
適）以上の値を示す部分でシーンチェンジが発生したと
判断することができる。

【００６１】シーンチェンジを検出した場合、ホストコ
ンピュータ２０はさらに、編集映像データのシーンチェ
ンジの前後の部分に対して、エンコーダ制御部１２のピ
クチャータイプ制御部１２８を制御し、図６（Ｃ）に示
すように、後ろのシーンの最初のＰピクチャーを前のシ
ーンの最後のピクチャーを参照しないＩピクチャーに変
更するように、エンコーダ１８のピクチャータイプシー
ケンスを変更する。さらに、ホストコンピュータ２０
は、２つのＩピクチャーが１つのＧＯＰに含まれること
となって、そのＧＯＰの映像の品質が劣化しないよう
に、後ろのシーンの最初のＩピクチャーをＰピクチャー
に変更するように、エンコーダ１８のピクチャータイプ
シーケンスを変更させる。なお、図６（Ｃ）には、圧縮
映像データの各ピクチャーを表示順に示してある。この
ように、図６（Ｃ）において、表示順を考慮したのは、
エンコーダ制御部１２においてフレーム間残差を算出し
ている時点では、ピクチャーは並び替えられていないか
らである。

【００６２】このように、ピクチャータイプシーケンス
を、実難度データＤ_jを算出するよりも前に変更するこ
とにより、実難度データＤ_j算出時と実際の圧縮符号化
時のピクチャータイプとが同じになるので、正確に圧縮
符号化後の各ピクチャーにデータ量を割り当てることが
できる。

【００６３】なお、シーンチェンジ部分で、図７に示す
ように、ピクチャータイプ制御部１２８が、前のシーン
の最後のＩピクチャーをＰピクチャーに変更するよう
に、エンコーダ１８を制御する方法も考えられる。しか
しながら、この方法の実現には、既に実難度データＤ_j
の算出が終了している前のシーンの最後のＩピクチャー
に対して、過去に遡ったピクチャータイプの変更が要求
され、シーンチェンジの検出処理と実難度データＤ_jの
算出処理との間に、映像データに対してさらに遅延を加
える等の措置が必要になる。従って、ここで述べた方法
よりも、上述のように、後ろのシーンの最初のＰピクチ
ャーをＩピクチャーに変更し、後ろのシーンの最初のＩ
ピクチャーをＰピクチャーに変更するピクチャータイプ
の変更方法を採る方が有利である。

【００６４】エンコーダ１８は、第１の実施形態と同様
に、ホストコンピュータ２０から設定された目標データ
量Ｔ_j、および、エンコーダ制御部１２のピクチャータ
イプ制御部１２８から設定されたピクチャータイプシー
ケンス（図６（Ｃ））に基づいて、映像データＳ１６を
圧縮符号化し、圧縮映像データＶＯＵＴとして出力す
る。

【００６５】以下、図８を参照して、映像データ圧縮装
置２の動作をさらに説明する。図８は、第２の実施形態
における映像データ圧縮装置１の処理内容を示すフロー
チャートである。図８に示すように、ステップ１００
（Ｓ１００）において、ホストコンピュータ２０は、フ
レーム間残差の直前値（Δ_prev）を最大値（∞）とす
る。ステップ１０２（Ｓ１０２）において、ホストコン
ピュータ２０は、処理の対象となる第ｊ番目のピクチャ
ーがあるか否かを判断し、第ｊ番目のピクチャーがある
場合にはＳ１０４の処理に進み、ない場合には処理を終
了する。

【００６６】ステップ１０４（Ｓ１０４）において、動
き検出器１４は、第（ｊ−１）番目のピクチャーと第ｊ
番目のピクチャーの間のフレーム間残差を算出する。ス
テップ１０６（Ｓ１０６）において、圧縮符号化部１０
６は、動き検出器１４がＳ１０４の処理において算出し
たフレーム間残差（Δ）の値を、フレーム間残差の直前
値（Δ_prev）で除算し、除算結果が所定の閾値（Ｔｈ、
第２の実施形態では１．５）より大きいか否かを判断す
る。大きい場合にはＳ１０８の処理に進み、大きくない
場合にはＳ１１６の処理に進む。

【００６７】ステップ１０８（Ｓ１０８）において、ホ
ストコンピュータ２０は、第ｊ番目のピクチャーがＰピ
クチャーであるか否かを判断し、第ｊ番目のピクチャー
がＰピクチャーである場合にはＳ１１０の処理に進み、
Ｐピクチャーでない場合にはＳ１１２の処理に進む。ス
テップ１１０（Ｓ１１０）において、ホストコンピュー
タ２０は、第（ｊ−１）番目のピクチャーと第ｊ番目の
ピクチャーとの間でシーンチェンジが発生したと判断
し、第ｊ番目のピクチャーをＩピクチャーに変更し、後
のシーンの最初のＩピクチャーをＰピクチャーに変更す
るように、フレームタイプシーケンスを制御し、さら
に、目標データ量Ｔ_jを算出する。

【００６８】ステップ１１２（Ｓ１１２）において、ホ
ストコンピュータ２０は、第ｊ番目のピクチャーがＢピ
クチャーであるか否かを判断し、第ｊ番目のピクチャー
がＢピクチャーである場合にはＳ１１４の処理に進み、
Ｂピクチャーでない場合にはＳ１１６の処理に進む。ス
テップ１１４（Ｓ１１４）において、ホストコンピュー
タ２０は、第（ｊ−１）番目のピクチャーと第ｊ番目の
ピクチャーとの間でシーンチェンジが発生したと判断
し、次のＰピクチャーをＩピクチャーに変更し、次のＩ
ピクチャーをＰピクチャーに変更するように、フレーム
タイプシーケンスを制御し、さらに、目標データ量Ｔ_j
を算出する。ステップ１１６（Ｓ１１６）において、ホ
ストコンピュータ２０は、フレーム間残差の直前値（Δ
_prev）を、第（ｊ−１）番目のピクチャーと第ｊ番目の
ピクチャーとの間のフレーム間残差（Δ）の値に更新す
る。

【００６９】以上、第２の実施形態に示した改良簡易２
パスエンコード方式によれば、シーンチェンジやカメラ
フラッシュ等を含む映像データを高い圧縮率で圧縮符号
化可能である上に、シーンチェンジやカメラフラッシュ
の前後に発生する符号化歪みを顕著に低減することがで
きる。従って、第２の実施形態に示した改良された簡易
２パスエンコード方式によって生成した圧縮映像データ
を伸長復号して得られる映像の品質を向上させることが
できる。

【００７０】なお、以上説明した第２の実施形態におい
ては、シーンチェンジの発生を、フレーム間差分の値の
経時的な変化に基づいて検出したが、例えば、下に示す
式５により定義される予測誤差値（ＭＥ残差）に基づい
て検出するように、ホストコンピュータ２０の処理内容
を変更してもよい。

【００７１】

【数５】

【００７２】式５に示すように、ＭＥ残差（Ｅ）は、圧
縮符号化処理の単位となるマクロブロックごとの輝度信
号（Ｙ_i）と、動きベクトル（Ｒ_j）の差の絶対値（差
の２乗値としてもよい）を、１つのフレームに含まれる
全てのマクロブロックについて累加算した絶対値和であ
る。上述したように、ピクチャーの絵柄はシーンチェン
ジ前後で大きく変化するので、フレーム間残差の場合と
同様に、シーンチェンジ部分のＭＥ残差の値は、インパ
ルス状に増大する。ホストコンピュータ２０は、動き検
出器１４から入力されるフレーム間残差の値の経時的な
変化を監視することにより、ＭＥ残差の値が、直前のＭ
Ｅ残差の値に比べて、例えば１．５倍以上の値を示す部
分でシーンチェンジを検出することができる。

【００７３】また、ホストコンピュータ２０が、エンコ
ーダ１６２の圧縮符号化結果に基づいて、実難度データ
Ｄ_jに加えて、他のデータ、例えば、エンコーダ１８に
おいて圧縮映像データの映像の品質をさらに向上させる
ために用いる付加データを併せて生成する処理を行い、
エンコーダ１８がこの付加情報に基づいて圧縮符号化を
行うように、第２の実施形態における映像データ圧縮装
置１の動作を変形してもよい。また、第２の実施形態に
示した改良した簡易２パスエンコード方式は、映像デー
タ圧縮装置１が、他のピクチャータイプシーケンスで圧
縮符号化を行う場合にも適用可能であることは言うまで
もない。

【００７４】第３実施形態以下、本発明の第３の実施形態を説明する。第１の実施
形態に示した簡易２パスエンコード方式、第２の実施形
態に示した、エンコーダを２個、ＦＩＦＯ回路を１個
（ｎ＝２）有する改良簡易２パスエンコード方式によれ
ば、映像の品質を低下させることなく、しかも、実時間
的に非圧縮映像データを圧縮符号化することができる。
一方、生成した圧縮映像データの内容に応じて、さらに
映像の品質を向上させたり、特殊効果を付加したいとい
う要請がある。第３の実施形態において説明する映像デ
ータ圧縮装置２は、かかる要請に応えるためになされた
ものである。

【００７５】図９は、第３の実施形態における本発明に
係る映像データ圧縮装置２の構成を示す図である。な
お、図９に示した映像データ圧縮装置２の各構成部分の
内、映像データ圧縮装置１（図１〜図４）の各構成部分
と同じものには、同一の符号が付してある。図９に示す
ように、映像データ圧縮装置２は、映像データ圧縮装置
１の圧縮符号化部１０を圧縮符号化部２２で置換した構
成になっている。圧縮符号化部２２は、それぞれ映像デ
ータ圧縮装置１の遅延・圧縮符号化部１６に対応する遅
延・圧縮符号化部２４ａ，２４ｂから構成され、遅延・
圧縮符号化部２４ａ，２４ｂは、それぞれＦＩＦＯメモ
リ１６０およびエンコーダ１８，１６２に対応するＦＩ
ＦＯメモリ１６０ａ，１６０ｂおよびエンコーダ１８
ａ，１６２ｂから構成される。つまり、映像データ圧縮
装置２は、映像データ圧縮装置１の遅延・圧縮符号化部
１６を遅延・圧縮符号化部２４ａ，２４ｂの２つに増設
した構成（ｎ＝３）になっている。

【００７６】以下、映像データ圧縮装置２の動作を説明
する。映像データ圧縮装置２のエンコーダ制御部１２
は、第２の実施形態においてと同様に、図６（Ａ），
（Ｂ）に示したように、非圧縮映像データのピクチャー
の順番を圧縮符号化に適した順番に入れ替える等の処理
を行って映像データＳ１２を生成し、遅延・圧縮符号化
部２４ｂのエンコーダ１６２ａおよびＦＩＦＯメモリ１
６０ａに対して出力する。動き検出器１４は、第２の実
施形態においてと同様に、動きベクトルおよびフレーム
間残差の算出を行い、エンコーダ制御部１２、エンコー
ダ１６２ｂ，１８ａおよびホストコンピュータ２０に対
して出力する。

【００７７】遅延・圧縮符号化部２４ｂにおいて、ＦＩ
ＦＯメモリ１６０ｂは、第２の実施形態においてと同様
に、映像データＳ１２を遅延して、遅延・圧縮符号化部
２４ａのエンコーダ１８ａおよびエンコーダ１６２ａに
対して出力する。エンコーダ１６２ｂは、第２の実施形
態においてと同様に、映像データＳ１２をピクチャータ
イプシーケンスＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，
Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂで圧縮符号化し、
圧縮映像データのデータ量等をホストコンピュータ２０
に対して出力する。

【００７８】ホストコンピュータ２０は、第２の実施形
態においてと同様に、エンコーダ１６２ｂから入力され
た圧縮映像データのデータ量等に基づいて、これらのピ
クチャーの実難度データＤ_jを算出し、シーンチェンジ
を検出した場合、遅延・圧縮符号化部２４ａのエンコー
ダ１８ａにおけるピクチャータイプシーケンスを変更す
るための処理を行い、さらに、これらのピクチャーに割
り当てる目標データ量Ｔ_jを算出する。

【００７９】遅延・圧縮符号化部２４ａにおいて、ＦＩ
ＦＯメモリ１６０ａは、ＦＩＦＯメモリ１６０ｂから入
力された映像データＳ２４ｂをさらに遅延して、映像デ
ータＳ２４ａとしてエンコーダ１８に対して出力する。
エンコーダ１８ａは、映像データ圧縮装置１（図１）の
エンコーダ１６２，１８と同様に、ホストコンピュータ
２０から設定された目標データ量Ｔ_j、および、エンコ
ーダ制御部１２のピクチャータイプ制御部１２８から設
定されたピクチャータイプシーケンス（図６（Ｃ））に
基づいて、映像データＳ１６を圧縮符号化して圧縮映像
データを生成し、圧縮映像データのデータ量等の値をホ
ストコンピュータ２０に対して出力する。

【００８０】ホストコンピュータ２０は、エンコーダ１
６２ｂに対してと同様に、エンコーダ１８に対してもピ
クチャータイプシーケンスの制御および目標データ量Ｔ
_jの設定等の処理をおこなう。さらに、ホストコンピュ
ータ２０は、エンコーダ１６２ａから入力された圧縮映
像データのデータ量等に基づいて、適応的に、例えば、
圧縮映像データの品質を向上させるために用いられる付
加データ、あるいは、圧縮映像データの特徴的な部分を
強調する等の特殊効果を付加するために用いられる付加
データを生成し、エンコーダ１８に対して出力する。エ
ンコーダ１８は、ホストコンピュータ２０から入力され
た付加データに基づいて、遅延・圧縮符号化部２４ａか
ら入力される映像データＳ２４ａを圧縮符号化する。

【００８１】以上説明したように映像データ圧縮装置２
を構成することにより、第２の実施形態に示した改良簡
易２パスエンコード方式と同様の処理を行い、さらに、
圧縮映像データの内容に対応して適応的に特殊効果を付
加する等の処理を行うことができる。なお、第２の実施
形態においては、映像データ圧縮装置１がエンコーダ１
８の他に、遅延・圧縮符号化部を１個有する（ｎ＝２）
場合、さらに、第３の実施形態においては、映像データ
圧縮装置２がエンコーダ１８の他に、遅延・圧縮符号化
部を２個有する（ｎ＝３）場合を示したが、例えば、特
殊効果の内容、数あるいは種類に応じて、遅延・圧縮符
号化部の数をさらに増して映像データ圧縮装置２を構成
してもよい（ｎ＝４，５，…）。

【００８２】

【発明の効果】以上述べたように本発明に係る映像デー
タ圧縮装置およびその方法によれば、２パスエンコード
によらずに、複数のシーンを連続的に含む映像データを
所定のデータ量以下に圧縮符号化して圧縮映像データを
生成することができ、しかも、連続的な複数のシーンの
時間方向における境界（シーンチェンジ）部分を圧縮符
号化した圧縮映像データに対する伸長復号の結果として
得られる映像の品質を保持することができる。

【００８３】また、本発明に係る映像データ圧縮装置お
よびその方法によれば、シーンチェンジやカメラフラッ
シュ等を含む映像データを高い圧縮率で圧縮符号化可能
である上に、シーンチェンジやカメラフラッシュの前後
に発生する符号化歪みを顕著に低減することができる。

【図面の簡単な説明】

【図１】本発明に係る映像データ圧縮装置の構成を示す
図である。

【図２】図１に示したエンコーダ制御部の構成を示す図
である。

【図３】図１に示した遅延・圧縮符号化部のエンコーダ
の構成を示す図である。

【図４】図１に示したエンコーダの構成を示す図であ
る。

【図５】（Ａ）〜（Ｃ）は、第１の実施形態における映
像データ圧縮装置の簡易２パスエンコードの動作を示す
図である。

【図６】（Ａ）〜（Ｃ）は、図１に示したエンコーダ制
御部が行う非圧縮映像データのピクチャーの順番の入れ
替え処理を示す図であって、（Ａ）は編集映像データＶ
ＩＮの実時間的なピクチャータイプシーケンスを示し、
（Ｂ）はエンコーダ制御部１２により順番が入れ替えら
れたピクチャータイプシーケンスを示し、（Ｃ）はエン
コーダ１８が遅延映像データＳ１６を圧縮符号化した結
果として出力する圧縮映像データＶＯＵＴのピクチャー
タイプシーケンスを示す。

【図７】ピクチャータイプ制御部１２８（図２）が、シ
ーンチェンジ部分で前のシーンの最後のＩピクチャーを
Ｐピクチャーに変更する方法を示す図である。

【図８】第２の実施形態における映像データ圧縮装置
（図１）の処理内容を示すフローチャートである。

【図９】第３の実施形態における本発明に係る映像デー
タ圧縮装置の構成を示す図である。

【符号の説明】

１…映像データ圧縮装置、１０，２２…圧縮符号化部、
１２…エンコーダ制御部、１２０…ピクチャー並びかえ
回路、１２２…走査変換ブロック化回路、１２４…フレ
ームメモリ回路、１２６…加算回路、１２８…ピクチャ
ータイプ制御部、１４…動き検出器、１６，２４ａ，２
４ｂ…遅延・圧縮符号化部、１６０…ＦＩＦＯメモリ、
１６２，１８…エンコーダ、１６４…加算回路、１６６
…ＤＣＴ回路、１６８…量子化回路、１７０…可変長符
号化回路、１７２…逆量子化回路１７２、１７４…逆Ｄ
ＣＴ回路、１７６…加算回路、１７８…動き補償回路、
１８０…動き補償回路、２０…ホストコンピュータ

Claims

【特許請求の範囲】

【請求項１】非圧縮映像データを順次、それぞれ所定の
遅延時間Ｔ_kずつ（ｎ−１）段階に遅延する（ｎ−１）
個の遅延手段と（但し、ｎ，ｋは整数、２≦ｎ，１≦ｋ
≦ｎ）、それぞれ前記非圧縮映像データ、または、前記（ｎ−
１）個の遅延手段それぞれが順次、遅延した前記非圧縮
映像データを、所定の圧縮符号化方法により圧縮符号化
して圧縮映像データを生成するｎ個の圧縮符号化手段
と、第１番目〜第ｎ−１番目の前記圧縮符号化手段が生成し
た前記圧縮映像データから所定の付加データを生成する
付加データ生成手段とを有し、第ｋ番目の前記圧縮符号化手段は、前記付加データ生成
手段が、第（ｋ−１）番目の前記圧縮符号化手段が生成
した前記圧縮映像データから生成した前記付加データに
基づいて、第１番目〜第（ｋ−１）番目の前記遅延手段
が順次、遅延した前記非圧縮映像データを圧縮符号化す
る映像データ圧縮装置。
【請求項２】１（ｎ＝２）個の前記遅延手段および２個
の前記圧縮符号化手段を有し、連続する複数の非圧縮映像データそれぞれを圧縮符号化
した後の先頭のピクチャーがＰピクチャーまたはＩピク
チャーになるように、前記複数の非圧縮映像データのピ
クチャーの順序を変更する順序変更手段と、ピクチャーの順序を変更した前記複数の非圧縮映像デー
タのフレーム間の差分値または予測誤差値を算出する差
分値・予測誤差算出手段とをさらに有し、２個の前記圧縮符号化手段の内、第１の圧縮符号化手段
は、ピクチャーの順序を変更した前記複数の非圧縮映像
データを、一定のピクチャータイプシーケンスを有する
所定の圧縮符号化方法により圧縮符号化し、複数の種類
のピクチャーを含む第１の圧縮映像データを生成し、前記遅延手段は、前記非圧縮映像データが所定の数のピ
クチャー入力される時間だけ、前記非圧縮映像データを
遅延し、前記付加データ生成手段は、算出した前記差分値または
前記予測誤差値、および、前記非圧縮映像データが所定
の数のピクチャー入力される間に生成した前記第１の圧
縮映像データのデータ量に基づいて、前記複数の非圧縮
映像データを圧縮符号化した後の圧縮映像データのデー
タ量の目標値を示す目標値データを、前記付加データと
して、同じ非圧縮映像データを圧縮符号化した圧縮映像
データのピクチャーのデータ量のみと相関を有するよう
に、ピクチャーごとに生成し、２個の前記圧縮符号化手段の内、第２の圧縮符号化手段
は、遅延した前記複数の非圧縮映像データを、前記第１
の圧縮符号化手段の圧縮符号化方法に対応する圧縮符号
化方法により圧縮符号化し、前記複数の非圧縮映像デー
タそれぞれに対応する第２の圧縮映像データを生成する
請求項１に記載の映像データ圧縮装置。
【請求項３】前記第１の圧縮符号化手段は、ピクチャー
の順序を変更した前記複数の非圧縮映像データを圧縮符
号化して、少なくともＩピクチャーとＰピクチャーとを
含む前記第１の圧縮映像データを生成し、前記付加データ生成手段は、算出した前記差分値または前記予測誤差値の変化に基づ
いて、前記複数の非圧縮映像データの時間方向の境界を
検出する境界検出手段と、前記複数の非圧縮映像データの時間方向の境界のピクチ
ャーを圧縮符号化した後の圧縮映像データのデータ量の
目標値を示す目標値データを、同じ非圧縮映像データか
ら生成された前記第１の圧縮映像データに含まれるピク
チャーのデータ量に基づいて算出する目標値データ算出
手段とを有し、前記第２の圧縮符号化手段は、遅延した前記複数の非圧
縮映像データそれぞれの最初のピクチャーをＩピクチャ
ーに圧縮符号化し、前記第２の圧縮映像データを生成す
る請求項２に記載の映像データ圧縮装置。
【請求項４】前記第２の圧縮符号化手段は、前記複数の
非圧縮映像データそれぞれに対応する前記第２の圧縮映
像データの最後のＩピクチャーをＰピクチャーに変更し
て圧縮符号化し、前記第２の圧縮映像データを生成する
請求項３に記載の映像データ圧縮装置。
【請求項５】非圧縮映像データを順次、所定の遅延時間
Ｔ_kずつ順次、（ｎ−１）段階に遅延し（但し、ｎ，ｋ
は整数、２≦ｎ，１≦ｋ≦ｎ）、それぞれ前記非圧縮映像データ、または、ｋ段階に遅延
した前記非圧縮映像データを、所定の圧縮符号化方法に
より圧縮符号化して、ｎ個の圧縮映像データを生成し、第１段階〜第ｎ−１段階に遅延した前記非圧縮映像デー
タそれぞれから生成した前記圧縮映像データから所定の
付加データを生成する映像データ圧縮方法であって、第ｋ段階に遅延した前記非圧縮映像データに対する圧縮
符号化は、第（ｋ−１）段階に遅延した前記非圧縮映像
データから生成した前記付加データに基づいて行なわれ
る映像データ圧縮方法。
【請求項６】連続する複数の非圧縮映像データそれぞれ
を圧縮符号化した後の先頭のピクチャーがＰピクチャー
またはＩピクチャーになるように、前記複数の非圧縮映
像データのピクチャーの順序を変更し、ピクチャーの順序を変更した前記複数の非圧縮映像デー
タのフレーム間の差分値または予測誤差値を算出し、ピクチャーの順序を変更した前記複数の非圧縮映像デー
タを、一定のピクチャータイプシーケンスを有する所定
の圧縮符号化方法により圧縮符号化し、複数の種類のピ
クチャーを含む第１の圧縮映像データを生成し、前記複数の非圧縮映像データが所定の数のピクチャー入
力される時間だけ、１段階（ｎ＝１）に、ピクチャーの
順序を変更した前記複数の非圧縮映像データを遅延し、算出した前記差分値または前記予測誤差値、および、前
記非圧縮映像データが所定の数のピクチャー入力される
間に生成した前記第１の圧縮映像データのデータ量に基
づいて、前記複数の非圧縮映像データを圧縮符号化した
後の圧縮映像データのデータ量の目標値を示す目標値デ
ータを、前記付加データとして、同じ非圧縮映像データ
を圧縮符号化した圧縮映像データのピクチャーのデータ
量のみと相関を有するように、ピクチャーごとに生成
し、遅延した前記複数の非圧縮映像データを、前記所定の圧
縮符号化方法に対応する圧縮符号化方法により圧縮符号
化し、前記複数の非圧縮映像データそれぞれに対応する
第２の圧縮映像データを生成する請求項５に記載の映像
データ圧縮方法。
【請求項７】ピクチャーの順序を変更した前記複数の非
圧縮映像データを圧縮符号化して、少なくともＩピクチ
ャーとＰピクチャーとを含む前記第１の圧縮映像データ
を生成し、算出した前記差分値または前記予測誤差値の変化に基づ
いて、前記複数の非圧縮映像データの時間方向の境界を
検出し、前記複数の非圧縮映像データの時間方向の境界のピクチ
ャーを圧縮符号化した後の圧縮映像データのデータ量の
目標値を示す目標値データを、同じ非圧縮映像データか
ら生成された前記第１の圧縮映像データに含まれるピク
チャーのデータ量に基づいて算出し、遅延した前記複数の非圧縮映像データそれぞれの最初の
ピクチャーをＩピクチャーに圧縮符号化し、前記第２の
圧縮映像データを生成する請求項６に記載の映像データ
圧縮方法。
【請求項８】前記複数の非圧縮映像データそれぞれに対
応する前記第２の圧縮映像データの最後のＩピクチャー
をＰピクチャーに変更して圧縮符号化し、前記第２の圧
縮映像データを生成する請求項７に記載の映像データ圧
縮方法。