JPH06225219A

JPH06225219A - 動画像処理方法および装置

Info

Publication number: JPH06225219A
Application number: JP27402893A
Authority: JP
Inventors: Kunihiro Yamamoto; 邦浩山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-11-05
Filing date: 1993-11-02
Publication date: 1994-08-12
Anticipated expiration: 2019-12-02
Also published as: JP3595563B2

Abstract

(57)【要約】【目的】符号化／復号による圧縮効率の低下や画質の
劣化を招くことのない動画像処理方法および装置を提供
する。【構成】受信端末は、インタフェイス１７によって伝
送路１０１から効果指定データと符号データとを受信す
る。受信した符号データを符号化／復号回路１５によっ
て復号した動画像データを、CPU１２は、受信された効
果指定データに基づいて編集し、編集した動画像データ
をディスプレイ１６に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像処理方法および装
置に関し、とくに動画像に対して、例えば、スーパイン
ポーズやトランジションエフェクトなどの編集を施す動
画像の処理方法および装置に関するものである。

【０００２】

【従来の技術】従来、ディジタル動画像データを編集，
圧縮，伝送する場合は、動画像データを編集した後、加
工済の動画像データを圧縮するのが一般的であった。こ
こで編集とは、例えば文字や図形などを動画像上にスー
パインポーズしたり、次に説明するトランジションエフ
ェクトなどを動画像に施すことである。

【０００３】トランジションエフェクトとは、例えば時
間的に連続する二つの動画像シーケンスを滑らかに接続
するために、時間的に前方にある動画像をフェードアウ
トしながら、時間的に後方にある動画像をフェードイン
する処理のことである。この場合、遷移期間に指定した
範囲においては、二つの動画像シーケンスが重なり合っ
た特殊な状態の画像が現れることになる。

【０００４】こうして得られた編集済の動画像データ
は、種々提案されている動画像符号化方式により符号化
されて、通信回線を通じて受信側へ伝送される。受信側
では、受信した符号データを復号して表示する。図２は
従来の動画像編集手順を示すフローチャートで、同図
（ａ）は送信側端末の手順を、同図（ｂ）は受信端末の
手順をそれぞれ示す。

【０００５】同図（ａ）において、送信側端末は、ステ
ップＳ１で、動画像データを入力してメモリに記憶す
る。続いて、送信側端末は、ステップＳ２でトランジシ
ョンエフェクトなどの効果の指定を受付け、ステップＳ
３で、ステップＳ２で受付けた指定に基づいて、メモリ
に記憶した画像データを編集する。

【０００６】次に、同図（ｂ）において、受信側端末
は、ステップＳ６で符号データを受信する。続いて、受
信側端末は、ステップＳ７で、受信した符号データを復
号して、復号して得た動画像データをメモリに記憶す
る。続いて、受信側端末は、ステップＳ８でディスプレ
イに動画像を表示する。

【０００７】

【発明が解決しようとする課題】しかし、上記従来例に
おいては、次のような問題点があった。すなわち、上記
従来例においては、トランジションエフェクトなどを施
した編集済の画像データを符号化するが、隣接するフレ
ームの相関を利用して圧縮を行う既存の動画像符号化方
式では、トランジションエフェクトなどが施された特殊
な画像データを圧縮すると、フレームの相関が崩れて効
率的な圧縮が困難であった。

【０００８】また、一部の動画像符号化方式では、高圧
縮率を実現するために、フレームレートを秒間10コマ程
度に間引いて符号化し、伝送することがあるが、低フレ
ームレートの動画像では、滑らかなトランジションエフ
ェクトの実現が困難であり、画像の遷移がぎくしゃくす
る欠点があった。また一方、通常、テレビジョンや映画
など動画像の字幕表示には、視認性を高めるために高輝
度の白色を用いることが多いが、周波数領域での量子化
をベースとしたMPEGなど圧縮方式で、このような字幕付
き動画を圧縮すると、文字周囲にモスキートノイズが発
生しやすく、また、文字部にビットが集中するために画
像全体の画質が、字幕がないときに比べて劣化するとい
う問題があった。

【０００９】また、使用者の操作性の点でも問題が多
い。例えば、字幕の位置は、通常、画面下部に固定さ
れ、使用者が表示位置を任意に切替えることはできず、
字幕が不要な場合にも、これを非表示に切替えることも
できなかった。さらに、例えば映画などの動画像につい
て、日本語と英語の字幕を切替えながら観るということ
ができない問題があった。二種類の字幕を必要とする場
合は、使用者は字幕部のみ異なる二つの動画像データを
入手する必要があり、他方、制作者側も、販売圏（例え
ば日本語圏と英語圏）に応じて、異なった版を作制する
必要かあり、無駄が多かった。

【００１０】

【課題を解決するための手段】本発明は、前記の課題を
解決することを目的としたもので、前記の課題を解決す
る一手段として、以下の構成を備える。すなわち、符号
化されたディジタル動画像データと該ディジタル動画像
データに対して施す編集処理を指示するコマンドデータ
とを受信する受信手段と、前記符号化されたディジタル
動画像データを復号する復号手段と、前記復号手段によ
り復号されたディジタル動画像データを前記コマンドデ
ータを用いて編集処理する処理手段と、前記処理手段に
より処理されたディジタル動画像データに応じて像形成
する像形成手段とを有し、前記ディジタル動画像データ
と前記コマンドデータとは共通の伝送路で伝送されるこ
とを特徴とする。

【００１１】

【作用】以上の構成によれば、共通の伝送路で伝送され
る符号化されたディジタル動画像データと、該ディジタ
ル動画像データに対して施す編集処理を指示するコマン
ドデータとを受信して、符号化されたディジタル動画像
データを復号し、復号しコマンドデータを用いて編集処
理したディジタル動画像データに応じて像形成する動画
像処理方法および装置を提供でき、例えば、符号化復号
における圧縮率の低下や、画質の劣化を防止することが
できる。また、トランジションエフェクトを効率よく、
しかも良好な画質で実現することができる。また、スー
パインポーズの機能を充実させることができる。

【００１２】

【実施例】以下、本発明にかかる一実施例の動画像処理
装置を図面を参照して詳細に説明する。

【００１３】

【第１実施例】図１は本発明にかかる第１実施例の本発
明にかかる第１実施例の動画像処理方法によって動画像
を処理するシステムの構成例を示すブロック図である。
同図の動画像伝送システムは、通信回線によって結合さ
れた複数の端末ａ１，端末ｂ２，端末ｃ３，…によって
構成され、端末ａ１は次のような構成を備えている。

【００１４】１１は入力ポートで、動画像データをビデ
オカメラなどの画像入力装置１９より取込む。１２はCP
Uであり、ROM１４に記憶された制御プログラムに従っ
て、画像データの処理、および、バス１８を介した端末
１ａ全体の制御を実行する。また、CPU１２は、RAM１３
の所定の領域へアクセスすることにより、RAM１３に記
憶された動画像データの任意フレームの任意座標におけ
る画素値を読出すことができる。

【００１５】１５は符号化／復号回路、１６はディスプ
レイであり、１７はインタフェイスで、通信回線１０１
との間のデータ通信を仲介する。なお、上記の構成部
は、バス１８によって相互に接続されている。また、他
端末ｂ２，端末ｃ３，…も端末ａ１と略同様の構成を備
えている。図３は本実施例の動画像編集手順の一例を示
すフローチャートで、同図（ａ）は送信側端末の手順
を、同図（ｂ）は受信側端末の手順をそれぞれ示す。

【００１６】同図（ａ）において、本実施例の送信側端
末は、ステップＳ１１で、入力ポート１１を介して、動
画像データをRAM１３へ読込む。続いて、送信側端末
は、ステップＳ１２で、スーパインポーズやトランジシ
ョンエフェクト（フェードアウト，ワイプ等）などの複
数の効果の指定を受付ける。

【００１７】続いて、送信側端末は、ステップＳ１３
で、インタフェイス１７を介して、ステップＳ１２で受
付けた効果指定データ（コマンドデータ）を通信回線１
０１へ送出する。続いて、送信端末は、ステップＳ１４
で動画像データを符号化／復号回路１５で符号化し、ス
テップＳ１５で、インタフェイス１７を介して、符号デ
ータを通信回線１０１へ送出する。なお、動画像データ
は予め符号化しておき、効果指定データを付加して通信
回線１０１に送出するようにしてもよい。

【００１８】すなわち、本実施例においては、効果指定
データと、符号化した未編集の動画像データとを送出す
る。次に、図３（ｂ）において、受信側端末は、ステッ
プＳ１６で、インタフェイス１７によって効果指定デー
タを受信して、RAM１３に記憶する。続いて、受信端末
は、ステップＳ１７で、インタフェイス１７によって動
画像データの符号データを受信して、RAM１３に記憶す
る。

【００１９】続いて、受信側端末は、ステップＳ１８
で、符号化／復号回路１５によって、RAM１３に記憶し
た符号データを復号して、復号して得た動画像データを
RAM１３に記憶する。続いて、受信側端末は、ステップ
Ｓ１９で、RAM１３に記憶した効果指定データに基づい
て、RAM１３に記憶した動画像データを編集する。

【００２０】編集は例えば以下のように行われる。今、
受信した動画像のレートが毎秒５コマで、ディスプレイ
１６の表示可能なレートが毎秒20コマであるとする。こ
のとき、フェードアウトを行うコマンドを受信した場合
には、毎秒５コマの動画像のフレーム間を補間し、毎秒
20コマの動画像データを作成した後に、フェードアウト
の処理を行う（図６Ａ参照）。ここで、補間処理として
は、最も簡単なものとして、単純に同一画面を４コマ分
繰返すことが考えられる。

【００２１】なお、従来方式によれば、図６Ｂのような
表示画像になる。また、フェードアウトの他にも例え
ば、ワイプなどのトランジションエフェクトも上述と同
様の方法で行うことができる。続いて、受信側端末は、
ステップＳ２０でディスプレイ１６に動画像を表示す
る。

【００２２】すなわち、本実施例は、受信側端末におい
て、効果指定データおよび動画像データを受信した後、
該符号データを復号して得た動画像データを、該効果指
定データに基づいて編集する。上記従来例においては、
例えば、動画像上へ文字などをスーパインポーズしよう
とすると、線画データ（すなわち文字）が重畳された画
像データを符号化することになり、主として自然画像の
圧縮を目的とした公知の動画像符号化方式（例えばMPEG
の符号化方式）では、画質を良くしようとすると効率よ
く圧縮できずに符号データの増大を招く一方、圧縮率を
高くしようとすると文字が判読困難になるなどの著しい
画質劣化を生じていた。また、従来例においては、秒間
10コマ程度の低フレームレートで動画像データを伝送す
る場合に、動画像のフェードアウトを行うと、フェード
アウトする画像の変化も低フレームレートで表現するほ
かなく、ぎくしゃくしたぎこちない効果しか得られなか
った。

【００２３】一方、本実施例によれば、文字のスーパイ
ンポーズは、受信側端末において、画像表示の直前に行
われるので、圧縮効率の低下を招くことはなく、さらに
画質劣化も生じない。また、本実施例によれば、動画像
のフェードアウトを行う場合に、受信側端末において、
上述の補間処理を行うことにより、フェードアウトする
画像の変化部分のみ、他の部分よりもフレームレートを
挙げることが容易にできるので、画像データの伝送効率
を劣化させずに、滑らかなフェードアウトを得ることが
できる。

【００２４】なお、上述の説明および図においては、符
号化／復号回路１５によって、動画像の符号化／復号を
行う例を説明したが、本実施例はこれに限定されるもの
ではなく、例えば、CPU１２によって、動画像の符号化
／復号をソフトウェア処理によって実現してもよい。こ
の場合、処理速度は低下するが、端末のコストを低減で
きる。

【００２５】また、上述の説明および図においては、入
力ポート１１によって入力した動画像データ、またはイ
ンタフェイス１７によって受信した符号データを、その
ままRAM１３に記憶する例を説明したが、本実施例はこ
れに限定されるものではなく、例えば、充分に高速な符
号化／復号回路を備えて、動画像データを入力しながら
リアルタイムで符号化し、あるいは符号データを受信し
ながらリアルタイムで復号して、RAM１３に記憶しても
よい。この場合、処理速度を向上できるほか、前者の場
合にはRAM１３のメモリ容量を低減することができる。

【００２６】また、上述の説明および図においては、デ
ータの記憶にRAMを用いる例を説明したが、本実施例は
これに限定されるものではなく、例えば、高速な処理を
要求されない場合には、ハードディスクなどの外部記憶
装置を用いてもよい。この場合、データ量の大きな動画
像データを、低コストで処理することができる。以上説
明したように、本実施例によれば、受信端末で動画像デ
ータを編集することによって、符号化／復号による圧縮
効率の低下や画質の劣化を招くことなく、高品位な動画
像伝送を実現できる。

【００２７】なお、本実施例の端末は、複数の機器から
構成されるシステム、例えばビデオカメラ，ホストコン
ピュータなどのシステムであってもよく、また、一つの
機器からなる装置、例えば動画像を記憶したホストコン
ピュータであってもよい。また。本実施例の処理は、シ
ステムあるいは装置へ、媒体に記憶されたプログラムを
供給することによって実現してもよい。

【００２８】以上、本発明の第１実施例によれば、動画
像データの編集情報を伝送し、該動画像データを符号化
して効率よく伝送する動画像処理方法を提供できる。ま
た、本発明の第１実施例によれば、受信した編集情報に
基づいて、受信した符号データを復号して得た動画像デ
ータを編集する動画像処理方法を提供できる。

【００２９】

【第２実施例】本実施例は、上述した第１実施例の動画
像処理方法を、例えば映画の字幕や動画像付きカラオケ
の歌詞など、動画像に同期してテキストを画像上にスー
パインポーズする技術に応用したものである。本実施例
では、動画像データと字幕などのテキストデータを別々
に保持し、再生時に字幕などのテキストをビットマップ
に展開して画像上にスーパインポーズすることにより、
字幕などのテキストを挿入したことに起因する画像圧縮
／伸長時の画質劣化を防ぐと同時に、上述のような操作
性の問題を解決している。

【００３０】以下、図面を参照しながら、本発明にかか
る第２実施例を詳細に説明する。図４は本実施例におけ
る動画像処理システムの構成図である。１１１は字幕テ
キストデータを記憶する字幕テキストデータメモリ、１
１２は動画像データを記憶する動画像データメモリ、１
１３は動画像圧縮回路、１１４はマルチプレクサ、１１
５は蓄積・伝送系、１１６はデマルチプレクサ、１１７
は動画像伸長回路、１１８は字幕スーパインポーザ、１
１９は表示器、１２０および１２１は信号線である。

【００３１】動画像データメモリ１１２に蓄積された動
画像データは、動画像圧縮回路１１３で圧縮され、字幕
テキストデータメモリ１１１に蓄積されたテキストデー
タと、マルチプレクサ１１４で合成され、蓄積・伝送系
１１５に送られる。ここで、蓄積・伝送系とは、テープ
やCD-ROMなどのパッケージメディアや、ISDN，TV放送な
どの通信系であり、これらを通じてデータが使用者のも
とに届けられる。

【００３２】使用者が受取ったデータは、デマルチプレ
クサ１１６により、圧縮画像データとテキストデータに
分離される。画像データは信号線１２０を通して動画像
伸長回路１１７に送られる。テキストデータは、信号線
１２１を通して字幕スーパインポーザ１１８に送られ、
ここでビットマップテキスト画像に展開され、動画像伸
長回路１７で伸長された動画像へ重畳される。こうして
得られた字幕付き動画像が表示器１１９により表示され
る。

【００３３】なお、表示器の代わりに画像形成装置（レ
ーザビームプリンタ等）を用いて、動画像をフレーム毎
にハードコピーしてもよく、本実施例で注目すべきは、
字幕スーパインポーザが使用者側にあるということであ
る。そして、操作パネル１２２により、使用者が字幕の
表示／非表示，表示色，表示位置，文字の大きさなどを
設定し、その設定に基づき制御回路１２３は、字幕スー
パインポーザ１１８によるスーパインポーズを制御す
る。

【００３４】上述の従来の伝送方法では、字幕スーパイ
ンポーザは送信側（動画像の制作者側）にあるため、字
幕は固定位置に常に表示され続けていた。これに対して
本実施例によれば、ユーザが字幕スーパインポーザに指
示を与えることにより、字幕の表示／非表示，表示色，
表示位置，文字の大きさなどを自由に設定でき、操作性
を大幅に改善できる。また、本実施例によれば、上述の
ような画質と圧縮効率の関係も良好にすることができ
る。

【００３５】また、図４に示した動画像圧縮回路１１３
としては、国際標準の動画像圧縮方式であるMPEGのエン
コーダを用いることができる。MPEGのビットストリーム
には「ユーザデータ領域」が規定されており、MPEGに準
拠した上で一ピクチャごとに任意のデータを書込むこと
ができるため、マルチプレクサ１１４では、この「ユー
ザデータ領域」にテキストデータを書込むという動作を
行う。デマルチプレクサ１１６では、MPEGビットストリ
ームの「ユーザデータ領域」からテキストデータを読出
して字幕スーパインポーザ１１８に送る。動画像伸長回
路１１７にはMPEGデコーダを用いる。

【００３６】本実施例によれば、標準的な動画像圧縮方
式であるMPEGに準拠した符号データを生成できるという
利点がある。本実施例で説明した再生系ではなく、通常
のMPEGデコーダで再生した場合は、ユーザデータ領域の
データが無視され、字幕が表示できなくなるだけで、動
画像は正しく再生できるので、互換性は保たれる。

【００３７】以上説明したように、本発明にかかる第２
実施例によれば、画像にテキストがスーパインポーズさ
れることに起因する画質劣化を回避することができ、ま
た使用者が字幕の表示方法を任意に選択できるようにな
る。

【００３８】

【第３実施例】以下、図面を参照しながら、本発明にか
かる第３実施例を詳細に説明する。図５は本実施例にお
ける動画像処理システムの構成図である。１３１,１３
２,１３３はそれぞれ字幕テキストデータを記憶する字
幕テキストデータメモリ、１３４は動画像データメモ
リ、１３５は動画像圧縮回路、１３６はマルチプレク
サ、１３７は蓄積，伝送系、１３８はデマルチプレク
サ、１３９は動画像伸長回路、１４０は字幕スーパイン
ポーザ、１４１は表示器、１４２は切替スイッチであ
る。

【００３９】字幕テキストデータメモリ１３１,１３２,
１３３には、それぞれ異なる種類のテキストデータが入
っている。例えば、第１字幕テキストデータメモリ１３
１には日本語字幕、第２字幕テキストデータメモリ１３
２には英語字幕、第３字幕テキストデータメモリ１３３
には中国語字幕が入っているものとする。これら、三種
類のテキストデータが、動画像データメモリ１３４から
動画像圧縮回路１３５を経て圧縮された画像データと、
マルチプレクサ１３６で重畳されて、蓄積，伝送系１３
７に送られる。

【００４０】受信側でデータは、デマルチプレクサ１３
８を通り、圧縮画像データと三種類のテキストデータに
分離される。圧縮画像データは動画像伸長回路１３９で
伸長され、字幕スーパインポーザ１６０に送られる。ス
イッチ１４２は、テキストデータの何れか一つを選択す
る。本実施例では、使用者が三ヵ国語の字幕から所望の
ものを選択できることになる。ここで選択されたテキス
トデータは、スーパインポーザ１４０でビットマップに
展開され、動画像と重畳され、表示器１４１で表示され
る。

【００４１】以上説明したような構成をとることによ
り、使用者が複数種類の字幕の中から任意のものを選ん
で表示することが可能になる。また、ここでは字幕テキ
ストの種類を三系統としたが、勿論これに限られるもの
ではなく、蓄積，伝送系の容量や転送能力の許す限り何
系統でも入れることができる。また、とくに多国語を用
意する必要もなく、同一言語で異なる内容のテキストを
入れてもよいことはいうまでもない。

【００４２】テキストをビットマップ展開して画像上に
スーパインポーズする代わりに、音声合成装置でテキス
トを読み上げ、動画像に付随する音声とミキシングし
（もしくは音声と差替え）て再生してもよい。なお、本
発明は、複数の機器から構成されるシステムに適用して
も、一つの機器からなる装置に適用してもよい。また、
本発明は、システムあるいは装置にプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。

【００４３】

【発明の効果】以上、本発明によれば、共通の伝送路で
伝送される符号化されたディジタル動画像データと、該
ディジタル動画像データに対して施す編集処理を指示す
るコマンドデータとを受信して、符号化されたディジタ
ル動画像データを復号し、復号しコマンドデータを用い
て編集処理したディジタル動画像データに応じて像形成
する動画像処理方法および装置を提供でき、例えば、符
号化復号における圧縮率の低下や、画質の劣化を防止す
る効果がある。また、トランジションエフェクトを効率
よく、しかも良好な画質で実現することができ効果があ
る。また、スーパインポーズの機能を充実させる効果が
ある。

【図面の簡単な説明】

【図１】本発明にかかる第１実施例の動画像処理方法に
よって動画像を処理するシステムの構成例を示すブロッ
ク図である。

【図２】従来の動画像の編集手順を示すフローチャート
である。

【図３】本発明にかかる第１実施例の動画像の編集手順
を示すフローチャートである。

【図４】本発明にかかる第２実施例の構成例を示すブロ
ック図である。

【図５】本発明にかかる第３実施例の構成例を示すブロ
ック図である。

【図６Ａ】第１実施例によるフェードアウトの一例を説
明する図である。

【図６Ｂ】従来例によるフェードアウトを説明する図で
ある。

【符号の説明】

１１入力ポート１２ CPU １５符号化／復号回路１６ディスプレイ１７インタフェイス１１１字幕テキストデータメモリ１１２動画像データメモリ１１３動画像圧縮回路１１４マルチプレクサ１１５蓄積・伝送系１１６デマルチプレクサ１１７動画像伸長回路１１８字幕スーパインポーザ１１９表示器１３１〜１３３字幕テキストデータメモリ１３４動画像データメモリ１３５動画像圧縮回路１３６マルチプレクサ１３７蓄積，伝送系１３８デマルチプレクサ１３９動画像伸長回路１４０字幕スーパインポーザ１４１表示器１４２切替スイッチ

Claims

【特許請求の範囲】

【請求項１】符号化されたディジタル動画像データと
該ディジタル動画像データに対して施す編集処理を指示
するコマンドデータとを受信する受信手段と、前記符号化されたディジタル動画像データを復号する復
号手段と、前記復号手段により復号されたディジタル動画像データ
を前記コマンドデータを用いて編集処理する処理手段
と、前記処理手段により処理されたディジタル動画像データ
に応じて像形成する像形成手段とを有し、前記ディジタル動画像データと前記コマンドデータとは
共通の伝送路で伝送されることを特徴とする動画像処理
装置。
【請求項２】前記像形成手段により像形成される動画
像のフレームレートは前記受信手段により受信される動
画像のフレームレートよりも大きいことを特徴とする請
求項１記載の動画像処理装置。
【請求項３】前記処理手段はフレーム補間処理を行う
ことを特徴とする請求項２記載の動画像処理装置。
【請求項４】前記処理手段はフレーム補間された動画
像に対してトランジションエフェクトを実行することを
特徴とする請求項３記載の動画像処理装置。
【請求項５】前記処理手段はスーパインポーズを実行
することを特徴とする請求項１記載の動画像処理装置。
【請求項６】前記コマンドデータは複数種類のテキス
トデータを含むことを特徴とする請求項５記載の動画像
処理装置。
【請求項７】さらに、前記複数種類のテキストデータ
のうちスーパインポーズされるべきものを選択する選択
手段を有することを特徴とする請求項６記載の動画像処
理装置。
【請求項８】符号化されたディジタル動画像データと
該ディジタル動画像データに対して施す編集処理を指示
するコマンドデータとを受信する受信行程と、前記符号化されたディジタル動画像データを復号する復
号行程と、前記復号行程で復号されたディジタル動画像データを前
記コマンドデータを用いて編集処理する処理行程と、前記処理行程で処理されたディジタル動画像データに応
じて像形成する像形成行程とを有し、前記ディジタル動画像データと前記コマンドデータとは
共通の伝送路で伝送されることを特徴とする動画像処理
方法。