JPH1093860A

JPH1093860A - 映像信号切換装置

Info

Publication number: JPH1093860A
Application number: JP24518596A
Authority: JP
Inventors: Noboru Asamiya; 昇浅水屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-09-17
Filing date: 1996-09-17
Publication date: 1998-04-10

Abstract

(57)【要約】【課題】複数のＭＰＥＧストリームを、ピクチャ単位で
任意の位置から任意の期間、イフェクトスイッチングす
ることができない。【解決手段】マトリクススイッチャ１０からのソース
１，ソース２は、第１のデコーダ１１，第２のデコーダ
１２で各々復号化され各々ベースバンド映像信号に変換
され、また第１の遅延回路１３，第２の遅延回路１４で
各々１ＧＯＰ期間分遅延される。イフェクトスイッチャ
１５で、制御部１９からの指示に基づいてイフェクトを
かけながらソース１からソース２に映像信号を切り換
え、その信号をエンコーダ１６で符号化し、第３の遅延
回路１７でタイミングを整える。出力スイッチャ１８で
は、最初は第１の遅延回路１３からのソース１を選択し
ておき、イフェクトのかかったピクチャを含むＧＯＰに
ついては第３の遅延回路１７の出力を選択し、その後第
２の遅延回路１４からのソース２を選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、種々の映像信号の
処理システムに適用される、ＭＰＥＧ方式により符号化
された複数の映像信号をイフェクトをかけながら適切に
スイッチングすることのできる映像信号切換装置に関す
る。

【０００２】

【従来の技術】画像処理技術や信号処理技術の進展によ
り、映像（動画像）信号を圧縮符号化する種々の方式が
提案され、実用化されつつある。そのような種々の映像
符号化方式の中の高画質で高能率に符号化することがで
きる方式の１つであり、広く使用されている方式にＭＰ
ＥＧ方式(Moving Picture coding Experts Groupによる
高品質動画符号化方式) がある。ＭＰＥＧにおいては、
入力画面をピクチャタイプ（Ｉ（Intra coded ）ピクチ
ャ、Ｐ（Predictive coded）ピクチャ、Ｂ（Bidirectio
nally predictive coded）ピクチャ）に合わせて並べ替
え、動き補償予測とＤＣＴ符号化を行う。そして得られ
たＤＣＴ符号化係数を量子化し、動きベクトルや符号化
モード情報とともに可変長符号化し、ＭＰＥＧストリー
ムとして出力する。この時に、Ｉ，Ｐピクチャの場合に
は、量子化された情報は逆量子化、逆ＤＣＴおよび動き
補償されて局部復号化され、復号器と同一の画像が復元
されフレームメモリに蓄積され、動き補償予測の参照画
面として用いられる。このような映像符号化技術を用い
て、符号化された映像信号を記録したり伝送したりする
ことが盛んに行われるようになっている。

【０００３】

【発明が解決しようとする課題】しかし、前述したＭＰ
ＥＧ方式は、ピクチャ間（フレーム間、フィールド間）
の相関を用いて符号化を行っているため、ピクチャ単位
で処理を行うことができない、特に、編集や放送などを
行う場合に重要な、複数の映像信号、すなわちＭＰＥＧ
ストリームを、所望の方法により適切にスイッチングす
ることができないという問題がある。２つの映像信号の
切り換えは、２つの映像信号を一時的にミックスした
り、フェードアウト／フェードインを行ったり、ワイプ
を行ったりして切り換える手法が頻繁に用いられてい
る。しかし、そのような処理を行うためには、２つの映
像信号の各ピクチャのデータに基づいて、たとえば画素
値を所定の重み付けをして合成したり、領域ごとに所定
の映像信号の画像をはめこんだりする処理が必要とな
る。しかし、ＭＰＥＧストリームにおいては、このよう
な各映像信号のピクチャごとの処理が必要となる。

【０００４】そのため、これまでそのような処理を行う
必要のある場合には、符号化された映像信号を一度全部
復号化し、復号化された映像信号を用いて前述したよう
なイフェクトスイッチングを行い、その映像信号を再び
符号化していた。しかし、このような方法においては、
全映像信号に対して符号化を繰り返すことになり、全映
像信号に対して画質の劣化を招くという問題が生じた。
特に低ビットレートの映像信号に対して大きな影響があ
った。仮に、複雑なイフェクトを行わない単なるスイッ
チングを、符号化された映像信号に対して直接的に行お
うとすると、その符号化方法としては全ピクチャをＩピ
クチャとして符号化する、すなわちピクチャ間の相関を
用いない方法により符号化する必要がある。しかしその
ような方法では、符号化効率が極端に悪化するという問
題が生じ、実用的な方法ではない。

【０００５】したがって、本発明の目的は、画質の劣化
を最小期間かつ最小限度に抑えて、ＭＰＥＧ方式により
符号化された映像信号に対して、所望のイフェクトをか
けながら適切にスイッチングすることのできる映像信号
切換装置を提供することにある。

【０００６】

【課題を解決するための手段】前記課題を解決するため
に、イフェクトをかけてスイッチングを行う期間のみ復
号化を行い、復号化された映像信号を用いてイフェクト
スイッチングを行い、そのスイッチング期間の映像信号
を再び符号化し、符号化されたまま用いる他の部分の信
号と適切に整合するように合わせるようにした。

【０００７】したがって本発明の映像信号切換装置は、
入力される複数のＭＰＥＧストリームを、イフェクトを
加えながら切り換えて、１つのＭＰＥＧストリームとし
て出力する映像信号切換装置であって、入力され出力さ
れている第１のＭＰＥＧストリーム、および、入力され
前記第１のＭＰＥＧストリームから切り換えて次に出力
される第２のＭＰＥＧストリームを、各々復号化し、第
１の映像信号および第２の映像信号を生成する２つの復
号化手段と、前記生成された第１の映像信号および第２
の映像信号のいずれかを実質的に選択し出力する手段で
あって、該第１の映像信号および第２の映像信号に対し
て所望の位置から所望の期間、所望のイフェクトを加
え、該イフェクトの加えられた映像信号を挟んで前記選
択し出力する信号を前記第１の映像信号から前記第２の
映像信号に切り換えるイフェクト切換手段と、前記イフ
ェクト切換手段より出力される映像信号を、前記第１の
ＭＰＥＧストリームおよび前記第２のＭＰＥＧストリー
ムと同一のＭＰＥＧ符号化方式で符号化し第３のＭＰＥ
Ｇストリームを生成する符号化手段と、前記入力された
第１のＭＰＥＧストリーム、前記入力された第２のＭＰ
ＥＧストリーム、および、前記生成された第３のＭＰＥ
Ｇストリームのいずれかを選択する手段であって、通常
は前記第１のＭＰＥＧストリームを選択し、映像信号の
切り換えが指示された所定期間は前記第３のＭＰＥＧス
トリームを選択し、該所定期間経過後、前記第２のＭＰ
ＥＧストリームを選択する出力選択手段とを有する。

【０００８】

【発明の実施の形態】本発明の映像信号切換装置の一実
施の形態を、図１〜図７を参照して説明する。図１は、
本実施の形態の映像信号切換装置の構成を示すブロック
図である。映像信号切換装置１は、マトリクススイッチ
ャ１０、第１のデコーダ１１、第２のデコーダ１２、第
１の遅延回路１３、第２の遅延回路１４、イフェクトス
イッチャ１５、エンコーダ１６、第３の遅延回路１７、
出力スイッチャ１８、制御部１９、操作部２０、表示部
２１およびモニタ２２_-1〜２２_-3を有する。

【０００９】まず、各部の構成・機能について説明す
る。マトリクススイッチャ１０は、複数のＭＰＥＧスト
リームが並列に入力される複数の入力チャネルと、２つ
の出力チャネルを有するマトリックススイッチャであ
り、制御部１９からの切換指示信号に基づいて、任意の
入力チャネルを任意の出力チャネルに切り換える。すな
わち、マトリクススイッチャ１０は、現在あるいは直ち
に映像信号切換装置１から出力すべきＭＰＥＧストリー
ムが入力される入力チャネルと出力チャネルの一方を接
続し、そのＭＰＥＧストリームが適切に後段の構成部に
出力されるようにする。また、そのＭＰＥＧストリーム
が映像信号切換装置１から出力されている時に、そのＭ
ＰＥＧストリームに切り換えて出力する次のＭＰＥＧス
トリームが入力される入力チャネルを出力チャネルの他
方に接続し、そのＭＰＥＧストリームも適切に後段の構
成部に出力されるようにする。なお、制御部１９からの
切換指示は、即時切換を指示される場合や、時刻指定で
切り換えを指示される場合などがある。また、マトリク
ススイッチャ１０における切り換えは、外部より入力さ
れるリファレンス信号Ｒefに同期して行われる。

【００１０】第１のデコーダ１１および第２のデコーダ
１２は、マトリクススイッチャ１０で選択されて入力さ
れるＭＰＥＧストリームを、各々ベースバンド映像信号
として復号化する。また、その際に得られる復号化した
映像信号の各フレームの元のＭＰＥＧストリームにおけ
るピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチ
ャのいずれかであるか）の情報を、生成した映像信号の
データ未使用部分に付加して出力する。この復号化も、
外部より入力されるリファレンス信号Ｒefに同期して行
われる。第１の遅延回路１３および第２の遅延回路１４
は、マトリクススイッチャ１０で選択されて入力される
２つのＭＰＥＧストリームを、後段の出力スイッチャ１
８において、エンコーダ１６により再符号化されたＭＰ
ＥＧストリームとスイッチングしても動画シーケンスと
して整合性が取れる様に、フレーム時間単位で遅延させ
てタイミングを調整する。この遅延動作も、外部より入
力されるリファレンス信号Ｒefに同期して行われる。

【００１１】イフェクトスイッチャ１５は、第１のデコ
ーダ１１および第２のデコーダ１２から出力される２つ
のベースバンド映像信号に対してイフェクトを加えてス
イッチング用の映像信号を生成し、そのスイッチング用
の映像信号を挟んでその２つのベースバンド映像信号を
切り換える。イフェクトスイッチャ１５で加えられるこ
のイフェクトは、式１のように示される。

【００１２】

【数１】Ｚi ＝Ｆi （Ｘi ）＋Ｇi （Ｙi ）・・・（１）但し、Ｘi,Ｙi は、フレームごとの入力映像信号、Ｚi
は、フレームごとの出力映像信号、ｉは、フレーム番
号、Ｆi,Ｇi は、イフェクトを実現する関数である。

【００１３】なお、イフェクトを実現する関数Ｆi,Ｇi
は、後述する操作部２０に設けられて、作業者により操
作されるコントロールレバーの、対応するフレームｉの
映像信号が処理されている時の位置情報などにより決定
されるパラメータである。すなわち、イフェクトスイッ
チャ１５は、このパラメータの指示も含まれる制御部１
９からの制御信号に基づいて、任意の時間から任意の期
間、任意のイフェクトを施して２つの映像信号を切り換
える。

【００１４】エンコーダ１６は、イフェクトスイッチャ
１５から入力されるベースバンド映像信号をＭＰＥＧ符
号化する。このＭＰＥＧ符号化は、第１のデコーダ１１
および第２のデコーダ１２より映像信号に加えられて出
力されるピクチャタイプの情報を用い、各フレームの信
号が元の映像信号の対応するフレームのピクチャタイプ
と同じなるように符号化する。この符号化において、エ
ンコーダ１６は、通常はクローズドＧＯＰ(Group Of Pi
ctures) で符号化し、制御部１９からの指示があればオ
ープンＧＯＰとして符号化する。また、この符号化の際
のＧＯＰ構成や符号化レートなどは、一連のＭＰＥＧス
トリームに対する処理の冒頭に制御部１９で行われる初
期設定の段階で設定される。また、この符号化も、外部
より入力されるリファレンス信号Ｒefに同期して行われ
る。

【００１５】第３の遅延回路１７は、ＧＯＰの最終フレ
ームでスイッチングが行われても出力スイッチャ１８に
おいてこのＧＯＰの先頭でＭＰＥＧストリームの切り換
えができるように、エンコーダ１６の出力をフレーム時
間単位で遅延させる。この処理も、外部より入力される
リファレンス信号Ｒefに同期して行われる。出力スイッ
チャ１８は、制御部１９からの指示に基づいて、外部リ
ファレンス信号Ｒefに同期してＭＰＥＧストリームのス
イッチングを行い、所望のピクチャ単位で切り換えの行
われたＭＰＥＧストリームを生成し出力する。具体的に
は、出力スイッチャ１８においては、ソース１の映像信
号からソース２の映像信号に切り換える場合には、制御
部１９から指示される所定のタイミングで、第１の遅延
回路１３、第３の遅延回路１７、第２の遅延回路１４の
順に切り換えを行い、ソース２の映像信号からソース１
の映像信号に切り換える場合には、第２の遅延回路１
４、第３の遅延回路１７、第１の遅延回路１３の順に切
り換えを行う。

【００１６】制御部１９は、操作部２０または図示せぬ
上位コンピュータからの指示に基づいて、映像信号切換
装置１が所望の動作を行うように、映像信号切換装置１
の各部を制御する。また制御部１９は、その制御に伴っ
て、必要な情報を表示部２１に表示するとともに、適宜
前記上位コンピュータに状態を送信する。

【００１７】その制御部１９の動作について、図２およ
び図３を参照して説明する。図２および図３は、制御部
１９の動作を示すフローチャートである。まず、映像信
号切換装置１の動作が実質的にスタートされると（ステ
ップＳ１）、映像信号切換装置１の各部の初期設定を行
う（ステップＳ２）。この初期設定の時に、エンコーダ
１６に対して符号化の際のＧＯＰ構成や符号化レートな
どの設定が行われる。基本的な初期設定が終了したら、
次に各スイッチャ１０，１５、１８の初期設定を行う
（ステップＳ３）。すなわち、まずマトリクススイッチ
ャ１０に対しては、最初に出力するＭＰＥＧストリーム
が入力される入力チャンネルをソース１のＭＰＥＧスト
リームとして第１のデコーダ１１および第１の遅延回路
１３に出力するように入力チャネルと出力チャネルの切
り換えを指示する。また、出力スイッチャ１８に対して
は、そのソース１を単に遅延させた第１の遅延回路１３
の出力を選択するように切り換えを指示する。またイフ
ェクトスイッチャ１５に対しては、とりあえずそのソー
ス１のＭＰＥＧストリームを第１のデコーダ１１でデコ
ードした結果のベースバンド映像信号を選択するように
切り換えを指示する。

【００１８】このような初期設定をした後に、操作部２
０または図示せぬ上位コンピュータ（以後、外部と称す
る場合もある）からの指示に基づいて動作する通常の処
理に移る。まず、外部から終了の指示が入力されたか否
かをチェックし（ステップＳ４）、終了の指示の入力で
なかった場合には、次に、外部から入力ＭＰＥＧストリ
ームを選択する指示、すなわち次に切り換えるＭＰＥＧ
ストリームを選択する指示が入力されたか否かをチェッ
クする（ステップＳ５）。入力ＭＰＥＧストリームを選
択する指示が入力されていた場合には、マトリクススイ
ッチャ１０に対して、現在出力されるＭＰＥＧストリー
ムと切り換えて出力する次のＭＰＥＧストリームが入力
される入力チャンネルを、現在のＭＰＥＧストリームが
出力されているソース出力とは異なるソース出力として
出力するように、入力チャネルと出力チャネルの切り換
えを指示する（ステップＳ６）。

【００１９】たとえば前述した初期設定の直後の場合に
は、その次のＭＰＥＧストリームを、現在ソース１とし
て出力されるＭＰＥＧストリームと切り換えて出力する
ために、ソース２のＭＰＥＧストリームとして第２のデ
コーダ１２および第２の遅延回路１４に出力するよう
に、入力チャネルと出力チャネルの切り換えを指示す
る。入力ＭＰＥＧストリームを選択する指示が入力され
ていた場合は、この次のＭＰＥＧストリームの選択が終
了したら、再びステップＳ４に戻って、次の指示を待
つ。

【００２０】ステップＳ５において入力選択の指示でな
かった場合には、外部よりイフェクトスイッチの指示が
あったか否かをチェックし（ステップＳ７）、イフェク
トスイッチの指示があった場合には、イフェクトスイッ
チャ１５に対して、指示されたイフェクトスイッチを行
うことが可能なように、すなわち指示されたイフェクト
を施して２つの映像信号の切り換えを行うことが可能な
ように設定を行う（ステップＳ８）。イフェクトスイッ
チの指示があった場合は、このイフェクトスイッチャ１
５への設定を行ったら、再びステップＳ４に戻って、次
の指示を待つ。ステップＳ７において、イフェクトスイ
ッチの指示でなかった場合には、操作部２０のコントロ
ールレバーの状態をチェックする（ステップＳ９）。コ
ントロールレバーが有効に操作されていない場合には、
ステップＳ４に戻って前述したような操作のチェックを
繰り返す。コントロールレバーがＯＮになった状態、す
なわち操作された状態になったら、ステップＳ１０の処
理に移る。

【００２１】ステップＳ１０以降の実際にイフェクトス
イッチを行う処理においては、まず、現在の状態に基づ
いてソース１からソース２へ切り換えるのか、ソース２
からソース１へ切り換えるのかをチェックする（ステッ
プＳ１０）。ソース１からソース２へのＭＰＥＧストリ
ームの切り換えが指示されていた場合には、まず、イフ
ェクトスイッチャ１５に対して、第１のデコーダ１１の
出力であるソース１の映像信号から、第２のデコーダ１
２の出力であるソース２の映像信号への切り換えを指示
する（ステップＳ１１）。また、それとともに、出力ス
イッチャ１８に対して、選択するＭＰＥＧストリーム
を、第１の遅延回路１３から出力されるソース１のＭＰ
ＥＧストリームから、第３の遅延回路１７より出力され
るＭＰＥＧストリームに、最新のＢピクチャからＩピク
チャへの変化点で切り換えるよう指示をする（ステップ
Ｓ１２）。また、エンコーダ１６においては、次のＧＯ
ＰからオープンＧＯＰとして符号化する旨を指示してお
く（ステップＳ１３）。

【００２２】そのような設定を行ったら、後は作業者の
イフェクト処理の操作に基づいて、実際にイフェクトス
イッチャ１５に対してイフェクト処理の進行状態などを
指示する。すなわち、操作部２０のコントロールレバー
の状態を検出して、その状態をイフェクトスイッチャ１
５に出力する（ステップＳ１４）処理を、コントロール
レバーがオフにされるまで続ける（ステップＳ１５）。
コントロールレバーがオフにされたら、そのイフェクト
が加えられたフレームを含むＧＯＰの後に、切り換えら
れたソースの映像信号であってエンコーダ１６により再
符号化された映像信号が所定のＧＯＰだけ出力されるの
を待つ（ステップＳ１６）。そして、そのＧＯＰの出力
が完了したら、出力スイッチャ１８に対して、選択する
信号を第３の遅延回路１７の出力信号から第２の遅延回
路１４の出力信号に切り換えるよう指示をする（ステッ
プＳ１７）。これにより、ソース１のＭＰＥＧストリー
ムからソース２のＭＰＥＧストリームへの切り換えが終
了したことになる。そして最後に、エンコーダ１６に対
して、次の切り換え時のためにクローズドＧＯＰで符号
化を行うように指示をしておき（ステップＳ１８）、そ
の切り換えの処理を終了しステップＳ４に戻る。

【００２３】ステップＳ１０において、ソース２からソ
ース１へのＭＰＥＧストリームの切り換えが指示されて
いた場合には、まず、イフェクトスイッチャ１５に対し
て、第２のデコーダ１２の出力であるソース２の映像信
号から、第１のデコーダ１１の出力であるソース１の映
像信号への切り換えを指示する（ステップＳ１９）。ま
た、それとともに、出力スイッチャ１８に対して、選択
するＭＰＥＧストリームを、第２の遅延回路１４から出
力されるソース２のＭＰＥＧストリームから、第３の遅
延回路１７より出力されるＭＰＥＧストリームに、最新
のＢピクチャからＩピクチャへの変化点で切り換えるよ
う指示をする（ステップＳ２０）。また、エンコーダ１
６においては、次のＧＯＰからオープンＧＯＰとして符
号化する旨を指示しておく（ステップＳ２１）。

【００２４】そのような設定を行ったら、後は作業者の
イフェクト処理の操作に基づいて、実際にイフェクトス
イッチャ１５に対してイフェクト処理の進行状態などを
指示する。すなわち、操作部２０のコントロールレバー
の状態を検出して、その状態をイフェクトスイッチャ１
５に出力する（ステップＳ２２）処理を、コントロール
レバーがオフにされるまで続ける（ステップＳ２３）。
コントロールレバーがオフにされたら、そのイフェクト
が加えられたフレームを含むＧＯＰの後に、切り換えら
れたソースの映像信号であってエンコーダ１６により再
符号化された映像信号が所定のＧＯＰだけ出力されるの
を待つ（ステップＳ２４）。そして、そのＧＯＰの出力
が完了したら、出力スイッチャ１８に対して、選択する
信号を第３の遅延回路１７の出力信号から第１の遅延回
路１３の出力信号に切り換えるよう指示をする（ステッ
プＳ２５）。これにより、ソース２のＭＰＥＧストリー
ムからソース１のＭＰＥＧストリームへの切り換えが終
了したことになる。そして最後に、エンコーダ１６に対
して、次の切り換え時のためにクローズドＧＯＰで符号
化を行うように指示をしておき（ステップＳ２６）、そ
の切り換えの処理を終了しステップＳ４に戻る。

【００２５】ステップＳ４において終了の指示が外部よ
り入力されていた場合には、制御部１９は映像信号切換
装置１の各部に対して終了処理を行って（ステップＳ２
７）、処理を終了する（ステップＳ２８）。制御部１９
は、このような動作を行う。

【００２６】操作部２０は、マトリクススイッチャ１０
の切り換え指示、イフェクトスイッチャ１５で行うイフ
ェクトおよび映像切り換えの指示を行うための入力装置
である。たとえばイフェクトの指示を行う操作手段とし
ては、ミックス、フェードアウト／フェードイン、ワイ
プなどのイフェクトの種類を指示するボタンなどや、そ
の指示されたイフェクトの進行状態を制御するコントロ
ールバーなどが設けられている。表示部２１は、映像信
号切換装置１の動作状況を表示するためのディスプレイ
装置である。モニタ２２_-1〜２２_-3は、各々第１のデコ
ーダ１１でデコードされたソース１のベースバンド映像
信号、第２のデコーダ１２でデコードされたソース２の
ベースバンド映像信号、および、イフェクトスイッチャ
１５でイフェクトがかけられ、スイッチングされている
結果の映像信号を確認するためのモニタである。

【００２７】次に、映像信号切換装置１の動作について
図４〜図７の具体例を参照して説明する。映像信号切換
装置１の動作については、切り換える２つのＭＰＥＧス
トリームの間に選択される新たにＭＰＥＧ符号化して生
成されたＭＰＥＧストリームとして、イフェクトを加え
たフレームを有するＧＯＰについてのみのＭＰＥＧスト
リームを選択する場合と、そのイフェクトを加えたフレ
ームに続く切り換えられた映像信号の一部を含むＭＰＥ
Ｇストリームを選択する場合について、各々説明する。
なお、図４〜図７において、Ｘi ，Ｙi は、各々映像信
号Ｘ，Ｙの各フレーム信号、添字ｉはフレーム番号であ
る。このフレーム番号は、ベースバンド信号において時
系列と一致している。また、Ｘi ，Ｙi は、その映像信
号が一度復号化され、ベースバンド映像信号に戻ったこ
とを示す。また、Ｉ，Ｐ，Ｂは、各々そのフレームの符
号化時のピクチャタイプを、Ｉピクチャに付加された○
はそのＩピクチャから始まるＧＯＰがクローズドＧＯＰ
であることを示す。

【００２８】まず、ＭＰＥＧストリームの切り換え時
に、その切り換える２つのＭＰＥＧストリームの間に選
択される新たにＭＰＥＧ符号化して生成されたＭＰＥＧ
ストリームとして、イフェクトを加えたフレームを有す
るＧＯＰについてのみのＭＰＥＧストリームを選択する
場合の映像信号切換装置１の動作について、図４および
図５を参照して説明する。図４は、そのような場合の映
像信号切換装置１の各部における信号を示す図であり、
（Ａ）は元のＭＰＥＧストリームＸを示す図であり、
（Ｂ）はＭＰＥＧストリームＸがデコーダにおいてデコ
ードされた映像信号Ｘ(dec) を示す図であり、（Ｃ）は
ＭＰＥＧストリームＸが遅延回路において遅延されたＭ
ＰＥＧストリームＸ(delay) を示す図であり、（Ｄ）は
切り換えられる次のＭＰＥＧストリームＹを示す図であ
り、（Ｅ）はＭＰＥＧストリームＹがデコーダにおいて
デコードされた映像信号Ｙ(dec) を示す図であり、
（Ｆ）はＭＰＥＧストリームＹが遅延回路において遅延
されたＭＰＥＧストリームＹ(delay) を示す図であり、
（Ｇ）はイフェクトが加えられて切り換えの行われるベ
ースバンド映像信号Ｘ＋Ｙ(base)を示す図であり、
（Ｈ）は映像信号Ｘ＋Ｙ(base)をエンコーダにおいて符
号化したＭＰＥＧストリームＸ＋Ｙ(enc) を示す図であ
り、（Ｉ）はそのＭＰＥＧストリームＸ＋Ｙ(enc) を遅
延回路において遅延させたＭＰＥＧストリームＸ＋Ｙ(d
elay) を示す図であり、（Ｊ）はそれらが出力スイッチ
ャ１８により適宜選択され出力されるＭＰＥＧストリー
ムＸ＋Ｙ(sw)を示す図である。なお、図４（Ａ）の上の
数字は時刻を示すものとする。

【００２９】まず、切り換えを行う２つのＭＰＥＧスト
リームＸ，Ｙを、図４（Ａ）および（Ｄ）に示す。図示
するように、これらはともにＩまたはＰピクチャが現れ
る周期Ｍ＝３、ＧＯＰ内のピクチャ枚数Ｎ＝６であり、
さらにＩピクチャの位相も一致しているＭＰＥＧストリ
ームである。マトリクススイッチャ１０において、ＭＰ
ＥＧストリームＸがソース１として、ＭＰＥＧストリー
ムＹがソース２として出力される。すると、ＭＰＥＧス
トリームＸは、第１のデコーダ１１でデコードされて、
図４（Ｂ）に示すようなベースバンド映像信号Ｘ(dec)
が生成される。また、第１の遅延回路１３に入力された
ＭＰＥＧストリームは丁度１ＧＯＰ期間分遅延されて、
図４（Ｃ）に示すような遅延されたＭＰＥＧストリーム
Ｘ(delay) が生成される。

【００３０】切り換えられる次のＭＰＥＧストリームＹ
も同様に、第２のデコーダ１２においてデコードされ図
４（Ｅ）に示すようなベースバンド映像信号Ｙ(dec) が
生成され、第２の遅延回路１４において遅延されて図４
（Ｆ）に示すようなＭＰＥＧストリームＹ(delay) が生
成される。イフェクトスイッチャ１５においては、当初
ソース１に対応する第１のデコーダ１１の出力を選択し
ているが、操作者がモニタ２２_-1〜２２_-3をモニタリン
グしながら、操作部２０のコントロールレバーなどを用
いて、たとえばミックスやワイプなどのイフェクト操作
を行うと、その操作に基づいてイフェクト処理が行われ
る。すなわち、前述した式１に示すような処理によりイ
フェクトのかけられた新たな映像信号Ｚが生成されて出
力される。そしてそのイフェクト操作が終了したら、イ
フェクトスイッチャ１５は今度はソース２に対応する第
２のデコーダ１２の出力を選択する。

【００３１】たとえば図４に示すように時刻７の直前か
ら時刻２１の直前までの間、すなわち、Ｘ6 フレームの
直前からＸ21フレームの直前までの間でこのイフェクト
スイッチングが行われたとすると、イフェクトスイッチ
ャ１５からは図４（Ｇ）に示すように、時刻５までが映
像信号Ｘとなり、時刻６〜時刻２０までが映像信号Ｚと
なり、その後が映像信号Ｙとなるような映像信号が生成
される。したがって、このイフェクトの加えられた映像
信号Ｚが、第１の映像信号Ｘから第２の映像信号Ｙに自
然に変化するような信号、すなわち、ミックス、フェー
ドアウト／フェードイン、ワイプなどにより変化する信
号であれば、全体として映像信号Ｘから映像信号Ｙに自
然に映像が切り換えられたことになる。

【００３２】このようなイフェクトスイッチャ１５の出
力信号に対して、そのイフェクトの加えられた映像信号
Ｚを含むＧＯＰについて、エンコーダ１６で符号化さ
れ、図４（Ｈ）に示すようなＭＰＥＧストリームが生成
され、さらに第３の遅延回路１７において、図４（Ｉ）
に示すようなＮ−Ｍフレーム分、すなわち図４の例にお
いては３フレーム分遅延されて、第１の遅延回路１３や
第２の遅延回路１４で遅延されたＭＰＥＧストリームＸ
(delay) 、Ｙ(delay) と同じ時系列で同じ位相のＭＰＥ
ＧストリームＸ＋Ｙ(delay) が生成される。そして、出
力スイッチャ１８においては、最初は第１の遅延回路１
３の出力である図４（Ｃ）に示すＭＰＥＧストリームＸ
(delay) を選択し、イフェクトスイッチングが指示され
た期間であって、そのイフェクトの加えられた映像信号
が含まれるＧＯＰについて、すなわち時刻１２以降にお
いては、第３の遅延回路１７の出力である図４（Ｉ）に
示すＭＰＥＧストリームＸ＋Ｙ(delay) を選択する。そ
して、その映像信号が終了する、すなわち時刻３０の手
前では、第２の遅延回路１４の出力である図４（Ｆ）に
示すＭＰＥＧストリームＹ(delay) を選択し、図４
（Ｊ）に示すようなＭＰＥＧストリームＸ＋Ｙ(sw)を生
成し出力する。

【００３３】このように、映像信号切換装置１において
は、時刻１２〜２９の映像信号だけが復号化され、イフ
ェクトが加えられた後に再び符号化されているので、画
質が多少なりとも劣化する部分が短時間で済む。また、
再符号化は、それらのピクチャタイプが元のピクチャタ
イプと同じになるように行われるので、その部分の画質
劣化の程度も少なくなる。

【００３４】図５は、このようなＭＰＥＧストリームに
対して切り換えを行う際の、切り換え位置とイフェクト
スイッチャ１５の出力、および、エンコーダ１６の出力
の関係を示す図であり、（Ａ）はＧＯＰの最初のフレー
ムの直前（時刻７、フレームＸ6 の直前）で切り換えが
行われた場合の各出力を示す図、（Ｂ）は２番目のフレ
ームの直前（時刻８、フレームＸ7 の直前）で切り換え
が行われた場合の各出力を示す図、（Ｃ）は３番目のフ
レームの直前（時刻９、フレームＸ8 の直前）で切り換
えが行われた場合の各出力を示す図、（Ｄ）は４番目の
フレームの直前（時刻１０、フレームＸ9 の直前）で切
り換えが行われた場合の各出力を示す図、（Ｅ）は５番
目のフレームの直前（時刻１１、フレームＸ10の直前）
で切り換えが行われた場合の各出力を示す図、（Ｆ）は
６番目のフレームの直前（時刻１２、フレームＸ11の直
前）で切り換えが行われた場合の各出力を示す図であ
る。

【００３５】図５に示すように、ＧＯＰのどの位置でＭ
ＰＥＧストリームの切り換えが指示されたとしても、そ
の切り換え指示の時刻は、その切り換え位置を含むＧＯ
Ｐの先頭のＩピクチャのフレームが出力スイッチャ１８
に入力される（図４および図５の例においては時刻１
２）以前となるので、そのＧＯＰに対しては第３の遅延
回路１７の出力を選択することが可能となり、全ての切
り換え位置に対して適切に切り換えが行える。

【００３６】次に、ＭＰＥＧストリームの切り換え時
に、その切り換える２つのＭＰＥＧストリームの間に選
択される新たにＭＰＥＧ符号化して生成されたＭＰＥＧ
ストリームとして、そのイフェクトを加えたフレームに
続く切り換えられた映像信号の一部を含むＭＰＥＧスト
リームを選択する場合の映像信号切換装置１の動作につ
いて、図６および図７を参照して説明する。図６は、そ
のような場合の映像信号切換装置１の各部における信号
を示す図であり、（Ａ）〜（Ｊ）は前述した図４の場合
と同じである。

【００３７】この場合においても、図６（Ａ）および図
６（Ｄ）に示すような２つのＭＰＥＧストリームＸ，Ｙ
が、各々ソース１およびソース２として入力される。そ
して、ＭＰＥＧストリームＸは、第１のデコーダ１１に
おいてデコードされて図６（Ｂ）に示すようなベースバ
ンド映像信号Ｘ(dec) が生成され、また第１の遅延回路
１３において丁度１ＧＯＰ期間分遅延されて図６（Ｃ）
に示すような遅延されたＭＰＥＧストリームＸ(delay)
が生成される。また、ＭＰＥＧストリームＹは、第２の
デコーダ１２でデコードされて図６（Ｅ）に示すような
ベースバンド映像信号Ｙ(dec) が生成され、また第２の
遅延回路１４において丁度１ＧＯＰ期間分遅延されて、
図６（Ｆ）に示すような遅延されたＭＰＥＧストリーム
Ｙ(delay) が生成される。

【００３８】そしてイフェクトスイッチャ１５において
は、当初ソース１に対応する第１のデコーダ１１の出力
を選択しているが、操作者がモニタ２２_-1〜２２_-3をモ
ニタリングしながら、操作部２０のコントロールレバー
などを用いて、たとえばミックスやワイプなどのイフェ
クト操作を行うと、その操作に基づいてイフェクト処理
が行われる。すなわち、前述した式１に示すような処理
によりイフェクトのかけられた新たな映像信号Ｚが生成
されて出力される。そしてそのイフェクト操作が終了し
たら、イフェクトスイッチャ１５は今度はソース２に対
応する第２のデコーダ１２の出力を選択する。たとえば
図６に示すように時刻４の直前から時刻１９の直前まで
の間、すなわち、Ｘ6 フレームの直前からＸ21フレーム
の直前までの間でこのイフェクトスイッチングが行われ
たとすると、イフェクトスイッチャ１５からは図６
（Ｇ）に示すように、時刻３までが映像信号Ｘとなり、
時刻４〜時刻１８までが映像信号Ｚとなり、その後が映
像信号Ｙとなるような映像信号が生成される。

【００３９】このようなイフェクトスイッチャ１５の出
力信号に対して、そのイフェクトの加えられた映像信号
Ｚを含むＧＯＰと、それに続く第２の映像信号Ｙの所定
数のＧＯＰとがエンコーダ１６で符号化され、図６
（Ｈ）に示すようなＭＰＥＧストリームが生成され、さ
らに第３の遅延回路１７において、図６（Ｉ）に示すよ
うなＮ−Ｍフレーム分、すなわち図６の例においては３
フレーム分遅延されて、第１の遅延回路１３や第２の遅
延回路１４で遅延されたＭＰＥＧストリームＸ(delay)
、Ｙ(delay) と同じ時系列で同じ位相のＭＰＥＧスト
リームＸ＋Ｙ(delay)が生成される。

【００４０】そして、出力スイッチャ１８においては、
最初は第１の遅延回路１３の出力である図６（Ｃ）に示
すＭＰＥＧストリームＸ(delay) を選択し、イフェクト
スイッチングが指示された期間であって、そのイフェク
トの加えられた映像信号が含まれるＧＯＰとそれに続く
第２の映像信号Ｙの所定数のＧＯＰとについて、すなわ
ち時刻９〜時刻３２の期間については第３の遅延回路１
７の出力である図６（Ｉ）に示すＭＰＥＧストリームＸ
＋Ｙ(delay) を選択する。そして、その映像信号が終了
する、すなわち時刻３３の手前では、第２の遅延回路１
４の出力である図６（Ｆ）に示すＭＰＥＧストリームＹ
(delay) を選択し、図６（Ｊ）に示すようなＭＰＥＧス
トリームＸ＋Ｙ(sw)を生成し出力する。

【００４１】このように、イフェクトを加えたフレーム
を有するＧＯＰに続くいくつかのＧＯＰに対しても再符
号化を行うことにより、イフェクトを加えた映像信号を
含む再符号化されたＧＯＰから元のＭＰＥＧストリーム
のＧＯＰに移る時の参照画像の違いによる画質の劣化を
徐々に軽減することができ、より画質の劣化の程度の小
さいＭＰＥＧストリームが生成できる。たとえば、図６
の例においては、Ｙ29（Ｐピクチャ）とＹ29（Ｐピクチ
ャ）との差を少なくすることが可能となり、復号化時の
Ｙ30（Ｂピクチャ）およびＹ31（Ｂピクチャ）の画質の
劣化を減少させることができる。

【００４２】図７は、図５と同様にこのようなＭＰＥＧ
ストリームに対して切り換えを行う際の切り換え位置と
イフェクトスイッチャ１５の出力、および、エンコーダ
１６の出力の関係を示す図であり、（Ａ）〜（Ｆ）は各
々ＧＯＰ内の１番目から６番目のフレームの直前で切り
換えが行われた場合の各出力を示す図である。図７に示
すように、ＧＯＰのどの位置からイフェクトスイッチを
開始したとしても、その開始の時刻は、そのイフェクト
のかかったＧＯＰの先頭のＩピクチャのフレームが出力
スイッチャ１８に入力される（図６および図７の例にお
いては時刻９）以前となるので、そのＧＯＰに対しては
第３の遅延回路１７の出力を選択することが可能とな
り、全ての切り換え位置に対して適切に切り換えが行え
る。

【００４３】このように、本実施の形態の映像信号切換
装置１においては、ＭＰＥＧストリームのイフェクトス
イッチングをフレーム単位で、実時間で行うことができ
る。さらに、イフェクトスイッチングを行った近傍のみ
若干画質が劣化するが、それ以外は元のＭＰＥＧストリ
ームを用いるので、画質の劣化が全くない。

【００４４】なお、本発明は本実施の形態に限られるも
のではなく、種々の改変が可能である。たとえば、映像
信号切換装置１の構成は、図１に限られるものではなく
任意好適に改変してよい。また、イフェクトスイッチャ
１５の構成は、本実施の形態のような２入力１出力で、
式１に示されるようなイフェクトを加えるものに限られ
ず、さらに多くの映像信号を参照してイフェクトをかけ
るような構成でもよい。また、本実施の形態で例示した
ＭＰＥＧストリームは、ＩまたはＰピクチャが現れる周
期Ｍ＝３ＤＥ、ＧＯＰ内のピクチャ枚数Ｎ＝６の構成と
したが、これに限られるものではなっく、任意のＧＯＰ
構成に対応可能である。また、エンコーダ１６において
は、出力スイッチャ１８により最終的に選択される映像
信号のみを再符号化してもよいし、その可能性のある一
部分のみを再符号化するようにしてもよいし、切り換え
の有無に限らず常に再符号化するようにしてもよく、そ
の動作条件などは任意でよい。

【００４５】

【発明の効果】以上説明したように、本発明の映像信号
切換装置によれば、画質の劣化を最小期間かつ最小限度
に抑え、ＭＰＥＧ方式により符号化された映像信号に対
して、所望のイフェクトをかけながら適切にスイッチン
グすることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の映像信号切換装置の構
成を示すブロック図である。

【図２】図１に示した映像信号切換装置の制御部の動作
を説明するためのフローチャートである。

【図３】図２に続いて図１に示した映像信号切換装置の
制御部の動作を説明するためのフローチャートである。

【図４】図１に示した映像信号切換装置において、１Ｇ
ＯＰのみを復号化および再符号化する場合の動作を説明
するための図であり、（Ａ）は元のＭＰＥＧストリーム
Ｘを示す図であり、（Ｂ）はデコードされたベースバン
ド映像信号Ｘ(dec) を示す図であり、（Ｃ）は遅延され
たＭＰＥＧストリームＸ(delay) を示す図であり、
（Ｄ）は切り換える次のＭＰＥＧストリームＹを示す図
であり、（Ｅ）はデコードされたベースバンド映像信号
Ｙ(dec) を示す図であり、（Ｆ）は遅延されたＭＰＥＧ
ストリームＹ(delay) を示す図であり、（Ｇ）はイフェ
クトが加えられて切り換えられるベースバンド映像信号
Ｘ＋Ｙ(base)を示す図であり、（Ｈ）は再符号化された
ＭＰＥＧストリームＸ＋Ｙ(enc) を示す図であり、
（Ｉ）はさらに遅延されたＭＰＥＧストリームＸ＋Ｙ(d
elay) を示す図であり、（Ｊ）は出力されるＭＰＥＧス
トリームＸ＋Ｙ(sw)を示す図である。

【図５】図１に示した映像信号切換装置において、１Ｇ
ＯＰのみを復号化および再符号化する場合の動作におけ
る、ＭＰＥＧストリームに対する切り換え指示の位置と
イフェクトスイッチャの出力、および、エンコーダの出
力の関係を示す図であり、（Ａ）〜（Ｆ）は各々ＧＯＰ
内の１番目〜６番目のフレームの直前で切り換えが行わ
れた場合のイフェクトスイッチャの出力、および、エン
コーダの出力を示す図である。

【図６】図１に示した映像信号切換装置において、複数
のＧＯＰを復号化および再符号化する場合の動作を説明
するための図であり、（Ａ）は元のＭＰＥＧストリーム
Ｘを示す図であり、（Ｂ）はデコードされたベースバン
ド映像信号Ｘ(dec) を示す図であり、（Ｃ）は遅延され
たＭＰＥＧストリームＸ(delay) を示す図であり、
（Ｄ）は切り換える次のＭＰＥＧストリームＹを示す図
であり、（Ｅ）はデコードされたベースバンド映像信号
Ｙ(dec) を示す図であり、（Ｆ）は遅延されたＭＰＥＧ
ストリームＹ(delay) を示す図であり、（Ｇ）はイフェ
クトが加えられて切り換えられるベースバンド映像信号
Ｘ＋Ｙ(base)を示す図であり、（Ｈ）は再符号化された
ＭＰＥＧストリームＸ＋Ｙ(enc) を示す図であり、
（Ｉ）はさらに遅延されたＭＰＥＧストリームＸ＋Ｙ(d
elay) を示す図であり、（Ｊ）は出力されるＭＰＥＧス
トリームＸ＋Ｙ(sw)を示す図である。

【図７】図１に示した映像信号切換装置において、複数
のＧＯＰを復号化および再符号化する場合の動作におけ
る、ＭＰＥＧストリームに対する切り換え指示の位置と
イフェクトスイッチャの出力、および、エンコーダの出
力の関係を示す図であり、（Ａ）〜（Ｆ）は各々ＧＯＰ
内の１番目〜６番目のフレームの直前で切り換えが行わ
れた場合のイフェクトスイッチャの出力、および、エン
コーダの出力を示す図である。

【符号の説明】

１…映像信号切換装置、１０…マトリクススイッチャ、
１１…第１のデコーダ、１２…第２のデコーダ、１３…
第１の遅延回路、１４…第２の遅延回路、１５…イフェ
クトスイッチャ、１６…エンコーダ、１７…第３の遅延
回路、１８…出力スイッチャ、１９…制御部、２０…操
作部、２１…表示部、２２…モニタ

Claims

【特許請求の範囲】

【請求項１】入力される複数のＭＰＥＧストリームを、
イフェクトを加えながら切り換えて、１つのＭＰＥＧス
トリームとして出力する映像信号切換装置であって、入力され出力されている第１のＭＰＥＧストリーム、お
よび、入力され前記第１のＭＰＥＧストリームから切り
換えて次に出力される第２のＭＰＥＧストリームを、各
々復号化し、第１の映像信号および第２の映像信号を生
成する２つの復号化手段と、前記生成された第１の映像信号および第２の映像信号の
いずれかを実質的に選択し出力する手段であって、該第
１の映像信号および第２の映像信号に対して所望の位置
から所望の期間、所望のイフェクトを加え、該イフェク
トの加えられた映像信号を挟んで前記選択し出力する信
号を前記第１の映像信号から前記第２の映像信号に切り
換えるイフェクト切換手段と、前記イフェクト切換手段より出力される映像信号を、前
記第１のＭＰＥＧストリームおよび前記第２のＭＰＥＧ
ストリームと同一のＭＰＥＧ符号化方式で符号化し第３
のＭＰＥＧストリームを生成する符号化手段と、前記入力された第１のＭＰＥＧストリーム、前記入力さ
れた第２のＭＰＥＧストリーム、および、前記生成され
た第３のＭＰＥＧストリームのいずれかを選択する手段
であって、通常は前記第１のＭＰＥＧストリームを選択
し、映像信号の切り換えが指示された所定期間は前記第
３のＭＰＥＧストリームを選択し、該所定期間経過後、
前記第２のＭＰＥＧストリームを選択する出力選択手段
とを有する映像信号切換装置。
【請求項２】前記符号化手段は、前記イフェクト切り換
え手段より出力される映像信号の、前記所望のイフェクトが加えられた映像信号を包含する
所定の期間の映像信号をスイッチ期間の映像信号として
符号化し、前記出力選択手段は、前記符号化されたスイッチ期間の
映像信号を前記所定期間の第３のＭＰＥＧストリームと
して選択する請求項１記載の映像信号切換装置。
【請求項３】前記符号化手段は、前記所望のイフェクト
が加えられた映像信号の期間を、前記スイッチ期間の映
像信号として符号化する請求項２記載の映像信号切換装
置。
【請求項４】前記符号化手段は、前記所望のイフェクト
が加えられた映像信号と、該映像信号に続く前記第２の
映像信号の所定のＧＯＰ区間を、前記スイッチ期間の映
像信号として符号化する請求項２記載の映像信号切換装
置。
【請求項５】前記符号化手段は、前記スイッチ期間の映
像信号の先頭のＧＯＰをクローズドＧＯＰとして符号化
し、該ＧＯＰ以降のＧＯＰをオープンＧＯＰとして符号
化する請求項４記載の映像信号切換装置。
【請求項６】前記符号化手段は、前記スイッチ期間の映
像信号を、前記第１のＭＰＥＧストリームおよび前記第
２のＭＰＥＧストリームの対応する期間のＧＯＰ構成と
同じＧＯＰ構成で、Ｉピクチャの位相を同じにして符号
化する請求項５記載の映像信号切換装置。
【請求項７】前記出力選択手段に入力される前記入力さ
れた第１のＭＰＥＧストリーム、前記入力された第２の
ＭＰＥＧストリーム、および、前記符号化された第３の
ＭＰＥＧストリームが時系列的に同期するように、前記
各ＭＰＥＧストリームの該出力選択手段への入力タイミ
ングを調整するタイミング調整手段をさらに有し、前記出力選択手段は、前記タイミング調整手段により時
系列的にタイミングが同じに調整された前記第１のＭＰ
ＥＧストリーム、前記第２のＭＰＥＧストリーム、およ
び、前記第３のＭＰＥＧストリームのいずれかを選択す
る請求項６記載の映像信号切換装置。
【請求項８】前記イフェクト切換手段においてイフェク
トを加える位置、期間、および加えるイフェクトの内容
を実質的に指示する指示手段をさらに有し、前記第１の映像信号および前記第２の映像信号に対し
て、前記指示された位置から前記指示された期間、前記
指示された内容のイフェクトが加えられた映像信号を介
して、前記第１のＭＰＥＧストリームから前記第２のＭ
ＰＥＧストリームに切り換える請求項７記載の映像信号
切換装置。
【請求項９】複数のＭＰＥＧストリームより、入力され
出力される前記第１のＭＰＥＧストリームと、該第１の
ＭＰＥＧストリームと切り換えて次に出力する前記第２
のＭＰＥＧストリームとを選択する入力選択手段をさら
に有し、該入力選択手段において、前記映像信号の切り換え終了
後、切り換えられて出力が開始されたＭＰＥＧストリー
ムを前記第１のＭＰＥＧストリームとして選択し、切り
換えられて出力の終了した元の第１のＭＰＥＧストリー
ムに代えて新たなＭＰＥＧストリームを前記第２のＭＰ
ＥＧストリームとして選択することにより、複数のＭＰ
ＥＧストリームを順次切り換える請求項８記載の映像信
号切換装置。
【請求項１０】前記イフェクト切換手段は、前記第１の
映像信号および前記第２の映像信号のミックス、フェー
ドアウト／イン、ワイプのいずれか、またはそれらを組
み合わせた処理を行い、前記第１の映像信号から前記第
２の映像信号に切り換える映像信号を生成し、該生成さ
れた映像信号を挟んで前記選択し出力する信号を前記第
１の映像信号から前記第２の映像信号に切り換える請求
項９記載の映像信号切換装置。