JPH0981115A

JPH0981115A - 画像処理装置

Info

Publication number: JPH0981115A
Application number: JP7238431A
Authority: JP
Inventors: Sadayasu Ono; 定康小野; Tetsuo Fujii; 哲郎藤井; Ryuta Suzuki; 隆太鈴木; Atsumichi Murakami; 篤道村上
Original assignee: Mitsubishi Electric Corp; Nippon Telegraph and Telephone Corp
Current assignee: Mitsubishi Electric Corp; NTT Inc
Priority date: 1995-09-18
Filing date: 1995-09-18
Publication date: 1997-03-28

Abstract

(57)【要約】【目的】リアルタイムで画像の特殊表示、編集などが
できる画像処理装置を提供する。【構成】３つの画像データ蓄積手段と、この画像デー
タ蓄積手段と３系統で接続され、この３系統と別の３系
統との接続を切り替える切り替え手段と、その前記別の
３つの端子に接続され、この別の３つの端子から入力さ
れる画像データに対し演算処理を行うとともに、その演
算結果を前記別の３つの端子に出力する演算手段と、そ
の演算結果を出力する出力手段と、前記画像データ蓄積
手段のうちの２つから出力された画像データを前記切り
替え手段により前記演算手段に入力するとともに、前記
演算手段による演算結果出力を前記切り替え手段により
前記該画像データ蓄積手段のうちの１つに出力するよう
に前記切り替え手段を制御する制御手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はデジタル画像の蓄積・
処理などを行う画像処理装置、特に画像のリアルタイム
編集や特殊効果表示を行うような画像処理装置に関する
ものである。

【０００２】

【従来の技術】図１０は従来の汎用ワークステーション
を用いた画像処理装置の構成図である。図１０におい
て、２１は中央処理装置（以下ＣＰＵという）、２２は
システムメモリ、２３は外部Ｉ／Ｏインタフェース、２
４はディスク、２５はグラフィックアクセレレータ、２
６はフレームバッファ、２７はルックアップテーブル、
２８はＤＡ変換器、２９はモニタ、３０は汎用バスであ
る。

【０００３】次に動作について説明する。まず、通常の
画像表示を行うときの動作を説明する。通常画像データ
は外部ディスク２４に蓄積されており、まず、ＣＰＵ２
１はバス５０経由、外部Ｉ／Ｏ２３経由で外部ディスク
２４より画像データをシステムメモリ２２に転送し、次
にシステムメモリ２２に蓄積された画像データをグラフ
ィックアクセレレータ２５経由でフレームバッファ２６
に転送する。

【０００４】次に画像データはモニタ２９の表示の周期
に同期してルックアップテーブル２７に読み出され、こ
こで各色毎に非線形変換を施されてＤＡ変換器２８に転
送され、ここでアナログビデオ信号に変換されてモニタ
２９に出力され表示される。次にフェード、ディゾルブ
（現在の画像から別の画像に徐々に変化していく画像効
果）などの特殊効果表示を行うときの動作を説明する。
これらの特殊効果を実現するには２通りの手法がある。

【０００５】第１の手法では特殊効果の演算をＣＰＵ２
１を用いて行う。この場合、ＣＰＵ２１はまず、特殊効
果演算を行うために必要な画像データを前記通常表示の
場合と同様にして外部ディスク２４よりシステムメモリ
２２に転送する。例えばディゾルブの演算を行う場合は
変化前と変化後の２つのフレームに対応する領域のデー
タが必要である。次いでＣＰＵ２１はシステムメモリ２
２から画像データを読み出し、特殊効果演算を行って、
演算結果をグラフィックアクセレレータ２５経由でフレ
ームバッファ２６に転送する。その後は前記通常表示の
場合と同様にしてルックアップテーブル２７、ＤＡ変換
器２８を経由してモニタ２９に表示される。

【０００６】第２の手法では特殊効果の演算をグラフィ
ックアクセレレータ２５を用いて行う。この場合例えば
ディゾルブ演算を行う場合は、フレームバッファ２６は
少なくとも４フレーム分の画像データを蓄積できる容量
が必要である。このときの動作を図１１を用いて説明す
る。フレームバッファ(#1)〜フレームバッファ(#4)はそ
れぞれフレームバッファ２６の１フレーム分のエリアを
示す。ディゾルブはフレームバッファ(#1)およびフレー
ムバッファ(#2)に蓄積された２フレームの画像間で行う
ものとする。

【０００７】図１１の時刻ｔ１において、フレームバッ
ファ(#1)には１フレーム目の画像データが、フレームバ
ッファ(#2)には２フレーム目の画像データが蓄積されて
おり、またフレームバッファ(#4)には時間ｔ１までにデ
ィゾルブ演算された結果が蓄積されているものとする。

【０００８】モニタ２９の垂直同期信号に同期して時間
ｔ１で、フレームバッファ(#4)からディゾルブ演算され
た結果の画像データが読み出され、ルックアップテーブ
ル２７、ＤＡ変換器２８を経由してモニタ２９に表示さ
れる。同時に時刻ｔ１から、グラフィックアクセレレー
タ２５はフレームバッファ(#1)およびフレームバッファ
(#2)から対応する領域の画像データを読み出しながら、
それぞれの画像データに０から１までの範囲の係数を乗
じ、これらを加算し、その演算結果ｆ（＃１，＃２，ｔ
２）をフレームバッファ(#3)に書き込んでいく。これを
１フレーム分の演算が終了するまで繰り返す。

【０００９】グラフィックアクセレレータ２５により１
フレーム分の演算が終了すると、そこから次のモニタ２
９の垂直同期信号（図１１の時刻ｔ２）に同期して、今
度はフレームバッファ(#3)から演算結果ｆ（＃１，＃
２，ｔ２）がよみだされ、モニタ２９に表示される。こ
のとき同時にグラフィックアクセレレータ２５は前記の
動作と同様にフレームバッファ(#1)およびフレームバッ
ファ(#2)から対応する領域の画像データを読み出しなが
ら、ディゾルブ演算を行い、今度はフレームバッファ(#
4)に演算結果を書き込んでいく。このようにして２つの
フレーム間のディゾルブの結果が出力されていく。

【００１０】このような従来の装置では、グラフィック
アクセレレータ２５はフレームバッファ２６からのデー
タ読み込み、演算処理、フレームバッファ２６への演算
結果の書き込みを行っているので処理負荷が大きく、モ
ニタ２９の垂直同期信号の間に１フレーム分の処理が終
らないので、その間、モニタ２９へは前回のディゾルブ
処理結果を反復（図１１の例では３回反復）して表示し
ており、リアルタイムな特殊効果画像の表示が困難であ
る。さらに従来の装置では、時刻ｔ１までに特殊効果演
算を行った結果は時刻ｔ１から表示され、時刻ｔ１から
ｔ２までの特殊効果演算結果は時刻ｔ２から表示される
ようになっているので、データの入力から特殊効果画像
の表示までに遅延がある。

【００１１】

【発明が解決しようとする課題】従来の汎用ワークステ
ーションを用いた画像処理装置は以上のように構成され
ているため、フレームバッファに読み出された画像デー
タは、１フレーム分の演算にかかる時間に対応した遅延
の後、モニタの同期タイミングに基づいて表示されるの
で、リアルタイムに近い特殊効果画像の表示などを行う
ことが困難であるという問題があった。

【００１２】特に処理するデータが多い高精細画像の特
殊効果画像の表示などを行う場合、メモリ読み出し／書
き込み、バスのデータ転送能力、ＣＰＵ演算能力、グラ
フィックアクセレレータ処理能力などを高速にしたとし
てもこれらの高速化に限界があることから、リアルタイ
ムに近付けることは困難であった。

【００１３】この発明は、上記のような問題点を解消す
るためになされたものであり、例えば高精細画像のよう
なデータ量の多い画像をリアルタイムで、編集したり、
フェード、ディゾルブのような特殊効果表示を行うこと
ができる画像処理装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記のような問題点を解
消するためにこの発明では、画像データを蓄積する３つ
の画像データ蓄積手段と、この画像データ蓄積手段と３
系統で接続され、この３系統と別の３系統との接続を切
り替える切り替え手段と、この切り替え手段の前記別の
３つの系統に接続され、この別の３つの系統から入力さ
れる画像データに対し演算処理を行うとともに、その演
算結果を前記別の３つの系統に出力する演算手段と、こ
の演算手段で演算された演算結果を出力する出力手段
と、前記画像データ蓄積手段のうちの２つから出力され
た画像データを前記切り替え手段により前記演算手段に
入力するとともに、前記演算手段による演算結果出力を
前記切り替え手段により前記該画像データ蓄積手段のう
ちの１つに出力するように前記切り替え手段を制御する
制御手段とを備えたものである。

【００１５】また、前記制御手段は、前記切り替え手段
の前記別の３つの系統のうちの２つから画像データを前
記演算手段に入力するとともに、演算手段の演算結果を
もう１つの系統に出力するように制御する構成とする。

【００１６】また、前記画像データ蓄積手段は、少なく
とも１系統の、２方向以上からのアクセスが可能で、少
なくとも１フレーム分のビットマップデータまたはオー
バーレイデータを蓄積する機能を有するフレームバッフ
ァで構成し、前記演算手段の出力と前記フレームバッフ
ァに蓄積されたオーバーレイデータに基づいて信号領域
の非線形変換を行う非線形変換手段を設ける。

【００１７】また、前記各画像データ蓄積手段のそれぞ
れ一方のポートを共通のメモリバスで接続するととも
に、このメモリバス上に少なくとも１フレーム分の画像
データを蓄積するオフスクリーンメモリと、各画像デー
タ蓄積手段、オフスクリーンメモリ間のデータを交換を
制御するデータ交換手段とを備える。

【００１８】また、汎用演算手段と、この汎用演算手段
が管理するメモリと、前記汎用演算手段と前記データ交
換手段とを接続する汎用バスと、この汎用バスに接続さ
れ、外部のディスクにアクセスする外部インタフェース
手段とを備える。

【００１９】また、画像ビデオ信号をデジタル信号にＡ
Ｄ変換するＡＤ変換手段と、前記メモリバスに接続さ
れ、前記ＡＤ変換手段の出力を少なくとも１フレーム分
蓄積するビデオ信号蓄積手段とを備え、前記データ交換
手段により、前記ビデオ信号蓄積手段から前記画像デー
タ蓄積手段にビデオ信号を転送するビデオ信号転送制御
手段を備える。

【００２０】また、前記制御手段は、前記３つの画像デ
ータ蓄積手段のうち２つ以上の画像データ蓄積手段から
読み出される画像データを１つの画像データ蓄積手段に
おけるビット長より長いビット長の１つのまとまったデ
ータとして、前記演算手段に出力するように制御する構
成を備える。

【００２１】また、前記画像データ蓄積手段、切り替え
手段、演算手段をカラープレーン毎に備え、前記制御手
段は、前記切り替え手段による前記画像データ蓄積手段
から前記演算手段へのデータ転送においてカラープレー
ン間のデータ交換を行うよう制御する構成を備える。

【００２２】

【作用】この発明においては、３つの画像データ蓄積手
段が、制御手段による制御に応じて切り替え手段によ
り、演算手段に接続され、画像データ蓄積手段から演算
手段への画像データ入力、および演算手段からの画像デ
ータ蓄積手段への演算結果の書き込みが行われるととも
に、演算手段で行われる演算結果が出力手段に出力され
るので、画像データが即座に処理される。

【００２３】また、前記制御手段が、前記切り替え手段
の前記別の３つの系統のうちの２つから画像データを前
記演算手段に入力するとともに、演算手段の演算結果を
もう１つの系統に出力するように制御するので、画像を
リアルタイムで、編集したり、フェード、ディゾルブの
ような特殊効果表示が行える。

【００２４】また、前記画像データ蓄積手段が、少なく
とも１フレーム分のビットマップデータまたはオーバー
レイデータを蓄積し、前記演算手段の出力と前記フレー
ムバッファに蓄積されたオーバーレイデータに基づいて
非線形変換手段が信号領域の非線形変換を行うので、画
像をリアルタイムで合成することができる。

【００２５】また、データ交換手段により、メモリバス
を介してオフスクリーンメモリからの画像データを、各
画像データ蓄積手段に転送するので、演算に用いる画像
のスムーズな切り換えが可能になる。

【００２６】また、汎用演算手段および外部のディスク
を備えるので、複雑な処理が行え、また大量のデータを
蓄積することができる。

【００２７】また、画像ビデオ信号がＡＤ変換手段によ
りデジタル信号にＡＤ変換されビデオ信号蓄積手段に蓄
積されるとともに、前記データ交換手段により、前記ビ
デオ信号蓄積手段から前記画像データ蓄積手段にビデオ
信号が転送されることにより、動画の特殊効果表示を行
うことができる。

【００２８】また、前記制御手段は、前記３つの画像デ
ータ蓄積手段のうち２つ以上の画像データ蓄積手段から
読み出される画像データを１つの画像データ蓄積手段に
おけるビット長より長いビット長の１つのまとまったデ
ータとして、前記演算手段に出力するので、画像データ
のビット拡張が行える。

【００２９】また、前記制御手段が、カラープレーン毎
に設けられた画像データ蓄積手段、切り替え手段、演算
手段をカラープレーン間のデータ交換を行うよう制御す
るので、カラープレーン間のデータ処理ができる。

【００３０】

【実施例】

実施例１.以下、この発明における画像処理装置の一実
施例を説明する。図１において、２１は汎用演算手段と
しての中央処理装置（以下ＣＰＵという）、２２はこの
ＣＰＵ２１に接続され、管理されるシステムメモリ、２
３は前記ＣＰＵ２１と汎用バス５０により接続され、外
部ディスク２４にアクセスする外部インタフェース手
段、２５は前記ＣＰＵ２１と汎用バス５０により接続さ
れたグラフィックアクセレレータである。汎用演算手段
としてＣＰＵ２１の他、信号処理プロセッサ（ＤＳＰ）
などで構成してもよい。

【００３１】２６ａ〜２６ｄは画像データを蓄積する画
像データ蓄積手段としてのフレームバッファ、２７はル
ックアップテーブル、２８はＤ／Ａ変換器、２９はモニ
タ、３０は切り替え手段としてのクロスバースイッチ、
３１は特殊効果などの演算を行う演算手段としての演算
器、３２はフレームバッファ２６ａ〜２６ｄ、演算器３
１などの制御を行う制御手段としての制御回路、３３は
メモリバス、３４はオフスクリーンメモリである。１０
０ａ〜１００ｃは入出力画像データ、１０１は入出力ビ
ットマップまたはオーバレイデータ、１０２は制御デー
タである。

【００３２】次に図１の装置の動作について説明す
る。まず、通常の画像表示を行うときの動作を説明す
る。画像データは外部ディスク２４に蓄積されており、
まず、ＣＰＵ２１はバス５０経由、外部Ｉ／Ｏ２３経由
で外部ディスク２４より画像データをシステムメモリ２
２に転送し、次にシステムメモリ２２に蓄積された画像
データをグラフィックアクセレレータ２５経由でフレー
ムバッファ２６ａ〜２６ｃに転送する。次に画像データ
はモニタ２９表示の周期に同期してクロスバースイッチ
３０、演算器３１を経由して、ルックアップテーブル２
７に転送され、ここで各色毎に非線形変換を施されてＤ
Ａ変換器２８に転送され、ここでアナログビデオ信号に
変換されてモニタ２９に出力される。

【００３３】次に図１および図２により、フレームバッ
ファ２６ａ〜２６ｃを入力トリプルバッファとして使用
し、ディゾルブ表示を行う場合の動作を述べる。図２の
時刻ｔ１においてフレームバッファ(#1)２６ａ、フレー
ムバッファ(#2)２６ｂにはそれぞれフレーム＃１、フレ
ーム＃２の画像データが既に入っているとする。制御回
路３２により、モニタ２９の垂直同期信号に同期して時
刻ｔ１から、フレームバッファ(#1)２６ａからはフレー
ム＃１のデータが、フレームバッファ(#2)２６ｂからは
フレーム＃２のデータがそれぞれ並行してクロスバース
イッチ３０側に読み出され、クロスバースイッチ３０を
ストレートに通過して、演算器３１に入力される。

【００３４】これらの入力されてきたデータに対して演
算器３１では逐次ディゾルブのための積和演算が施さ
れ、その演算結果ｆ（＃１，＃２，ｔ１）はルックアッ
プテーブル２７に出力される。ルックアップテーブル２
７では、演算器３１からの出力データと、フレームバッ
ファ(#4)２６ｄから出力されたオーバレイデータとのど
ちらか一方が選択され、この選択されたデータに対し非
線形変換が行われ、そのデータはＤＡ変換器２８に入力
されてデジタル信号からアナログビデオ信号に変換さ
れ、モニタ２８に出力される。

【００３５】以上のような、フレームバッファ(#1)２６
ａ、(#2)２６ｂからのデータ読みだしからディゾルブ演
算結果ｆ（＃１，＃２，ｔ１）のモニタ２８への表示ま
での動作は、リアルタイムで行われ、すなわち垂直同期
信号から垂直同期信号までの間に表示の１フレーム分が
行われる。現在フレームバッファ(#1)２６ａ、(#2)２６
ｂに蓄積されているフレーム＃１とフレーム＃２につい
て、ディゾルブの演算の係数を変化させながら複数回
（ｎ回）の演算を行い表示していくことによりスムーズ
にディゾルブ表示ができる。

【００３６】一方、上記の動作と並行してフレーム＃３
の画像データは制御回路３２の制御によりシステムメモ
リ２２からグラフィックアクセレレータ２５、バス５０
を経由してフレームバッファ(#3)２６ｃに転送され書き
込まれる。すなわち、フレームバッファ(#1)２６ａ、(#
2)２６ｂからのクロスバースイッチ３０側への読みだし
と、バス５０を経由したフレームバッファ(#3)２６ｃへ
の書き込みが並行して行われる。このフレーム＃３の画
像データ転送と、前記フレーム＃１とフレーム＃２との
ディゾルブシーケンスが完了した後、次の垂直同期信号
（図２のｔ11）に同期してフレームバッファ(#1)２６ａ
はフレーム＃４の画像データの書き込み動作に移り、フ
レームバッファ(#3)２６ｃはフレーム＃３のデータの読
み出し動作に移る。

【００３７】クロスバースイッチ３０は制御回路３２の
制御により、フレームバッファ(#2)２６ｂの出力とフレ
ームバッファ(#3)２６ｃの出力を演算器３１の入力デー
タポートに出力するように内部のスイッチを切り替え
る。これにより今度はフレーム＃２とフレーム＃３によ
るディゾルブ演算・表示が行われることになる。この演
算・表示動作とフレームバッファ(#1)２６ａへのフレー
ム＃４の書き込み動作とが並行して行われる。以下これ
らの動作の繰り返しにより、リアルタイムにスムーズな
ディゾルブ動作が実現できる。

【００３８】次にこの実施例で用いられる演算器３１の
構成について述べる。図３において、３００ａ、３００
ｂは入力画像データ、３００ｃはフィードバック画像デ
ータ、３０１は出力画像データ、３０２は制御信号、３
０３は出力セレクタ選択信号、４１ａ、４１ｂは乗算
器、４２は加算機、４３ａ、４３ｂは乗数ラッチ、４４
は出力セレクタ、４５はフィードバックセレクタであ
る。

【００３９】次に演算器３１の動作について述べる。入
力画像データ３００ａ、３００ｂに乗ずる乗数は、各フ
レームの演算に先立って、それぞれ個別にタイミングを
変えた制御信号３０２により、ラッチ４３ａ、４３ｂに
記憶される。入力画像データ３００ａ、３００ｂはそれ
ぞれ、乗算器４１ａ、４１ｂによって、該ラッチ４３
ａ、４３ｂから出力される乗数と乗算され、加算器４２
で加算され、セレクタ４４に出力される。セレクタ４４
では出力セレクタ選択信号３０３により、この加算器４
２からの演算結果と、２系統の入力画像データ３００
ａ、３００ｂのうち１つが選択され、出力画像データ３
０１として出力されるとともに、フィードバックセレク
タ４５に出力される。

【００４０】このフィードバックセレクタ４５で、前記
出力画像データ３０１と前記加算器４２からの演算結果
とのいずれかが、制御信号３０２によって選択され、フ
ィードバックデータ３００ｃとして出力される。例えば
ディゾルブ演算を行う場合は２系統の入力画像信号３０
０ａ、３００ｂにそれぞれ０から１までの範囲の乗数を
乗じてそれらを加算することになる。このとき、乗数を
フレーム単位で徐々に変化させることにより滑らかなデ
ィゾルブが実現できる。

【００４１】以上の実施例の動作ではディゾルブ表示の
場合について説明したが、２つのフレームの画像データ
を用いた画像編集およびその他の演算や、１フレームの
画像データを用いたフェードイン／フェードアウトなど
の画像効果の表示においても同様な動作によりリアルタ
イムの表示が行える。フェード、ディゾルブの場合の処
理は以下の式で表される。フェード P(i,j)＝α*Q(k,l) （０≦α≦１）ディゾルブ P(i,j)＝(1-α)*Q(k,l) + α*R(m,n) （０≦α≦１）ここで、P(i,j)は算術演算後の画像データ、Q(k,l)とR
(m,n)は算術演算前の画像データ、αは０から１までの
範囲の値をとる乗数、括弧内のi,j,k,l,m,nはある画素
の、画像内における２次元座標値を示す数で、それぞれ
０から画像の縦横のサイズの最大値までの値をとる。

【００４２】以上の実施例では、表示する画像データを
外部Ｉ／Ｏ２３経由で外部ディスク２４より転送したも
のを示したが、画像データの入力元はこれに限らず、例
えば画像データを通信路から入力するものでもよい。

【００４３】実施例２次に図１および図４を用いてリアルタイム編集動作につ
いて述べる。リアルタイム編集動作の場合、制御回路３
２はフレームバッファ(#1)２６ａ〜フレームバッファ(#
3)２６ｃのうちの１つを編集結果データのフィードバッ
ク用として動作するように制御を行う。まず、図４にお
いて時刻ｔ１の時点で既に、フレームバッファ(#1)２６
ａ、フレームバッファ(#2)２６ｂにはそれぞれフレーム
＃１、フレーム＃２の画像データが入っているとする。

【００４４】垂直同期信号に同期して時刻ｔ１から、フ
レームバッファ(#1)２６ａからはフレーム１データが、
フレームバッファ(#2)２６ｂからはフレーム＃２データ
がそれぞれ読み出され、クロスバースイッチ３０をスト
レートに通過して、演算器３１に入力される。これらの
データに対して演算器３１で積和演算が施され、ルック
アップテーブル２７でフレームバッファ(#4)２６ｄから
のオーバレイデータとのマージおよび、非線形変換が行
われ、ＤＡ変換器でアナログビデオ信号に変換されてモ
ニタ２９に出力される。ここまでは前記実施例１の動作
と同様である。この実施例では、以上の動作と並行し
て、演算器３１で演算された出力データｆ（＃１，＃
２，ｔ１）が、ルックアップテーブル２７へ出力される
と同時に図３に示したフィードバックデータ３００ｃと
してクロスバースイッチ３０を経由してフレームバッフ
ァ(#3)２６ｃへ書き込まれるように、制御回路３２によ
る制御が行われる。

【００４５】すなわち、モニタ表示データからルックア
ップテーブル２７処理を除いたデータがリアルタイムで
フレームバッファ(#3)２６ｃに書き込まれることにな
る。次にこのフレームバッファ(#3)２６ｃのデータｆ
（＃１，＃２，ｔ１）を任意のタイミングで、１〜数表
示フレーム時間を用いて、グラフィックアクセレレータ
２５経由、バス５０経由、ＣＰＵ２１経由でシステムメ
モリ２２に、または外部Ｉ／Ｏ２３経由でディスク２４
に読み出す。この読み出し動作中は演算器３１の演算係
数を変えないようにする。この動作を連続して行うこと
により、特殊効果を施した動画のシーケンスを取得でき
る。

【００４６】実施例３次に図１および図５を用いて、フィルタ動作について述
べる。このフィルタ動作は次の演算式で表される。ｘは
画素の値、αは乗数である。

【００４７】

【数１】

【００４８】２次元フィルタは１次元フィルタをｘ座標
についてかけ、その結果に対して再度１次元フィルタを
ｙ座標についてかけることと等価である。従ってここで
は１次元フィルタ動作について述べる。図５において、
時刻ｔ１でフレームバッファ(#1)２６ａおよび、フレー
ムバッファ(#2)２６ｂにはフィルタをかける元の画像デ
ータが書き込まれているとする。まず、垂直同期信号に
同期してフレームバッファ(#1)２６ａおよび、フレーム
バッファ(#2)２６ｂからクロスバースイッチ３０を経由
して演算器３１に画像データを読み出す。このとき、制
御回路３２はフレームバッファ(#2)２６ｂから読み出す
画像データの画素が、フレームバッファ(#1)２６ａから
読み出す画像データ画素の右隣の画素になるようにアド
レスを１進めておく。

【００４９】演算器３１ではフレームバッファ(#1)２６
ａから読み出された画像データに係数ａ_-kを、フレーム
バッファ(#2)２６ｂから読み出された画像データに係数
ａ_-k ₊₁を乗じて加算し、クロスバースイッチ３０経由で
フレームバッファ(#3)２６ｃに転送する。このデータを
フレーム＃１’データとする。前記動作を１フレームに
わたって行ったのち、制御回路３２により、次の垂直同
期信号に同期して、今度はフレームバッファ(#1)２６ａ
および、フレームバッファ(#3)２６ｃから画像データを
読み出すように制御が行われる。

【００５０】このとき、フレームバッファ(#1)２６ａは
フレームバッファ(#3)２６ｃよりもアドレスを２進めて
おく。演算器３１ではフレームバッファ(#1)２６ａ読み
出しデータに係数ａ_-k+2を乗じてフレームバッファ(#3)
２６ｃデータと加算し、フレームバッファ(#2)２６ｂに
書き戻す。この操作を繰り返すことにより２ｋ＋１タッ
プのフィルタ演算が実現できる。

【００５１】１次元フィルタは一般的に次のような式の
演算をくり返し行うことで実現できる。 P(i,j)＝α*Q(i-1,j) + β*R(i,j) または P(i,j)＝α*Q(i,j-1) + β*R(i,j) ここで、P(i,j) は算術演算後の画像データ、Q(i,j) 、
R(i,j) は算術演算前の画像データ、α、βはそれぞれ
任意の値をとる乗数、括弧内のi,jはある画素の、画像
内における２次元座標値を示す数で、それぞれ０から画
像の縦横のサイズの最大値までの値をとる。

【００５２】実施例４前記演算器３１の構成は図３に示したが、同様にして、
少なくとも３個の乗算器と少なくとも２個の加算器を用
いて構成することにより、以下のような１次元フィル
タ、あるいはカラーコンバージョンが可能となる。１次元フィルタ P(i,j)＝α*Q(i-1,j) + β*Q(i,j) + γ*Q(i+1,j) または P(i,j)＝α*Q(i,j-1) + β*Q(i,j) + γ*Q(i,j+1) カラーコンバージョン C(i,j)＝α*R(i,j) + β*G(i,j) + γ*B(i,j) ここで、P(i,j) は算術演算後の画像データ、Q(i,j) は
算術演算前の画像データ、C(i,j)は算術演算後の画像デ
ータのカラーコンポーネント中のある１色成分、R(i,
j)、G(i,j)、B(i,j)、はそれぞれ算術演算前の画像デー
タのカラーコンポーネント中の赤、緑、青成分、α、
β、γはそれぞれ０から１までの範囲の値をとる乗数、
括弧内の i, jはある画素の、画像内における２次元座
標値を示す数で、それぞれ０から画像の縦横のサイズの
最大値までの値をとる。

【００５３】実施例５次に図６および図７を用いてビデオ信号表示動作につい
て述べる。図６において、３５はビデオフレームバッフ
ァ、３６はＡＤ変換器、４００はビデオ信号である。表
示するビデオ信号の背景となる静止画は図７の時刻ｔ１
においてフレームバッファ(#1)２６ａに蓄積されている
とする。一方、入力ビデオ信号４００はＡＤ変換器３６
においてアナログデジタル変換され、ビデオフレームバ
ッファ３５に書き込まれる。書き込み終了後、ビデオフ
レームバッファ３５の別のエリアに次のビデオフレーム
が転送される。書き込まれたビデオデータは、ビデオ信
号転送手段としてのグラフィックアクセレレータ２５に
より、フレームバッファ(#2)２６ｂに転送され、時刻ｔ
１ではビデオデータ＃１がフレームバッファ(#2)２６ｂ
に蓄積されている。

【００５４】垂直同期信号（時刻ｔ１）に同期してフレ
ームバッファ(#1)２６ａから背景の静止画データが、フ
レームバッファ(#2)２６ｂからはビデオデータが読み出
され、クロスバースイッチ３０を経由して演算器３１に
出力される。この演算器３１で、フレームバッファ(#4)
２６ｄから出力されたビットマップデータに従って背景
とビデオデータが論理演算により合成され、ルックアッ
プテーブル２７経由、ＤＡ変換器２８経由でモニタ２９
に出力される。

【００５５】この読み出しから表示の動作と同時に、ビ
デオフレームバッファ３５から、次のビデオフレームが
メモリバス３３経由でフレームバッファ(#3)２６ｃに転
送されている。そして次の垂直同期信号に同期して今度
はフレームバッファ(#1)２６ａから背景が、フレームバ
ッファ(#3)２６ｃからビデオデータが読み出され、上述
同様に背景とビデオデータが合成されて表示される。こ
れを繰り返すことにより、リアルタイムでビデオの合成
が実現される。

【００５６】実施例６次に図８と図９を用いてディゾルブなどの特殊効果表示
の動画シーケンスを別の装置に出力する動作を述べる。
この図８の構成では、各フレームバッファ２６は、クロ
スバースイッチ３０の反対側もメモリバスではなく個別
に入出力できる構成となっている。フレームバッファ２
６は２ポートメモリで構成される。図９の時刻ｔ１で
は、フレームバッファ(#1)２６ａ、フレームバッファ(#
2)２６ｂにはそれぞれ特殊効果のソース画像に用いるフ
レーム＃１、フレーム＃２が転送されているとする。垂
直同期信号に同期して読み出されたこれらのデータは図
２で説明した動作と同様にして、演算器３１においてｔ
１〜ｔ２の間のディゾルブ演算が施された結果のデータ
ｆ（＃１，＃２，ｔ１）が生成され、ルックアップテー
ブル２７、ＤＡ変換器２８経由で、モニタ２９に表示さ
れる。

【００５７】さらに、このディゾルブ演算が施された結
果のデータｆ（＃１，＃２，ｔ１）は同時にクロスバー
スイッチ３０を経由してフレームバッファ(#3)２６ｃに
書き込まれる。この動作が１フレーム分終了した後、次
の垂直同期信号に同期して（時刻ｔ２）フレームバッフ
ァ(#1)２６ａおよび、フレームバッファ(#2)２６ｂから
は同様にフレーム＃１、フレーム＃２が読み出され、演
算器３１でｔ２〜ｔ３の間にディゾルブ演算が実行され
る。このとき、同時にフレームバッファ(#3)２６ｃから
は前回のシーケンスで生成されたデータｆ（＃１，＃
２，ｔ１）が一方のポートから動画データとして読み出
されるのと同時に、もう一方のポートから、ｔ２〜ｔ３
の間のディゾルブ結果ｆ（＃１，＃２，ｔ２）が書き込
まれる。これを繰り返すことにより、フレーム＃１、フ
レーム＃２をソース画像としたディゾルブ動画シーケン
スが得られる。

【００５８】次に、フレーム＃２、フレーム＃３をソー
ス画像としたディゾルブシーケンスへ移行するために、
前シーケンスの最後の状態すなわち、ＡＬＵ３１におい
てフレーム＃１に０を乗じ、フレーム＃２に１を乗じて
加算している状態で、ＦＢ＃１２６ａにフレーム＃３
の画像を転送する。この転送が終了した後、垂直同期信
号に同期してＦＢ＃１２６ａ、ＦＢ＃２２６ｂから
それぞれフレーム＃３、フレーム＃２データを読み出し
て前記のシーケンスと同様の動作を行うことにより、次
のシーケンスが得られる。

【００５９】実施例７以上の実施例では各フレームバッファ２６は、１フレー
ム毎に対応してデータを蓄積するようにしていたが、複
数のフレームバッファを用いて１つの画像を扱うように
することも可能である。これにより、例えば各フレーム
バッファ２６のビット幅よりも大きいビット幅を持つ画
像データを扱うことができるようになる。例えば、図１
において、フレームバッファ２６のビット幅よりも大き
いビット幅を持つ画像データをフレームバッファ(#1)２
６ａとフレームバッファ(#3)２６ｃの一部とに蓄積し、
もうひとつの画像データをフレームバッファ(#2)２６b
とフレームバッファ(#3)２６ｃの一部とに蓄積するよう
にしておく。

【００６０】これらの画像データ間でディゾルブを行う
ときに、制御回路３２はクロスバースイッチ３０を制御
し、フレームバッファ(#1)２６ａとフレームバッファ(#
3)２６ｃの一部とから読み出された画像データをひとつ
のまとまった画像データとして演算器３１の一方の入力
端に入力し、フレームバッファ(#2)２６bとフレームバ
ッファ(#3)２６ｃの一部とから読み出された画像データ
をもうひとつのまとまった画像データと演算器３１のも
う一方の入力に入力するようにする。このようにすれ
ば、データ幅のビット拡張を容易に行うことができる。

【００６１】実施例８以上の実施例では、画像データ蓄積手段としての複数の
フレームバッファ２６、切り替え手段としてのクロスバ
ースイッチ３０、演算手段としての演算器３１を１セッ
トとした構成のものを説明したが、これらのセットを複
数、例えばカラープレーン毎に備える構成としてもよ
い。即ち、ＲＧＢのカラープレーンであれば、フレーム
バッファ２６を９個備え、クロスバースイッチ３０は９
系統の入力と９系統の出力を切り替える構成となる。こ
のような構成によれば、カラープレーン間のデータ交換
を容易に行うことができ、例えばカラーコンバージョン
を行うことができる。

【００６２】

【発明の効果】以上のようにこの発明によれば画像デー
タを蓄積する３つの画像データ蓄積手段と、この該画像
データ蓄積手段と３系統で接続され、この３系統と別の
３系統との接続を切り替える切り替え手段と、この切り
替え手段の前記別の３つの系統に接続され、この別の３
つの系統のうちの２つから入力される画像データに対し
演算処理を行うとともに、その演算結果をもう１つの系
統に出力する演算手段と、この演算手段で演算された演
算結果を出力する手段と、前記画像データ蓄積手段のう
ちの２つから出力された画像データを前記切り替え手段
により前記演算手段に入力するとともに、前記演算手段
による演算結果出力を前記切り替え手段により前記該画
像データ蓄積手段のうちの１つに出力するように前記切
り替え手段を制御する制御手段とを備えたので、データ
量の多い画像でもリアルタイムで、編集したり、フェー
ド、ディゾルブのような特殊効果表示を行うことができ
る画像処理装置が得られるという効果を奏する。

【００６３】また、前記制御手段は、前記切り替え手段
の前記別の３つの系統のうちの２つから画像データを前
記演算手段に入力するとともに、演算手段の演算結果を
もう１つの系統に出力するように制御する構成とするこ
とにより、データ量の多い画像をリアルタイムで、編集
したり、フェード、ディゾルブのような特殊効果表示を
行うことができる画像処理装置を構成できる。

【００６４】また、前記画像データ蓄積手段は、少なく
とも１系統の、２方向以上からのアクセスが可能で、少
なくとも１フレーム分のビットマップデータまたはオー
バーレイデータを蓄積する機能を有するフレームバッフ
ァで構成し、前記演算手段の出力と前記フレームバッフ
ァに蓄積されたオーバーレイデータに基づいて信号領域
の非線形変換を行う非線形変換手段を設けることによ
り、画像をリアルタイムで合成することができる。

【００６５】また、前記各画像データ蓄積手段のそれぞ
れ一方のポートを共通のメモリバスで接続するととも
に、このメモリバス上に少なくとも１フレーム分の画像
データを蓄積するオフスクリーンメモリと、各画像デー
タ蓄積手段、オフスクリーンメモリ間のデータを交換を
制御するデータ交換手段とを備えることにより、演算に
用いる画像のスムーズな切り換え、あるいは演算結果の
スムーズな蓄積が行えうことができる。

【００６６】また、汎用演算手段と、この汎用演算手段
が管理するメモリと、前記汎用演算手段と前記データ交
換手段とを接続する汎用バスと、この汎用バスに接続さ
れ、外部のディスクにアクセスする外部インタフェース
手段とを備えることにより、汎用演算手段による複雑な
処理が行え、また外部のディスクに大量のデータを蓄積
した画像処理装置が得られる。

【００６７】また、画像ビデオ信号をデジタル信号にＡ
Ｄ変換するＡＤ変換手段と、前記メモリバスに接続さ
れ、前記ＡＤ変換手段の出力を少なくとも１フレーム分
蓄積するビデオ信号蓄積手段とを備え、前記データ交換
手段により、前記ビデオ信号蓄積手段から前記画像デー
タ蓄積手段にビデオ信号を転送するビデオ信号転送手段
を備えることにより、動画の特殊効果表示を行うことが
できる画像処理装置を構成できる。

【００６８】また、前記制御手段は、前記３つの画像デ
ータ蓄積手段のうち２つ以上の画像データ蓄積手段から
読み出される画像データを１つの画像データ蓄積手段に
おけるビット長より長いビット長の１つのまとまったデ
ータとして、前記演算手段に出力するように制御する構
成を備えることにより、画像データのビット拡張が容易
に行える。

【００６９】また、前記画像データ蓄積手段、切り替え
手段、演算手段をカラープレーン毎に備え、前記制御手
段は、前記切り替え手段による前記画像データ蓄積手段
から前記演算手段へのデータ転送においてカラープレー
ン間のデータ交換を行うよう制御する構成を備えること
により、カラーコンバージョンなどのカラープレーン間
のデータ処理が可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例による画像処理装置の構成
を示す構成図。

【図２】この発明の一実施例による画像処理装置の動作
例を示すタイミング図。

【図３】この発明の一実施例による演算器３１の構成を
示す構成図。

【図４】この発明の他の実施例による画像処理装置の動
作例を示すタイミング図。

【図５】この発明のさらに他の実施例による画像処理装
置の動作例を示すタイミング図。

【図６】この発明のさらに他の実施例による画像処理装
置の構成を示す構成図。

【図７】この発明のさらに他の実施例による画像処理装
置の動作例を示すタイミング図。

【図８】この発明のさらに他の実施例による画像処理装
置の構成を示す構成図。

【図９】この発明のさらに他の実施例による画像処理装
置の動作例を示すタイミング図。

【図１０】従来の画像処理の一実施例を示す構成図。

【図１１】従来の画像処理装置の動作例を示すタイミン
グ図。

【符号の説明】

２１ＣＰＵ２２システムメモリ２３外部Ｉ／Ｏインタフェース２４外部ディスク２５グラフィックアクセレレータ２６ａ〜２６ｄフレームバッファ２７ルックアップテーブル２８ＤＡ変換器２９モニタ３０クロスバースイッチ３１演算器３２制御回路３３メモリバス３４オフスクリーンメモリ３５ビデオフレームバッファ３６ＡＤ変換器４１ａ、４１ｂ乗算器４２加算器４４出力セレクタ４５フィードバックセレクタ１００ａ〜１００ｃ入出力画像データ１０１入出力ビットマップデータまたはオーバレイデ
ータ３００ａ、３００ｂ入力画像データ３００ｃフィードバック画像データ３０１出力画像データ３０２制御信号３０２出力セレクタ選択信号４００入力ビデオ信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者鈴木隆太東京都千代田区丸の内二丁目２番３号三菱電機株式会社内 (72)発明者村上篤道東京都千代田区丸の内二丁目２番３号三菱電機株式会社内

Claims

【特許請求の範囲】

【請求項１】画像データを蓄積する３つの画像データ
蓄積手段と、この画像データ蓄積手段と３系統で接続さ
れ、この３系統と別の３系統との接続を切り替える切り
替え手段と、この切り替え手段の前記別の３系統に接続
され、この別の３系統から入力される画像データに対し
演算処理を行うとともに、その演算結果を前記別の３系
統に出力する演算手段と、この演算手段で演算された演
算結果を出力する出力手段と、前記画像データ蓄積手段
のうちの２つから出力された画像データを前記切り替え
手段により前記演算手段に入力するとともに、前記演算
手段による演算結果出力を前記切り替え手段により前記
該画像データ蓄積手段のうちの１つに出力するように前
記切り替え手段を制御する制御手段とを備えたことを特
徴とする画像処理装置。
【請求項２】前記制御手段は、前記切り替え手段の前記
別の３系統のうちの２つから画像データを前記演算手段
に入力するとともに、演算手段の演算結果をもう１つの
系統に出力するように制御する構成を備えたことを特徴
とする画像処理装置。
【請求項３】前記画像データ蓄積手段は、少なくとも
１系統の、２方向以上からのアクセスが可能で、少なく
とも１フレーム分のビットマップデータまたはオーバー
レイデータを蓄積する機能を有するフレームバッファで
構成し、前記演算手段の出力と前記フレームバッファに
蓄積されたオーバーレイデータに基づいて信号領域の非
線形変換を行う非線形変換手段を設けたことを特徴とす
る請求項１記載の画像処理装置。
【請求項４】前記各画像データ蓄積手段のそれぞれ一
方のポートを共通のメモリバスで接続するとともに、こ
のメモリバス上に少なくとも１フレーム分の画像データ
を蓄積するオフスクリーンメモリと、各画像データ蓄積
手段、オフスクリーンメモリ間のデータを交換を制御す
るデータ交換手段とを備えたことを特徴とする請求項３
記載の画像処理装置。
【請求項５】汎用演算手段と、この汎用演算手段が管
理するメモリと、前記汎用演算手段と前記データ交換手
段とを接続する汎用バスと、この汎用バスに接続され、
外部のディスクにアクセスする外部インタフェース手段
とを備えたことを特徴とする請求項４の画像処理装置。
【請求項６】画像ビデオ信号をデジタル信号にＡＤ変換
するＡＤ変換手段と、前記メモリバスに接続され、前記
ＡＤ変換手段の出力を少なくとも１フレーム分蓄積する
ビデオ信号蓄積手段とを備え、前記データ交換手段によ
り、前記ビデオ信号蓄積手段から前記画像データ蓄積手
段にビデオ信号を転送するビデオ信号転送制御手段を備
えたことを特徴とする請求項４の画像処理装置。
【請求項７】前記制御手段は、前記３つの画像データ
蓄積手段のうち２つ以上の画像データ蓄積手段から読み
出される画像データを１つの画像データ蓄積手段におけ
るビット長より長いビット長の１つのまとまったデータ
として、前記演算手段に出力するように制御する構成を
備えたことを特徴とする請求項１の画像処理装置。
【請求項８】前記複数の画像データ蓄積手段、切り替
え手段、演算手段をカラープレーン毎に備え、前記制御
手段は、前記切り替え手段による前記画像データ蓄積手
段から前記演算手段へのデータ転送においてカラープレ
ーン間のデータ交換を行うよう制御する構成を備えたこ
とを特徴とする請求項１の画像処理装置。