JP2012208721A - 画像処理装置、画像処理システム、及びバンク管理方法 - Google Patents

Abstract

【課題】様々な動作周期及び動作開始タイミングに適切に対応できるようにバンク管理を行なう画像処理装置、画像処理システム、及びバンク管理方法を提供する。
【解決手段】画像処理装置は、３つのバンク領域を示す３つのアドレスを格納する第１乃至第３のアドレスレジスタと、フラグと、入力画像切り替わりのタイミングで第１のアドレスレジスタと第２のアドレスレジスタとの間で格納アドレスを入れ替えるとともにフラグをセットし、第１のアドレスレジスタの格納アドレスを入力画像書き込みアドレスとして供給する画像入力バンク管理部と、フラグがセット状態の場合、処理画像切り替わりのタイミングで第２のアドレスレジスタと第３のアドレスレジスタとの間で格納アドレスを入れ替えるとともにフラグをリセットし、第３のアドレスレジスタの格納アドレスを処理画像読み出しアドレスとして供給する画像処理バンク管理部とを含むことを特徴とする。
【選択図】図２

Description

本願開示は、一般に画像処理及びメモリ管理に関し、詳しくはバンクを用いた画像処理及びメモリ管理に関する。

カメラシステムでは、撮像装置により撮像した一連の画像データを画像処理装置により処理し、処理後の一連の画像を表示装置に順次表示する。画像処理装置の動作タイミングに応じて画像処理するためには、入力画像データの１フレーム分を画像処理装置のメモリに格納完了してから、この格納データに対して画像処理を実行し、処理が完了するまで格納データをメモリに保持することになる。

画像処理の実行中にも、次の画像データが撮像装置から入力される。現在処理中の画像データを破壊しないためには、画像を格納する複数のメモリ空間（バンク）を準備し、入力される１フレームの画像データを１つのバンクに格納完了すると、次のフレームの画像データを別のバンクに格納する。この際の格納先バンクの切り替えは、格納先バンクの管理アドレス（例えば、１フレーム分のメモリ空間の先頭アドレス）を入れ替えることにより実現される。

多くのカメラシステムでは、撮像装置と画像処理装置との動作開始タイミングは同期していない。通常、撮像装置用の発振器と画像処理装置用の発振器とは別個の独立したものであり、設計仕様上の発振周波数が同一であっても、実際の動作タイミングは誤差のために完全には一致しない。また撮像装置と画像処理装置とを同期させるためには、同期のための通信制御やＰＬＬ（Phase-locked loop）などの仕組みが必要となり、コスト面で問題がある。従って、撮像装置と画像処理装置とが同期していなくても実用上問題とならないようにシステムを設計することが求められる。以降の説明において、撮像装置と画像処理装置との動作開始タイミングは互いにずれているものとする。

撮像装置と画像処理装置とで動作周期が同一な場合は、最小構成においては３つのバンクが用いられる。これら３つのバンクは、画像入力用の１つのバンクと、処理対象用の２つのバンクである。撮像装置の動作開始タイミングに合わせて、処理対象用の２バンクのうち時間的に古い画像を格納しているバンクと、画像入力用のバンクとを切り替える。一方、画像処理動作の開始タイミングでは、処理対象用の２つのバンクのうち新しい画像が格納されているバンクに対して、画像処理を開始する。処理対象用のバンクは２フレーム期間に亘り同一のデータを保持しているので、１フレーム期間で処理が完了する画像処理であれば、撮像装置と画像処理装置との間にある程度のタイミング差があっても、一連の撮像画像データを破壊することなく処理できる。

撮像装置と画像処理装置とで動作周期が異なる場合、例えば、画像処理装置の動作周期が撮像装置の動作周期の２分の１である場合、最小構成で４つのバンクが用いられる。これら４つのバンクは、画像入力用の１つのバンク、及び、処理対象用の３つのバンクである。撮像装置の動作開始タイミングに合わせて、処理対象用の３バンクのうち時間的に最も古い画像を格納しているバンクと、画像入力用のバンクとを切り替える。一方、画像処理動作の開始タイミングでは、処理対象用の３つのバンクのうち最も新しい画像が格納されているバンクに対して、画像処理を開始する。なお同時に２つの画像処理が、開始タイミングをずらして並列に実行されるものとする。処理対象用のバンクは３フレーム期間に亘り同一のデータを保持しているので、２フレーム期間で処理が完了する画像処理であれば、撮像装置と画像処理装置との間にある程度のタイミング差があっても、一連の撮像画像データを破壊することなく処理できる。

このように、処理対象の画像データを破壊することなく連続フレームの画像の入力及び処理を可能とするためには、撮像装置と画像処理装置との動作周期及び動作開始タイミングの関係に依存して、画像処理装置に備えるバンクの最適数が決まってくる。しかし画像処理装置のバンク切り替えの管理部は、撮像装置の動作タイミングに応じてバンクを切り替えるために、通常はハードウェアとして実現される。ハードウェアであるため、バンク数を可変としてバンク管理するシステムを設計及び実現し、様々な動作周期及び動作開始タイミングに対応することは困難である。また固定のバンク数でバンク管理するように設計したとしても、様々な動作周期及び動作開始タイミングに適切に対応可能なシステムを実現することは難しい。

なお特許文献１には、２つのバッファメモリを交互に入れ替えてデータの読み取り及び転送を同時に行なう方法が開示されている。また引用文献２には、２個以上の物理バンクをフレームメモリ内に確保し、これら物理バンクを対象として、画像データの書き込み及び表示用としての画像データの読み出しを行なうことが開示されている。

特開平８−２１４１３１号公報 特開平１０−３２２６４３号公報

以上を鑑みると、様々な動作周期及び動作開始タイミングに適切に対応できるようにバンク管理を行なう画像処理装置、画像処理システム、及びバンク管理方法が望まれる。

画像処理装置は、３つのバンク領域をそれぞれ示す３つのアドレスをそれぞれ格納する第１乃至第３のアドレスレジスタと、フラグと、撮像装置から入力画像を受付けた場合に前記第１のアドレスレジスタと前記第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをセットし、前記第１のアドレスレジスタの格納アドレスを入力画像書き込みアドレスとして供給する画像入力バンク管理部と、前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、前記第３のアドレスレジスタの格納アドレスを処理画像読み出しアドレスとして供給する画像処理バンク管理部とを含むことを特徴とする。

画像処理システムは、画像を取り込む撮像装置と、前記撮像装置から入力画像を受け取り処理する画像処理装置と、前記画像処理装置により処理された画像を表示する表示装置とを含み、前記画像処理装置は、３つのバンク領域をそれぞれ示す３つのアドレスをそれぞれ格納する第１乃至第３のアドレスレジスタと、フラグと、撮像装置から入力画像を受付けた場合に前記第１のアドレスレジスタと前記第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをセットし、前記第１のアドレスレジスタの格納アドレスを入力画像書き込みアドレスとして供給する画像入力バンク管理部と、前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、前記第３のアドレスレジスタの格納アドレスを処理画像読み出しアドレスとして供給する画像処理バンク管理部と、前記処理画像読み出しアドレスから読み出した画像を処理する画像処理部とを含むことを特徴とする。

バンク管理方法は、撮像装置から入力画像を受付けた場合に第１のアドレスレジスタと第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替え、前記入力画像を受付けた場合にフラグをセットし、前記第１のアドレスレジスタの格納アドレスが示すバンクに入力画像を書き込み、前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、前記第３のアドレスレジスタの格納アドレスが示すバンクから画像処理に供する画像を読み出す各段階を含むことを特徴とする。

本願開示の少なくとも１つの実施例によれば、様々な動作周期及び動作開始タイミングに適切に対応できるようにバンク管理を行なう画像処理装置、画像処理システム、及びバンク管理方法を提供できる。

画像処理システムの構成の一例を示す図である。 バンク管理部の機能構成と動作を示す図である。 画像処理装置の詳細な構成を示す図である。 アドレスレジスタ間で格納アドレスの交換を行なう構成の一例を示す図である。 図４の回路の動作を示す図である。 画像処理装置の動作の第１の実施例を示す図である。 画像処理装置の動作の第２の実施例を示す図である。 画像処理装置の動作の第３の実施例を示す図である。 画像処理装置の動作の第４の実施例を示す図である。 画像処理装置の動作の第５の実施例を示す図である。 画像処理装置の変形例の構成を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、画像処理システムの構成の一例を示す図である。図１に示す画像処理システムは、撮像装置１０、画像処理装置１１、及び表示装置１２を含む。撮像装置１０はビデオカメラ等であり、撮像対象の画像を取り込み、一連の画像系列の画像データを画像処理装置１１に供給する。画像処理装置１１は、撮像装置１０から一連の画像系列の画像データを入力画像として受け取り、所定の画像処理を実行することにより、各画像（各フレーム）を処理する。表示装置１２は例えば液晶ディスプレイパネル等であり、画像処理装置１１により処理された画像を表示する。

画像処理装置１１は、バンク管理部１３、画像処理部１４、及びメモリ部１５を含む。メモリ部１５には少なくとも３つのバンク領域が設けられている。これら３つのバンク領域は、適宜、入力画像を格納するためのバンク領域、次の画像処理の対象となる画像を保持しておくためのバンク領域、及び現在の画像処理の対象である画像を保持するためのバンク領域として用いられる。バンク管理部１３が、これら３つのバンク領域をそれぞれ示す３つのアドレスを管理することにより、撮像装置１０からの入力画像の書き込み動作と、画像処理部１４が処理する対象の画像の読み出し動作とが適切なバンク領域に対して実行される。画像処理部１４は、所定の画像処理を実行する。

なお図１及び以降の図において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

図２は、バンク管理部１３の機能構成と動作を示す図である。バンク管理部１３は、画像入力バンク管理部２１及び画像処理バンク管理部２２を含む。またバンク管理部１３には、画像入力用バンク管理アドレスレジスタ２３、処理対象用バンク管理アドレスレジスタ２４、ワークメモリ管理アドレスレジスタ２５、及び処理対象用バンク有効フラグ２６が設けられている。図２に示されるように、画像入力バンク管理部２１が画像入力用バンク管理アドレス２３、処理対象用バンク管理アドレス２４、及び処理対象用バンク有効フラグ２６を含み、画像処理バンク管理部２２がワークメモリ管理アドレス２５を含んでよい。或いは、画像入力バンク管理部２１及び画像処理バンク管理部２２とは別個に、各アドレスレジスタ２３乃至２５とフラグ２６とが設けられていてもよい。この場合、画像入力バンク管理部２１及び画像処理バンク管理部２２は、各アドレスレジスタとフラグとを制御する制御機能の部分に相当する。

画像入力用バンク管理アドレスレジスタ２３、処理対象用バンク管理アドレスレジスタ２４、及びワークメモリ管理アドレスレジスタ２５は、図１のメモリ部１５中の３つのバンク領域をそれぞれ示す３つのアドレスをそれぞれ格納する。画像入力用バンク管理アドレスレジスタ２３に格納されているアドレスが、画像入力用バンクを指し示すアドレスである。処理対象用バンク管理アドレスレジスタ２４に格納されているアドレスが、次の画像処理の対象となるバンクを指し示すアドレスである。ワークメモリ管理アドレスレジスタ２５に格納されているアドレスが、現在の画像処理の対象であるバンクを指し示すアドレスである。

例えば画像入力用バンク管理アドレスレジスタ２３は、物理的な１つのレジスタやメモリ領域であってよいが、常に同一のレジスタやメモリ領域である必要はない。処理対象用バンク管理アドレスレジスタ２４及びワークメモリ管理アドレスレジスタ２５についても同様である。後程説明するように、例えば、画像入力用バンク管理アドレスレジスタ２３と処理対象用バンク管理アドレスレジスタ２４との間でアドレスレジスタと格納アドレスとの対応関係を入れ替える処理が行なわれる。この場合、レジスタ間で格納アドレスを交換してもよいし、或いは、格納アドレスはそのままでレジスタの機能を交換してもよい。例えば、画像入力用バンク管理アドレスレジスタ２３である第１のレジスタにアドレス０ｘ１００が格納されており、処理対象用バンク管理アドレスレジスタ２４である第２のレジスタにアドレス０ｘ２００が格納されているとする。この場合、アドレスレジスタと格納アドレスとの対応関係を入れ替えるためには、第１のレジスタにアドレス０ｘ２００を格納し、第２のレジスタに０ｘ１００を格納するように、格納アドレスをレジスタ間で交換してよい。或いは、０ｘ１００を格納したままの第１のレジスタを処理対象用バンク管理アドレスレジスタ２４として用い、０ｘ２００を格納したままの第２のレジスタを画像入力用バンク管理アドレスレジスタ２３として用いるとして、レジスタの機能のみを交換してもよい。

画像入力バンク管理部２１は、入力画像切り替わりのタイミングで、画像入力用バンク管理アドレスレジスタ２３と処理対象用バンク管理アドレスレジスタ２４との間でアドレスレジスタと格納アドレスとの対応関係を入れ替える。画像入力バンク管理部２１は更に、入力画像切り替わりのタイミングで、処理対象用バンク有効フラグ２６をセットする。ここで入力画像切り替わりのタイミングとは、入力画像系列中のある１フレームの画像から次の１フレームに切り替わるタイミングである。例えば撮像装置１０から供給される垂直同期信号Ｖｓｙｎｃにより、バンク管理部１３において、入力画像切り替わりのタイミングを検出すればよい。画像入力バンク管理部２１は更に、画像入力用バンク管理アドレスレジスタ２３の格納アドレスを、入力画像書き込みアドレスとしてメモリ部１５（図１参照）に供給する。これにより、撮像装置１０からの１フレーム分の入力画像が、入力画像書き込みアドレスの示すメモリ部１５中のバンク領域に書き込まれる。

画像処理バンク管理部２２は、有効フラグ２６がセット状態の場合、処理画像切り替わりのタイミングで、処理対象用バンク管理アドレスレジスタ２４とワークメモリ管理アドレスレジスタ２５との間でアドレスレジスタと格納アドレスとの対応関係を入れ替える。画像処理バンク管理部２２は更に、処理画像切り替わりのタイミングで、処理対象用バンク有効フラグ２６をリセットする。ここで処理画像切り替わりのタイミングとは、画像処理部１４（図１参照）が処理しているフレームが、一連の画像系列中のあるフレームから次のフレームに切り替わるタイミングである。例えば画像処理部１４が１枚の画像の処理を完了する度に切り替え信号を送出する場合、バンク管理部１３において、この切り替え信号により処理画像切り替わりのタイミングを検出すればよい。画像処理バンク管理部２２は更に、ワークメモリ管理アドレスレジスタ２５の格納アドレスを、処理画像読み出しアドレスとして画像処理部１４に供給する。これにより、画像処理部１４が、処理画像読み出しアドレスの示すメモリ部１５中のバンク領域から１フレーム分の画像データを読み出して、所定の画像処理を読み出した画像に対して実行する。

画像処理バンク管理部２２は、有効フラグ２６がリセット状態の場合、処理画像切り替わりのタイミングで処理対象用バンク管理アドレスレジスタ２４とワークメモリ管理アドレスレジスタ２５との間でアドレスレジスタと格納アドレスとの対応関係を入れ替えない。この場合、処理画像切り替わりタイミングの前後において、ワークメモリ管理アドレスレジスタ２５には同一のアドレスが格納されていることになる。画像処理部１４が、この同一のアドレスが示す同一のバンク領域の画像データを繰り返し画像処理するか否かは、設計事項である。繰り返し画像処理してもよいし、或いは、２回目以降の画像処理を行なわないようにしてもよい。

処理対象用バンク有効フラグ２６は、処理対象用バンク管理アドレスレジスタ２４の格納アドレスの示すバッファ領域の画像データが画像処理部１４に既に読み出されたか否かを示すフラグである。フラグがセット状態（ＯＮ状態）にあると、上記バッファ領域に書き込まれた画像データがまだ画像処理部１４により処理されていない画像データ（読み出されていない画像データ）であることを示す。またフラグがリセット状態（ＯＦＦ状態）にあると、上記バッファ領域に書き込まれた画像データが既に画像処理部１４により処理された画像データ（読み出された画像データ）であることを示す。前述のように、画像入力バンク管理部２１が、入力画像切り替わりのタイミングで処理対象用バンク有効フラグ２６をセットし、画像処理バンク管理部２２が、処理画像切り替わりのタイミングで処理対象用バンク有効フラグ２６をリセットする。

図３は、画像処理装置１１の詳細な構成を示す図である。図３において図１及び２と同一の構成要素は同一の番号で参照し、その説明は適宜省略する。図３に示す画像処理装置１１では、撮像装置１０からの垂直同期信号Ｖｓｙｎｃが画像入力バンク管理部２１に供給され、更に処理対象用バンク有効フラグ２６に供給される。垂直同期信号Ｖｓｙｎｃがアサートされるタイミングで、処理対象用バンク有効フラグ２６がセット（ＯＮ）される。また画像処理部１４からの切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅが画像入力バンク管理部２１に供給され、更に処理対象用バンク有効フラグ２６に供給される。切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅがアサートされるタイミングで、処理対象用バンク有効フラグ２６がリセット（ＯＦＦ）される。

垂直同期信号Ｖｓｙｎｃがアサートされるタイミングで、画像入力バンク管理部２１が、画像入力用バンク管理アドレスレジスタ２３と処理対象用バンク管理アドレスレジスタ２４との間でアドレスレジスタと格納アドレスとの対応関係を入れ替える。また切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅがアサートされるタイミングで、画像処理バンク管理部２２が、処理対象用バンク管理アドレスレジスタ２４とワークメモリ管理アドレスレジスタ２５との間でアドレスレジスタと格納アドレスとの対応関係を入れ替える。但し、この処理対象用バンク管理アドレスレジスタ２４とワークメモリ管理アドレスレジスタ２５との間の入れ替え動作は、処理対象用バンク有効フラグ２６がセット状態にあるときにのみ実行されてよい。

画像入力用バンク管理アドレスレジスタ２３の格納アドレスが、画像入力バンク管理部２１の入力アドレス制御部２７に供給される。入力アドレス制御部２７は、画像入力用バンク管理アドレスレジスタ２３から供給されたアドレスを入力画像書き込みアドレスとしてメモリ部１５に供給するとともに、書き込み命令をメモリ部１５へ供給する。これに応じて、メモリ部１５中の入力画像書き込みアドレスが示すバンク領域には、撮像装置１０から供給される入力画像が書き込まれる。

ワークメモリ管理アドレスレジスタ２５の格納アドレスが、処理画像読み出しアドレスとして画像処理部１４に供給される。画像処理部１４は、供給された処理画像読み出しアドレスと読み出し命令とをメモリ部１５に供給する。これに応じて、メモリ部１５中の処理画像読み出しアドレスが示すバンク領域から、画像データが画像処理部１４に読み出される。画像処理部１４は、読み出された画像に対して所定の画像処理を施し、処理後の画像を表示装置１２に供給する。この画像供給タイミングは、表示装置１２からの垂直同期信号Ｖｓｙｎｃに同期して行なわれてよい。

図４は、アドレスレジスタ間で格納アドレスの交換を行なう構成の一例を示す図である。図４には、バンク管理部１３（図３参照）における画像入力用バンク管理アドレスレジスタ２３、処理対象用バンク管理アドレスレジスタ２４、及びワークメモリ管理アドレスレジスタ２５の周辺の回路部分の構成が示される。この回路部分は、フリップフロップ３１乃至３３、ＡＮＤ回路３４乃至３６、ＯＲ回路３７、セレクタ３８及び３９、及びインバータ４０を含む。撮像装置１０から供給される垂直同期信号Ｖｓｙｎｃは、クロック信号ｆＨｚに同期したフリップフロップ３１及び３２を介してＡＮＤ回路３４の一方の入力に供給される。垂直同期信号Ｖｓｙｎｃはまた、クロック信号ｆＨｚに同期したフリップフロップ３１乃至３３を介して反転されてＡＮＤ回路３４の他方の入力に供給される。これによりＡＮＤ回路３４からは、垂直同期信号Ｖｓｙｎｃがクロック信号ｆＨｚに同期する１パルス幅の信号に変換され、信号Ｖｓｙｎｃ＿ｐｕｌｓｅとして出力される。この信号Ｖｓｙｎｃ＿ｐｕｌｓｅは、画像入力用バンク管理アドレスレジスタ２３に書き込みイネーブル信号ＷＥ０として供給されるとともに、ＯＲ回路３７を介して処理対象用バンク管理アドレスレジスタ２４に書き込みイネーブル信号ＷＥ１として供給される。

画像処理部１４（図３参照）から供給される切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅは、最初からクロック信号ｆＨｚに同期した１パルス幅の信号である。切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅは、ワークメモリ管理アドレスレジスタ２５に書き込みイネーブル信号ＷＥ２として供給されるとともに、ＯＲ回路３７を介して処理対象用バンク管理アドレスレジスタ２４に書き込みイネーブル信号ＷＥ１として供給される。

画像入力用バンク管理アドレスレジスタ２３の出力データＤＡＴＡ０＿ｏｕｔは、セレクタ３９を介して、処理対象用バンク管理アドレスレジスタ２４に入力データＤＡＴＡ１＿ｉｎとして供給される。処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔは、セレクタ３８を介して、画像入力用バンク管理アドレスレジスタ２３に入力データＤＡＴＡ０＿ｉｎとして供給される。処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔは、また更に、ワークメモリ管理アドレスレジスタ２５に入力データＤＡＴＡ２＿ｉｎとして供給される。ワークメモリ管理アドレスレジスタ２５の出力データＤＡＴＡ２＿ｏｕｔは、セレクタ３８を介して、画像入力用バンク管理アドレスレジスタ２３に入力データＤＡＴＡ０＿ｉｎとして供給される。ワークメモリ管理アドレスレジスタ２５の出力データＤＡＴＡ２＿ｏｕｔは、また更に、セレクタ３９を介して、処理対象用バンク管理アドレスレジスタ２４に入力データＤＡＴＡ１＿ｉｎとして供給される。

図５は、図４の回路の動作を示す図である。信号Ｖｓｙｎｃ＿ｐｕｌｓｅがアサート状態の１になり、切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅがネゲート状態の０である場合が、Ａに示される。このときＡＮＤ回路３５（図４参照）の出力であるセレクタ３８への選択信号ＳＥＬ０＿ｓが０であり、処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔが選択される。従って、処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔが、画像入力用バンク管理アドレスレジスタ２３に入力データＤＡＴＡ０＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ０がアサート状態の１であり、画像入力用バンク管理アドレスレジスタ２３にアドレス書き込みが行なわれる。またこのときＡＮＤ回路３６（図４参照）の出力であるセレクタ３９への選択信号ＳＥＬ１＿ｓが０であり、画像入力用バンク管理アドレスレジスタ２３の出力データＤＡＴＡ０＿ｏｕｔが選択される。従って、画像入力用バンク管理アドレスレジスタ２３の出力データＤＡＴＡ０＿ｏｕｔが、処理対象用バンク管理アドレスレジスタ２４に入力データＤＡＴＡ１＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ１がアサート状態の１であり、処理対象用バンク管理アドレスレジスタ２４にアドレス書き込みが行なわれる。

信号Ｖｓｙｎｃ＿ｐｕｌｓｅがネゲート状態の０であり、切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅがアサート状態の１になる場合が、Ｂに示される。このときＡＮＤ回路３５（図４参照）の出力０を反転するインバータ４０の出力が１であり、ＡＮＤ回路３６（図４参照）の出力であるセレクタ３９への選択信号ＳＥＬ１＿ｓが１となる。従って、ワークメモリ管理アドレスレジスタ２５の出力データＤＡＴＡ２＿ｏｕｔが、セレクタ３９により選択され、処理対象用バンク管理アドレスレジスタ２４に入力データＤＡＴＡ１＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ１がアサート状態の１であり、処理対象用バンク管理アドレスレジスタ２４にアドレス書き込みが行なわれる。また処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔが、ワークメモリ管理アドレスレジスタ２５に入力データＤＡＴＡ２＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ２がアサート状態の１であり、ワークメモリ管理アドレスレジスタ２５にアドレス書き込みが行なわれる。

信号Ｖｓｙｎｃ＿ｐｕｌｓｅと切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅとが同時にアサート状態の１になる場合が、Ｃに示される。このときＡＮＤ回路３５（図４参照）の出力であるセレクタ３８への選択信号ＳＥＬ０＿ｓが１であり、ワークメモリ管理アドレスレジスタ２５の出力データＤＡＴＡ２＿ｏｕｔが選択される。従って、ワークメモリ管理アドレスレジスタ２５の出力データＤＡＴＡ２＿ｏｕｔが、画像入力用バンク管理アドレスレジスタ２３に入力データＤＡＴＡ０＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ０がアサート状態の１であり、画像入力用バンク管理アドレスレジスタ２３にアドレス書き込みが行なわれる。またこのときＡＮＤ回路３６（図４参照）の出力であるセレクタ３９への選択信号ＳＥＬ１＿ｓが０であり、画像入力用バンク管理アドレスレジスタ２３の出力データＤＡＴＡ０＿ｏｕｔが選択される。従って、画像入力用バンク管理アドレスレジスタ２３の出力データＤＡＴＡ０＿ｏｕｔが、処理対象用バンク管理アドレスレジスタ２４に入力データＤＡＴＡ１＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ１がアサート状態の１であり、処理対象用バンク管理アドレスレジスタ２４にアドレス書き込みが行なわれる。また処理対象用バンク管理アドレスレジスタ２４の出力データＤＡＴＡ１＿ｏｕｔが、ワークメモリ管理アドレスレジスタ２５に入力データＤＡＴＡ２＿ｉｎとして供給される。このとき書き込みイネーブル信号ＷＥ２がアサート状態の１であり、ワークメモリ管理アドレスレジスタ２５にアドレス書き込みが行なわれる。

このように、信号Ｖｓｙｎｃ＿ｐｕｌｓｅと切り替え信号Ｉｍａｇｅ＿ｐｕｌｓｅとが同時にアサート状態の１になる場合があっても、適切にアドレスレジスタ間で格納アドレスを入れ替えることができる。即ち、処理対象用バンク管理アドレスレジスタ２４の格納アドレスをワークメモリ管理アドレスレジスタ２５に移動させ、次の処理対象である画像データを画像処理に供することができる。また画像入力用バンク管理アドレスレジスタ２３の格納アドレスを処理対象用バンク管理アドレスレジスタ２４に移動させ、入力された画像を次の処理対象として保持しておくことができる。またワークメモリ管理アドレスレジスタ２５の格納アドレスを画像入力用バンク管理アドレスレジスタ２３に移動させ、処理済みの画像データを格納していたバンク領域に、新たな画像データを書き込むことができる。

図６は、画像処理装置の動作の第１の実施例を示す図である。この第１の実施例は、撮像装置の入力（カメラ入力）の動作周期と画像処理の動作周期が同じ場合の例である。

まず画像入力バンク管理部の動作について説明する。最初に、入力画像のフレーム１が、画像入力用バンクに割り当てられているアドレスｂａｎｋ＿ａｄｒ１のバンクに取り込まれる。取り込みが完了し、カメラ入力がフレーム２に切り替わる際、カメラＶｓｙｎｃをトリガとして、画像入力用バンク管理アドレスと処理対象用バンク管理アドレスとでアドレスが入れ替わる。その結果、アドレスｂａｎｋ＿ａｄｒ２が画像入力用バンクとなり、アドレスｂａｎｋ＿ａｄｒ１が処理対象用バンクになる。また更に、処理対象用バンク有効フラグが有効状態（ＯＮ）になる。フレーム２以降の画像入力バンク管理部の動作については、バンクアドレスが異なるだけで、上記と同様にバンクアドレスの入れ替えが繰り返される。

次に画像処理バンク管理部の動作について説明する。フレーム２がアドレスｂａｎｋ＿ａｄｒ２に取り込まれている最中に、画像処理の動作開始となり、処理対象用バンク管理アドレスとワークメモリ管理アドレスのバンクアドレスが入れ替わるとともに、処理対象用バンク有効フラグをＯＦＦにする。これにより、アドレスｂａｎｋ＿ａｄｒ１がワークメモリとなり、フレーム１が画像処理の対象となる。フレーム２以降の画像処理バンク管理部の動作については、バンクアドレスが異なるだけで、上記と同様にバンクアドレスの入れ替えが繰り返される。

このように第１の実施例では、連続フレームに対する画像入力と画像処理とが、３つのバンクを用いて適切に実行される。

図７は、画像処理装置の動作の第２の実施例を示す図である。この第２の実施例は、撮像装置の入力（カメラ入力）の動作周期に対して、画像処理の動作周期が２倍の場合の例である。

画像入力バンク管理部の動作は、上記の第１の実施例の場合の動作と同一である。

画像処理バンク管理部の動作も第１の実施例の場合の動作と同様である。しかし画像処理の動作周期が２倍であるために、処理対象用バンクにアドレスｂａｎｋ＿ａｄｒ２が割り当てられた状態では、２番目の画像処理動作が開始されない。処理対象用バンクにアドレスｂａｎｋ＿ａｄｒ３が割り当てられた状態で、２番目の画像処理動作が開始される。従ってこの動作例では、フレーム１の次にフレーム３が処理され、フレーム２が処理されないことになる。同様に、フレーム４も処理されないことになる。

このように第２の実施例では、画像処理の動作周期の違いのためにフレームスキップする画像処理が、３つのバンクを用いて適切に実行される。

図８は、画像処理装置の動作の第３の実施例を示す図である。この第３の実施例は、撮像装置の入力（カメラ入力）の動作周期に対して、画像処理の動作周期が２分の１倍の場合の例である。

画像入力バンク管理部の動作は、前述の第１及び第２の実施例と同一である。

画像処理バンク管理部の動作も第１及び第２の実施例の場合の動作と同様である。しかし画像処理の動作周期が２分の１倍であるため、画像入力用バンクにアドレスｂａｎｋ＿ａｄｒ２が割り当てられている状態で、２回の画像処理動作が開始される。１回目の画像処理動作で処理対象用バンク有効フラグがＯＦＦになるため、２回目の画像処理動作では、処理対象用バンク管理アドレスとワークメモリ管理アドレスとの間でバンクアドレスの入れ替えが実行されない。その結果、フレーム１が２回続けて画像処理の対象となる。この例では、フレーム１を２回画像処理しているが、２回目の画像処理を実行するか否かは設計事項である。処理対象がフレーム１のままで変わっていないので、２回目の画像処理動作を実行しなくてもよい。

このように第３の実施例では、画像処理の動作周期の違いのためにフレームリピートする画像処理が、３つのバンクを用いて適切に実行される。

図９は、画像処理装置の動作の第４の実施例を示す図である。この第４の実施例は、撮像装置の入力（カメラ入力）の動作周期に対して、画像処理の動作周期が２分の３倍の場合の例である。

画像入力バンク管理部の動作は、前述の第１乃至第３の実施例と同一である。

画像処理バンク管理部の動作も第１乃至第３の実施例の場合の動作と同様である。しかし画像処理の動作周期が２分の３倍であるため、処理対象用バンクにアドレスｂａｎｋ＿ａｄｒ２が割り当てられた状態では、２番目の画像処理動作が開始されない。処理対象用バンクにアドレスｂａｎｋ＿ａｄｒ３が割り当てられた状態で、２番目の画像処理動作が開始される。従ってこの動作例では、フレーム１の次にフレーム３が処理され、フレーム２が処理されないことになる。フレーム４については画像処理対象になるが、フレーム５については処理されない。

このように第４の実施例では、画像処理の動作周期の違いのためにフレームスキップする画像処理が、３つのバンクを用いて適切に実行される。

図１０は、画像処理装置の動作の第５の実施例を示す図である。この第５の実施例は、第１の実施例と同様に撮像装置の入力の動作周期と画像処理の動作周期とが同一であるが、カメラ入力が４チャネルある場合を示す。この例では、４つのカメラのＶｓｙｎｃのタイミングがそれぞれ異なっており、それら異なったタイミングで供給される４つの入力画像を、纏めて同一のタイミングで画像処理している。カメラ毎に画像入力バンク管理部と画像処理バンク管理部とを設け、複数のカメラからの複数の入力画像系列に対して互いに独立にバンク管理を行う。そして、画像処理動作のタイミングは複数の入力画像系列に対して同一である。

各カメラの画像入力バンク管理部は、各カメラのＶｓｙｎｃに同期して動作する。また画像処理は、４つのカメラの画像を同時に処理対象とする。これにより、画像処理の周期に合わせて、複数のカメラからの最新の入力画像を各カメラのワークメモリに割り当てることが可能となる。

このように第５の実施例では、複数チャネルの撮像装置を接続したシステムにおいても、連続フレームの画像入力と画像処理とが、３つのバンクを用いて適切に実行される。

図１１は、画像処理装置１１の変形例の構成を示す図である。図１１において、図３と同一の構成要素は同一の番号で参照し、その説明は適宜省略する。図１１に示す変形例の構成は、図３に示す構成と比較して、画像処理部１４Ａにソフト処理部５０が設けられている点が異なる。ソフト処理部５０は、複数のワークメモリ管理アドレスを保持している。ソフト処理部５０は、ワークメモリ管理アドレスレジスタ２５の格納アドレスを、自らが保持している複数のワークメモリ管理アドレスの何れか１つと適宜入れ替えることができる。これにより、現在の画像処理の対象である画像データを入力画像データで上書きしてしまうことなく、そのままメモリ部１５内に保持し続けることが可能となる。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１０ 撮像装置
１１ 画像処理装置
１２ 表示装置
１３ バンク管理部
１４ 画像処理部
１５ メモリ部
２１ 画像入力バンク管理部
２２ 画像処理バンク管理部
２３ 画像入力用バンク管理アドレスレジスタ
２４ 処理対象用バンク管理アドレスレジスタ
２５ ワークメモリ管理アドレスレジスタ
２６ 処理対象用バンク有効フラグ

Claims (9)

1. ３つのバンク領域をそれぞれ示す３つのアドレスをそれぞれ格納する第１乃至第３のアドレスレジスタと、
   フラグと、
   撮像装置から入力画像を受付けた場合に前記第１のアドレスレジスタと前記第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをセットし、前記第１のアドレスレジスタの格納アドレスを入力画像書き込みアドレスとして供給する画像入力バンク管理部と、
   前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、前記第３のアドレスレジスタの格納アドレスを処理画像読み出しアドレスとして供給する画像処理バンク管理部と、
   を含むことを特徴とする画像処理装置。
2. 前記フラグがリセット状態の場合、画像処理バンク管理部は、処理画像切り替わりのタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えないことを特徴とする請求項１記載の画像処理装置。
3. 前記第３のアドレスレジスタの格納アドレスを前記３つのアドレス以外のアドレスに入れ替え可能であることを特徴とする請求項１又は２記載の画像処理装置。
4. 複数セットの前記第１乃至第３のアドレスレジスタを含み、前記複数セットに対応して複数の入力画像系列が供給され、前記複数の入力画像系列に対して画像処理が実行されることを特徴とする請求項１乃至３何れか一項記載の画像処理装置。
5. 前記複数の入力画像系列における入力画像切り替わりのタイミングは互いに非同期であることを特徴とする請求項４記載の画像処理装置。
6. 画像を取り込む撮像装置と、
   前記撮像装置から入力画像を受け取り処理する画像処理装置と、
   前記画像処理装置により処理された画像を表示する表示装置と
   を含み、前記画像処理装置は、
   ３つのバンク領域をそれぞれ示す３つのアドレスをそれぞれ格納する第１乃至第３のアドレスレジスタと、
   フラグと、
   撮像装置から入力画像を受付けた場合に前記第１のアドレスレジスタと前記第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをセットし、前記第１のアドレスレジスタの格納アドレスを入力画像書き込みアドレスとして供給する画像入力バンク管理部と、
   前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、前記第３のアドレスレジスタの格納アドレスを処理画像読み出しアドレスとして供給する画像処理バンク管理部と、
   前記処理画像読み出しアドレスから読み出した画像を処理する画像処理部と
   を含むことを特徴とする画像処理システム。
7. 前記フラグがリセット状態の場合、画像処理バンク管理部は、処理画像切り替わりのタイミングで前記第２のアドレスレジスタと前記第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えないことを特徴とする請求項６記載の画像処理システム。
8. 前記第３のアドレスレジスタの格納アドレスを前記３つのアドレス以外のアドレスに入れ替え可能であることを特徴とする請求項６又は７記載の画像処理システム。
9. 撮像装置から入力画像を受付けた場合に第１のアドレスレジスタと第２のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替え、
   前記入力画像を受付けた場合にフラグをセットし、
   前記第１のアドレスレジスタの格納アドレスが示すバンクに入力画像を書き込み、
   前記フラグがセット状態の場合、画像処理部による処理対象の画像が切り替わるタイミングで前記第２のアドレスレジスタと第３のアドレスレジスタとの間でアドレスレジスタと格納アドレスとの対応関係を入れ替えるとともに前記フラグをリセットし、
   前記第３のアドレスレジスタの格納アドレスが示すバンクから画像処理に供する画像を読み出す
   各段階を含むことを特徴とするバンク管理方法。

Images