JPH11112869A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】簡単な構成で画像間の同像の直線移動や回転移
動を検出し、簡単に行える画像合成装置を実現する。 【解決手段】撮像画像の特定色情報から形状を画面上の
座標を基準にする第１基準座標手段７ａの基準を基に第
１追尾手段７ｂの出力形状の移動ベクトル量を検出する
第１移動ベクトル検出手段７ｃの移動ベクトル量によ
り、基準座標に補正する第１座標補正手段７ｄにより、
基準形状を含む複数の画像を一静止画面に画像合成する
第１画像合成手段とから構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子スチルカメラ
やビデオカメラ等の撮影画像、もしくは、一連の記録画
像等の信号処理に係り、特に現画像と前画像の同像の座
標を検出して画像を合成する画像合成装置に関するもの
である。

【０００２】

【従来の技術】従来の画像合成装置である例として、特
開平６−１２１２２６号公報に示されているように、光
撮像装置の撮像画像において、現フィールド画像と前フ
ィールド画像とのテンプレートマッチングにより、現フ
ィールド画像の動きベクトルを検出する。該動きベクト
ルから、両フィールド画像の継ぎ目領域を指定し、同継
ぎ目領域の継ぎ目部分を同テンプレートマッチングで高
精度に検出して、現フィールド画像の新画像部分を得
て、該新画像と前フィールド画像の合成が行われる。

【０００３】また、特開平１−１４９５７６号公報に示
されているように、一静止衛星から得られる地球気象の
画像は、全球画像の４分割した４枚の撮影画像におい
て、隣同士の画像の一部分を重複するように記録する。
そして、該記録画像の隣り合う画像の重複部分を検出
し、該重複画像を座標補正して画像合成が行われる。

【０００４】

【発明が解決しようとする課題】しかし、上述のような
従来技術の画像合成装置では、前フィールド画像をテン
プレートに設定して４８ブロックの小ブロックに区切
り、この小ブロック（６４＊６４画素）の輝度パターン
を現フィールド画像とマッチング比較し、動きベクトル
を検出する。そのため、１ブロック毎の輝度レベルの一
致判定動作を６４＊６４＝４０９６回の計算を行い、か
つ、それを一画面行なうには、さらに４８倍回行なう。
また、継ぎ目部分検出も最低でも一小ブロックのマッチ
ング比較が行なわれるので、同像の検出において演算量
の多い欠点がある。

【０００５】また、近年、ビデオカメラや電子スチルカ
メラなどは短小軽量になり、子どもや、老人でも、使わ
れている。しかし、カメラを固定台にセットせずに、手
持ち操作によりパンやチルト方向に正確な直線移動を行
う場合には、手首や腕を固定するので神経を使う。ま
た、撮影や撮影準備では、前記カメラを保持する手の負
担を軽減のため、腕の肘を身体に付ける。その状態で、
パン操作を行うと、肘を支点として撮影画面を回転方向
に傾けてしまう場合がある。さらに、人為ミスや思わぬ
接触により、手首を支点とした左右のぶれで撮影画面の
回転が発生する場合もある。また、小船や小型飛行機等
では、土台の左右側が上下に振れやすいので撮像画面の
回転が発生しやすい。

【０００６】これらの場合、従来のテンプレートマッチ
イング方法では、一画素データの輝度レベル一致の判定
を行なっているために直線移動の画像は検出できるが、
回転移動の画像の検出は一般的（名称；画像処理ハンド
ブック、編者；画像処理ハンドブック編集委員会、発行
者；阿井國昭、発行日；昭和６３年２月２８日、３０３
ｐｐ〜３０５ｐｐに記載。）に困難なので、それ以降は
画像合成が行えない欠点がある。また、揺れの無い所で
パンやチルト画像の撮り直し操作の場合でも身体の全体
を使って、カメラが回転しないよう直線移動の動作を行
うので、最初のパン撮影と同様に神経を使う欠点があ
る。

【０００７】本発明の目的は、このような従来の欠点を
解消し、操作の際の画像の平行や回転方向の移動量を短
時間に検出し、老人、子どもでも気楽に、かつ、簡単な
操作により、画像合成を実現する構成を提供することに
ある。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するために、撮影画像の中心付近の色を前もって、もし
くは、同時に検出し、更に検出色の輝度を検出して、２
値化形状を抽出する。そして、該一抽出形状の画面上の
座標を基準に設定し、該基準の形状を含む複数の撮影画
面を記録する。該複数の記録画像の基準の形状と同形状
の重心と重心からの特定点と前記基準の形状との差を計
算し、各記録画像の移動ベクトル量を検出する。そし
て、該移動ベクトル量から前記基準の形状と重なるよう
に画像合成を行う構成にする。

【０００９】また、前記抽出時に基準形状と同形状を含
み、カメラ移動方向に新たな形状を抽出し、該一抽出形
状の画面上の座標を新たな基準に設定する。そして、こ
の新たな基準の設定動作を繰り返して、前記基準の形状
と、さらに、新たな基準の形状等から追尾した同形状に
より移動ベクトル量を検出し画像合成を行う構成にす
る。

【００１０】また、電子スチルカメラ、超音波スキャ
ナ、及び、Ｘ線カメラ等から記録画像装置に記録された
一連の出力画像を入力して出力する装置を介して画像合
成を上記と同様に行う構成にする。

【００１１】また、撮影者に基準〜新たな基準の形状と
同形状の表示、もしくは、該形状の画面上の座標表示に
より、撮像画像の移動量オバーによる誤動作の防止を行
う構成にする。

【００１２】また、基準〜新たな基準の形状と同形状の
消滅を音、もしくは、表示で示す構成にする。

【００１３】

【発明の実施の形態】以下本発明の画像合成装置の第１
の実施の形態を以下説明する。図１は同発明のブロック
構成図で、同図を用いて詳細に説明する。１はレンズを
通した可視光を撮像素子に導く光学系部、２は光信号を
電気信号に変換する撮像素子、３は撮像素子の雑音を低
減するＣＤＳ部、４はアナログ信号をデジタル信号に変
換するＡ／Ｄ部、５はデジタル画像データを色と輝度に
分けて処理するカメラ信号処理部、６はＲＡＭ（Ｒａｎ
ｄｏｍ Ａｃｃｅｓｓ Ｍｏｍｏｒｙ）でフレーム画像
を記録するフレームメモリＦＭ、７は各部の動作、デー
タの制御・送受を行い、かつ、プログラム動作を高速に
行うＲＩＳＣ−ＣＰＵ、７ａは最初に抽出した形状を基
準座標に設定する第１基準座標手段、７ｂは基準座標に
設定した形状と画面上での同面積の形状を判定し、追尾
する第１追尾手段、７ｃは第１基準座標手段７ａの基準
座標値と第１追尾手段７ｂの出力形状の座標値から移動
ベクトル量を計算する第１移動ベクトル検出手段、７ｄ
は第１移動ベクトル検出手段７ｃの移動ベクトル量から
第１追尾手段７ｂの出力波形の座標補正を行う第１座標
補正手段、８は複数の色と該色の輝度を抽出する形状抽
出手段、１０は処理された画像を画像合成メモリに記
録、または、読み出し等の制御を行なうメモリコントロ
ール、１１は画像情報の座標補正した画像を記録し、記
録媒体上で画像合成する画像合成メモリ、１４は各種の
操作指示キーを一体に表現したキー、１５はリモコン受
信機から構成する。

【００１４】次に動作を説明する。同図において、光学
系部１からの光像を撮像素子２で受光し、それを電気信
号に変換する。該信号はＣＤＳ部３によりノイズが減少
された信号を出力し、Ａ／Ｄ部４に入力して、アナログ
映像信号がデジタル映像信号Ｓ０に変換される。該変換
信号Ｓ０はカメラ信号処理部５に入力し、ＲＩＳＣ−Ｃ
ＰＵ７からの制御信号Ｓ１により補正処理され、該デー
タのデジタル映像信号Ｓ４と、該データＳ４より１Ｈ遅
延されたデジタル映像信号Ｓ５を出力する。なおＲＩＳ
Ｃ−ＣＰＵ７はキー１４、もしくは、リモコン１５（リ
モコン用光受信部）の指示信号を入力し、各部に動作指
示を行う。また、カメラ信号処理部５の出力信号Ｓ３
は、前記撮像素子ＣＣＤ２からＡ／Ｄ部４までの動作タ
イミングを設定する基準クロック信号。さらに、出力信
号Ｓ２は、前記光学系部１を制御する信号である。

【００１５】前記カメラ信号処理部５の一方の出力デジ
タル映像信号Ｓ４は、形状抽出手段８に入力し、ＲＩＳ
Ｃ−ＣＰＵ７からの色指示により、該色の輝度信号を抽
出して、該色の２値化形状が抽出され、該２値化データ
がＲＩＳＣ−ＣＰＵ７に入力する。次にＲＩＳＣ−ＣＰ
Ｕ７の動作を図８〜図１０のフローチャートと併用して
説明する。前記２値化データが第１基準座標手段７ａに
入力する。該第１基準座標手段７ａでは、図８のステッ
プ８０１により最初の基準になる形状を示すフレームフ
ラグＰを１にセットする。

【００１６】ステップ８０２によりフレーム画像を得る
ため、偶数の垂直同期信号の立ち上がりエッジからＶカ
ウンタを起動させ、されを水平同期信号の立ち上がりエ
ッジでカウントした値を画面上の垂直方向座標とする座
標記録処理を行う。ステップ８０３により一ライン内で
の形状有無用に入力エッジ有りを判定し、ステップ８０
４により該形状の映像信号の水平同期信号の立ち上がり
エッジからＨカウンタを起動させ前記２値化データの立
ち上がり、立ち下がりエッジのカウンタ値を記録して、
それを水平画面上の座標値にする。

【００１７】ステップ８０４とステップ８０５により抽
出形状の座標値をまとめたＨカウンタ値とＶカウンタ値
をＲＩＳＣ−ＣＰＵ７のＲＡＭ１（図示せず）に記録す
る。ここでは、インタリーブ走査の映像信号の場合を述
べており、１フレームは２フィールド必要なので、前記
画面上の垂直方向座標のＶカウンタ値を前フィールドで
は奇数に数え、後フィールドでは偶数に数え、フレーム
用の垂直方向座標に設定する。

【００１８】次のステップ８０６により、ライン間での
形状有無に現・前ラインカウンタ値の範囲に共通の座標
値の有りを判定し、有る場合は、次のステップ８０７に
より同じラベルを付けて同一形状を得る。次にステップ
８０８により一フレームの最後を検出して、全抽出形状
の座標記録処理が終了する。

【００１９】そして、ステップ８０９により基準形状に
設定するかのフレームカウンタＰ＝１を判定し、ＹＥＳ
となり、次の８１０に移行し、画面中央の形状の座標値
をＲＡＭ２のラベルＡ（基準座標）と記録する。そし
て、基準座標の設定完了フラグの基準座標Ｆ＝１にし、
最初の基準形状抽出の終了のフレームカウンタＰ＝２を
セットする。

【００２０】次に図９のステップ９０２の第１追尾手段
７ｂに移行するが、基準の形状なので、ステップ９０１
の基準座標Ｆ＝１かの判定はＹＥＳになり追尾処理を行
わずに、次の第１移動ベクトル検出手段７ｃのステップ
９０４に移行する。同処理により前記座標記録した形状
の重心座標値を一般的な計算（抽出された形状の存在す
る領域の水平・垂直方向の座標を全画面にわたって積算
し、その存在する領域の画素数で割る。）で求め、か
つ、重心からの最長点、もしくは、最短点の座標値を計
算し求める。また、重心を中心にその水平線から最短点
もしくは、最長点の角度を計算して前記ＲＡＭ２に記録
する。

【００２１】以上の重心から角度までの計算処理は、一
形状で良く、かつ、各画素の座標値からの計算処理なの
で短時間に行なえる。なお、抽出形状が円形や対象形等
で、最長点や最短点が計算できない場合は、その隣の画
像を判定し、最長点や最短点が有る形状に基準座標を変
更するプログラムを設定する。

【００２２】次に、この時点は、今よりも前のフレーム
画像が存在しないので、ステップ９０５では移動ベクト
ル量は零となり、次の第１座標補正手段７ｄのステップ
１００１を通って（処理せずに、）前記の抽出画像を画
像合成メモリ１１への記録処理に移行する。

【００２３】ここで、前記形状抽出手段８の詳細な回路
構成を図２を用いて以下説明する。２１は色の飽和度を
規格化する規格化部、２２と２３はＲＩＳＣ−ＣＰＵ７
（マイコン）等の色指示で、該当色の２値化を行う抽出
部Ａ、及び、Ｂ、２４と２５はデジタル信号の論理和演
算する論理和部Ａ、及び、Ｂ、２６と２７は３＊３画素
のデジタル２値化データの多数決判定により１画素のデ
ジタル信号を出力するフイルター部Ａ、及び、Ｂから構
成する。

【００２４】次に動作を説明する。デジタル映像信号Ｓ
４の輝度、色信号が規格化部２１に入力され、色の飽和
度を規格化する。該規格化信号が抽出部Ａ２２、及び、
２３Ｂに同時に入力され、ＲＩＳＣ−ＣＰＵ７からの色
指示により、同色指定の２値化信号が出力される。例え
ば、同時に４色指定により、４色の２値化信号が出力す
ると該４出力は論理和部Ａ２４、及び、Ｂ２５に入力し
て論理和され、４色の合成された２値化信号が得られ
る。該出力をフイルター部Ａ２６、及び、Ｂ２７に入力
し、ノイズを除去し、該データを前記ＲＩＳＣ−ＣＰＵ
７に入力する。このように、簡単なハード回路構成によ
り、色指定した形状の２値化処理がリアルタイムに行え
る。

【００２５】一方、前記カメラ信号処理部５の出力デジ
タル映像信号Ｓ５（１Ｈ遅延）はメモリコントロール１
０を介してフレームメモリＦＭ６に入力し、１フレーム
分の画像情報が一時記憶される。前記ＲＩＳＣ−ＣＰＵ
７に入力した抽出画像は前述の様に前フレーム画像が無
いために、そのまま記憶され、メモリコントロール１０
により、フレームメモリＦＭ６の画像を前記抽出画像の
画面上の座標に相当するメモリアドレスの画像合成メモ
リ１１に記録される。

【００２６】ここで、フレームメモリＦＭ６や画像合成
メモリ１１のアクセス経路（アクセス：データ送受タイ
ミングや同メモリ書込み、読出し、及び、メモリアドレ
ス等）はデジタル映像信号Ｓ６やデジタル映像信号Ｓ７
の経路に重複しているものとして説明する。

【００２７】次に、新たに現フレーム画像が前記カメラ
信号処理部５からデジタル映像信号Ｓ５に得られると、
フレームメモリＦＭ６に記録した前フレーム画像データ
を新たな現フレーム画像データに置き換える。そして、
カメラ信号処理部５から現フレーム画像のデジタル映像
信号Ｓ５より１Ｈだけ早くデジタル映像信号Ｓ４が形状
抽出手段８に入力し、前記と同色の２値化形状が抽出さ
れ、其のデータをＲＩＳＣ−ＣＰＵ７の第１基準座標手
段７ａに入力する。前記基準に設定した同形状の画面上
の座標は、カメラ移動と共に変るが、前述と同様に、抽
出した２値化形状の全ての座標記録処理が行われて、そ
の結果がＲＩＳＣ−ＣＰＵ７のＲＡＭ１に記録されるの
で、移動した同形状の座標を検出できる。

【００２８】次に図９のステップ９０２の第１追尾手段
７ｂに移行し、ＲＡＭ１の中から、基準に設定したＲＡ
Ｍ２ラベルＡの形状面積と同等の面積形状を選択し、基
準と同形状と判定する追尾動作が行われ、それをＲＡＭ
３に記録する。次の第１移動ベクトル検出手段７ｃのス
テップ９０３により現フレーム画像の座標値から計算し
た重心と該重心から最短、もしくは、最長の距離の点の
座標値が得られ、それを前記ＲＡＭ３に記録して、基準
形状の処理で無い指示の基準座標Ｆ＝０にする。

【００２９】次にステップ９０５では前記ＲＡＭ３から
前フレーム画像の重心と最短点、もしくは、最長点が得
られているので、ステップ９０４の基準形状のＲＡＭ２
ラベルＡの重心と最短点、もしくは、最長点により、Ｒ
ＡＭ２とＲＡＭ３の両重心の座標値の差から画像の平行
移動値が得られ、かつ、回転方向は、ＲＡＭ２とＲＡＭ
３の重心からの最短点もしくは、最長点の水平と垂直の
座標値から、重心を中心にその水平線から最短点、もし
くは、最長点の角度を計算し、前・現フレーム画像の角
度差の回転角度が得られ、これらが移動ベクトル量にな
る。このように画面上の座標で計算した値を更に計算す
るのみで同一形状の現フレーム画像の移動ベクトル量検
出が短時間に計算できる。

【００３０】次に、図１０のステップ１００１の第１座
標補正手段７ｄにより、両重心の平行移動差と回転角度
差により、現フレーム画像の抽出形状の座標記録値を変
更する。これにより、抽出形状同士の画面上の座標値が
一致する。この時、変更量（移動ベクトル量）の新画像
域がフレームメモリＦＭ６に存在するので、該データを
メモリコントロール１０により、垂直帰線期間内に画像
合成メモリ１１に転送する。この時に、画像合成メモリ
１１からのメモリのアドレスは、前記基準形状の座標記
録値と同値に設定して有るので、ＲＡＭ３のデータを変
更した値は前記基準形状の座標と同値となるため、画像
抽出した基準の形状と同形状は同一場所に二重書きさ
れ、かつ、移動ベクトル分の新画像が新しい情報となっ
て記録される。

【００３１】そして、画像回転は一般的な方法の１画素
ずつ処理で、それがＲＡＭ３での重心を中心に行われ
る。このように移動ベクトルを検出し、その値で座標記
録値を変更した処理により、画像の合成が行われる。こ
れらの動作を次のフレーム画像の時にも行って、常に新
しい画像が連続に記録される。この時、変更したアドレ
スが画面上に存在しない場合には、現フレーム画像の画
像データ補正を行って（図示せず）、存在する画面上の
アドレスに設定し、画像の不自然さ（約１画素分）を解
消する。

【００３２】このようにして、基準形状が存在する画像
内において、カメラを自由に移動することにより、一枚
の大きな静止画像が得られる。

【００３３】次に図３を用いて、更に図１の動作を説明
する。図３はカメラからの画像を示し、図３ａ〜図３ｄ
はカメラが回転した場合を示す。初めの図３ａはカメラ
の撮像画像を示す。同図の画面上の中央付近の同画像の
緑色と茶色の２色を同時に抽出し、図３ｂのように大木
３１と小木３２の２値化した輝度エッジを抽出する。同
図を第１移動ベクトル検出手段７ｃにより、その画像の
エッジ部分の座標を検出し、図３ｃのように、重心Ｇ１
を計算する。また、重心Ｇ１から最長点Ｍ１（図から説
明易さより設定）を計算し、その重心Ｇ１から最長点Ｍ
１までの線分と重心Ｇ１を通る水平線との角度Ｋ１を計
算する。

【００３４】次にカメラが移動し、かつ、回転した状態
の画像をカメラのモニターで見ると図３ｄになる。該図
を第１基準座標手段７ａから第１移動ベクトル検出７ｄ
までの処理の仮想的な表現を図３ｅに示し、両木形状が
斜めに傾いた画像が得られる。同図から重心Ｇ２から最
長点Ｍ２までの線分と重心Ｇ２を通る水平線との角度Ｋ
２が得られる。同図を図３ｃに重ねると図３ｆになり、
角度差Ｋ１−Ｋ２が回転した角度になる。また、重心差
Ｇ１−Ｇ２が、平行移動量になる。この値から、図３ｅ
を図３ｃに重なるように、座標記録値を変更し、それを
画像メモリ１１に記録する。変更した座標値での記録に
より、図３ｇのように画像合成され、はみ出た画像部分
が新画像部分である。

【００３５】このように、画像が回転しても、同形状を
抽出し、移動ベクトル量を得て、それを基に前フレーム
画像と現フレーム画像を合成できる。また、平行移動や
回転移動に対しても、画像合成が行なわれるので、人為
ミスや小船などで、撮像画像が回転方向に移動しても、
誤りなく行える利点がある。更に、形状をリアルタイム
に抽出でき、その構成も簡単なために、その処理時間が
短い等の利点がある。

【００３６】ここで、平行移動はフレームメモリのアド
レスを変更し、このアドレスを画像合成メモリ１１のア
ドレスに移動することにより行われる。また、画像回転
処理は重心のアドレスを回転の基準とし、それからの距
離を１画素ずつ計算し、回転角度分を（回転）移動し、
そのアドレスに移動する。これらの動作により移動ベク
トル量分の画像表示が変更できる。

【００３７】なお、ＶＴＲ、超音波スキャナ及び、Ｘ線
カメラにより得られる一連の画像情報は、前記の撮影画
像と同様のビデオ信号であるので、該画像情報を入力し
て出力する入出力手段（図示せず）の出力信号から前記
Ａ／Ｄ変換器４を介し、上記と同様の処理構成により同
様に画像合成が行える。

【００３８】次に第２の実施形態を図４を用いて以下説
明する。同図において、前述図１〜図３、及び、図８〜
図１０と同機能のものは、同一番号で示し、説明を省略
する。７ｅは前記第１基準座標手段の基準形状を含み該
形状より別の場所から前記基準形状と同色、または、異
色の新たな基準の形状を抽出して、新たな基準座標を設
定する、そして、該新たな基準座標設定の動作を繰り返
す新像基準座標手段部、７ｆは新像基準座標手段部７ｅ
や第１基準座標手段７ａ等の基準の形状面積と同面積を
判定して、形状追尾を行なう第２追尾手段、７ｇは新像
基準座標手段部７ｅの基準座標と第２追尾手段７ｆの出
力波形の座標から移動ベクトル量を計算する第２移動ベ
クトル検出手段、７ｈは第２移動ベクトル検出手段７ｇ
の移動ベクトル量から第２追尾手段７ｆの出力形状の座
標補正を行う第２座標補正手段である。

【００３９】次に動作を述べる。前述した基準の形状
は、カメラを操作しパン、もしくは、チルト方向に移動
していくと、その反対方向に移動し、最後には、カメラ
撮影画面から消えてしまう場合がある。この対策用の新
像基準座標手段部７ｅのプログラムフローを図１１に示
す。同図のステップ８１３により基準形状が画面内の端
側付近の座標領域に達したら同形状をＲＡＭ２のラベル
Ｃに記録し、画面中央、もしくは、カメラ移動方向側の
端領域に別の新たな基準の形状を同色で抽出し、それを
ＲＡＭ２のラベルＢとして、記録し、基準設定フラグの
基準座標Ｆ＝１にする。

【００４０】また、同図のステップ８１３には記入して
ないが、設定色の形状が無い場合には、他３種類の色を
設定しておき、この色の形状を抽出する。この時、さら
に、設定色の形状が無い場合には、また、別の色を設定
し、存在が確認できるまで、色設定を繰り返す。ここ
で、同ステップ８１３の判定の代わりに移動ベクトル量
の規定量以上を検知の判定に代えても良い。

【００４１】次に図１２のステップ９０１の第２移動ベ
クトル検出手段７ｇに移行し、基準座標Ｆ＝１の判定か
ら、ステップ９０６の新たな基準の形状のＲＡＭ２ラベ
ルＢからの判定に移行する。同ステップ９０６でＹＥＳ
の方向のステップ９０７により、ＲＡＭ２のラベルＢと
Ｃの重心、最長点、最短点、重心を中心に最長点までの
角度を計算する。次のステップ９０８により前記基準の
形状の重心と新たな基準の形状の重心の座標差を検出す
る。該形状同士は同画面上であるからステップ１００３
により平行移動分のみを変更し、ＲＡＭ２ラベルＢのデ
ータをＲＡＭ２ラベルＡに置き換えて、基準形状のデー
タ格納場所を一つにする。それゆえ、基準は新たな基準
形状に移行する。

【００４２】次に、新たな基準形状も前記基準形状と同
様に、カメラをパンもしくは、チルト方向の移動によ
り、画面から消滅する場合があるので、前述同様に動作
し、更に、新たな基準の形状を設定し、該設定形状を前
記新たな基準の形状処理と同様の処理を行なって平行移
動分のみを変更する。そして、カメラの移動に伴なっ
て、前記新像基準座標手段部７ｅの新たな基準の形状が
同画面上で移動する。これを、前図１１のステップ８１
２の第２追尾手段７ｆにより、同色の同一面積の形状を
ＲＡＭ１から判定して選択し、同図ステップ８１３と図
１２のステップ９０３を通って、ステップ９０５の第２
移動ベクトル検出手段７ｇに入力する。同ステップで、
第２追尾手段７ｆの出力形状の画面上の座標値ＲＡＭ３
と、前記新像基準座標手段部７ｅの各基準座標値ＲＡＭ
２ラベルＡを演算し、画像の移動ベクトル量を検出す
る。そして、この動作は新たな基準の同形状が移動する
毎に同様に行なわれる。

【００４３】次に図１３の第２座標補正手段７ｈに移行
し、同図のステップ１００３により第２移動ベクトル検
出手段７ｇで検出した移動ベクトル量と前記新像基準座
標手段部７ｅの新たな基準の形状の平行移動量（基準の
重心Ｇ０＋新たな基準の重心Ｇ０１）を加えて、前記新
たな基準の同形状の座標記録値を変更する。これによ
り、フィールドメモリＦＭ６に記録した各フレーム画像
をメモリコントロール１０が第２座標補正手段７ｈの出
力で制御され、画像合成メモリ１１に記録することで、
各基準形状と同形状を重複記録できる。

【００４４】このように、同様の動作を繰り返すことに
より、カメラ移動方向に次々と新たな基準形状の設定が
行え、カメラ移動範囲をより広く設定でき、広範囲の一
静止画として記録できる。なお、前記基準の形状がカメ
ラ移動により回転や平行移動した場合には、前述した第
１の実施形態と同様に処理される。

【００４５】同図の動作を図５を用いて、更に詳細に説
明する。図５ａは、基準の大木３１の抽出画像であり、
重心Ｇ１、最長点Ｔ１、角度Ｒ１を前記新像基準座標手
段部７ｅにより検出する。次にカメラが右方向に移動し
て図５ｂのように画像が再生される。同画像の大木３１
は、第２追尾手段７ｆにより、形状が判定され、それ
を、第２移動ベクトル検出手段７ｇで新たな重心Ｇ２、
最長点Ｔ２、角度Ｒ２を検出し、前図５ａとの移動ベク
トル量を計算する。この計算値を基に第２座標補正手段
７ｈで、図５ｄのように破線枠が直線枠の重心Ｇ１、最
長点Ｔ１、角度Ｒ１の座標に二重書きされる。

【００４６】また、前記図５ｂにおいて、大木３１の座
標が画面上の端部付近であるから、その反対方向の同色
の形状の小木３３を抽出し、それを新たな基準形状に設
定し、同時に重心Ｇ３、最長点Ｔ３、角度Ｒ２を計算
し、更にその値と、同画面上の大木３１の重心Ｇ２、最
長点Ｔ２、から、大木３１と小木３３の座標差を求め
る。これが小木３３の画像合成した時の大木３１からの
アドレスに相当する。

【００４７】次に図５ｃにカメラが移動すると、小木３
３は、重心Ｇ４、最長点Ｔ４、角度Ｒ４、に変更し、こ
の値と前記図５ｂの小木３３の重心Ｇ３、最長点Ｔ３、
角度Ｒ３、の差により、移動ベクトル量が検出でき、前
記同様に図５ｃの出力形状の座標記録値が変更される。
最終的に同図が図５ｄの様に画像合成される。なお、以
上の操作の前に、任意に、カメラの光学の倍率を上げる
ことにより、同静止画面が任意に拡大された、一静止画
が得られる。

【００４８】以上から、一静止画の撮影範囲はカメラを
移動するだけで任意に設定できる利点がある。

【００４９】ここで、画像合成メモリ１１のアドレス
は、前記座標記録値と一対一に対応するように、カメラ
の静止画記録が終了時に正規のアドレス値より修正され
たアドレスを自動設定する。

【００５０】また、以上の形状抽出において、画面中央
部の抽出形状が、画面の端までかかる大きな形状の場合
には、画面端、もしくは、特定領域の座標が予め解って
いるので検出し、抽出形状内で、別の色の形状を抽出し
設定し、画面の端にかからない形状、もしくは、特定領
域外の形状を得るようにプログラムを変更する。また、
画像情報の色設定において、予め抽出画像の色情報を検
出し、該検出データを用いた色指定の方法により、色検
出動作を行っても良い。

【００５１】次に第３の一実施形態を図６を用いて以下
説明する。同図において、前述図１〜図５と同機能のも
のは、同一番号で示し、説明を省略する。７ｉは追尾形
状の画面上の座標に相当するディジタル映像信号の一部
分を単色信号に切り換える追尾形状表示手段である。

【００５２】次に動作を述べる。前記第１基準座標手段
部７ａ、もしくは、前記新像基準座標手段部７ｅの座標
記録処理により、全抽出形状の画面上の座標値の記録が
行なわれる。そして、第１追尾手段７ｂ、もしくは、第
２追尾手段７ｆにより、基準形状と同形状の追尾が行な
われる。これにより、基準と同形状の画面上の座標を検
出して、該検出座標を追尾形状表示手段７ｉに入力す
る。追尾形状表示手段７ｉは検出した基準形状、もしく
は、同形状データを含む撮像画像のディジタル映像信号
Ｓ５と同タイミングでリアルタイムに単色信号を発生
し、ディジタル映像信号の基準形状、もしくは、同形状
のエッジ部分を単色信号に切り換える。これにより。

【００５３】ＲＩＣＳ−ＣＰＵ７出力のディジタル映像
信号Ｓ５から、外部のモニタ部に抽出形状のエッジ部分
が単色に代わった映像が表示される。ここで、前述の様
にディジタル映像信号Ｓ４はディジタル映像信号Ｓ５よ
り、１Ｈ進んでいるので、前記追尾形状表示手段７ｉま
での処理時間は、その１Ｈ以内で処理され、基準形状、
もしくは、同形状のエッジ部分を単色信号に切り換えを
リアルタイムに行なえる。

【００５４】以上の追尾形状表示手段７ｉまでのプログ
ラム処理での同表示を図７に示し、大木３１のエッジ部
分が強調される。ここで、図７の表示は、メモリコント
ロール１０からＲＩＳＣ−ＣＰＵ７に取り込んだディジ
タル映像信号Ｓ５を処理し、同ディジタルビデオ出力か
ら外部のモニタ、例えば、パソコンのモニタで表示して
も良く、ＲＩＳＣ−ＣＰＵ７のＳ１出力からのカメラ信
号処理部５により、アナログビデオ出力に変換して、一
般的なモニタに直接表示しても良い。また、追尾形状表
示手段７ｉは形状表示で述べているが、これに限定され
ず、形状の重心や上下左右の端部の画面上の座標表示で
も良い。

【００５５】以上により、カメラ操作者は、基準形状、
もしくは、同形状の抽出動作をリアルタイムに確保でき
るので画像合成が正常の動作していることを予想でき
る。また、カメラのパン操作により、前記単色部分が移
動して消滅時に、単色部分が切り替わる表示を確保でき
る。さらに、単色部分の消滅により、カメラ操作のパン
もしくは、チルトの移動速度が早い事を自覚でき、画像
合成動作の誤動作を無くすことができる。

【００５６】また、基準形状、もしくは、同形状が全て
消滅した場合は、基準形状、もしくは、同形状が無いこ
とを検出し、音（図示せず）で知らせる、もしくは、モ
ニターの表示に無いことを示し、カメラの移動範囲がオ
バーである事をしらせる。これにより、モニタが無い場
合でも、また、モニタが有っても見ないで、カメラの移
動範囲オバーを検出できる。

【００５７】

【発明の効果】前述したように、本発明によれば、撮像
画面の特定色の形状を抽出し、該抽出形状を演算処置し
て移動ベクトル量を検出して画像合成できるので、撮像
装置のパンやチルト動作時に、誤って、カメラを傾けた
人為ミスにより撮影画面が回転方向に移動しても誤動作
しないので、気楽に画像合成を行なえる効果がある。

【００５８】また、小船や小形飛行機等の床部分が左右
に上下変動し易い場所での撮影でも、同様に回転画像を
合成できるので、何処でも利用できる効果がある。

【００５９】また、光学レンズによる拡大画像でも、同
様に、画像合成が行えるので、画素数の少ない一般的な
解像度でも、高解像度の静止画像を得られる効果があ
る。

【００６０】また、基準形状を撮影画像の移動と共に、
新たな基準形状を設定できるので、広範囲の撮影画像の
画像合成が行える効果がある。

【００６１】また、ＶＴＲやビデオカメラ等の記録画像
の一連の入力画像の形状を抽出することにより、連続し
た広範囲の静止画像が得られる効果がある。

【００６２】また、撮影者に基準の形状、もしくは、同
形状の輪郭部分を単色で強調表示して、カメラの移動を
リアルタイムに表示でき、また、形状消滅を、音や表示
で行えるので、カメラの移動範囲オバーによる誤動作を
防止できる効果がある。

【図面の簡単な説明】

【図１】本発明の第１実施形態である画像合成装置の回
路ブロック構成を示す図。

【図２】本発明の第１実施形態である形状抽出手段の詳
細を示す回路ブロック構成図。

【図３】本発明の第１実施形態である画像の合成順序を
示す図。

【図４】本発明の第２実施形態である画像合成装置の回
路ブロック構成を示す図。

【図５】本発明の第２実施形態である画像の合成順序を
示す図。

【図６】本発明の第３実施形態である回路ブロック構成
図。

【図７】本発明の第３実施形態である撮像画面表示を示
す図。

【図８】本発明の第１実施形態である第１基準座標手段
のフローチャート。

【図９】本発明の第１実施形態である第１追尾手段と第
１移動ベクトル検出手段形状抽出手段のフローチャー
ト。

【図１０】本発明の第１実施形態である第１座標補正手
段のフローチャート。

【図１１】本発明の第２実施形態である新像基準座標手
段部と第２追尾手段のフローチャート。

【図１２】本発明の第２実施形態である第２移動ベクト
ル検出手段のフローチャート。

【図１３】本発明の第２実施形態である第２座標補正手
段回路のフローチャート。

【符号の説明】

１…光学系部、 ２…撮像素子、 ５…カ
メラ信号処理部、６…フィールドメモリＦＭ、 ７
…ＲＩＳＣ−ＣＰＵ、７ａ…第１基準座標手段、
７ｂ…第１追尾手段、７ｃ…第１移動ベクトル検出手
段、 ７ｄ…第１座標補正手段、７ｅ…新像
基準座標手段部、 ７ｆ…第２追尾手段、７ｇ…第
２移動ベクトル検出手段、７ｈ…第２座標補正手段、７
ｉ…追尾形状表示手段、８…形状抽出手段、１０…メモ
リコントロール、１１…画像合成メモリ、 ２１…規格
化部、 ２２、２３…論理和部Ａ、Ｂ、２４、２５…
フィルター部Ａ、Ｂ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】光学像を電気信号に変換し画像情報を出力
   する撮像手段、もしくは、一連の画像情報を入力して出
   力する入出力手段と、該画像手段、もしくは、該入出力
   手段からの出力画像情報中の指定色と該指定色の輝度を
   検出して、同画像内の指定に従って得られた形状を抽出
   する形状抽出手段と、該形状抽出手段により得られた画
   面上の抽出した形状の座標、重心の位置、方向等の特徴
   を追尾する基準として指定する第１基準座標手段と、該
   第１基準座標手段で指定された基準の形状と同形状を抽
   出し追尾する第１追尾手段と、該第１基準座標手段によ
   り指定された基準の形状を基に前記第１追尾手段の出力
   形状の移動ベクトル量を検出する第１移動ベクトル検出
   手段と、該第１移動ベクトル検出手段の該移動ベクトル
   量により、前記第１追尾手段により抽出された出力形状
   の画面上の位置を前記基準の位置に補正し、かつ、同出
   力形状を含む画像の画面上の回転方向を補正することに
   より指定された基準の形状を合致させた出力画像を得る
   第１座標補正手段と、該第１座標補正手段の出力画像と
   前記第１基準座標手段の出力画像を画像合成する第１合
   成手段とからなることを特徴とする画像合成装置。
2. 【請求項２】請求項２に記載した前記撮像手段、もしく
   は、前記入出力手段と、前記形状抽出手段と、前記第１
   基準座標手段と、該第１基準座標手段により指定された
   基準の抽出形状と同一の形状が画面上に指定した特定領
   域への移動時、もしくは、規定量以上の移動時に、該形
   状より別の場所において新たに基準となる抽出形状を指
   定し、その画面上の座標等を新たな基準として設定し、
   さらに、該新たな基準と同一の形状が画面上の特定領域
   へ移動時、もしくは、規定量以上の移動時に、前記新た
   な基準の設定動作を繰り返す新像基準座標手段と、前記
   第１基準座標手段から前記新像基準座標手段の基準と同
   形状を追尾する第２追尾手段と、前記第１基準座標手
   段、もしくは、前記新たな基準座標手段の基準形状を基
   に、前記第２追尾手段の出力形状の移動ベクトル量を検
   出する第２移動ベクトル検出手段と、前記第２移動ベク
   トル検出手段の移動ベクトル量により、前記第２追尾手
   段の出力形状の画面上の座標を前記基準座標、もしく
   は、前記新たな基準座標に補正し、かつ、同出力形状を
   含む画像の画面上の座標を補正する第２座標補正手段
   と、該第２座標補正手段の出力画像と前記第１基準座標
   手段、もしくは、前記新像基準座標手段の出力画像を合
   成する第２画像合成手段とから構成することを特徴とす
   る画像合成装置。
3. 【請求項３】請求項１、２の画像合成装置において、前
   記基準座標、前記新たな基準座標等の形状、及び、前記
   第１追尾手段、前記第２追尾手段等の出力形状、もしく
   は、同形状の座標を表示、もしくは、同形状の消滅を
   音、もしくは、表示で示す形状表示モード手段とからな
   り撮影者に撮像画像の許容移動範囲を知らせることを特
   徴とする画像合成装置。