JP2009251902A - 画像処理装置と画像処理方法および撮像装置 - Google Patents

Abstract

【課題】簡単かつ容易に撮像画像から提示画像を検出する。
【解決手段】ステップＳＴ１０２では、提示装置によって提示された提示画像を撮像して得た撮像画像の輝度信号を閾値と比較して２値化信号を生成する。ステップＳＴ１０４，１０５では、２値化信号から閾値を超える画素の水平方向および垂直方向の分布を取得する。ステップＳＴ１０６では、水平方向の分布から提示画像の水平方向の辺の検出を行い、ステップＳＴ１０７では、垂直方向の分布から提示画像の垂直方向の辺の検出を行う。２値化信号に基づく水平方向および垂直方向の分布から提示画像の辺を検出することで、簡単かつ容易に撮像画像から提示画像を検出できる。
【選択図】 図６

Description

この発明は、画像処理装置と画像処理方法および撮像装置に関する。詳しくは、提示装置によって提示された提示画像を撮像して得た撮像画像から２値化信号を生成して、この２値化信号から閾値を超える画素の水平方向の分布と垂直方向の分布を得て、水平方向の分布と垂直方向の分布から提示画像の水平方向の辺と垂直方向の辺を検出することで、簡単かつ容易に撮像画像から提示画像を検出できるようにするものである

近年、コンピュータ装置をプロジェクタに接続して、スクリーンに資料や画像を投射してプレゼンテーションを行うことが頻繁に行われるようになってきている。それに伴い、ビデオカメラ等の撮像装置を用いてその様子を撮像する機会も増えている。撮像の目的には、セミナーやミーティングなどの内容を議事録として保存しておく用途や、会議の参加者がそれぞれ遠く離れた場所で互いにスクリーンを撮像する中継会議などが挙げられる。さらに、スクリーンに投影された画像だけでなく、コンピュータ装置のモニタやテレビジョン装置の表示画面を撮像することもよく行われている。

また、スクリーンに投影された画像や、モニタあるいはテレビジョン装置の表示画面を撮像して、撮像画像から投影された画像や表示された画像（以下「提示画像」という）を検出することも行われている。例えば特許文献１の発明では、撮像画像に対してエッジ検出フィルタをかけ、輪郭を取得して、その輪郭情報からスクリーンに投影されている提示画像の４つの頂点を求めることが開示されている。

特開２００７−１４８６１２号公報

ところで、特許文献１のように輪郭情報から四角形検出を行う場合、輪郭抽出の精度によって検出率が決まってしまう。例えば、頂点の一部がスクリーン以外の物にかぶってしまったときは四角形の検出ができなくなってしまう。

また、４頂点の探索のために、エッジ画像からの直線検出を行うための数学的座標変換、画像のラベリング処理などを必要とし検出処理に時間がかかる上、多くのメモリを必要としてしまう。特に動画像を得る場合はリアルタイムで四角形検出をする必要があるので処理時間の多い従来方法は好ましくない。さらに、高速化するために縮小画像を用いると解像度不足により、輪郭検出の精度が悪くなり結果として直線検出の精度も悪くなってしまう。

そこで、この発明では、簡単かつ容易に撮像画像から提示画像を検出できる画像処理装置と、画像処理方法およびそれを用いた撮像装置を提供するものである。

この発明の概念は、提示装置で提示された提示画像例えばプロジェクタでスクリーンに投影された画像やテレビジョン装置の表示画像を撮像して得た撮像画像から、提示画像を検出するものである。

この発明に係る画像処理装置は、撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理部と、前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得部と、前記水平方向の分布から画像提示装置によって提示された提示画像を撮像したときに前記撮像画像に含まれる前記提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出部を備えるものである。

また、この発明に係る画像処理方法は、撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理工程と、前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得工程と、前記水平方向の分布から画像提示装置によって提示された提示画像を撮像したときに前記撮像画像に含まれる前記提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出工程を備えるものである。

さらに、この発明に係る撮像装置は、被写体を撮像して撮像画像を得る撮像部と、撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理部と、前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得部と、前記水平方向の分布から画像提示装置によって提示された提示画像を撮像したときに前記撮像画像に含まれる前記提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出部を備えるものである。

この発明においては、提示装置によって提示された提示画像を撮像して得た撮像画像の輝度信号と閾値を比較することで輝度信号の２値化を行い、２値化信号から閾値を超える画素の水平方向および垂直方向の分布を取得して、この水平方向の分布（以下「水平分布」という）と垂直方向の分布（以下「垂直分布」という）から提示画像の水平および垂直方向の辺の検出が行われる。また、輝度信号を２値化して得た２値化信号から提示画像の水平および垂直方向の辺を検出できないときは、色差信号を２値化して得た２値化信号から提示画像の水平および垂直方向の辺の検出が行われる。また、辺の検出では、水平分布と垂直分布が複数の領域に区分されて、各領域における画素数から、いずれの領域に提示画像の辺が含まれているか検出して、該検出された領域から提示画像の水平方向および垂直方向の辺の検出が行われる。さらに、撮像画像における提示画像の領域の変動を生じさせる動作、例えば撮像装置の動き検出結果や撮像装置のズーム動作に応じて、提示画像の辺の検出を行う検出範囲が設定される。

この発明によれば、撮像画像の輝度信号と閾値を比較することで得られた輝度信号の２値化信号から閾値を超える画素の水平方向および垂直方向の分布が取得されて、この分布に基づいて提示画像の水平方向および垂直方向の辺が検出される。このため、エッジ画像からの直線検出を行うための数学的座標変換や、画像のラベリング処理など時間がかかる処理を行わなくとも、提示画像の水平方向および垂直方向の辺を検出することが可能となり、簡単かつ容易に撮像画像から提示画像を検出できる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は本願発明の画像処理装置を例えば撮像装置に適用した場合の構成を示している。被写体光は、レンズ部１１と絞り機構１２を介して撮像部２１の撮像素子２１１例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサに入射される。

撮像素子２１１は、受光面に結像された被写体像の撮像光を、画素毎に電気信号に変換して三原色の画像信号を生成する。また、生成した画像信号をＣＤＳ（Correlated Double Sampling circuit）部２１２に供給する。

ＣＤＳ部２１２は、撮像素子から供給された画像信号のノイズ除去を行い、ノイズ除去後の画像信号を増幅部２１３に供給する。増幅部２１３は、ＣＤＳ部２１２から供給された画像信号のゲイン調整を行い、ゲイン調整後の画像信号ＳａをＡ／Ｄ（Analog / Digital）変換部２３に供給する。

タイミング信号発生部２２は、撮像素子２１１で画像信号を生成するための駆動信号ＴＤを生成して撮像素子２１１に供給する。また、タイミング信号発生部２２は、駆動信号ＴＤによって、撮像素子２１１における露光時間（光電変換によって得られた有効電荷の蓄積時間）を制御する。

Ａ／Ｄ変換部２３は、アナログの画像信号Ｓａをディジタルの画像信号ＤＶａに変換して、提示画像検出部３１と検波部３２および画像処理部３５に供給する。

提示画像検出部３１は、画像信号ＤＶａに基づく撮像画像から提示画像を検出する処理を行い、検出結果を示す検出信号ＪＡを生成して制御部５１に供給する。

図２は提示画像検出部３１の構成を示している。提示画像検出部３１の変換処理部３１１は、三原色の画像信号ＤＶａを輝度信号ＤＹと色差信号ＤＣに変換して、輝度信号ＤＹを２値化処理部３１２、色差信号ＤＣを２値化処理部３１３に供給する。

２値化処理部３１２は、輝度信号ＤＹを２値化する処理を行い、得られた輝度２値化信号ＢＹを信号選択部３１４に供給する。また、２値化処理部３１３は、色差信号ＤＣを２値化する処理を行い、得られた色差２値化信号ＢＣを信号選択部３１４に供給する。２値化処理部３１２は、輝度信号ＤＹと閾値を比較することで輝度信号ＤＹの２値化を行い、輝度２値化信号ＢＹを生成する。２値化処理部３１３は、色差信号ＤＣと閾値を比較することで色差信号ＤＣの２値化を行い、色差２値化信号ＢＣを生成する。また、２値化処理部３１２，３１３は、予め固定したレベルに閾値を設定しておくものとしてもよく、撮像画像から提示画像を精度よく検出できるように、撮像画像に応じて閾値を設定するものとしてもよい。

信号選択部３１４は、輝度２値化信号ＢＹまたは色差２値化信号ＢＣを選択して、選択した２値化信号を水平分布取得部３１５と垂直分布取得部３１６に供給する。

水平分布取得部３１５は、２値化信号が輝度２値化信号ＢＹであるとき、ライン毎に輝度２値化信号ＢＹの信号レベルが閾値よりも高い画素をカウントすることで水平方向の分布を求めて、この分布を示す水平分布信号ＤＳｈを検出処理部３１７に供給する。また、水平分布取得部３１５は、２値化信号が色差２値化信号ＢＣであるとき、ライン毎に色差２値化信号ＢＣの信号レベルが閾値よりも高い画素をカウントすることで水平方向の分布を求めて、この分布を示す水平分布信号ＤＳｈを検出処理部３１７に供給する。

垂直分布取得部３１６は、２値化信号が輝度２値化信号ＢＹであるとき、垂直方向に輝度２値化信号ＢＹの信号レベルが閾値よりも高い画素をカウントして、上述の水平方向と直交する垂直方向の分布を求めて、この分布を示す垂直分布信号ＤＳｖを検出処理部３１７に供給する。また、垂直分布取得部３１６は、２値化信号が色差２値化信号ＢＣであるとき、色差２値化信号ＢＣの信号レベルが閾値よりも高い画素をカウントして垂直方向の分布を求めて、この分布を示す垂直分布信号ＤＳｖを検出処理部３１７に供給する。

検出処理部３１７は、水平分布取得部３１５から供給された水平分布信号ＤＳｈに基づき上辺と下辺を検出する処理と、垂直分布取得部３１６から供給された垂直分布信号ＤＳｖに基づき左辺と右辺を検出する処理を行う。さらに、検出処理部３１７は、検出された上辺，下辺，左辺および右辺が提示画像の各辺に相当するものであることを判別したとき、検出された上辺，下辺，左辺および右辺で囲まれる画像を提示画像と判定して、この提示画像の位置または提示画像が検出されたことを示す検出信号ＪＡを生成して制御部５１に供給する。

また、検出処理部３１７は、制御信号ＣＮによって信号選択部３１４の信号選択動作の制御を行い、最初に輝度２値化信号ＢＹを選択させて、輝度２値化信号ＢＹから提示画像を検出できないときは、信号選択部３１４で色差２値化信号ＢＣを選択させることで、輝度２値化信号ＢＹだけでなく色差２値化信号ＢＣから提示画像を検出する処理を行う。

検波部３２は、供給された画像信号ＤＶａから撮像画像の明るさを示す検波信号ＪＢを生成して制御部５１に供給する。検波部３２は、例えば撮像画像をｍ×ｎ個のブロックに分割し、それぞれのブロックにおける各画素の明るさを示す信号の総和を算出する。さらに、検波部３２は、算出した総和に対してブロック毎に重み付けを行い、重み付け後の総和の加算値を検波値として、この検波値を示す検波信号ＪＢを制御部５１に供給する。また、検波部３２は、制御部５１からの制御信号ＣＴｅに基づき検波領域を変更する。すなわち、重み付けが「０」されたブロックは検波値の算出に用いられず、重み付けを高くされたブロックは、検波値に寄与する割合が高くなる。したがって、重み付けを切り換えることによって検波領域を変更する。

図３は検波部３２の構成を示している。検波部３２のブロック化処理部３２１は、撮像画像をｍ×ｎ個のブロックに分割する処理を行い、画像信号ＤＶａをブロック毎の画像信号ＤＢＶとしてブロック別輝度算出部３２２に供給する。

ブロック別輝度算出部３２２は、画像信号ＤＢＶに基づきブロック内の各画素の輝度を総和したブロック別輝度値信号ＢＴをブロック毎に生成して乗算器３２４に供給する。

重み係数設定部３２３は、制御部５１から供給された制御信号ＣＴｅに基づき、ブロックのそれぞれに対して重み係数Ｗを設定して、設定した重み係数Ｗを乗算器３２４に供給する。

乗算器３２４は、ブロック別輝度算出部３２２から供給されたブロック別輝度値信号ＢＴに対して重み係数設定部３２３で設定された重み係数Ｗを乗算して、検波値算出部３２５に供給する。

検波値算出部３２５は、ブロック別輝度値信号ＢＴと重み係数Ｗの乗算結果を撮像画像内で加算して、加算結果を検波信号ＪＢとして制御部５１に供給する。また、検波値算出部３２５は、撮像画像毎に検波信号ＪＢの生成を行う。

画像処理部３５は、Ａ／Ｄ変換部２３から供給された画像信号ＤＶａに対して種々の画像処理を行う。例えばホワイトバランス（ＷＢ）調整部３５１では、撮像画像における白色の被写体が正しく白色として表示されるように、ホワイトバランス調整を行う。またホワイトバランス調整部３５１は、検出信号ＪＡによって撮像画像を提示画像の領域とその他の画像（以下「背景画像」という）の領域に区分できるとき、検出信号ＪＡに基づき、撮像画像における提示画像に対応したホワイトバランス調整と、背景画像の領域に対応したホワイトバランス調整を領域毎に行う。また、画像処理部３５は、ホワイトバランス調整後の画像信号に対してガンマ補正を行う。例えばガンマ補正部３５２は、提示画像検出部３１からの検出信号ＪＡによって撮像画像を提示画像の領域と背景画像の領域に区分できるとき、提示画像の領域に対しては白とびが生じないようにガンマ補正を行い、背景画像の領域に対しては黒つぶれが生じないようにガンマ補正を行う。

図４は、ホワイトバランス調整部３５１の構成を示している。ホワイトバランス検波部３５１ａは、画像信号ＤＶａから無彩色領域内の画像信号を抽出して、検波信号ＪＣとしてホワイトバランス補正係数設定部３５１ｂに供給する。また、ホワイトバランス検波部３５１ａは、検出信号ＪＡに基づき、提示画像の領域と背景画像の領域とで無彩色領域を切り換える。

ホワイトバランス補正係数設定部３５１ｂは、ホワイトバランス検波部３５１ａから供給された検波信号ＪＣからホワイトバランス補正係数Ｋを決定して補正処理部３５１ｃに供給する。

補正処理部３５１ｃは、画像信号ＤＶａに対してホワイトバランス補正係数Ｋを乗算することでホワイトバランス調整を行い、ホワイトバランス調整後の画像信号ＤＶｂを図１に示すガンマ補正部３５２に供給する。

さらに、画像処理部３５は、例えばホワイトバランス調整やガンマ補正等が行われた三原色の画像信号を、静止画像または動画像の画像符号化技術に応じた画像信号例えば輝度信号や色差信号等に変換して圧縮伸長処理を行い、得られた静止画像または動画像の圧縮符号化信号ＧＤａを記録再生部３７出力する。さらに、圧縮伸長処理が行われていない静止画像や動画像の画像信号および／または圧縮符号化信号を外部機器（図示せず）に出力する処理を行う。画像処理部３５は、圧縮符号化信号ＧＤｂが記録再生部３７から供給されたとき、圧縮符号化信号ＧＤｂを圧縮符号化処理前の画像信号に戻す処理を行う。さらに、画像処理部３５は、画像信号ＤＶａから表示画像信号ＨＧを生成して表示部３８に供給する。また、画像処理部３５は、制御部５１から供給された表示信号ＨＥに基づき、提示画像撮像モードに設定されたことを示す情報等がオンスクリーン表示されている表示画像信号ＨＧの生成等も行う。

記録再生部３７は、画像処理部３５から供給された圧縮符号化信号ＧＤａを、記録媒体例えば半導体メモリや光ディスクあるいは磁気テープ等の記録媒体に記録する。また、記録媒体に記録されている圧縮符号化信号ＧＤｂを読み出して画像処理部３５に供給する。

表示部３８は、例えば液晶表示素子等を用いて構成されており、画像処理部３５から供給された表示画像信号ＨＧに基づいて画像表示を行う。

レンズ駆動部４１は、撮像素子２１１の受光面に被写体像が焦点の合った状態で結像されるようにレンズ部１１のフォーカスレンズ(図示せず）を駆動する。また、撮像素子２１１の受光面に結像される被写体像の大きさが所望の大きさとなるようにレンズ部１１のズームレンズ(図示せず）を駆動する。

絞り駆動部４２は、絞り機構１２を駆動して、撮像素子２１１の受光面に結像される被写体像の光量を調整する。

ストロボ４５は、所望の明るさの撮像画像が得られるように、ストロボ光の照射を行う。

制御部５１には、ユーザインタフェース部５２や動き検出部５３が接続されている。ユーザインタフェース部５２は、操作キーや外部からの遠隔操作信号を入力するためのインタフェース等で構成されており、ユーザ操作に応じた操作信号ＰＳを生成して制御部５１に供給する。動き検出部５３は、撮像装置１０の動きによって生じる撮像画像の移動を検出するためのものであり、例えば加速度センサやジャイロセンサ等を用いて構成されている。動き検出部５３は、撮像装置１０の動きを検出して、動き検出結果を示すセンサ信号ＳＳを制御部５１に供給する。

制御部５１は、ＣＰＵ（Central Processing Unit）５１１や、ＲＯＭ（Read Only Memory）５１２、ＲＡＭ（Random Access Memory）５１３等で構成されている。ＣＰＵ５１１は、ＲＯＭ５１２に格納されているプログラムを実行して、操作信号ＰＳに応じた制御信号を生成して各部に供給することで、撮像装置の動作がユーザ操作に応じて動作となるように制御する。なお、ＲＡＭは、種々の制御を行う際に情報を一時記憶しておくためのワーキングエリア等として用いられる。

また、制御部５１は、検波部３２から供給された検波信号ＪＢによって示された検波値が予め設定されている基準値となるように制御信号を生成して制御信号を生成して露出調整部に供給することで、撮像画像における所望の被写体を最適な明るさとする。露出調整部は、少なくとも撮像部２１に入射する光量と撮像部２１から出力する画像信号Ｓａのゲインと撮像部２１で画像信号Ｓａを得る際の露光時間のいずれかを調整するものであり、絞り機構１２と絞り駆動部４２、タイミング信号発生部２２、増幅部２１３が露出調整部に相当する。例えば、制御部５１は、検波信号ＪＢに基づき制御信号ＣＴｂを生成して絞り駆動部４２に供給することで、撮像画像における所望の被写体が最適な明るさとなるように撮像部２１に入射する光量を調整する。また、制御部５１は、検波信号ＪＢに基づき制御信号ＣＴｃを生成してタイミング信号発生部２２に供給することで、撮像画像における所望の被写体が最適な明るさとなるように露光時間を調整する。また、制御部５１は、検波信号ＪＢに基づき制御信号ＣＴｄを生成して増幅部２１３に供給することで、撮像画像における所望の被写体が最適な明るさとなるように画像信号Ｓａのゲインを調整する。

さらに、制御部５１は、動き検出部５３からのセンサ信号ＳＳに応じて提示画像の検出動作の制御や、提示画像検出部３１から供給された検出信号ＪＡに基づき、提示画像が検出されたことを判別したとき、撮像画像における提示画像等を最適な画像とする提示画像撮像モードに切り換える処理も行う。また、制御部５１は、どのような撮像モードに設定されているかを制御信号ＣＴｅによって検波部３２と画像処理部３５に通知する。また、制御部５１は、ユーザによって提示画像の領域の指示が行われたとき、この指示された領域を示す情報を制御信号ＣＴｆとして提示画像検出部３１に供給する。

ここで、制御部５１によって提示画像撮像モードに設定されたとき、検波部３２は、撮像画像における提示画像が最適な明るさとなるように検波領域の切り換えを行う。画像処理部３５は、提示画像と背景画像の色再現をそれぞれ正しくするホワイトバランス調整や、提示画像に対しては白とびが生じないようにガンマ補正を行い、背景画像と判別された画像に対しては黒つぶれが生じないようにガンマ補正を行う。

なお、制御部５１は、制御信号ＣＴａを生成してレンズ駆動部４１に供給して、撮像素子２１１の受光面に被写体像が焦点の合った状態で結像されるようにフォーカスレンズを駆動させる制御や、所望の画角の撮像画像を得ることができるようにズームレンズを駆動させる制御等を行う。また、制御部５１は、制御信号ＣＴｈを生成してストロボ４５に供給して、ストロボ発光の制御を行う。

次に、提示画像領域の検出動作について説明し、その後、撮像装置の動作について説明する。図５は、提示画像の検出動作を示すフローチャートである。ステップＳＴ１で提示画像検出部３１は、変換処理を行う。提示画像検出部３１は、三原色の画像信号ＤＶａから輝度信号ＤＹと色差信号ＤＣを生成してステップＳＴ２に進む。

ステップＳＴ２で提示画像検出部３１は２値化処理を行う。提示画像検出部３１は、輝度信号ＤＹと色差信号ＤＣを２値化して、輝度２値化信号と色差２値化信号を生成してステップＳＴ３に進む。

２値化処理では、上述のように、輝度信号ＤＹや色差信号ＤＣと閾値を比較することで輝度信号ＤＹや色差信号ＤＣの２値化を行い、輝度２値化信号ＢＹや色差２値化信号ＢＣを生成する。２値化処理に用いる閾値は、予め固定したレベルに設定しておくものとしてもよく、撮像画像から提示画像を精度よく検出できるように、撮像画像に応じて閾値を設定するものとしてもよい。

ここで、撮像画像に応じて閾値を設定する場合、例えば統計的手法を用いて閾値の設定を行う。統計的手法としてはモード法や判別分析法等を用いるものとする。モード法は、撮像画像の輝度レベルのヒストグラムが双峰性を有しており、提示画像の部分と他の画像（以下「背景画像」という）の部分が区分されるとき、谷の位置を閾値として設定する方法である。また、判別分析法は、ヒストグラムを輝度レベルに応じて２つに区分してグループ分けを行い、このグループ間の分散が最大となる区分レベルを閾値として設定する方法である。

また、２値化処理において用いる閾値は、上述のように自動的に設定する場合に限られるものではなく、ユーザからの指示に応じて決定するようにしてもよい。ここで、ユーザからの指示に応じて閾値を決定する場合について説明する。

ユーザからの指示に応じて閾値を決定する場合、撮像画像を表示部３８に表示して、ユーザインタフェース部５２からの操作信号ＰＳに基づき、ユーザが提示画像であると指定した領域の画像信号から閾値を設定する。例えばユーザインタフェース部５２としてタッチパネルを用いるものとして、このタッチパネルを表示部３８の画面上に設ける。

図６は、ユーザからの指示に応じて閾値を決定する場合の動作を説明するための図である。図６の（Ａ）に示すようにユーザによる押圧部分ＰＰを検出して、この押圧部分ＰＰの輝度信号や色差信号の平均レベルＶａｖを求める。さらに、平均レベルＶａｖに対して図６の（Ｂ）のように幅をもたせて、幅の上限Ｖｔｈと下限Ｖｔｌを閾値として、上限Ｖｔｈから下限Ｖｔｌの範囲内であるか否かを示す２値化信号を生成する。

図７は、２値化処理で用いる閾値の設定処理を示すフローチャートである。ステップＳＴ１１において制御部５１は、閾値を自動的に設定するか否か判別する。制御部５１は、ユーザインタフェース部５２からの操作信号ＰＳによって閾値を自動的に設定するモードが選択されていると判別したときステップＳＴ１２に進み、閾値を手動で設定するモードが選択されていると判別したときステップＳＴ１３に進む。

ステップＳＴ１２で制御部５１は、提示画像検出部３１を制御して、撮像画像に応じた閾値の自動設定を行い、閾値の設定処理を終了する。提示画像検出部３１は、例えば上述のように統計的手法等を用いて閾値を自動的に設定する。また、提示画像検出部３１は予め設けられている閾値を自動的に用いるものとしてもよい。

ステップＳＴ１３で制御部５１は、ユーザ指示領域判別処理を行う。制御部５１は、ユーザインタフェース部５２からの操作信号ＰＳに基づき、例えば撮像画像上のユーザが押圧した領域を判別してステップＳＴ１４に進む。

ステップＳＴ１４で制御部５１は、提示画像検出部３１を制御して、ユーザ指示領域に応じた閾値の設定を行い、閾値の設定処理を終了する。ここで、制御部５１は、ステップＳＴ１３で判別した領域を、制御信号ＣＴｆによって提示画像検出部３１に通知する。提示画像検出部３１は、通知された領域の輝度信号や色差信号の平均レベルを算出して、算出した平均レベルを基準とした所定レベル範囲の上限と下限を閾値に設定して処理を終了する。

このように、ユーザからの指示に応じて閾値を設定できるようにすれば、提示画像部分と他の画像部分の輝度差が小さい等の理由から、統計的手法等を用いて閾値を自動的に設定することが困難な場合でも、提示画像に応じた閾値を設定することができる。

図５のステップＳＴ３で提示画像検出部３１は、輝度２値化信号ＢＹを選択してステップＳＴ４に進む。

ステップＳＴ４で提示画像検出部３１は、水平分布を取得してステップＳＴ５に進む。また、ステップＳＴ５で提示画像検出部３１は、垂直分布を取得してステップＳＴ６に進む。

図８は、水平分布と垂直分布の取得処理を示している。図８の（Ａ）は撮像画像を示しており、図８の（Ｂ）は２値化処理後の撮像画像を示している。提示画像検出部３１は、ライン毎に輝度信号ＤＹの信号レベルが閾値よりも高い画素をカウントすることで、図８の（Ｃ）に示す水平分布を得る。また、垂直方向に輝度信号ＤＹの信号レベルが閾値よりも高い画素をカウントすることで、図８の（Ｄ）に示すように、上述の水平方向と直交する垂直方向の分布を得る。

ステップＳＴ６で提示画像検出部３１は、提示画像の上辺と下辺の検出処理を行ってステップＳＴ７に進む。

図９，図１０は、提示画像の上辺と下辺の検出処理を示している。図９の（Ａ）は２値化処理後の撮像画像を示しており、図９の（Ｂ）はステップＳＴ４で取得した水平分布を示している。ここで、提示画像検出部３１は、水平分布を複数領域に区分して、領域毎に対象画素の総和を求める。例えば領域ＲＥｈ１，ＲＥｈ２，ＲＥｈ３，ＲＥｈ４，ＲＥｈ５に区分して、領域毎に対象画素の総和を求める。次に、提示画像検出部３１は、撮像画像の上端から下端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の上辺を含む領域を検出することが可能となる。同様に、提示画像検出部３１は、撮像画像の下端から上端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の下辺を含む領域を検出することが可能となる。

ところで、提示画像の辺が領域の境界に近接していると、領域内の対象画素の総和が大きく異なり、提示画像の辺を含む領域の検出が困難となる場合がある。例えば、提示画像の上辺が領域ＲＥｈ（ｎ）内であって領域ＲＥｈ（ｎ＋１）に近接していると、領域内の対象画素の総和が大きな値とならない。ここで、総和が閾値を超える領域の検出が行われると、提示画像の上辺は領域ＲＥｈ（ｎ＋１）に含まれると誤って判断されてしまうおそれがある。したがって、水平分布を複数領域に区分する際に、他の領域と重なる部分を有するように領域を設ける。例えば領域ＲＥｈ１〜ＲＥｈ５，ＲＥｈ１ｓ〜ＲＥｈ４ｓに示すように領域を設ける。この場合、提示画像の上辺が領域ＲＥｈ１と領域ＲＥｈ２の境界付近であって、領域ＲＥｈ１または領域ＲＥｈ２のいずれの位置であっても、領域ＲＥｈ１ｓにおける対象画素の総和は大きく変動することがない。したがって、このときの領域ＲＥｈ１ｓにおける対象画素の総和と閾値を比較したとき、提示画像の上辺が領域ＲＥｈ１ｓに含まれていると判別されるように閾値を設定すれば、提示画像の辺を含む領域を正しく検出することができる。なお、閾値は、予め固定して設けておくものとしてもよく、上述のように統計的手法を用いて各領域における対象画素の総和から閾値を設定するものとしてもよい。

次に、提示画像検出部３１は、検出した提示画像の辺を含む領域例えば上辺を含む領域ＲＥｈ１ｓにおいて、水平分布におけるライン毎の対象画素の総和を撮像画像の上端から下端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の上辺Ｌａとする。同様に、提示画像検出部３１は、下辺を含む領域ＲＥｈ４ｓにおいて、水平分布におけるライン毎の対象画素の総和を撮像画像の下端から上端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の下辺Ｌｂとする。図１０の（Ａ）は２値化処理後の撮像画像を示しており、図１０の（Ｂ）は水平分布を示している。ここで、領域ＲＥｈ１ｓが上辺を含む領域として判別されたとき、領域ＲＥｈ１ｓにおけるライン毎の対象画素の総和を撮像画像の上端から下端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の上辺Ｌａとする。同様に、領域ＲＥｈ４ｓが下辺を含む領域として判別されたとき、領域ＲＥｈ４ｓにおけるライン毎の対象画素の総和を撮像画像の下端から上端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の下辺Ｌｂとする。

このように、上辺や下辺を含む領域を検出して、検出した領域から提示画像の上辺や下辺を検出することで、例えばノイズ等によって一つのラインの総和が大きくなってしまっても、このラインが提示画像の上辺と誤って判断されてしまうことを防止できる。

ステップＳＴ７で提示画像検出部３１は、提示画像の左辺と右辺の検出処理を行ってステップＳＴ８に進む。

図１１，図１２は、提示画像の左辺と右辺の検出処理を示している。図１１の（Ａ）は２値化処理後の撮像画像を示しており、図１１の（Ｂ）はステップＳＴ５で取得した垂直分布を示している。ここで、提示画像検出部３１は、垂直分布を複数領域例えば領域ＲＥｖ１〜ＲＥｖ６，ＲＥｖ１ｓ〜ＲＥｖ５ｓに区分して、領域毎に対象画素の総和を求める。次に、提示画像検出部３１は、撮像画像の左端から右端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の左辺を含む領域ＲＥｖ２を検出することが可能となる。同様に、提示画像検出部３１は、撮像画像の右端から左端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の右辺を含む領域ＲＥｖ５を検出することが可能となる。なお、このときの閾値は、予め固定して設けておくものとしてもよく、上述のように統計的手法を用いて各領域における対象画素の総和から閾値を設定するものとしてもよい。

次に、提示画像検出部３１は、検出した領域例えば左辺を含む領域ＲＥｖ２において、垂直分布における画素位置毎の対象画素の総和を撮像画像の左端から右端方向に画素位置毎に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の左辺Ｌｃとする。同様に、提示画像検出部３１は、右辺を含む領域ＲＥｖ５において、垂直分布における画素位置毎の対象画素の総和を撮像画像の右端から左端方向に画素位置毎に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の右辺Ｌｄとする。

図１２の（Ａ）は２値化処理後の撮像画像を示しており、図１２の（Ｂ）は垂直分布を示している。ここで、領域ＲＥｖ２が左辺を含む領域として判別されたとき、領域ＲＥｖ２における画素位置毎の対象画素の総和を撮像画像の左端から右端方向に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の左辺Ｌｃとする。同様に、領域ＲＥｖ５が右辺を含む領域として判別されたとき、領域ＲＥｖ５における画素位置毎の対象画素の総和を撮像画像の右端から左端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の右辺Ｌｄとする。

ステップＳＴ８で提示画像検出部３１は、提示画像であるか否か判別する。提示画像検出部３１は、ステップＳＴ６，ＳＴ７で検出した上辺と下辺および左辺と右辺からアスペクト比を判別して、このアスペクト比が提示画像のアスペクト比例えばテレビジョン放送で用いられているアスペクト比「４：３」，「１６：９」等に近似しているとき、すなわち、判別したアスペクト比が「４：３±α」，「１６：９±β」であるとき、ステップＳＴ６とステップＳＴ７で検出した辺によって囲まれる領域を提示画像と判別して提示画像検出処理を終了する。なお「α」「β」は、提示画像であると判別するための許容範囲を示す定数であり、予め設定しておくものとする。このように、アスペクト比が所望のアスペクト比に近似しているか否かを判別することで、予め規定されているアスペクト比の提示画像を撮像したとき、撮像画像から提示画像の領域を容易に判別することが可能となる。

また、提示画像検出部３１は、提示画像の上辺と下辺および左辺と右辺を検出できないときや、検出した上辺と下辺および左辺と右辺に基づいて判別したアスペクト比が所望のアスペクト比に近似していないとき、提示画像を検出していないものとしてステップＳＴ９に進む。

図１３は、提示画像であるか否かの判別動作を説明するための図である。例えば、図１３の（Ａ）や（Ｂ）に示すように上辺Ｌａと下辺Ｌｂおよび左辺Ｌｃと右辺Ｌｄが検出されて、この検出された上辺，下辺，左辺および右辺で囲まれる画像が、提示画像のアスペクト比に近似していないとき、ステップＳＴ９に進む。

ステップＳＴ９で提示画像検出部３１は、提示画像の検出が１度目であるか否かを判別する。提示画像検出部３１は、輝度２値化信号を用いて提示画像の検出を行うとき、提示画像の検出が１度目であるからステップＳＴ１０に進む。

ステップＳＴ１０で提示画像検出部３１は、色差２値化信号を選択してステップＳＴ４に戻り、ステップＳＴ４からの処理を繰り返す。

提示画像検出部３１は、ステップＳＴ４からの処理を繰り返すことで、色差２値化信号に基づいた提示画像の検出を行う。なお、提示画像検出部３１は、提示画像の上辺と下辺および左辺と右辺を検出できないときや、検出した上辺と下辺および左辺と右辺に基づいて判別したアスペクト比が所望のアスペクト比に近似していないとき、ステップＳＴ８からステップＳＴ９に進む。

このように、輝度２値化信号だけでなく色差２値信号を用いて提示画像の検出を行うものとすれば、例えば提示画像と背景画像との輝度差が少ないため、輝度２値化信号に基づいて提示画像と背景画像を区分することが困難な場合でも、提示画像が背景画像とは異なる色を基調とした画像であるとき、色の違いから提示画像を検出できるようになる。この提示画像は、自然風景に比べ大きな輝度値を持つという特徴と色が濃いという特徴を持っている。ここで、色の濃さはＹＣＣ空間やＬａｂ空間の色空間における色差成分の大きさやＨＳＶ空間における彩度の大きさを用いて表すことができる。したがって、色差成分の強度や彩度の大きさを用いて提示画像の検出を行うものとすれば、輝度差に基づいて提示画像と背景画像の区分が困難な場合でも、提示画像と背景画像を区分することが可能となり、精度よく提示画像を検出できるようになる。

ステップＳＴ９で提示画像検出部３１は、提示画像の検出が１度目であるか否かを判別する。提示画像検出部３１は、輝度２値化信号と色差２値化信号を用いて提示画像の検出を行っており、提示画像の検出が１度目でないことから処理を終了する。

このような処理を行うものとすれば、エッジ画像からの直線検出を行うための数学的座標変換や頂点探索などの重い処理が不要となり、提示画像検出部３１は提示画像領域の検出処理を高速に行うことが可能となる。さらに、高速化のために縮小画像を用いた場合でも輪郭抽出を必要としないので検出精度劣化は少ないという利点が得られる。また、提示画像検出部３１は、輝度情報を使って検出に失敗した場合でも、色差情報を用いて提示画像の検出を行うので提示画像と背景画像との輝度が低くとも提示画像を検出することが可能となる。さらに、頂点探索によって提示画像を検出する場合、図１４の（Ａ）のように提示画像の一部が隠れていると、頂点を探索することが困難となり提示画像を検出することができない。しかし、本願発明によれば、２値化したとき図１４の（Ｂ）のようにある程度の外形が２値化画像で現れていれば提示画像を検出することが可能となる。さらに、提示画像と背景画像との境界部分で信号レベル差が少なく、エッジ検出では提示画像の検出が難しいような場合あっても提示画像を検出することが可能となる。

ところで、上述の実施の形態では、水平分布と垂直分布を複数領域に区分して、領域毎に対象画素の総和から上辺や下辺および左辺や右辺を含む領域を検出して、この検出した領域から上辺や下辺および左辺や右辺を検出している。ここで、提示画像検出部３１は、撮像画像における提示画像の領域の変動を生じさせる動作が行われたことを示す情報に応じて、提示画像の水平方向および垂直方向の辺の検出を行う検出範囲を設定して、提示画像の領域をさらに効率よく検出する。撮像画像における提示画像の領域の変動を生じさせる動作が行われたことを示す情報は、例えばフレーム間で生じた提示画像の変化を容易に識別可能とする情報（以下「フレーム間情報」という）である。例えば、撮像方向が変化すると撮像画像における提示画像の位置が変化する。このため、提示画像の位置の変化を容易に把握できるように、撮像装置１０に動き検出部５３を設けて、動き検出部５３からのセンサ信号ＳＳをフレーム間情報として用いて検出範囲の設定を行う。

次に、フレーム間情報を用いて提示画像を検出する場合の動作を図１５のフローチャートを用いて説明する。制御部５１は、動き検出部５３からのセンサ信号ＳＳに基づき、撮像装置１０の動きが予め設定した所定量を超えているか否か判別して、判別結果を制御信号ＣＴｆによって提示画像検出部３１に通知する。

ステップＳＴ２１で提示画像検出部３１は、撮像装置１０の動きが所定量未満であるときステップＳＴ２２に進み、撮像装置１０の動きが所定量以上であるときステップＳＴ２４に進む。

ステップＳＴ２２で提示画像検出部３１は、前フレームで提示画像を検出したか否か判別して、前フレームの撮像画像から提示画像を検出したときはステップＳＴ２３に進み、提示画像を検出していないときはステップＳＴ２４に進む。

ステップＳＴ２３で提示画像検出部３１は、検出範囲の切り換えを行う。図１６は、検出範囲の切り換えを示している。提示画像検出部３１は、図１６の（Ａ）に示すように前フレームで検出された提示画像の領域ＲＦａを基準として、検出範囲を撮像画像の範囲から図１６の（Ｂ）に示すように撮像画像よりも狭く提示画像よりも広い領域ＲＦｂに切り換えてステップＳＴ２４に進む。また、提示画像検出部３１は、前フレームで検出された位置を基準として検出範囲を設定するだけでなく、動き検出の結果も用いて行うものとしてもよい。例えば、撮像装置１０の動きがないときは、前フレームで検出された提示画像の例えば中心位置と検出範囲の中心位置が等しくなるように設定する。また、動き検出結果から撮像装置の動きが検出されたとき、撮像画像における提示画像の位置が撮像装置の動き方向とは逆方向に移動するので、提示画像検出部３１は、前フレームで検出された提示画像の位置に対して動き方向とは逆方向に検出範囲を広げるものとする。このようにすれば、撮像装置１０の動きに合わせて検出範囲を設定できる。また、動きが大きくなるに伴い検出範囲を広く設定してもよい。

ステップＳＴ２４で提示画像検出部３１は、検出範囲から提示画像の検出を行う。すなわち、提示画像検出部３１は、上述のステップＳＴ１からステップＳＴ１０の処理を行い、検出範囲から提示画像を検出して処理を終了する。

このように、撮像装置１０の動きが所定量未満であるとき、提示画像検出部３１は、前フレームで検出された提示画像の位置を参照して検出範囲を狭めるので、撮像画像から提示画像を検出する場合に比べて、提示画像の検出を速やかに行うことが可能となる。また、精度を重視して細かく提示画像の位置を検出する場合でも、撮像画像から提示画像を検出する場合に比べて検出に要する時間を短くすることが可能となる。さらに、提示画像検出部３１は、前フレームで検出された提示画像の位置を参照して検出範囲を設定するため、提示画像が存在する可能性の低い背景部分が除かれるので提示画像以外のものを間違えて検出してしまう可能性が低くなる。また、撮像装置の動きが大きいときでも、動きに応じて検出範囲を移動させることで、撮像画像から提示画像を検出する場合に比べて、提示画像の検出を速やかに行うことが可能となる。

ところで、撮像装置１０において、提示画像の変化は、撮像装置の動きだけでなく、ズーム動作を行って画角を変化させた場合も生じる。したがって、動き検出部５３からのセンサ信号ＳＳをフレーム間情報として用いるだけでなく、提示画像検出部３１はズーム情報に応じて検出範囲の切り換えを行うものとしてもよい。

次に、フレーム間情報としてズーム情報を用いて提示画像を検出する場合の動作について、図１７のフローチャートを用いて説明する。制御部５１は、ズーム操作が行われたとき、レンズ駆動部４１を制御するためでなく、ズーム情報例えばズーム倍率比を制御信号ＣＴｆによって提示画像検出部３１に通知する。

ステップＳＴ３１で提示画像検出部３１は、撮像装置１０の動きが所定量未満であるときステップＳＴ３２に進み、撮像装置１０の動きが所定量以上であるときステップＳＴ３５に進む。

ステップＳＴ３２で提示画像検出部３１は、前フレームで提示画像を検出したか否か判別して、前フレームの撮像画像から提示画像を検出したときはステップＳＴ３３に進み、提示画像を検出していないときはステップＳＴ３５に進む。

ステップＳＴ３３で提示画像検出部３１は、制御部５１からズーム情報を取得してステップＳＴ３４に進む。例えば、ズーム情報として、前フレームの撮像画像を生成したときのズーム倍率と現フレームの撮像画像を生成したときのズーム倍率との比（以下「ズーム倍率比」という）を取得する。

ステップＳＴ３４で提示画像検出部３１は、検出範囲の切り換えを行う。提示画像検出部３１は、前フレームで検出された提示画像の領域を基準として、ズーム倍率比に応じて、検出範囲を切り換えてステップＳＴ３５に進む。提示画像検出部３１は、ズーム倍率比が「１」よりも小さい場合、現フレームの提示画像は前フレームの提示画像よりも縮小したものとなることから検出範囲を小さくする。また、提示画像検出部３１は、ズーム倍率比が「１」よりも大きい場合、現フレームの提示画像は前フレームの提示画像よりも拡大したものとなることから検出範囲を大きくする。

図１８は、ズーム情報に基づいて検出範囲の切り換えを行う場合を示している。例えば、提示画像検出部３１は、上述のステップＳＴ２３に示すように検出範囲を切り換えたのち、ズーム倍率比が「１」よりも小さい場合には、図１８の（Ａ）に示すように検出範囲をズーム倍率比に応じて小さくする。また、ズーム倍率比が「１」よりも大きい場合には、図１８の（Ｂ）に示すように検出範囲をズーム倍率比に応じて大きくする。なお、図１８において、領域ＲＦｂはズーム倍率比に応じた変更前の検出範囲、領域ＲＦｃはズーム倍率比に応じた変更後の検出範囲をそれぞれ示している。

ステップＳＴ３５で提示画像検出部３１は、検出範囲から提示画像の検出を行う。すなわち、提示画像検出部３１は、上述のステップＳＴ１からステップＳＴ１０の処理を行い、検出範囲から提示画像を検出して処理を終了する。

このように、ズーム情報に応じて検出範囲を縮小または拡大すれば、例えばズーム倍率比が「１」よりも小さく提示画像が縮小される場合には、検出範囲が縮小されて提示画像が存在する可能性の低い背景部分が除かれるので提示画像以外のものを間違えて検出してしまう可能性を低くできる。また、速やかに提示画像を検出できる。また、ズーム倍率比が「１」よりも大きく提示画像が拡大される場合に、検出範囲が拡大されるので、検出範囲よりも提示画像が大きくなって、提示画像を検出できなくなってしまうことを防止できる。このように処理することで、撮像画像からの提示画像の検出をさらに効率よく行うことができる。

次に、提示画像の検出結果を用いて行われる撮像装置の動作について図１９，図２０のフローチャートを用いて説明する。ステップＳＴ１０１で制御部５１は、自動で撮像モードのモード切換を行うか否か判別する。制御部５１は、ユーザインタフェース部５２からの操作信号に基づき、撮像モードの自動切換を行うように設定が行われていると判断したときはステップＳＴ１０２に進み、自動切換を行うように設定が行われていないと判断したときは図２０のステップＳＴ１１１に進む。

ステップＳＴ１０２で制御部５１は、領域別にホワイトバランス（ＷＢ）調整および／またはガンマ（γ）補正を行うか否か判別する。制御部５１は、ユーザインタフェース部５２からの操作信号に基づき、領域別にホワイトバランス調整および／またはガンマ補正を行うように設定されていると判断したときはステップＳＴ１０３に進み、領域別にホワイトバランス調整および／またはガンマ補正を行うように設定が行われていないと判断したときはステップＳＴ１０５に進む。

ステップＳＴ１０３で制御部５１は、領域別に行うのはガンマ補正のみであるか否かを判別する。制御部５１は、領域別に行う処理がガンマ補正のみと設定されていないときステップＳＴ１０４に進み、領域別に行う処理がガンマ補正のみと設定されているときステップＳＴ１０７に進む。

ステップＳＴ１０４で制御部５１は、中間のホワイトバランス調整を行うか否か判別する。制御部５１は、提示画像における無彩色と背景画像の無彩色の中間色を無彩色とするホワイトバランス補正係数を求めて、このホワイトバランス補正係数を用いて撮像画像のホワイトバランス調整を行うか否か判別する。制御部５１は、中間のホワイトバランス調整を行うように設定されていると判別したときステップＳＴ１０５に進み、中間のホワイトバランス調整を行うように設定されていないと判別したときステップＳＴ１０７に進む。

ステップＳＴ１０５で制御部５１は、提示画像検出部３１で提示画像検出を行わせてステップＳＴ１０６に進む。提示画像検出部３１は、上述のように輝度信号や色差信号の２値化を行い、輝度２値化信号や色差２値化信号から水平分布信号ＤＳｈと垂直分布信号ＤＳｖを求め、この水平分布信号ＤＳｈと垂直分布信号ＤＳｖから提示画像の各辺を判別して提示画像を検出する。

ステップＳＴ１０６で制御部５１は、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ１２１に進み、満たしていないと判別したとき撮像モードを他の撮像モード（例えば通常撮像モード）に設定してステップＳＴ１２３に進む。

制御部５１は、提示画像が検出されたフレームの発生状況に応じて、提示画像撮像モードへの切換条件を満たしているか否か判別する。例えば、制御部５１は、提示画像が検出されたフレームを生ずる毎にカウントアップを行い、提示画像が検出されていないフレームが生ずる毎にカウントダウンを行う。なお、カウント値の範囲は「０」〜「数十程度」に設定する。ここで、カウント値が撮像モード判定のために予め設定されている閾値（以下「モード判定閾値」という）以上となったときには提示画像撮像モードに設定して、カウント値がモード判定閾値未満であるときは通常撮像モードに設定する。

また、制御部５１は、提示画像が検出されたフレームの連続数や、提示画像が検出されていないフレームの連続数に基づいて撮像モードの設定を行うものとしてもよい。例えば、提示画像が検出されたフレームの連続数が所定数となったとき、撮像モードを通常撮像モードから提示画像撮像モードに切り換える。また、提示画像が検出されていないフレームの連続数が所定数となったとき、撮像モードを提示画像撮像モードから通常撮像モードに切り換える。このようにすれば、提示画像の検出状況に応じた撮像モードの切り換えを安定して行うことができる。

ステップＳＴ１０７で制御部５１は、提示画像検出部３１で高精度提示画像検出を行わせてステップＳＴ１０８に進む。提示画像検出部３１は、上述のステップＳＴ１０５よりも高精度で提示画像の検出を行い、撮像画像における提示画像の領域を検出する。例えば、提示画像検出部３１では、検出した上辺，下辺，左辺および右辺が提示画像の各辺に相当するものであることを判別したとき、検出した上辺，下辺，左辺および右辺で囲まれる画像を提示画像と判定するだけでなく、さらに精度よく提示画像の領域を検出する。提示画像検出部３１は、精度よく提示画像の領域を検出する方法として、例えばエッジ検出結果から数学的座標変換等により直線を検出して、検出された直線で囲まれる矩形状は台形状の領域から提示画像の領域を判別する。また、提示画像検出部３１は他の方法を用いるものとしてもよい。

ステップＳＴ１０８で制御部５１は、ステップＳＴ１０６と同様に、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ１２４に進み、満たしていないと判別したとき撮像モードを通常撮像モードに設定してステップＳＴ１２３に進む。

ステップＳＴ１０１で撮像モードの自動切換を行うように設定が行われていないと判断して図２０のステップＳＴ１１１に進むと、制御部５１は、撮像モードがユーザによって提示画像撮像モードに設定されていか否かを判別する。制御部５１は、撮像モードが提示画像撮像モードに設定されているときステップＳＴ１１２に進み、通常撮像モードに設定されているとき、図１９のステップＳＴ１２３に進む。

ステップＳＴ１１２で制御部５１は、領域別にホワイトバランス（ＷＢ）調整および／またはガンマ（γ）補正を行うか否か判別する。制御部５１は、ユーザインタフェース部５２からの操作信号に基づき、領域別にホワイトバランス調整および／またはガンマ補正を行うように設定されていると判断したときはステップＳＴ１１３に進み、領域別にホワイトバランス調整および／またはガンマ補正を行うように設定が行われていないと判断したときはステップＳＴ１１５に進む。

ステップＳＴ１１３で制御部５１は、領域別に行うのはガンマ補正のみであるか否かを判別する。制御部５１は、領域別に行う処理がガンマ補正のみと設定されていないときステップＳＴ１１４に進み、領域別に行う処理がガンマ補正のみと設定されているときステップＳＴ１１６に進む。

ステップＳＴ１１４で制御部５１は、ステップＳＴ１０４と同様に中間のホワイトバランス調整を行うか否か判別する。制御部５１は、中間のホワイトバランス調整を行うように設定されていると判別したときステップＳＴ１１５に進み、中間のホワイトバランス調整を行うように設定されていないと判別したときステップＳＴ１１６に進む。

ステップＳＴ１１５で制御部５１は、ステップＳＴ１０５と同様に提示画像検出部３１で提示画像検出を行わせて図１９のステップＳＴ１２１進む。ステップＳＴ１１６で制御部５１は、ステップＳＴ１０７と同様に提示画像検出部３１で高精度の提示画像検出を行わせて図１９のステップＳＴ１２４進む。

図１９において、ステップＳＴ１０６あるいはステップＳＴ１１５からステップＳＴ１２１に進むと、制御部５１は、露出制御の変更を行うか否か判別する。制御部５１は、提示画像撮像モードの場合において、提示画像が適切な明るさとされた撮像画像を得られるように露出制御を切り換える設定がなされているときステップＳＴ１２２に進み、露出制御を切り換えるように設定がなされていないときはステップＳＴ１２３に進む。

ステップＳＴ１２２で制御部５１は、提示画像検出結果を用いた露出制御を行いステップＳＴ１２３に進む。例えば制御部５１は、検出信号ＪＡに基づき提示画像の位置を判別して、この判別結果に基づいた重み係数設定処理を検波部３２に対して行い、検波部３２で生成された検波信号ＪＢに基づき、少なくとも駆動部４２とタイミング信号発生部２２と増幅部２１３のいずれかを制御することで露出制御を行う。

図２１は、検波部３２で行われる重み付けを示している。検波部３２は、撮像画像を図２１の（Ａ）に示すように複数のブロック例えば（ｍ×ｎ）に分割する。また、撮像画像が図２１の（Ｂ）に示す構図とされて提示画像が検出されているときは、提示画像の影響を受けることがないように、提示画像を含んでいないブロックの重み付けを図２１の（Ｃ）に示すように高くする。例えば提示画像を含むブロックの重み係数は「０」として、背景画像のブロックの重み係数を高くする。なお、制御部５１は、通常撮像モードであるとき、中央部の重み付けを高くした重み係数設定処理、すなわち図２１の（Ｄ）に示すように撮像画像における中央部のブロックの重み付けが高くなるように重み係数の設定を行う。

撮像モードに応じて重み係数の設定が行われると、検波部３２は、撮像画像に検波領域を設けて、検波領域の画像信号から検波信号ＪＢを生成する。すなわち、検波部３２は、撮像画像をブロックに分割して、ブロックにおける各画素の明るさを示す信号の総和に対して重み係数Ｗの重み付けを行い、重み付け後の総和を加算して検波値Ｖｊｂを算出して、この検波値Ｖｊｂを示す検波信号ＪＢを生成する。

ここで、座標（ａ，ｂ）のブロック内に含まれる画素の輝度信号の総和をＢＴ(a,b)、座標（ａ，ｂ）のブロックに対する重み係数をＷ(a,b)としたとき、検波部３２は、式（１）に基づき検波値Ｖｊｂを生成する。

なお、重み係数の総和を１に正規化することで、正規化された検波値Ｖｊｂを得ることができる。

制御部５１は、検波部３２で生成された検波信号ＪＢに基づき、少なくとも制御信号ＣＴｂ，ＣＴｃ，ＣＴｄのいずれかを生成して露出制御を行う。

ステップＳＴ１２３で制御部５１は、領域を区分することなくホワイトバランス調整および／またはガンマ補正を行いステップＳＴ１０１に戻る。制御部５１は、画像処理部３５のホワイトバランス調整部３５１を制御して、例えば撮像画像からホワイトバランス補正係数を算出して、このホワイトバランス補正係数を用いてホワイトバランス調整を行う。

また、制御部５１は、ステップＳＴ１０４やステップＳＴ１１４で、中間のホワイトバランス調整を行うと判別されているとき、提示画像における無彩色と背景画像の無彩色の中間色を無彩色とするホワイトバランス補正係数を求めて、このホワイトバランス補正係数を用いて撮像画像のホワイトバランス調整を行う。

図２２は、ホワイトバランス検波を行って得られた無彩色の位置を示している。ここで、ホワイトバランス検波を行うことにより得られた検波信号から検出した（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上における提示画像の無彩色が位置ＡＣｐａとなり、背景画像の無彩色が位置ＡＣｐｂとなったとき、提示画像における無彩色の位置ＡＣｐａと背景画像における無彩色の位置ＡＣｐｂの中間位置ＡＣｐｃを無彩色とするホワイトバランス補正係数を求める。さらに、求めたホワイトバランス補正係数を用いて撮像画像のホワイトバランス調整を行う。なお、図２２において、領域ＡＣＳは一般的な光源（例えば太陽光や白熱灯）下で撮像した画像における無彩色領域、領域ＡＣＲは実験的に得たスクリーンに投影された画像における無彩色領域を示している。

また、制御部５１は、画像処理部３５のガンマ補正部３５２を制御して、予め設定されているガンマカーブを用いて撮像画像のガンマ補正を行う。

ステップＳＴ１０８あるいはステップＳＴ１１６からステップＳＴ１２４に進むと、制御部５１は、ステップＳＴ１２１と同様に露出制御の変更を行うか否か判別する。制御部５１は、提示画像撮像モードの場合において、提示画像が適切な明るさとされた撮像画像を得られるように露出制御を切り換える設定がなされているときステップＳＴ１２５に進み、露出制御を切り換えるように設定がなされていないときはステップＳＴ１２６に進む。

ステップＳＴ１２５で制御部５１は、ステップＳＴ１２２と同様に、提示画像検出結果を用いた露出制御を行いステップＳＴ１２６に進む。

ステップＳＴ１２６で制御部５１は、領域別のホワイトバランス調整および／またはガンマ補正を行いステップＳＴ１０１に戻る。制御部５１は、画像処理部３５のホワイトバランス調整部３５１を制御して、提示画像と背景画像からそれぞれホワイトバランス補正係数を算出する。さらに、制御部５１は、提示画像から算出したホワイトバランス補正係数を用いて提示画像のホワイトバランス調整を行い、背景画像から算出したホワイトバランス補正係数を用いて背景画像のホワイトバランス調整を行う。例えば、図２２に示すように、提示画像の無彩色が位置ＡＣｐａとなり、背景画像の無彩色が位置ＡＣｐｂとなったとき、提示画像の無彩色の位置ＡＣｐａからホワイトバランス補正係数を求めて、このホワイトバランス補正係数を用いて提示画像の領域に対してホワイトバランス調整を行う。また、背景画像の無彩色の位置ＡＣｐｂからホワイトバランス補正係数を求めて、このホワイトバランス補正係数を用いて背景画像の領域に対してホワイトバランス調整を行う。

また、制御部５１は、画像処理部３５のガンマ補正部３５２を制御して、領域別にガンマ補正を行う。図２３は、ガンマ補正を行うときの補正特性を示している。制御部５１は、例えば提示画像の領域ついて、図２３の（Ａ）に示すように、通常撮像モードで用いるガンマカーブＣＢａに比べて高輝度部分の輝度レベルを圧縮する特性のガンマカーブＣＢｂを用いてガンマ補正部３５２でガンマ補正を行わせる。また、制御部５１は、例えば背景画像の領域ついて、図２３の（Ｂ）に示すように、通常のガンマカーブＣＢａに比べて低輝度部分の輝度レベルを伸長する特性のガンマカーブＣＢｃを用いてガンマ補正部３５２でガンマ補正を行わせる。

このように、撮像画像から提示画像を検出して、提示画像の検出結果に基づき露出制御やホワイトバランス調整、ガンマ補正等を行うものとすれば、提示画像が適度な明るさで正しい色とされた撮像画像を得ることができるようになる。また、提示画像とは異なる他の画像例えば背景画像の黒つぶれ等が生じてしまうことも防止できる。

画像処理装置を撮像装置に適用した場合の構成を示す図である。 提示画像検出部の構成を示す図である。 検波部の構成を示す図である。 ホワイトバランス調整部の構成を示す図である。 提示画像の検出動作を示す図である。 ユーザからの指示に応じて閾値を決定する場合の動作を説明するための図である。 ２値化処理で用いる閾値の設定処理を示すフローチャートである。 水平分布と垂直分布の取得処理を示す図である。 提示画像の上辺と下辺の検出処理を示す図である。 提示画像の上辺と下辺の検出処理を示す図である。 提示画像の左辺と右辺の検出処理を示す図である。 提示画像の左辺と右辺の検出処理を示す図である。 提示画像であるか否かの判別動作を説明するための図である。 提示画像の一部が隠れている場合を示す図である。 フレーム間情報を用いて提示画像を検出する場合の動作を示すフローチャートである。 検出範囲の切り換えを示す図である。 ズーム情報を用いて提示画像を検出する場合の動作を示すフローチャートある。 ズーム情報に基づいて検出範囲の切り換えを行う場合を示す図である。 提示画像の検出結果を用いて行われる撮像装置の動作を示すフローチャートである。 提示画像の検出結果を用いて行われる撮像装置の動作を示すフローチャートである。 検波部で行われる重み付けを説明するための図である。 ホワイトバランス検波を行って得られた無彩色の位置を示す図である。 ガンマ補正を行うときの補正特性を示す図である。

符号の説明

１０・・・撮像装置、１１・・・レンズ部、１２・・・絞り機構、２１・・・撮像部、２２・・・タイミング信号発生部、２３・・・Ａ／Ｄ変換部、３１・・・提示画像検出部、３２・・・検波部、３５・・・画像処理部、３７・・・記録再生部、３８・・・表示部、４１・・・レンズ駆動部、４２・・・絞り駆動部、４５・・・ストロボ、５１・・・制御部、５２・・・ユーザインタフェース部、２１１・・・撮像素子、２１２・・・ＣＤＳ部、２１３・・・増幅部、３５１・・・ホワイトバランス（ＷＢ）調整部、３５１ａ・・・ホワイトバランス検波部、３５１ｂ・・・ホワイトバランス補正係数設定部、３５１ｃ・・・補正処理部、３５２・・・ガンマ補正部、３１１・・・変換処理部、３１２，３１３・・・２値化処理部、３１５・・・水平分布取得部、３１６・・・垂直分布取得部、３１７・・・検出処理部、３２１・・・ブロック化処理部、３２２・・・ブロック別輝度算出部、３２３・・・係数設定部、３２４・・・乗算器、３２５・・・検波値算出部

Claims (9)

1. 撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理部と、
   前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得部と、
   前記水平方向の分布から前記撮像画像における画像提示装置によって提示された提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出部と
   を備える画像処理装置。
2. 前記２値化処理部は、前記撮像画像の色差信号と閾値を比較して２値化信号を生成し、
   前記分布取得部は、前記色差信号の２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得し、
   前記検出部は、前記輝度信号の２値化信号に基づく水平方向および垂直方向の分布から前記提示画像の水平方向および垂直方向の辺の検出ができないとき、前記色差信号の２値化信号に基づく水平方向の分布から前記提示画像の水平方向の辺の検出を行い、前記色差信号の２値化信号に基づく垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う、請求項１記載の画像処理装置。
3. 前記検出部は、前記水平方向の分布と垂直方向の分布を複数の領域に区分して、各領域における前記閾値を超える画素数から、いずれの領域に前記提示画像の水平方向および垂直方向の辺が含まれているか検出して、該検出された領域から、前記提示画像の水平方向および垂直方向の辺を検出する、請求項２記載の画像処理装置。
4. 前記検出部は、前記撮像画像における前記提示画像の領域の変動を生じさせる動作が行われたことを示す情報に応じて、前記提示画像の水平方向および垂直方向の辺の検出を行う検出範囲を設定する、請求項３記載の画像処理装置。
5. 前記撮像画像を得る撮像装置の動き検出を行い、該動き検出結果に応じて前記検出範囲を設定する、請求項４記載の画像処理装置。
6. 前記撮像画像を得る撮像装置のズーム動作検出を行い、該検出結果に応じて前記検出範囲を設定する、請求項４記載の画像処理装置。
7. ユーザ操作に応じた操作信号を生成するユーザインタフェース部を備え、
   前記操作信号に基づきユーザによって指示された領域を判別して、該ユーザによって指示された領域の画像から前記閾値を決定する、請求項１記載の画像処理装置。
8. 撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理工程と、
   前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得工程と、
   前記水平方向の分布から前記撮像画像における画像提示装置によって提示された提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出工程と
   を備える画像処理方法。
9. 被写体を撮像して撮像画像を得る撮像部と、
   前記撮像画像の輝度信号を閾値と比較して２値化信号を生成する２値化処理部と、
   前記２値化信号から前記閾値を超える画素の水平方向および垂直方向の分布を取得する分布取得部と、
   前記水平方向の分布から前記撮像画像における画像提示装置によって提示された提示画像の水平方向の辺の検出を行い、前記垂直方向の分布から前記提示画像の垂直方向の辺の検出を行う検出部と
   を備える撮像装置。