JP7618437B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像画像を処理する画像処理技術に関する。

広角レンズによる撮影画像の歪みを補正する技術が従来から知られている。特許文献１には、撮影画像から被写体の矩形領域を検出して歪曲率を算出し、その歪曲率に基づいて広角レンズ歪みの補正を行うための変換パラメータを導出する技術が開示されている。特許文献２には、車両に搭載されたカメラによる撮影画像を車両室内のモニタに表示する際、広範囲の表示を保ちつつレンズ歪みを軽減するために、撮影画像上の位置に従って補正係数を切り替えて歪み補正を行う技術が開示されている。

特開２０１５－１６５６２９号公報 特開２０１３－１１０７１２号公報

特許文献１や特許文献２で示された技術では、人が見て違和感の少ない幾何特性に変換することを目的としているため、例えば撮影画像を用いた画像解析処理への入力に適した画像が必ずしも得られるわけではない。

そこで本発明は、画像解析処理への入力に適した画像を取得することを目的とする。

本発明の画像処理装置は、第一の画像における実空間上の鉛直線に対応する少なくとも２つの直線を指定するユーザからの指示を受け付ける第一の操作手段と、前記第一の操作手段によって指定された前記少なくとも２つの直線の位置に基づいて、前記第一の画像を第二の画像に補正する補正処理を実行する補正手段と、前記第一の操作手段によって指定された前記少なくとも２つの直線が前記補正処理において有効か否かを評価する評価手段と、前記評価手段によって前記少なくとも２つの直線が前記補正処理において有効でないと評価された場合に、前記第一の操作手段によって指定された前記少なくとも２つの直線を修正する第二の操作手段と、有し、前記補正手段は、前記評価手段によって前記少なくとも２つの直線が前記補正処理において有効であると評価された場合に、前記少なくとも２つの直線に基づいて前記補正処理を実行し、前記補正処理において、前記補正手段は、前記第一の操作手段に対して指定された前記少なくとも２つの直線の交点に基づいて１点を決定し、前記決定した１点に基づいて、前記第一の画像を含む扇形領域を決定し、前記扇形領域に基づいて、前記第一の画像を前記第二の画像に補正することを特徴とする。

本発明によれば、画像解析処理への入力に適した画像を取得できる。

画像処理装置を含むシステム構成例を示す図である。 人物を検出する画像解析処理と画像の歪みとの関係説明に用いる図である。 実施形態に係る画像処理のフローチャートである。 変換前後の画像を含む平面領域の説明に用いる図である。 ユーザによる基準線指定に係る処理のフローチャートである。 基準線の評価の説明に用いる図である。 基準線の確認を促す操作画面例を示す図である。 基準線追加を促す操作画面例を示す図である。 基準線指定の完了が可能であることを表す操作画面例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。また、同一の構成については、同じ符号を付して説明する。

＜第一の実施形態＞
図１は、本実施形態に係る画像処理装置を含むシステムの概略的な構成例を示した図である。
画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ネットワーク制御部１０５、表示制御部１０６、および操作制御部１０７を備える。これら各構成部はシステムバス１０８を介して互いに接続され、データの送受信が可能である。画像処理装置１００は、ネットワーク制御部１０５を介してネットワーク３００と接続し、ネットワーク３００を介して撮像装置２００および記憶装置４００と接続される。また、画像処理装置１００は、表示制御部１０６を介して表示装置１３０と接続される。さらに画像処理装置１００は、操作制御部１０７を介して操作装置１５０と接続される。

ＣＰＵ１０１は、画像処理装置１００における動作を統括的に制御するものであり、システムバス１０８を介して各構成部（１０２～１０７）を制御する。またＣＰＵ１０１は、プログラムに基づいて、後述する本実施形態に係る画像処理および画像解析処理等を実行する。
ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＨＤＤ１０４は、大容量の記憶装置である。ＨＤＤ１０４は、ＯＳ（オペレーティングシステム）や、ＣＰＵ１０１が本実施形態に係る画像処理や画像解析処理を実行するためのプログラム、画像解析処理に利用するデータや解析結果データなどの各種データを記憶する。なお、当該プログラムは、ＨＤＤ１０４のほか、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。すなわちＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２やＨＤＤ１０４から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

ネットワーク制御部１０５は、ネットワーク３００を介して外部装置と通信するためのインターフェースである。外部装置とは、ネットワークカメラ等の撮像装置２００、録画データおよびその他データを蓄積するための記憶装置４００、その他ネットワークに接続された装置である。
表示制御部１０６は、画像処理装置１００から出力される表示データを表示装置１３０に表示させるためのインターフェースである。
操作制御部１０７は、操作装置１５０を通じてユーザが入力した操作指示情報を画像処理装置１００に伝達するためのインターフェースである。操作装置１５０は、例えばキーボード、マウス、タッチパネルである。なお操作装置１５０がタッチパネルである場合、タッチパネルは表示装置１３０の画面と一体に形成されていてもよい。

前述した構成において、画像処理装置１００の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、ＨＤＤ１０４からＯＳをＲＡＭ１０３にロードし、実行する。そして、ＣＰＵ１０１は、ＲＡＭ１０３にロードしたＯＳによる制御下で、本実施形態に係る画像処理アプリケーションプログラムをＨＤＤ１０４からＲＡＭ１０３にロードし、実行する。またＣＰＵ１０１は、画像解析処理アプリケーションプログラムをＨＤＤ１０４からＲＡＭ１０３にロードして、実行する。これにより、本実施形態の画像処理装置１００は、画像解析装置としても機能する。

図２（ａ）は、広角レンズを用いて取得された撮影画像と、当該撮影画像から人物の検出や人数を推定等する画像解析処理が行われる場合において、撮影画像の歪みとその画像内に写っている被写体との関係を説明するための図である。図２（ａ）は、広角レンズで撮影された画像１０に対し、本実施形態に係る画像処理を行わずに、被写体の人物を検出する画像解析処理を行った結果の例を示している。

図２（ａ）の例において、破線１４で囲まれた人物１２とおよび破線１５で囲まれた人物１３は、画像解析の結果検出された人物であることを示している。画像１０の例の場合、実際には３人の人物１１，１２，１３が写っているが、画像解析処理によって検出できたのは人物１２と人物１３の２人であり、人物１１は検出されていない。人物１２と人物１３は撮影画像において鉛直方向に直立した状態で写っているために画像解析処理で人物として検出されているのに対し、人物１１は斜めの状態で写っているため、画像解析処理では人物として検出できていない。つまり図２（ａ）の画像１０の場合、斜めの状態の人物１１を検出できていないため、画像解析処理における解析精度は低い。またこのように人物の検出漏れが生じている場合、人数を推定する画像解析処理における解析精度も低いものとなる。

図２（ｂ）は、図２（ａ）に例示した画像１０内で斜めの人物１１のみを回転させて人物２１とする画像処理を行った後の画像２０に対し、前述同様の画像解析処理を行った結果を示している。回転後の人物２１は、画像２０内において鉛直方向に直立した状態になっているため、画像解析処理で人物として検出できている。このため図２（ｂ）の例の場合、人物２１は、画像解析の結果検出されたことを表す破線２２で囲まれた人物として描かれている。このように、広角レンズで撮影された画像において人物が斜めに写っている場合、その人物の画像上での角度を変えて鉛直方向に直立した状態にすることで、画像解析処理において人物として検出可能となる。しかしながら、画像１０内で斜めの人物のみを回転させて画像２０を生成する画像処理の場合、回転する領域を決定するための処理が非常に複雑であり、これを画像解析の前処理として行うのは現実的ではない。

そこで本実施形態では、画像処理として、広角レンズで撮影された第一の画像上で、実空間上の鉛直線に対応する線を特定する特定処理と、その第一の画像上で特定した少なくとも２つの線の位置に基づいて、第一の画像を第二画像に補正する補正処理とを行う。補正処理においては、実空間上では鉛直方向の被写体であって第一の画像上では斜めになっている被写体が鉛直方向となるように第一の画像を簡易的に幾何変換するための変換係数を、特定処理で取得した少なくとも２つの線の位置に基づいて生成する。そして、その変換係数を用いた幾何変換処理を第一の画像に対して施すことにより、人物等の被写体が画像の垂直方向（鉛直方向）に近づくように補正して、第二の画像を取得する。これにより、画像解析精度が、画像内の被写体の傾きに影響されて低下してしまうのを防ぐことができる。すなわち例えば、広角レンズで撮影した画像上で人物等が斜めに写っていた場合でも、その人物等の検出や数の推定を行う解析精度が低下してしまうのを抑止することができる。

図２（ｃ）の画像３０は、図２（ａ）の画像１０（第一の画像）に対して本実施形態の画像処理（簡易的な幾何変換による補正処理）を行った後の画像（第二の画像）であり、当該補正後の画像から人物を検出する画像解析処理を行った結果を示している。図２（ｃ）において、人物３２は図２（ａ）の人物１２に対応し、同様に、人物３３は人物１３に、人物３１は人物１１に対応している。図２（ｃ）の場合、画像３０内の人物３１～３３の内、特に人物３１は、図２（ａ）に示した元の画像１０内の人物１３と比較して多少変形はしているものの、画像３０内で鉛直方向に直立した状態になっている。このため、図２（ｃ）の画像３０では、人物３２、人物３３だけでなく、人物３１についても画像解析処理によって人物として検出されている。すなわち図２（ｃ）の場合、人物３２、３３がそれぞれ破線３４、３５で囲まれて描画されていると共に、人物３１についても、画像解析で人物として検出されたことを示す破線３６によって囲まれている。

以下、本実施形態の画像処理装置１００が画像解析処理の前処理として実施する、画像処理（幾何変換処理）について説明する。
図３（ａ）～図３（ｃ）は、ネットワークカメラ等の撮像装置２００または記憶装置４００からネットワーク３００経由で取得した第一の画像に対し、本実施形態の画像処理装置１００が実行する画像処理（幾何変換処理）の流れを示すフローチャートである。なお、以降の各フローチャートにおける各処理は、画像処理装置１００のＣＰＵ１０１が、本実施形態に係るプログラムを実行することによる実現されるとする。

ステップＳ３０１において、ＣＰＵ１０１は、処理対象の画像の入力を受け付ける。処理対象の画像は、広角レンズを用いて撮影された画像（第一の画像）であるとする。
次にステップＳ３０２において、ＣＰＵ１０１は、ステップＳ３０１で受け付けた入力画像上で、実空間上で被写体の鉛直方向を示すと推測される直線であって、その後の変換係数算出の際に用いられる基準線を特定する。

図３（ｂ）は、ステップＳ３０２における基準線決定処理の詳細を示すフローチャートである。
図３（ｂ）のステップＳ３０８において、ＣＰＵ１０１は、画像内の直線を検出する。直線の検出方法は、一般によく知られている様々な方法のいずれの方法を用いてもよい。一例として、ＣＰＵ１０１は、入力画像をグレースケール変換し、各画素値の微分情報を利用してエッジの構成要素となるエッジ画素を抽出する。次にＣＰＵ１０１は、様々な位置や角度の複数の直線を仮想的に定義し、抽出されたエッジ画素が多く載る直線を選択するハフ変換を行う。このとき、被写体が直線であってもレンズによる歪みによって撮影画像上では歪曲することがあるため、仮想的に定義した直線にエッジ画素が載ると判断する許容量を撮影条件に応じて設けておくことにする。またこのとき、選択された直線群の中から、本来であれば選択の必要が無かった直線をノイズとして除去することが望ましい。例えば、ＣＰＵ１０１は、直線上のエッジ画素の分布がごく狭い範囲にのみ存在する直線、つまり非常に短い直線の選択を解除する。

次にステップＳ３０９において、ＣＰＵ１０１は、ステップＳ３０８で検出した直線群から実空間上では鉛直線であると推測できる所定の条件を満たした直線を抽出する。鉛直線と推測できる所定の条件は、入力画像が広角レンズでの撮影画像であるという前提で定義する。すなわち画像の中央より右側では右上から左下に引かれる角度の直線、画像の中央より左側では左上から右下に引かれる角度の直線が、被写体の鉛直線であるとして抽出される。なお画像内の位置に応じて、鉛直線と判定する角度の範囲を撮影条件も考慮して定義すると、さらに精度を上げることができる。

次にステップＳ３１０において、ＣＰＵ１０１は、ステップＳ３０９で実空間上の鉛直線であると推測された直線の中から、後に行われる幾何変換の係数を算出するために利用する直線を特定し、それを基準線として決定する。このとき、ＣＰＵ１０１は、実空間上の鉛直線であると推測された直線の本数が既定数（例えば２つ）に満たない場合には、それら全ての直線を基準線とする。一方、実空間上の鉛直線であると推測された直線の本数が既定数以上である場合、ＣＰＵ１０１は、画面に対する角度と位置が近い直線が複数あれば、そのうちの代表的な１本を選択して基準線とする。なお、画面に対する角度と位置が近い直線としては、例えば閾値角度範囲内や閾値位置範囲内にあるものを近い直線とする例が考えられる。またＣＰＵ１０１は、ノイズと判断できる特異な直線については基準線の候補から除去する。例えば、ＣＰＵ１０１は、１本の直線の方向（角度）が近隣の多くの直線と明らかに異なるなどの場合、その直線を特異な直線であると判断し、基準線の候補から除外する。なお近隣の直線と明らかに異なるか否かについても、例えば角度の閾値範囲等を基に判断すればよい。このようにして、ＣＰＵ１０１は、入力画像（第一画像）から、実空間上の鉛直線に対応する直線であって、当該画像内で角度が異なる少なくとも２つ以上（２本以上）の基準線を決定する。

図３（ｂ）のステップＳ３１０の処理後、つまり図３（ａ）のステップＳ３０２の処理後、ＣＰＵ１０１は、図３（ａ）のステップＳ３０３へ処理を進める。
ステップＳ３０３に進むと、ＣＰＵ１０１は、ステップＳ３０２で決定した、画像内で角度が異なる２つ（２本）以上の基準線を基に、幾何変換前の仮想的な平面領域として、撮影画像（第一の画像）を含む扇形領域を設定する。そして、ＣＰＵ１０１は、その扇形領域の中心座標（扇のかなめに対応する座標）を算出する。画像内で角度が異なる２つ以上の基準線に基づく扇形領域の設定、およびその扇形領域の中心座標の詳細は後述する。

図３（ｃ）は、画像内で角度が異なる２つ以上の基準線に基づく扇形領域の設定およびその中心座標を算出する、ステップＳ３０３の処理の詳細なフローチャートである。
図３（ｃ）のステップＳ３１１において、ＣＰＵ１０１は、ステップＳ３０２で決定した角度が異なる２つ以上の基準線の全組み合わせにおいて、それら基準線を延長した線が交わる交点の座標を算出する。

次にステップＳ３１２において、ＣＰＵ１０１は、ステップＳ３１１で算出した交点のうち、その交点の座標が既定範囲内である交点を抽出する。なおステップＳ３１１で算出した交点が１点のみである場合、ＣＰＵ１０１は、その１点の交点を抽出する。一方、ステップＳ３１１で算出された交点が複数ある場合、ＣＰＵ１０１は、それら複数の交点のうち、既定範囲内の交点を抽出する。ここで、既定範囲とは、画像の横と縦のいずれか一方の幅の中央を中心とする既定幅の範囲である。例えば画像の横幅方向をｘ軸方向とし、画像の縦幅方向をｙ軸方向（ｘ軸方向に直交する軸）とした場合、画像の横幅中央を通るｙ軸方向の直線を挟んで、ｘ軸方向上の距離がそれぞれ既定距離である、ｙ軸に平行な２本の直線で挟まれた範囲が既定範囲となる。この場合、ＣＰＵ１０１は、交点のｘ座標が、既定範囲内にある交点を抽出する。なおここでは、画像の横幅中央を通るｙ軸方向の垂直線からの距離が既定距離内を既定範囲とする例に挙げたが、既定範囲は、画像の縦幅中央を通るｘ軸方向の垂直線からの距離が既定距離内の範囲となされてもよい。またＣＰＵ１０１は、画像の横幅中央を通る垂直線からの距離が既定距離内の既定範囲と、画像の縦幅中央を通る垂直線からの距離が既定距離内の既定範囲とを、撮影条件等に応じて適宜切り替えて使用してもよい。

次にステップＳ３１３において、ＣＰＵ１０１は、ステップＳ３１２で抽出された交点の有無を判断して処理を分岐する。ここで抽出された交点が無い場合、ＣＰＵ１０１は、ステップＳ３１６へ処理を進め、ステップＳ３１６において扇形領域の中心座標が未決定であることを示す情報を生成する。一方、抽出した交点が１つ以上ある場合、ＣＰＵ１０１は、ステップＳ３１４へ処理を進める。

ステップＳ３１４に進むと、ＣＰＵ１０１は、抽出した交点座標を基に、ｙ座標の代表値を決定する。ＣＰＵ１０１は、例えば抽出した全交点のｙ座標の平均値または中央値を代表値とする。ｙ座標の代表値の決定方法は限定されるものではなく、ＣＰＵ１０１は、例えば、抽出した全交点のｙ座標の分布を基に、多くの交点が集中する付近のｙ座標を求めて代表値としてもよい。

そして次のステップＳ３１５において、ＣＰＵ１０１は、扇形領域の中心座標を決定する。本実施形態の場合、ＣＰＵ１０１は、ステップＳ３１４で求めたｙ座標の代表値を、扇形領域の中心座標のｙ座標とする。また、ＣＰＵ１０１は、画像の横幅方向中央に対応したｘ座標を、扇形領域の中心座標のｘ座標とする。そして、ＣＰＵ１０１は、扇形領域の中心座標が決定されたことを示す情報を生成する。以上のようにして扇形領域の中心座標算出処理が行われる。

図３（ｃ）のフローチャートの処理後、つまり図３（ａ）のステップＳ３０３の後、ＣＰＵ１０１は、図３（ａ）のステップＳ３０４へ処理を進める。
ステップＳ３０４に進むと、ＣＰＵ１０１は、扇形領域の中心座標が決定されたか否かによって処理を分岐する。つまりＣＰＵ１０１は、扇形領域の中心座標が決定された場合にはステップＳ３０５へ処理を進め、扇形領域の中心座標が決定されなかった場合にはステップＳ３０７へ処理を進める。

ステップＳ３０５に進んだ場合、ＣＰＵ１０１は、第一の画像を第二の画像に補正するための幾何変換に用いる変換係数を算出する。このとき、ＣＰＵ１０１は、幾何変換前後の平面領域を定義し、座標のマッピングを行うための情報を生成する。ＣＰＵ１０１は、扇形領域と第一の画像とを基に第二の画像のサイズを決定し、その決定したサイズに合わせるように扇形領域から第二の画像への座標変換するマッピング処理を行う。なお変換係数の算出は、扇形の中心座標が決定されたときに行ってもよい。
その後、ステップＳ３０６において、ＣＰＵ１０１は、ステップＳ３０５で算出した変換係数を利用したマッピング処理による座標変換を実行することで、第一の画像を幾何変換して第二の画像に補正する。

図４（ａ）～図４（ｄ）は、扇形の中心座標の算出から幾何変換までの処理、および幾何変換によって第一の画像内の斜めの線が鉛直線に補正された第二の画像が得られるまでの処理の概念説明に用いる図である。
図４（ａ）は、第一の画像である入力画像と扇形との関係を示した図であり、入力画像は図中に元画像領域４０として示されている。扇形領域４２は、元画像領域４０に外接する扇形状の領域であり、扇のかなめ部に相当する位置が扇形の中心座標４１である。つまり前述のステップ３０３では、図中の中心座標４１が、扇形の中心座標として算出される。

図４（ｂ）は元画像領域および扇形領域からなる平面領域が幾何変換された後の平面領域を示した図である。本実施形態では、図４（ａ）の扇形領域４２を矩形領域に変換する幾何変換を行う。変換後矩形領域４４は扇形領域４２が幾何変換された後の矩形領域であり、変換後画像領域４３は元画像領域４０が幾何変換された後の領域である。なお変換後矩形領域４４のサイズと形状（縦横比）は、元画像領域４０と同一であってもよいし、撮影条件やその後の解析処理に必要な解像度に応じて調整されてもよい。例えば扇形領域４２の中心角が大きいほど、扇形の円弧部分のサイズが幾何変換によって相対的に縮小する割合が増えるため、解析処理に必要な解像度を確保するために、変換後矩形領域４４のサイズを元画像領域４０よりも大きく設定するなどの調整を行う。

扇形領域４２から変換後矩形領域４４のような矩形領域へのマッピングは、変換後矩形領域４４上で等間隔に定義した座標それぞれに対応する、扇形領域４２上での座標を決定することにより行われる。また扇形領域４２上の座標は、中心座標４１を基準にして、中心角と円弧の半径とに対して等間隔に決定すればよいが、撮影条件によっては半径方向の間隔を被写体の奥行に応じて変化させてもよい。
このような幾何変換が行われることにより、図４（ｃ）に示す扇形領域４２内で実空間内の鉛直線に対応した直線４５および直線４６は、図４（ｄ）に示すように変換後矩形領域４４の画像上でほぼ鉛直な直線４７および直線４８に補正される。

図３（ａ）のフローチャートに説明を戻す。
ステップＳ３０４において扇形の中心座標が決定されていないと判定されて、ステップＳ３０７の処理に進んだ場合、ＣＰＵ１０１は、ユーザインターフェース（ＵＩ）を介してユーザから入力される追加の基準線の情報を取得する。本実施形態の場合、追加の基準線はユーザからの入力によって与えられるが、その方式は問わない。例えば、ユーザが元画像上の始点と終点の座標情報を直接入力し、ＣＰＵ１０１は、それら始点と終点の座標情報によって特定される線の情報を、追加の基準線を表す情報として取得してもよい。また例えば表示装置１３０に元画像を表示し、その画面上の対応する個所を、操作装置１５０を介してユーザに指定させ、その指定情報を基に、ＣＰＵ１０１が追加の基準線の座標情報に変換してもよい。このステップＳ３０７の処理によって、扇形の中心座標を決定するために充分な基準線が取得できれば、ＣＰＵ１０１は、ステップＳ３０５以降の処理に進むことができる。

第一の実施形態の画像処理装置１００では、広角レンズで撮影した第一の画像上で実空間上の鉛直方向と推測される基準線を２つ以上定義し、それらの基準線に基づいて第一の画像を幾何変換する補正処理を行って第二の画像を取得する。これにより第一の実施形態の画像処理装置１００によれば、画像解析処理への入力に適した画像を得ることができる。

＜第二の実施形態＞
第一の実施形態では、広角レンズでの撮影による歪んだ画像を解析処理に適した特性となるように幾何変換する例を説明した。第二の実施形態では、幾何変換に用いる変換係数（補正係数）を求めるための基準線を、ユーザが直接指定するための操作画面および操作画面表示処理について説明する。

図５は、ユーザによる基準線指定のための操作画面に関する処理のフローチャートである。
ステップＳ５０１において、ＣＰＵ１０１は、操作装置１５０から操作制御部１０７を介して入力される情報を基に、ユーザによる基準線追加操作がなされたかを監視している。そしてユーザによる基準線追加操作がなされた場合、ＣＰＵ１０１は、ステップＳ５０２へ処理を進め、ユーザによって追加された基準線に対する評価を行う。以下の説明では、ユーザによって追加された基準線を追加基準線と呼ぶことにする。

図６はステップＳ５０２における追加基準線の評価処理の説明に用いる図である。
図６において、太線にて示した基準線６１０、６２０、および６３０は、それぞれユーザによって指定された追加基準線を表している。また図６中の破線は、ユーザによる追加基準線６１０、６２０、および６３０のそれぞれの延長線を示している。さらに図６には、それら各追加基準線の延長線と画像６００の各辺とが交差した交点６１１、６１２、６２１、６２２、６３１、および６３２が描かれている。例えば、追加基準線６１０の延長線と画像６００の各辺との交点は、交点６１１および６１２である。

ここで、本実施形態における基準線は実空間上の鉛直方向に対応した線であるため、通常であれば、各基準線の延長線と撮影画像の各辺との交点である２交点のうち１交点は、撮影画像の所定の辺と交差するはずである。例えば、図６の画像６００の横方向が実空間の水平方向に対応している場合、各基準線の延長線と画像の各辺との交点のうち１つの交点は、画像６００の下辺と交差するはずである。

図６の例の場合、追加基準線６１０の延長線は交点６１２において画像６００の下辺と交差しており、また追加基準線６２０の延長線は交点６２２において画像６００の下辺と交差している。このため、これら追加基準線６１０および６２０とは、実空間上の被写体の鉛直方向を表す線であると判断できる。本実施形態では、ユーザによる追加基準線のうち、実空間上の被写体の鉛直方向を表す線であると判断できる基準線を、正常基準線と呼ぶことにする。一方で、追加基準線６３０の延長線は交点６３１と交点６３２において画像６００の辺と交差しているが、それら交点６３１および交点６３２はいずれも画像６００の下辺上の点ではない。すなわち追加基準線６３０は、その延長線が画像６００の下辺と交差していないため、実空間上の被写体の鉛直方向に対応した正常基準線ではなく、基準線としては不適な線（つまり異常な基準線）であると判断できる。

このように、ＣＰＵ１０１は、ステップＳ５０２において、追加基準線が画像の所定の辺（図６の例では下辺）と交差するかどうかを判定することによって、追加基準線が正常基準線かどうかの評価を行う。すなわち図６の例の場合、ＣＰＵ１０１は、追加基準線６１０、６２０、および６３０のうち、追加基準線６１０および６２０は正常基準線であると評価し、追加基準線６３０は正常基準線でない（異常な基準線である）と評価する。

そしてステップＳ５０３において、ＣＰＵ１０１は、ステップＳ５０２による評価で全ての追加基準線が正常基準線であると評価されたかどうかを判定する。言い換えると、ＣＰＵ１０１は、ステップＳ５０２の評価処理において正常基準線でないと評価した追加基準線があるかどうかを判定する。ＣＰＵ１０１は、テップＳ５０３において、全ての追加基準線が正常基準線であると評価した場合にはステップＳ５０７へ処理を進め、一方、正常基準線でないと評価した追加基準線がある場合にはステップＳ５０４へ処理を進める。なお、図６の例の場合、追加基準線６３０が正常基準線でないと評価されるため、ステップＳ５０４の処理に進むことになる。

ステップＳ５０４に進むと、ＣＰＵ１０１は、表示装置１３０の操作画面上に確認を促すメッセージを表示するように、表示制御部１０６を制御する。
図７は、確認用のメッセージが表示された操作画面例を示した図である。
図７に示すように、表示装置１３０の画面７００上には、画像表示領域７１０、ＯＫボタン７３０、キャンセルボタン７４０、およびメッセージ７２０が配置されている。画像表示領域７１０には撮影された画像が表示され、その画像上にはユーザが指定した追加基準線６１０、６２０、６３０が表示されている。メッセージ７２０は、正常基準線でないと評価された追加基準線について、ユーザに確認を促す内容のテキストメッセージである。またこのとき、ユーザによる確認の対象となされた追加基準線は、ユーザが確認する必要がある基準線であることを明示するために、他の正常基準線とは異なる表示とする。図７の場合、正常基準線であると評価された追加基準線６１０および６２０は例えば実線で表示されるのに対し、正常基準線でないと評価された追加基準線６３０は例えば点線で表示された例が示されている。なお、ユーザ確認の対象となる追加基準線の表示方式は、点線に限定されるものではなく、例えば表示色を変えたり、点滅させたりするなど、正常基準線との区別ができればどのような方式でもよい。図７のような操作画面を表示することにより、ユーザは、確認対象となっている追加基準線に対し修正や変更等の操作を行うか、あるいは確認をして修正しない操作等を行うことができる。

次のステップＳ５０５において、ＣＰＵ１０１は、操作装置１５０から操作制御部１０７を介して入力される情報を監視しており、図７のような基準線確認用の操作画面に対するユーザ操作がなされるまで待機する。ＣＰＵ１０１は、ユーザ操作がない場合にはステップＳ５０４に処理を戻し、操作があった場合にはステップＳ５０６へ処理を進める。

ステップＳ５０６に進むと、ＣＰＵ１０１は、操作装置１５０から操作制御部１０７を介してユーザから基準線修正の操作がなされたかを判定して処理を分岐させる。基準線の修正操作がされた場合、ＣＰＵ１０１は、ステップＳ５０２に処理を戻し、ユーザによって修正された後の基準線に対する評価処理を行う。一方、ユーザによる基準線の修正操作が無く、基準線を確認して処理を進めることを示すユーザ操作がなされた場合、ＣＰＵ１０１は、ステップＳ５０７へ処理を進める。

ステップＳ５０７に進むと、ＣＰＵ１０１は、正常基準線が２本（２つ）以上設定されているか否かを判定し、設定されている場合にはステップＳ５０８へ処理を進める。一方、正常基準線が２本未満である場合には基準線の追加が必要であるため、ＣＰＵ１０１は、ステップＳ５１０へ処理を進める。

ステップＳ５０８に進むと、ＣＰＵ１０１は、２本以上の正常基準線を利用して変換係数の算出を行う。ここでの処理は、第一の実施形態で説明したステップＳ３０３からステップＳ３０５の処理であり、それらの説明は省略する。
次にステップＳ５０９において、ＣＰＵ１０１は、変換係数の算出が正常に完了したか否かを判断して処理を分岐する。ＣＰＵ１０１は、変換係数の算出が正常に完了した場合にはステップＳ５１１へ処理を進める。一方、変換係数の算出が正常に完了できなかった場合には、基準線の設定を見直す必要があるため、ＣＰＵ１０１は、ステップＳ５１０へ処理を進める。

ステップＳ５１０に進むと、ＣＰＵ１０１は、基準線の追加をユーザに促す操作画面を表示するための制御を表示制御部１０６に対して行う。
図８（ａ）～図８（ｄ）は、ステップＳ５１０の処理によって表示装置１３０に表示される基準線指定のための操作画面例とその説明に用いる図である。

図８（ａ）は、基準線指定がなされる際の操作画面８００の例を示す図であり、実空間上の被写体の鉛直方向に対応した基準線８１１が既に設定された状態を表している。なお、基準線８１１は、ユーザにより指定された追加基準線であるとするが、第一の実施形態で説明したように画像内の被写体等を基に特定された基準線であってもよい。操作画面８００上には、画像表示領域８１０、ＯＫボタン８２０、キャンセルボタン８３０、およびメッセージ８４０などが配置される。画像表示領域８１０には撮影された画像が表示され、ユーザはその画像表示領域８１０上の任意の位置に基準線を指定することができる。図８（ａ）の例では、現時点で指定されている基準線は１本のみであり、直線の基準線８１１として表示されている。また、前述の第一の実施形態で説明したように、変換係数を算出するためには、基準線が２本以上必要である。すなわち図８（ａ）の例のように、現時点で指定されている基準線が２本未満である場合には、新たに基準線を追加指定する必要がある。このため、操作画面８００には、基準線の追加指定をユーザに対して促すためのメッセージ８４０が表示される。

またこのとき、画像表示領域８１０内には、新たに基準線を追加指定することが推奨される領域を、ユーザに明示するための表示がなされる。図８（ａ）では、新たに基準線を追加指定することが推奨される領域として、破線で囲われた追加指定推奨領域８１２が、画像表示領域８１０内に表示された例を示している。追加指定推奨領域８１２は、その領域内の何れかの位置に新たに基準線を追加した場合に、その追加した基準線と、設定済みの基準線８１１との組み合わせによって、前述した扇形の中心座標を決定するのに適していると推定される領域である。なお、図８（ａ）の例のように、新たな基準線の追加指定がなされていない状態では、変換係数算出の条件が満たされていないため、ＯＫボタン８２０は表示されてはいるものの、機能としては無効状態となっている。

図８（ｂ）～図８（ｄ）は、設定済みの基準線８１１を基にして、画像表示領域８１０内に追加指定推奨領域８１２を設定する際の設定手法の例を説明するための図である。図８（ｂ）の領域８５０、図８（ｃ）の領域８６０、および図８（ｄ）の領域８７０は、それぞれが図８（ａ）の画像表示領域８１０を表している。図８（ｂ）の画像表示領域８５０内の直線８５１は設定済みの基準線およびその延長線を表している。同様に、図８（ｃ）の画像表示領域８６０内の直線８６１、および図８（ｄ）の画像表示領域８７０内の直線８７１は、それぞれ設定済みの基準線およびその延長線を表しているとする。

ここで新たに追加された基準線は、設定済みの基準線と組み合わせて、扇形の中心座標を算出する際に利用される。このため、追加指定推奨領域は、その領域内に新たに基準線が追加された場合、当該追加された基準線と設定済みの基準線とを組み合わせたときに、扇形の中心座標を決定するのに最も適した基準線が設定されるようになる領域であることが望ましい。本実施形態の場合、追加指定推奨領域は、新たに追加される基準線の延長線と画像の下辺との交点が、設定済みの基準線の延長線と画像の下辺との交点位置に対して、画像下辺の中央点を基準に左右対称となる位置になる領域として設定される。

また、基準線を指定する際の目安となされる画像上の被写体は、当該画像上において左右に離れていれば、その画像全体の特徴、つまり画像がどの程度歪んでいるかを表す特徴を推測しやすいと考えらえる。そのため、新たに基準線を追加指定する場合には、設定済みの基準線の延長線と画像の下辺との交点位置よりも、画像の中央方向のｘ座標を持つ基準線が指定されることが望ましい。このため、例えば図８（ｂ）に示した画像表示領域８５０の場合、新たな基準点の追加指定推奨領域は、設定済みの基準線を表した直線８５１と画像の下辺との交点のｘ座標を境界として、画像の中央方向側の領域８５２にする。また例えば図８（ｃ）に示す画像表示領域８６０の場合、追加指定推奨領域は、設定済みの基準線を表す直線８６１と画像の下辺との交点のｘ座標を境界として、画像の中央方向側の領域８６２にする。また例えば図８（ｄ）に示す画像表示領域８７０の場合は、指定済みの基準線を表す直線８７１と画像の下辺との交点のｘ座標を境界とし、画像の中央方向側の領域８７２にする。

図５のフローチャートに説明を戻す。
次にステップＳ５０９において、変換係数の算出が正常に完了したと判断してステップＳ５１１に進むと、ＣＰＵ１０１は、基準線指定操作を完了できることを示す操作画面を表示装置１３０に表示するように、表示制御部１０６を制御する。

図９は、ステップＳ５１１の処理によって表示装置１３０に表示される基準線指定画面９００の例を示した図であり、変換係数算出に必要な基準線の指定が正しくなされた際の画面表示状態を表している。
図９に示すように、基準線指定画面９００上には、画像表示領域９１０、ＯＫボタン９３０、キャンセルボタン９４０、およびメッセージ９２０が配置されている。画像表示領域９１０には撮影された画像が表示され、変換係数算出に使用可能な基準線６１０および６２０が表示されている。メッセージ９２０は、基準線の指定数が充分であり、この処理を完了可能であることを示すテキストメッセージである。このときのＯＫボタン９３０は、ユーザが押下等することで基準線の指定を確定して処理を終了させる機能が有効となっている。

ステップＳ５１１の後、ステップＳ５１２に進むと、ＣＰＵ１０１は、操作装置１５０から操作制御部１０７を介して入力される情報を基に、ユーザによる基準線の編集（追加、修正）操作を監視する。ここで、ＣＰＵ１０１は、ユーザによる基準線の編集操作を検出した場合にはステップＳ５０２に処理を戻し、ステップＳ５０２以降で基準線の編集操作がなされた場合には、その編集された基準線について前述同様の処理を続行する。

また、基準線の編集の監視を行っているとき、ステップＳ５１３において、ＣＰＵ１０１は、操作装置１５０から操作制御部１０７を介してユーザによるＯＫボタン９３０の押下がなされたかを監視する。ＣＰＵ１０１は、ＯＫボタン９３０が押下されていない場合にはステップＳ５１２に処理を戻し、ＯＫボタン９３０が押下された場合には図５のフローチャートの基準線指定処理を終了する。
以上説明したように、第二の実施形態によれば、ユーザによる基準線の指定が正しく行われるように誘導する操作画面を提供することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０６：表示制御部、１３０：表示装置、２００：撮像装置、４００：記憶装置

Claims (14)

1. 第一の画像における実空間上の鉛直線に対応する少なくとも２つの直線を指定するユーザからの指示を受け付ける第一の操作手段と、
   前記第一の操作手段によって指定された前記少なくとも２つの直線の位置に基づいて、前記第一の画像を第二の画像に補正する補正処理を実行する補正手段と、
   前記第一の操作手段によって指定された前記少なくとも２つの直線が前記補正処理において有効か否かを評価する評価手段と、
   前記評価手段によって前記少なくとも２つの直線が前記補正処理において有効でないと評価された場合に、前記第一の操作手段によって指定された前記少なくとも２つの直線を修正する第二の操作手段と、有し、
   前記補正手段は、
   前記評価手段によって前記少なくとも２つの直線が前記補正処理において有効であると評価された場合に、前記少なくとも２つの直線に基づいて前記補正処理を実行し、
   前記補正処理において、前記補正手段は、
   前記第一の操作手段に対して指定された前記少なくとも２つの直線の交点に基づいて１点を決定し、
   前記決定した１点に基づいて、前記第一の画像を含む扇形領域を決定し、
   前記扇形領域に基づいて、前記第一の画像を前記第二の画像に補正することを特徴とする画像処理装置。
2. 前記補正手段は、前記補正処理において、
   前記決定した１点を扇形の中心座標とした扇形であって、前記第一の画像に外接する前記扇形領域を定義し、
   前記扇形領域と前記第一の画像とを基に前記第二の画像のサイズを決定し、
   前記サイズに合わせて、前記扇形領域から前記第二の画像への座標変換を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の操作手段は、前記第一の画像から実空間上の鉛直線に対応すると推測される少なくとも３つの直線を抽出し、
   前記補正手段は、
   前記抽出された少なくとも３つの直線の複数の交点を取得し、
   前記取得した複数の交点のうち、既定範囲内に座標がある複数の交点の代表値を、前記１点として決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、既定範囲内に座標がある複数の交点の座標の平均値または中央値、もしくは前記既定範囲内に座標がある複数の交点の座標の分布が集中する座標を、前記代表値とすることを特徴とする請求項３に記載の画像処理装置。
5. 前記既定範囲は、画像の横と縦のいずれか一方の幅の中央を通る直線を中心とする既定幅の範囲であることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記評価手段は、前記少なくとも２つの直線が前記補正処理において有効でないと評価した場合には、ユーザに確認を求める表示を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記評価手段は、前記第一の操作手段に対してユーザにより指定された前記少なくとも２つの直線が、前記第一の画像の所定の辺と交差する場合に、前記少なくとも２つの直線が前記補正処理において有効であると評価することを特徴とする請求項６に記載の画像処理装置。
8. 前記評価手段は、前記第一の操作手段に対してユーザにより指定された前記少なくとも２つの直線が、前記補正処理において有効でないと評価した場合には、ユーザに対して直線の追加を要求する表示を行うことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記評価手段は、前記第一の操作手段に対してユーザにより指定された前記少なくとも２つの直線が、前記補正処理において有効でないと評価した場合には、直線を追加するべき推奨領域を示す表示を行うことを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記評価手段は、ユーザによって新たに指定された少なくとも２つの直線と前記第一の画像の所定の辺との交点が、既に設定されている少なくとも２つの直線と前記第一の画像の所定の辺との交点位置に対して、前記第一の画像の所定の辺の中央点を基準に左右対称となる位置になる領域を、前記推奨領域として設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記評価手段は、既に設定されている直線と前記第一の画像の所定の辺との交点を境界として、前記第一の画像の中央方向側の領域を、前記推奨領域として設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記評価手段は、前記第一の操作手段に対してユーザにより指定された前記少なくとも２つの直線が、前記第一の画像の所定の辺と交差する場合に、前記少なくとも２つの直線が前記補正処理において有効であると評価することを特徴とする請求項１に記載の画像処理装置。
13. 画像処理装置が実行する画像処理方法であって、
    第一の画像における実空間上の鉛直線に対応する少なくとも２つの直線を指定するユーザからの指示を受け付ける第一の操作工程と、
    前記第一の操作工程で指定された前記少なくとも２つの直線の位置に基づいて、前記第一の画像を第二の画像に補正する補正処理を実行する補正工程と、
    前記第一の操作工程で指定された前記少なくとも２つの直線が前記補正処理において有効か否かを評価する評価工程と、
    前記評価工程で前記少なくとも２つの直線が前記補正処理において有効でないと評価された場合に、前記第一の操作工程で指定された前記少なくとも２つの直線を修正する第二の操作工程と、を有し、
    前記補正工程では、
    前記評価工程で前記少なくとも２つの直線が前記補正処理において有効であると評価された場合に、前記少なくとも２つの直線に基づいて前記補正処理を実行し、
    前記補正処理において、
    前記第一の操作工程で指定された前記少なくとも２つの直線の交点に基づいて１点を決定し、
    前記決定した１点に基づいて、前記第一の画像を含む扇形領域を決定し、
    前記扇形領域に基づいて、前記第一の画像を前記第二の画像に補正することを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images