JP7858331B2 - 情報処理装置、情報処理方法、プログラム、及び、記憶媒体 - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラム、及び、記憶媒体に関し、特に撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを得る技術に関する。

互いに異なる方向から撮影した２つの画像（例えば、ステレオカメラで撮影された２つの画像）から撮影シーンの奥行き位置を計測する場合は、カメラ外部パラメータやカメラ内部パラメータなどのカメラパラメータを考慮して、奥行き位置を計測する。カメラ外部パラメータは、例えば、上記２つの画像を撮影する２台のカメラ間の位置関係や姿勢関係（例えば一方のカメラに対する他方のカメラの相対的な位置や姿勢）の情報を含む。カメラ内部パラメータは、例えば、各カメラの焦点距離や主点位置などの情報を含む。

例えば、一方のカメラの撮影画像上の或る位置に写る点に対応する、他方のカメラの撮影画像上のエピポーラ線（或る点が写る可能性のある複数の位置からなる直線）を、カメラパラメータに基づいて判断する。そして、エピポーラ線上から、一方の撮影画像上の或る位置に対応する位置を探索する。２つの撮影画像間で対応する２つの位置から、カメラパラメータを用いて、当該２つの位置に写る点の三次元位置（奥行き位置を含む）を推定することができる。一方の撮影画像上の全ての位置について、当該一方の撮影画像上の位置に対応する他方の撮影画像の位置を探索することで、撮影シーン全体の奥行き位置を得ることができる。

探索を容易にするために、カメラパラメータを用いて、ステレオ平行化を行うことがある。スレレオ平行化は、２台のカメラがそれぞれ角度を変えず左右に平行移動しただけのように見える仮想的な２つの撮影画像を得るための処理である。ステレオ平行化を行うことにより、一方の撮影画像上の或る位置と同じ高さ（垂直方向の位置、縦方向の位置、上下方向の位置）で水平方向（横方向、左右方向）と平行な直線が、当該或る位置に対応する他方の撮影画像のエピポーラ線となる。つまり、ステレオ平行化を行うことにより、或る点が同じ高さで２つの撮影画像に写るようになるため、他方の撮影画像のうち、一方の撮影画像上の或る位置と同じ高さを参照するだけでよくなり、探索が容易になる。

カメラパラメータは変化することがある。カメラパラメータが変化すると、得られる奥行き位置の誤差が増大する。特に、ステレオ平行化の結果についての誤差（２つの撮影画像間での高さ方向（垂直方向、縦方向、上下方向）の位置ずれ）が増大すると、２つの撮影画像間で対応する２つの位置を正確に判断することができず、正確な奥行き位置が得られない。

特許文献１に記載の方法では、撮影画像を１画素ずつ高さ方向にずらして、２つの撮影画像間での高さ方向の位置ずれを低減している。特許文献２に記載の方法では、２つの撮影画像間で対応する２つの画素の一方または両方の回転と並進移動を行っている。

特開２０１３－１１３６００号公報 特開２０１８－１１２５２２号公報

しかしながら、特許文献１に記載の方法では、撮影画像を１画素ずつ高さ方向にずらしながら、探索を含む一連の処理を繰り返すため、処理に長い時間を要する。特許文献２に記載の方法では、一方の撮影画像の画素ごとに、他方の撮影画像全体に亘って探索を行わなければならず、処理に長い時間を要する。さらに、特許文献２に記載の方法では、探索に成功した画素しか補正できない。また、特許文献１，２に記載の方法では、２台のカメラの焦点距離がずれている場合に、奥行き位置を高精度に補正できない。

本発明は、撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを高精度かつ短時間で得ることのできる技術を提供することを目的とする。

本発明の第１の態様は、第１の方向から撮影した第１の画像と、第２の方向から撮影した第２の画像とを取得する画像取得手段と、前記第１の画像と前記第２の画像とのそれぞ
れから指標を検出する指標検出手段と、前記第１の画像における前記指標と前記第２の画像における前記指標との高さ方向の位置関係に基づいて、前記第１の画像と前記第２の画像との少なくとも一方に対する高さ補正量を取得する高さ補正量取得手段と、前記第１の画像、前記第２の画像、および前記高さ補正量に基づいて、前記第１の画像と前記第２の画像との間の視差を判断する視差判断手段と、前記高さ補正量による補正後の前記第１の画像における前記指標と前記第２の画像における前記指標との位置関係、および指標の実空間における大きさを示す指標情報に基づいて、前記視差判断手段で判断された視差に対応する奥行き位置の補正量である奥行補正量を取得する奥行補正量取得手段と、前記奥行補正量取得手段で取得された前記奥行補正量に基づいて、前記視差判断手段で判断された視差、または当該視差に対応する奥行き位置を補正する補正手段とを有することを特徴とする情報処理装置である。

本発明の第２の態様は、第１の方向から撮影した第１の画像と、第２の方向から撮影した第２の画像とを取得する画像取得ステップと、前記第１の画像と前記第２の画像とのそれぞれから指標を検出する指標検出ステップと、前記第１の画像における前記指標と前記第２の画像における前記指標との高さ方向の位置関係に基づいて、前記第１の画像と前記第２の画像との少なくとも一方に対する高さ補正量を取得する高さ補正量取得ステップと、前記第１の画像、前記第２の画像、および前記高さ補正量に基づいて、前記第１の画像と前記第２の画像との間の視差を判断する視差判断ステップと、前記高さ補正量による補正後の前記第１の画像における前記指標と前記第２の画像における前記指標との位置関係、および指標の実空間における大きさを示す指標情報に基づいて、前記視差判断ステップで判断された視差に対応する奥行き位置の補正量である奥行補正量を取得する奥行補正量取得ステップと、前記奥行補正量取得ステップで取得された前記奥行補正量に基づいて、前記視差判断ステップで判断された視差、または当該視差に対応する奥行き位置を補正する補正ステップとを有することを特徴とする情報処理方法である。

本発明の第３の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、撮影シーンの奥行き位置や、当該奥行き位置に対応する視差などを高精度かつ短時間でに得ることができる。

第１の実施形態に係る撮影システムの機能ブロック図である。 第１の実施形態に係る処理を示すフローチャートである。 第１の実施形態に係る補正後カメラ画像を示す図である。 第１の実施形態に係る奥行補正量の算出方法を説明するための図である。 第１の実施形態に係る奥行補正量の算出方法を説明するための図である。 第１の実施形態に係る奥行補正量と奥行き値の時間変化を示す図である。 第１の実施形態に係る情報処理装置のハードウェア構成図である。 第２の実施形態に係る撮影システムの機能ブロック図である。 第２の実施形態に係る処理を示すフローチャートである。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。図１は、第１の実施形態に係る撮影システムの機能構成を示すブロック図である。図１に示すように、撮影システムは、撮像部１００、情報処理装置１０１、画像生成部１７０、およびディスプレイ１８０を備える。なお、図１に示す構成は一例であり、本発明を限定するものではない。例えば撮像部１００は情報処理装置１０１とは独立した撮像装置であってもよいし、撮像部１００と情報処理装置１０１とが一体化されていてもよい。情報処理装置１０１の機能が複数の装置により実現されてもよいし、情報処理装置１０１が画像生成部１７０などを含んでもよい。ディスプレイ１８０は情報処理装置１０１とは独立した表示装置であってもよいし、ディスプレイ１８０と情報処理装置１０１とが一体化されていてもよい。

撮像部１００は、複数の方向から撮影を行う撮像部であり、例えばシーンを撮影する２台のカメラを固定したステレオカメラが使用される。なお、撮影するシーンが空間的に変化しない条件であれば、１台のカメラの位置姿勢を常時計測し、当該１台のカメラで複数の方向から撮影した複数の画像を用いてステレオマッチング（ステレオ計測）を行う方式にも、本発明は適用可能である。

情報処理装置１０１は、画像取得部１１０、画像補正部１２０、記憶部１３０、視差画像生成部１４０、指標検出部１５０、高さ補正処理部１９０、および奥行補正処理部１６０を備える。

画像取得部１１０は、撮像部１００が撮影した画像（カメラ画像）を取得して、取得した画像を画像補正部１２０に出力する。

画像補正部１２０は、取得した画像に対して、レンズ歪み補正や、ステレオカメラ画像の高速処理を行うためのレクティフィケーションを、補正処理として実施する。画像補正部１２０は、補正処理に必要なカメラパラメータを記憶部１３０から読み出す。レンズ歪み補正やレクティフィケーションには、特開２０１９－１１３４３４号公報や特開２０１２－０５８１８８号公報に記載の方法、またはその他の公知技術を用いてもよい。画像補正部１２０は、補正処理した画像（本実施形態では補正後カメラ画像と呼ぶ。）を記憶部１３０に格納する。

記憶部１３０は、各種情報を記憶し、管理するためのモジュールである。記憶部１３０は、例えば以下の情報を記憶する。
・補正後カメラ画像（２眼ステレオカメラの場合は左画像と右画像）
・カメラパラメータ（２台のカメラ間の位置関係や姿勢関係（例えば一方のカメラに対する他方のカメラの相対的な位置や姿勢）などを示すカメラ外部パラメータ、各カメラの焦点距離や主点位置などを示すカメラ内部パラメータ）
・視差画像生成部１４０が生成した視差画像
・指標情報（撮影する空間に配置されたマーカーの識別情報であるマーカーＩＤ、当該マーカーが有する矩形領域の辺の長さなど、高さ補正や奥行補正を行う前に予めユーザーが入力した情報）
・指標検出情報（マーカーＩＤ、マーカーが有する矩形領域の頂点の座標＜Ｘ値、Ｙ値＞）
・過去の指標検出情報（例えば過去１０フレーム分の指標検出情報）
・奥行補正量（視差の補正量や奥行きの補正量）
・高さ補正量（焦点距離の補正量＜Ｘ値、Ｙ値＞や主点位置の補正量＜Ｙ値＞）

情報処理装置１０１は、記憶部１３０の初期化時に、撮像部１００に格納されているカメラパラメータを撮像部１００から読み込み、記憶部１３０に格納する。撮像部１００にカメラパラメータが存在しない場合は、事前に撮像部１００でカメラ校正のためのキャリブレーションパターンを撮影し、画像データからカメラパラメータを算出してもよい。

なお、記憶部１３０が記憶する情報は、上記のようなデータ構造を持つものに限定されるものではなく、各機能部における処理を行うために必要な情報であればよい。また、マーカー全体を指標と捉えてよいことはもちろんのこと、マーカーが有する矩形領域を指標と捉えてもよいし、矩形領域やマーカーの頂点を指標と捉えてもよい。

視差画像生成部１４０は、記憶部１３０に格納されている補正後カメラ画像とカメラパラメータに基づいて補正後カメラ画像における視差（左画像と右画像の間の視差）を判断して（視差判断）、視差画像を生成する。視差画像は、例えば、画素ごとの視差を表す画像である。視差画像の生成には、特開２０１９－１１３４３４号公報や特開２０１２－０５８１８８号公報に記載されているように、ステレオカメラで取得した画像同士をマッチングして画素ごとの視差を求める方法（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ法など）を用いてもよい。ステレオ平行化が正しく（高精度に）行われていれば、一方の画像の或る画素に対応する画素を他方の画像から探索するマッチング（ステレオマッチング）の際に、他方の画像のうち、一方の画像の或る画素と同じ高さを参照するだけでよくなる。つまり、一方の画像の或る画素と同じ高さの複数の位置からなる範囲に、他方の画像における探索範囲を絞り込むことができる。視差画像生成部１４０は、生成した視差画像を記憶部１３０に格納する。

指標検出部１５０は、記憶部１３０に格納されている補正後カメラ画像（左画像と右画像のそれぞれ）に指標が写っている場合に、当該補正後カメラ画像から、写っている指標を検出する。そして、指標検出部１５０は、検出した指標の情報（指標検出情報）を記憶部１３０に格納する。

指標としては、例えば、図３（ａ）に示すように、正方形も含む矩形領域を有するマーカーが使用される。指標の検出には、ＩＤを持つ矩形のマーカー（ＡｒＵｃｏなど）の検出処理を用いてもよい。例えば、指標検出部１５０は、補正後カメラ画像から矩形領域を検出し、矩形領域内に配置されているビットパターンをホモグラフィ変換して識別し、マーカーＩＤと、矩形領域の４頂点の座標とを出力してもよい。

図３（ａ）を参照して、指標の検出の例を説明する。図３（ａ）は、補正後カメラ画像である左画像３２０Ｌと右画像３２０Ｒを示す。左画像３２０Ｌと右画像３２０Ｒにはマーカー３００が写っており、指標検出部１５０は、マーカー３００の矩形領域の４頂点を検出している。図３（ａ）は、レクティフィケーション時からカメラパラメータが変化した場合の例を示す。そのため、左画像３２０Ｌにおける４頂点３１０Ａ～３１０Ｄと、右画像３２０Ｒにおける４頂点３１０Ｅ～３１０Ｈとは、それぞれ異なる高さで検出される。レクティフィケーション時からカメラパラメータが変化していなければ、４頂点３１０Ａ～３１０Ｄと４頂点３１０Ｅ～３１０Ｈとは、それぞれ同じ高さで検出される。指標検出部１５０は、４頂点３１０Ａ～３１０Ｄの座標と４頂点３１０Ｅ～３１０Ｈの座標とを、記憶部１３０に格納する。矩形領域の頂点の代わりに、または矩形領域の頂点に加えて、矩形領域の中心位置や、マーカーの頂点、マーカーの中心位置などを検出してもよい。

指標検出部１５０は、画像取得部１１０により一定間隔で取得され、画像補正部１２０により補正された補正後カメラ画像に対し、指標が写っているか否かを逐次判定する。そ
して、補正後カメラ画像に指標が写っていた場合に、指標検出部１５０は、指標検出情報を記憶部１３０に出力して、現在のフレームにおける指標検出情報を更新する。補正後カメラ画像に指標が写っていない場合は、指標検出部１５０は、指標検出情報として指標がないということを示す情報を出力する。指標検出部１５０は、１つの画像から複数のマーカーを検出した場合は、検出したマーカーごとに、マーカーのＩＤと、当該マーカーが有する矩形領域の４頂点の座標とを紐づけて記憶部１３０に格納する。

高さ補正処理部１９０は、記憶部１３０に格納されている指標検出情報や補正後カメラ画像を読み出し、高さ補正量の取得（算出、決定）、指標検出情報や補正後カメラ画像の補正（高さ補正）などを行う。図１に示すように、高さ補正処理部１９０は、高さ補正量算出部１９１と高さ補正部１９５を備える。

高さ補正量算出部１９１は、記憶部１３０から指標検出情報を読み出し、指標検出情報に基づいて高さ補正量を取得（算出、決定）する。高さ補正量は、左画像と右画像の少なくとも一方に対する補正量（補正値、補正情報、パラメータ）である。高さ補正量は、左画像に対する補正量と捉えてもよいし、右画像に対する補正量と捉えてもよいし、それらの合計と捉えてもよい。

例えば、高さ補正量算出部１９１は、図３（ａ）の左画像３２０Ｌにおける頂点３１０Ａと右画像３２０Ｒにおける頂点３１０Ｅとを、３次元空間では同一の点であると判定して対応付ける。同様に、高さ補正量算出部１９１は、頂点３１０Ｂ～３１０Ｄと頂点３１０Ｆ～３１０Ｈとを、それぞれ対応付ける。頂点の対応付けの方法は特に限定されない。例えば、指標検出部１５０は、頂点を検出する際に、矩形領域に対する頂点の相対位置に応じた頂点ＩＤを決定し、指標検出情報に含めてもよい。その場合には、高さ補正量算出部１９１は、頂点ＩＤが同じ２頂点（左画像における頂点と右画像における頂点）を対応付ければよい。上述したように、頂点３１０Ａ～３１０Ｈは指標と捉えてよい。

そして、高さ補正量算出部１９１は、頂点３１０Ａ～３１０Ｄと頂点３１０Ｅ～３１０Ｈとの高さ方向の位置関係に基づいて高さ補正量を取得し（補正値取得）、高さ補正量を記憶部１３０に格納する。高さ補正量算出部１９１は、高さ補正量として、頂点３１０Ａ～３１０Ｄと頂点３１０Ｅ～３１０Ｈとの高さ方向の位置ずれ（誤差）を低減する補正量（補正値）を取得する。例えば、高さ補正量算出部１９１は、高さ補正量として、上記誤差を最小にする補正量を取得する。上記誤差は、例えば、対応付けられた２頂点の高さのずれ量（差分の絶対値）の平均値や最大値、合計などである。こうして得られた高さ補正量に基づいて左画像と右画像の少なくとも一方を補正することにより、ステレオ平行化が正しく（高精度に）行われた状態を実現することができる。ひいては、視差画像生成部１４０において、好適なステレオマッチング（他方の画像のうち、一方の画像の或る画素と同じ高さのみを参照するステレオマッチング）が可能となる。

焦点距離が変化すると撮影範囲が拡大したり縮小したりするため、焦点距離の変化は画像において被写体の拡大や縮小として現れる。主点位置が変化すると撮影範囲が移動するため、主点位置の変化は画像においては全体的な被写体の移動として現れる。そこで、高さ補正量算出部１９１は、高さ補正量として、左画像と右画像の少なくとも一方を拡大または縮小するスケーリングパラメータと、左画像と右画像の少なくとも一方を高さ方向に移動させる移動パラメータとを取得してもよい。スケーリングパラメータ（焦点距離補正量）で左画像や右画像を補正すれば、カメラ間で焦点距離が異なる場合や、焦点距離が変化した場合にも、ステレオ平行化が正しく（高精度に）行われた状態を実現することが可能となる。同様に、移動パラメータ（主点位置補正量）で左画像や右画像を補正すれば、カメラ間で主点位置が異なる場合や、主点位置が変化した場合にも、ステレオ平行化が正しく（高精度に）行われた状態を実現することが可能となる。

なお、画像サイズ（解像度）が水平方向（横方向、左右方向）と垂直方向（縦方向、上下方向、高さ方向）とで異なる場合には、画像サイズに関するパラメータとして、水平方向のパラメータと垂直方向のパラメータとが存在することになる。このような場合でも、画像における被写体の拡大や縮小をもたらすのが焦点距離という１つの物理量であるとすれば、例えば、スケーリングパラメータを、基準の焦点距離からの変化率という１つのパラメータで表現することができる。

高さ補正部１９５は、記憶部１３０から高さ補正量を読み出し、高さ補正量に基づいて、左画像における指標（頂点）と右画像における指標（頂点）との少なくとも一方の位置情報（座標）を補正する（位置補正）。そして、高さ補正部１９５は、補正後の座標を示すように、記憶部１３０に格納されている指標検出情報を更新する。また、高さ補正部１９５は、記憶部１３０から補正後カメラ画像を読み出し、高さ補正量に基づいて補正後カメラ画像（左画像と右画像の少なくとも一方）を補正する（画像補正、高さ補正）。そして、高さ補正部１９５は、高さ補正後のカメラ画像で、記憶部１３０に格納されている補正後カメラ画像を更新する。

図３（ｂ）の左画像３２１Ｌは、高さ補正部１９５による高さ補正を図３（ａ）の左画像３２０Ｌに施した結果であり、右画像３２１Ｒは、高さ補正を右画像３２０Ｒに施した結果である。高さ補正により、図３（ａ）の頂点３１０Ａ～３１０Ｈは移動し、それぞれ、図３（ｂ）の頂点３１１Ａ～３１１Ｈとなる。頂点３１１Ａ～３１１Ｈのうち、対応付けられた２頂点は同じ高さに位置する。例えば、頂点３１１Ａと頂点３１１Ｅは同じ高さに位置する。図３（ａ），３（ｂ）は、高さ補正による左画像と右画像の変化量が最小となる高さ補正量が得られた場合の例を示す。左画像３２０Ｌに対して拡大と上方向への移動とが行われており、右画像３２０Ｒに対して縮小と下方向への移動とが行われている。なお、高さ補正では、左画像と右画像の一方を変化させず、他方のみを変化させてもよい。

奥行補正処理部１６０は、左画像における指標（頂点）と右画像における指標（頂点）との高さ補正後の位置関係に基づいて、高さ補正後の視差（高さ補正後の左画像と右画像とに基づいて判断された視差）に対応する奥行き位置を補正する（奥行補正）。具体的には、奥行補正処理部１６０は、記憶部１３０に格納されている視差画像と指標検出情報（高さ補正後）を読み出し、視差画像から得られる奥行画像（画素ごとの奥行き位置（奥行き値）を表す画像）を補正する。図１に示すように、奥行補正処理部１６０は、奥行補正量算出部１６１と、奥行画像生成部１６５とを備える。

奥行補正量算出部１６１は、奥行補正のための補正量（補正値、補正情報、パラメータ）である奥行補正量を算出する。

例えば、奥行補正量算出部１６１は、記憶部１３０に格納されている指標検出情報を参照して、高さ補正後のカメラ画像（図３（ｂ）の左画像３２１Ｌと右画像３２１Ｒ）におけるマーカー３００の矩形領域の４頂点３１１Ａ～３１１Ｈの座標を取得する。奥行補正量算出部１６１は、高さ補正量算出部１９１と同様に、左画像３２１Ｌにおける頂点３１１Ａと右画像３２１Ｒにおける頂点３１１Ｅとを、３次元空間では同一の点であると判定して対応付ける。同様に、奥行補正量算出部１６１は、頂点３１１Ｂ～３１１Ｄと頂点３１１Ｆ～３１１Ｈとを、それぞれ対応付ける。そして、奥行補正量算出部１６１は、以下の方法で、奥行補正量を算出する。

図４，５を参照して、奥行補正量算出部１６１の処理を説明する。ここでは、説明を簡略化するため、高さ補正後の左画像３２１Ｌにおける頂点３１１Ａ，３１１Ｄと、高さ補
正後の右画像３２１Ｒにおける頂点３１１Ｅ，３１１Ｈとにのみ着目して説明する。

頂点３１１Ａと頂点３１１Ｅの対応付け、頂点３１１Ｄと頂点３１１Ｈの対応付けができると、図４に示すように、公知の三角測量の計算方法により、カメラ基準の座標系（カメラ座標系）における３次元の点４１０Ａ，４１０Ｄを算出することができる。奥行補正量算出部１６１は、点４１０Ａと点４１０Ｄの間の距離（点４１０Ａと点４１０Ｄを結ぶ線分５１０の長さ）を算出する。

また、奥行補正量算出部１６１は、記憶部１３０に格納されている指標情報を参照して、対応するマーカーＩＤ（参照した指標検出情報が示すマーカーＩＤと同じマーカーＩＤ）を持つマーカーの矩形領域の１辺の長さ（後述する線分５２０の長さ）を取得する。

次に、奥行補正量算出部１６１は、図５に示すように、カメラ座標系において、カメラ原点Ｏから点４１０Ａを通る直線５４０と、カメラ原点Ｏから点４１０Ｄを通る直線５５０とを設定し、点４１０Ａと点４１０Ｄを結ぶ線分５１０を設定する。

さらに、奥行補正量算出部１６１は、カメラパラメータに誤差が生じていない場合に出力される３次元の点５００Ａ，５００Ｄを推定する。点５００Ａ，５００Ｄは、以下の条件を満たすように決定する。
（１）点５００Ａは直線５４０上にある。
（２）点５００Ｄは直線５５０上にある。
（３）点５００Ａと点５００Ｄを結ぶ線分５２０の傾きは、線分５１０の傾きと同じである。
（４）点５００Ａと点５００Ｄの間の距離（点５００Ａと点５００Ｄを結ぶ線分５２０の長さ）が、指標情報が示す１辺の長さと同じである。

そして、奥行補正量算出部１６１は、点５００ＡのＺ値と点４１０ＡのＺ値との差分５３０を、奥行補正量として設定する。

奥行画像生成部１６５は、記憶部１３０に格納されている視差画像から各画素に対する奥行き値を算出することで、奥行画像を生成する。そして、奥行画像生成部１６５は、奥行画像の各奥行き値に、奥行補正量算出部１６１で算出された奥行補正量を加算することで、奥行画像を補正する（奥行補正）。奥行画像生成部１６５は、奥行補正後の奥行画像を、画像生成部１７０に出力する。

画像生成部１７０は、取得した奥行画像（奥行補正後）を含む画像、例えば奥行画像を表示するアプリケーション画面を生成し、液晶ディスプレイや有機ＥＬディスプレイなどであるディスプレイ１８０に表示する。

奥行補正処理部１６０の処理は、画像取得部１１０で取得する画像が更新され、視差画像が生成された直後に実行してもよいし、一定のインターバルを設けて実行してもよい。例えば１０フレームの視差画像が生成されるたびに、奥行補正量を算出するようにしてもよい。図６（ａ），６（ｂ）を参照して、一定のインターバルで奥行補正量を算出する場合の奥行補正量と奥行き値の時間変化を説明する。図６（ａ）において、横軸は時刻ｔ、縦軸は奥行補正量ｆを示す。図６（ａ）に示すように、時刻ｔ０から時刻ｔ１までのインターバルで奥行補正量６０１を算出し、以降、一定のインターバルで奥行補正量６０２，６０３，・・・を算出する。図６（ｂ）において、横軸は時刻ｔ、縦軸は奥行き値ｄを示す。破線６５０が奥行補正前の奥行き値を示し、実線６５５が奥行補正後の奥行き値を示す。図６（ｂ）に示すように、奥行補正量ｆが算出されると、奥行き値に奥行補正量ｆが加算されて、後続するフレームでも同じ奥行補正量ｆが反映される。奥行き値に加算され
る奥行補正量ｆは、各時刻（時刻ｔ１，ｔ２，・・・）で更新される。

なお、奥行画像生成部１６５は、更新された奥行補正量ｆをそのまま反映させるのではなく、奥行補正量ｆに重みを設けるようにしてもよい。図６（ｃ）において、横軸は時刻ｔ、縦軸は奥行き値ｄを示す。図６（ｃ）の例では、奥行補正後の奥行き値の変化が滑らかになるように、奥行補正量ｆの更新時から時間経過に応じて、更新後の奥行補正量ｆの重みを増加させている。

高さ補正処理部１９０がスケーリングパラメータ（焦点距離補正量）に基づいて画像の拡大や縮小を行うと、水平方向の画像サイズが変化して、視差が変化するため、ステレオマッチングで推定される奥行き値（奥行き位置）の誤差が増大する虞がある。本実施形態では、奥行補正処理部１６０が奥行き値を補正することによって、そのような誤差の増大を抑制することができる。

図７は、情報処理装置１０１のハードウェア構成例を示す図である。ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているコンピュータプログラムやデータを使って情報処理装置１０１全体を制御する。ＲＡＭ７０２は、ＣＰＵ７０１が処理を行う際に作業領域として用いられる。ＲＯＭ７０３は、制御プログラム、各種アプリケーションプログラム、データなどを記憶する。ＣＰＵ７０１がＲＯＭ７０３に格納されている制御プログラムをＲＡＭ７０２に展開して実行することにより、図１に示す情報処理装置１０１のの各機能部の処理が実現される。例えば、画像取得部１１０、画像補正部１２０、記憶部１３０、視差画像生成部１４０、指標検出部１５０、高さ補正処理部１９０、および奥行補正処理部１６０の少なくともいずれかの処理が実現される。入力Ｉ／Ｆ７０４は、撮像部１００から情報処理装置１０１に信号（カメラ画像など）を入力する。その際に、入力Ｉ／Ｆ７０４は、撮像部１００からの信号（入力信号）を、情報処理装置１０１が処理可能な形式の信号に変換してもよい。出力Ｉ／Ｆ７０５は、外部装置へ信号を出力する。その際に、出力Ｉ／Ｆ７０５は、出力する信号（出力信号）を、外部装置が処理可能な形式の信号に変換してもよい。

上述したように、図１に示す情報処理装置１０１の各機能部の処理（機能）は、ＣＰＵ７０１がプログラムを実行することで実現することができる。ただし、図１に示す各機能部のうち少なくとも一部が、不図示の専用のハードウェアやＧＰＵによって実現されてもよい。この場合は、専用のハードウェアやＧＰＵは、ＣＰＵ７０１の制御に基づいて動作する。

次に、図２（ａ）を参照して、情報処理装置１０１が実行する処理を説明する。図２（ａ）は、情報処理装置１０１が実行する処理を示すフローチャートである。図２（ａ）の処理は、フレーム毎に行われる。なお、各機能部が実行する処理の詳細は既述したとおりであり、以下に述べる各ステップでは重複する説明を省略する。

ステップＳ２００で、情報処理装置１０１は、撮像部１００からカメラパラメータを取得して、記憶部１３０に格納する。なお、撮像部１００からカメラパラメータを取得することに限定されるものではなく、事前にカメラパラメータを校正した結果を記憶部１３０に格納するようにしてもよい。

ステップＳ２１０で、画像取得部１１０は、撮像部１００からカメラ画像を取得する。

ステップＳ２２０で、画像補正部１２０は、ステップＳ２１０で取得されたカメラ画像（左画像と右画像のそれぞれ）に対して、記憶部１３０に格納されているカメラパラメータを使用して補正処理を行う。そして、画像補正部１２０は、補正後カメラ画像（高さ補
正前）を記憶部１３０に格納する。

ステップＳ２３０で、指標検出部１５０は、記憶部１３０に格納されている補正後カメラ画像（高さ補正前）から指標を検出して、検出した指標の情報（指標検出情報）を記憶部１３０に格納する。

ステップＳ２４０で、高さ補正処理部１９０は、高さ補正量の取得から高さ補正までの一連の高さ補正処理を実行する。ステップＳ２４０の高さ補正処理の詳細は、図２（ｂ）を用いて後述する。

ステップＳ２５０で、視差画像生成部１４０は、記憶部１３０に格納されている補正後カメラ画像（高さ補正後）とカメラパラメータに基づいて、補正後カメラ画像における視差を算出して視差画像を生成して、視差画像を記憶部１３０に格納する。

ステップＳ２６０で、奥行補正処理部１６０は、奥行補正量の取得から奥行補正までの一連の奥行補正処理を実行する。ステップＳ２６０の奥行補正処理の詳細は、図２（ｃ）を用いて後述する。

ステップＳ２７０で、情報処理装置１０１は、終了条件を満たすか否かを判定する。例えばユーザーから終了指示が入力された場合、終了条件を満たすと判定する。終了条件を満たす場合は、処理を終了する。終了条件を満たさない場合は、処理をステップＳ２１０に移す。

図２（ｂ）は、ステップＳ２４０の高さ補正処理の詳細を示すフローチャートである。

ステップＳ２４１で、高さ補正処理部１９０は、高さ補正処理に必要な情報として、記憶部１３０からカメラパラメータ、補正後カメラ画像（高さ補正前）、指標検出情報（高さ補正前）、および指標情報を取得する。

ステップＳ２４２で、高さ補正量算出部１９１は、ステップＳ２４１で取得した情報に基づいて、上述したように高さ補正量を算出する。

ステップＳ２４３で、高さ補正部１９５は、ステップＳ２４２で算出された高さ補正量を用いて、補正後カメラ画像と指標検出情報を補正する（高さ補正）。

図２（ｃ）は、ステップＳ２６０の奥行補正処理の詳細を示すフローチャートである。

ステップＳ２６１で、奥行補正処理部１６０は、奥行補正処理に必要な情報として、記憶部１３０からカメラパラメータ、視差画像、指標検出情報（高さ補正後）、および指標情報を取得する。

ステップＳ２６２で、奥行補正量算出部１６１は、ステップＳ２６１で取得した情報に基づいて、上述したように奥行補正量を算出する。

ステップＳ２６３で、奥行画像生成部１６５は、ステップＳ２６１で取得した情報に基づいて奥行画像を生成し、ステップＳ２６２で算出した奥行補正量を用いて奥行画像を補正する。

以上述べたように、本実施形態によれば、最終的な奥行画像を得るまでの一連の処理の中で、左画像における指標と右画像における指標との高さ方向の位置関係に基づく高さ補
正量が使用される。例えば、高さ補正量で左画像や右画像が補正される。そうすることで、ステレオ平行化が正しく（高精度に）行われた状態を実現することができる。ひいては、好適なステレオマッチング（他方の画像のうち、一方の画像の或る画素と同じ高さの位置を参照するステレオマッチング）が可能となり、奥行画像を高精度かつ短時間でに得ることができる。

なお、本実施形態では、矩形領域において隣り合う頂点３１０Ａ，３１０Ｄ（頂点３１０Ｅ，３１０Ｈ）の情報から奥行補正量を算出する例を述べたが、これに限定されるものではない。例えば矩形領域の４頂点のうちの任意の２頂点を選択するようにしてもよい。また、矩形領域の４頂点から選択した複数の組み合わせの２頂点間の距離を使用して奥行補正量を算出するようにしてもよい。この場合、複数の奥行補正量が算出されるが、例えばその平均値を使用するようにすればよい。

また、２頂点を選択する場合は、補正後カメラ画像（左画像３２１Ｌまたは右画像３２１Ｒ）上での２頂点間の距離が長いものを選択するのが好ましい。画像上での２頂点間の距離が短いと、頂点の情報を特定するときに使用する直線フィッティングの処理でサンプリング誤差が発生し、推定する頂点に誤りを含む傾向が多いからである。

また、本発明は、１地点で撮影した画像から奥行補正量を算出することに限られない。本発明は、固定視点のステレオカメラ以外にも適用することができる。特開２０１２－０５８１８８号公報に記載されているように２地点で撮影した画像を用いてもよい。

また、事前に用意する指標情報として指標の３次元位置を要求しないので、指標を空間に固定する必要はなく、観察する空間で指標が動いていてもよい。例えばユーザーが奥行き値を補正したいタイミングで、手に持った指標を撮像部１００で撮影するだけで奥行補正が完了する。したがって、奥行補正のための構成を簡素化することができ、また、メンテナンスの知識が不要になり、メンテナンスコストの低減に寄与する。

また、本実施形態では、奥行補正量を算出して奥行き値を補正する例を説明したが、奥行き値を得るための視差を補正するようにしてもよい。この場合、補正した視差から奥行き値を求めればよく、奥行き値を補正する必要はない。視差の補正は、Ｚ値の差分５３０から視差の差分を算出し、視差に加算すればよい。

また、本実施形態では、高さ補正量でカメラ画像を補正する例を説明したが、これに限られず、高さ補正量を考慮してステレオマッチングを行ってもよい。例えば、ステレオマッチングのサーチラインを高さ補正量だけ移動させて、視差を算出してもよい。また、内部パラメータ自体を高さ補正量に基づいて変更し、ステレオ平行化を行わずに、エピポーラ幾何を用いて奥行き値を算出してもよい。

また、本実施形態では、左画像における指標（頂点）と右画像における指標（頂点）との高さ補正後の位置関係に基づいて奥行補正を行う例を説明したが、これに限られない。例えば、指標検出情報を補正せずに、左画像における指標（頂点）と右画像における指標（頂点）との高さ補正前の位置関係と、高さ補正量とに基づいて、奥行補正を行ってもよい。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第１の実施形態では、高さ補正処理部１９０で、フレーム毎に、高さ補正量を算出し、高さ補正量で補正後カメラ画像と指標検出情報を補正（更新）する例を説明した。第２の実施形態では、補正後カメラ画像や指標検出情報の補正（更新）が行われず、画像補正部１２０が１つ前のフレームで算出され
た高さ補正量を反映した画像補正を行う例を説明する。なお、以下では、第１の実施形態と異なる点（構成や処理など）について詳しく説明し、第１の実施形態と同様の点についての説明は適宜省略する。

図８は、第２の実施形態に係る撮影システムの機能構成を示すブロック図である。情報処理装置１０１が高さ補正処理部１９０の代わりに高さ補正量算出部１９１を有する、つまり高さ補正部１９５を有さない点が、第１の実施形態（図１）と異なる。その他の構成は、第１の実施形態と同様である。

図９（ａ）を参照して、第２の実施形態において情報処理装置１０１が実行する処理を説明する。図９（ａ）は、第２の実施形態において情報処理装置１０１が実行する処理を示すフローチャートである。図９（ａ）の処理は、フレーム毎に行われる。なお、以下では、図９（ａ）の処理として、記憶部１３０が高さ補正量を記憶している状態での処理（２フレーム目以降の処理）を説明する。

ステップＳ９００で、情報処理装置１０１は、撮像部１００からカメラパラメータを取得して、記憶部１３０に格納する。なお、撮像部１００からカメラパラメータを取得することに限定されるものではなく、事前にカメラパラメータを校正した結果を記憶部１３０に格納するようにしてもよい。

ステップＳ９１０で、画像取得部１１０は、撮像部１００からカメラ画像を取得する。

ステップＳ９２０で、画像補正部１２０は、ステップＳ９１０で取得されたカメラ画像（左画像と右画像のそれぞれ）に対して、記憶部１３０に格納されているカメラパラメータと高さ補正量を使用して補正処理を行う。そして、画像補正部１２０は、補正後カメラ画像（高さ補正後）を記憶部１３０に格納する。

ステップＳ９３０で、指標検出部１５０は、記憶部１３０に格納されている補正後カメラ画像（高さ補正後）から指標を検出して、検出した指標の情報（指標検出情報）を記憶部１３０に格納する。本実施形態では、ステップＳ９２０で高さ補正後のカメラ画像が得られるため、ステップＳ９３０で、指標検出情報として、高さ補正後の情報が得られる。

ステップＳ９４０で、補正量算出処理が実行される。ステップＳ９４０の補正量算出処理の詳細は、図９（ｂ）を用いて後述する。

ステップＳ９５０で、視差画像生成部１４０は、記憶部１３０に格納されている補正後カメラ画像（高さ補正後）とカメラパラメータに基づいて、補正後カメラ画像における視差を算出して視差画像を生成して、視差画像を記憶部１３０に格納する。

ステップＳ９６０で、奥行画像生成部１６５は、記憶部１３０に格納されている情報（ステップＳ９５０で生成された視差画像を含む）に基づいて奥行画像を生成し、記憶部１３０に格納されている奥行補正量を用いて奥行画像を補正する。

ステップＳ９７０で、情報処理装置１０１は、終了条件を満たすか否かを判定する。例えばユーザーから終了指示が入力された場合、終了条件を満たすと判定する。終了条件を満たす場合は、処理を終了する。終了条件を満たさない場合は、処理をステップＳ９１０に移す。

なお、１フレーム目では、高さ補正量が記憶部１３０に格納されていないため、ステップＳ９２０で高さ補正量は使用されず、高さ補正前のカメラ画像が得られて、記憶部１３
０に格納される。１フレーム目で高さ補正量を用いた補正が行えなくても、２フレーム目以降では高さ補正量を用いた補正が行えるため、問題は無い。

図９（ｂ）は、ステップＳ９４０の補正量算出処理の詳細を示すフローチャートである。

ステップＳ９４１で、高さ補正量算出部１９１は、高さ補正量の算出に必要な情報を記憶部１３０から取得し、奥行補正量算出部１６１は、奥行補正量の算出に必要な情報を記憶部１３０から取得する。

ステップＳ９４２で、高さ補正量算出部１９１は、ステップＳ９４１で取得した情報に基づいて、第１の実施形態で述べたように高さ補正量を算出し、高さ補正量を記憶部１３０に格納する。記憶部１３０が高さ補正量（１つ前のフレームの高さ補正量）を記憶している場合には、高さ補正量算出部１９１は、算出した高さ補正量で記憶部１３０の高さ補正量を更新する。

ステップＳ９４３で、奥行補正量算出部１６１は、ステップＳ９４１で取得した情報に基づいて、第１の実施形態で述べたように奥行補正量を算出し、奥行補正量を記憶部１３０に格納する。記憶部１３０が奥行補正量（１つ前のフレームの奥行補正量）を記憶している場合には、奥行補正量算出部１６１は、算出した高さ補正量で記憶部１３０の奥行補正量を更新する。

以上述べたように、第２の実施形態によれば、補正後カメラ画像や指標検出情報の補正（更新）は行われず、画像補正部１２０が１つ前のフレームで算出された高さ補正量を反映した画像補正を行う。こうすることで、第１の実施形態よりも計算負荷を低くすることができる。カメラパラメータは１フレームの間では大きく変動しないため、１つ前のフレームで算出された高さ補正量を用いても問題は無い。

なお、ステップＳ９４０の補正量算出処理を１フレーム毎に行う例を説明したが、複数フレーム毎に行ってもよい。

なお、上述した実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：情報処理装置 １１０：画像取得部 １２０：画像補正部
１４０：視差画像生成部 １５０：指標検出部 １６０：奥行補正処理部
１６１：奥行補正量算出部 １６５：奥行画像生成部 １９０：高さ補正処理部
１９１：高さ補正量算出部 １９５：高さ補正部

Claims (11)

1. 第１の方向から撮影した第１の画像と、第２の方向から撮影した第２の画像とを取得する画像取得手段と、
   前記第１の画像と前記第２の画像とのそれぞれから指標を検出する指標検出手段と、
   前記第１の画像における前記指標と前記第２の画像における前記指標との高さ方向の位置関係に基づいて、前記第１の画像と前記第２の画像との少なくとも一方に対する高さ補正量を取得する高さ補正量取得手段と、
   前記第１の画像、前記第２の画像、および前記高さ補正量に基づいて、前記第１の画像と前記第２の画像との間の視差を判断する視差判断手段と、
   前記高さ補正量による補正後の前記第１の画像における前記指標と前記第２の画像における前記指標との位置関係、および指標の実空間における大きさを示す指標情報に基づいて、前記視差判断手段で判断された視差に対応する奥行き位置の補正量である奥行補正量を取得する奥行補正量取得手段と、
   前記奥行補正量取得手段で取得された前記奥行補正量に基づいて、前記視差判断手段で判断された視差、または当該視差に対応する奥行き位置を補正する補正手段と
   を有することを特徴とする情報処理装置。
2. 前記視差判断手段は、前記高さ補正量による補正後の前記第１の画像と前記第２の画像とに基づいて、当該補正後の前記第１の画像と前記第２の画像との間の前記視差を判断する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、前記第１の画像における前記指標と前記第２の画像における前記指標との、前記高さ補正量による補正後の位置関係に基づいて、前記視差または前記奥行き位置を補正する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記高さ補正量に基づいて、前記第１の画像における前記指標と前記第２の画像における前記指標との少なくとも一方の位置情報を補正する位置補正手段をさらに有する
   ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記高さ補正量に基づいて、前記第１の画像と前記第２の画像との少なくとも一方を補正する画像補正手段をさらに有する
   ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記高さ補正量取得手段は、前記第１の画像における前記指標と前記第２の画像における前記指標との高さ方向の位置ずれを低減する前記高さ補正量を取得する
   ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記高さ補正量は、前記第１の画像と前記第２の画像との少なくとも一方を拡大または縮小する補正量と、前記第１の画像と前記第２の画像との少なくとも一方を前記高さ方向に移動させる補正量との少なくとも一方を含む
   ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記高さ補正量取得手段は、前記高さ補正量を用いた補正による前記第１の画像と前記第２の画像の変化量が最小の前記高さ補正量を取得する
   ことを特徴とする請求項１～７のいずれか１項に記載の情報処理装置。
9. 第１の方向から撮影した第１の画像と、第２の方向から撮影した第２の画像とを取得する画像取得ステップと、
   前記第１の画像と前記第２の画像とのそれぞれから指標を検出する指標検出ステップと、
   前記第１の画像における前記指標と前記第２の画像における前記指標との高さ方向の位置関係に基づいて、前記第１の画像と前記第２の画像との少なくとも一方に対する高さ補正量を取得する高さ補正量取得ステップと、
   前記第１の画像、前記第２の画像、および前記高さ補正量に基づいて、前記第１の画像と前記第２の画像との間の視差を判断する視差判断ステップと、
   前記高さ補正量による補正後の前記第１の画像における前記指標と前記第２の画像における前記指標との位置関係、および指標の実空間における大きさを示す指標情報に基づいて、前記視差判断ステップで判断された視差に対応する奥行き位置の補正量である奥行補正量を取得する奥行補正量取得ステップと、
   前記奥行補正量取得ステップで取得された前記奥行補正量に基づいて、前記視差判断ステップで判断された視差、または当該視差に対応する奥行き位置を補正する補正ステップと
   を有することを特徴とする情報処理方法。
10. コンピュータを、請求項１～８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１～８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。