JP6989877B2 - 位置座標算出方法及び位置座標算出装置 - Google Patents

Description

本発明は、位置座標算出方法及び位置座標算出装置に関するものである。

従来から、複数のカメラを用いて目標の位置座標を算出する種々の方法が考案されている。

例えば、特許文献１には、複数の撮影カメラの中から目標の位置に適した二台の撮影カメラを選択し、ズーム機構で目標を追尾するとともに、撮影システムにより三角測量法の原理に基づいて目標の位置座標を算出する位置座標算出方法が開示されている。

また、特許文献２には、配列した複数のカメラの撮影タイミングを同期させて、微少視差及び微少時差で撮影した画像を統合的に分析して、対象物体の３次元位置及び速度を同時に検出する方法が開示されている。

特開２００１－２８５８４９号公報 特開２００７－０６６２７４号公報

しかしながら、上述の方法はいずれも、複数のカメラを所定の位置に設置すると共に、設置した複数のカメラそれぞれのズーム機構や撮影タイミング等を高度に制御することを要し、多大な労力及び設備費用が必要となる。

そこで、本発明は、一台の単眼カメラを用いて目標の位置座標を算出することのできる位置座標算出方法及び位置座標算出装置を提案することを目的とする。

本発明に係る位置座標算出方法は、第１直線、第１直線に略平行な第２直線、第１直線に略平行でない第３直線、及び第３直線に略平行な第４直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、フィールド画像に含まれる点の所定のフィールド上における位置座標を算出する位置座標算出方法であって、フィールド画像から、第１直線、第２直線、第３直線、及び第４直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及びフィールド画像の光学中心を通る複数の平面を生成するステップと、複数の平面から、２つの平面から成る第１ペア及び他の２つの平面から成る第２ペアで構成される複数の組合せを生成するステップと、複数の組合せのそれぞれについて、第１ペアに含まれる各平面の法線ベクトル同士の外積を第１外積ベクトルとして算出し、第２ペアに含まれる各平面の法線ベクトル同士の外積を第２外積ベクトルとして算出し、第１外積ベクトル及び第２外積ベクトルの外積を第３外積ベクトルとして算出し、第３外積ベクトルを法線ベクトルとする平面を投影平面として算出するステップと、算出された複数の投影平面のそれぞれに複数の直線及び所定のフィールドを投影し、投影された複数の直線及び所定のフィールドを比較することにより、複数の投影平面のそれぞれについて評価値を算出するステップと、評価値に基づいて、複数の投影平面から所定のフィールドに平行なフィールド平面を決定するステップと、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点の所定のフィールド上における位置座標を算出するステップと、を備えることを特徴とする。

この態様によれば、まず、単眼カメラ等を用いて撮影されたフィールド画像に基づいて、第１直線、第１直線に略平行な第２直線、第１直線に略平行でない第３直線、及び第３直線に略平行な第４直線それぞれと光学中心とを通る各平面を算出することができる。そして、各平面の法線ベクトルからフィールドに平行なフィールド平面を算出することができる。そして、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点のフィールド上における位置座標を算出することができる。したがって、単眼カメラを用いて目標の位置座標を算出することが可能となる。

また、本発明に係る他の位置座標算出方法は、第１直線、第１直線に略平行な第２直線、及び第１直線に略垂直な第３直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、フィールド画像に含まれる点の所定のフィールド上における位置座標を算出する位置座標算出方法であって、フィールド画像から、第１直線、第２直線、及び第３直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及びフィールド画像の光学中心を通る複数の平面を生成するステップと、複数の平面から３つの平面で構成される複数の組合せを生成するステップと、複数の組合せのそれぞれについて、３つの平面のうちの第１平面の法線ベクトル及び３つの平面のうちの第２平面の法線ベクトルの外積を第１外積ベクトルとして算出し、３つの平面のうちの第３平面の法線ベクトル及び第１外積ベクトルの外積を第２外積ベクトルとして算出し、第１外積ベクトル及び第２外積ベクトルの外積を第３外積ベクトルとして算出し、第３外積ベクトルを法線ベクトルとする平面を投影平面として算出するステップと、算出された複数の投影平面のそれぞれに複数の直線及び所定のフィールドを投影し、投影された複数の直線及び所定のフィールドを比較することにより、複数の投影平面のそれぞれについて評価値を算出するステップと、評価値に基づいて、複数の投影平面から所定のフィールドに平行なフィールド平面を決定するステップと、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点の所定のフィールド上における位置座標を算出するステップと、を備えることを特徴とする。

この態様によれば、まず、単眼カメラ等を用いて撮影されたフィールド画像に基づいて、第１直線、第１直線に略平行な第２直線、及び第１直線に略垂直な第３直線それぞれと光学中心とを通る各平面を算出することができる。そして、各平面の法線ベクトルからフィールドに平行なフィールド平面を算出することができる。そして、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点のフィールド上における位置座標を算出することができる。したがって、単眼カメラを用いて目標の位置座標を算出することが可能となる。

本発明によれば、単眼カメラを用いて目標の位置座標を算出することができる。

画像処理装置１の機能上の構成を示すブロック図である。 位置座標算出処理の動作フローの一例を示す図である。 球面パノラマ画像生成処理の動作フローの一例を示す図である。 特徴線候補平面生成処理の動作フローの一例を示す図である。 フィールド平面決定処理の動作フローの一例を示す図である。 位置座標算出処理の動作フローの一例を示す図である。 特徴点の抽出を説明するための図である。 特徴点のマッチングを説明するための図である。 画像フレームの仮想球面上への投影を説明するための図である。 球面パノラマ画像の一例を示す図である。 直線の抽出処理を説明するための図である。 球面パノラマ画像上への直線の投影を説明するための図である。 特徴線候補平面の生成を説明するための図である。 特徴線候補平面の生成を説明するための図である。 ４つの特徴線候補平面の組合せの一例を示す図である。 外積ベクトルの算出を説明するための図である。 投影平面の幾何学的意味を説明するための図である。 投影平面の評価を説明するための図である。 投影平面の評価を説明するための図である。 球面パノラマ画像のフィールド平面上への投影を説明するための図である。 フィールド画像の一例を示す図である。 画像フレーム上の点とフィールド画像上の点の対応づけを説明するための図である。 位置座標算出処理を用いて生成された画面を説明するための図である。 第２実施形態に係るフィールド平面決定処理の動作フローの一例を示す図である。 ３つの特徴線候補平面の組合せの一例を示す図である。 投影平面の幾何学的意味を説明するための図である。

発明の詳細な説明

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

以下では、単眼カメラを用いて、所定のフィールド上で行われるスポーツ競技（例えば、サッカー）の様子を撮影した場合を例として説明を行う。ここで、フィールドとは、スポーツ競技等に関して定められた地面その他の面に配置される所定のフィールド線（直線、曲線、その他の任意の線をいう）によって規定された領域をいう。

［第１実施形態］
本発明の第１実施形態に係る位置座標算出方法は、所定のフィールドが撮像されたフィールド画像に基づいて、フィールド画像に含まれる点のフィールド上における位置座標を算出する方法である。ここで、第１実施形態に係る位置座標算出方法における所定のフィールドは、例えば、第１直線と、第１直線に略平行な第２直線と、第１直線に略平行でない第３直線と、第３直線に略平行な第４直線とを含むフィールド線によって規定される。例えば、サッカーのフィールドの場合、第１直線及び第２直線は２本のエンドライン、第３直線及び第４直線は２本のサイドラインである。

図１は、画像処理装置１の機能上の構成を示すブロック図である。

画像処理装置１は、位置座標算出装置の一例である。画像処理装置１は、記憶部１０と、処理部２０と、表示部３０と、操作部４０とを備える。

記憶部１０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１０は、不図示の画像取得部によって取得された動画データ及び画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。

処理部２０は、ＣＰＵ等のハードウェアによって実現され、記録部１０に記録された各種プログラムを読み込むことにより、記憶部１０に記憶された動画データ及び画像データや操作部４０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

処理部２０は、後述する位置座標算出処理を行う。このために、処理部２０は、球面パノラマ画像生成処理部２１と、特徴線候補平面生成処理部２２と、フィールド平面決定処理部２３と、位置座標算出処理部２４とを有する。

球面パノラマ画像生成処理部２１は、単眼カメラ動画に基づいて、球面パノラマ画像を生成する。このために、球面パノラマ画像生成処理部２１は、特徴点抽出部２１１と、特徴点マッチング部２１２と、カメラパラメータ計算部２１３と、仮想球面投影部２１４とを有する。

特徴線候補平面生成処理部２２は、球面パノラマ画像から、第１直線、第２直線、第３直線、及び第４直線のいずれかと光学中心とを通る平面（特徴線平面）の候補となる特徴線候補平面を生成する。このために、特徴線候補平面生成処理部２２は、直線処理部２２１と、特徴線候補平面生成部２２２とを有する。

フィールド平面決定処理部２３は、特徴線候補平面から、フィールド平面を決定する。このために、フィールド平面決定処理部２３は、投影平面算出部２３１と、フィールド平面決定部２３２とを有する。

位置座標算出処理部２４は、フィールド平面に基づいて、単眼カメラ動画を構成する各画像フレーム上の点についてフィールド上における位置座標を算出する。このために、位置座標算出処理部２４は、フィールド平面投影部２４１と、位置座標算出部２４２とを有する。

表示部３０は、液晶ディスプレイや有機ＥＬ（Electro－Luminescence）ディスプレイ等の表示部である。表示部３０は、処理部２０の制御の下で、各種動画及び画像等を表示する。

操作部４０は、画像処理装置１の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボタン等である。ユーザは、操作部４０を用いて、文字、数字、記号等を入力することができる。操作部４０は、プレイヤにより操作された場合、その操作に対応する信号を処理部２０に供給する。

図２は、処理部２０による位置座標算出処理の動作フローの一例を示す図である。

位置座標算出処理は、所定のフィールドが撮像された単眼カメラ動画（時系列に沿って配列された複数の画像フレームから構成される動画データ）に基づいて、単眼カメラ動画を構成する各画像フレーム上の点のフィールド上における位置座標を算出する処理である。なお、単眼カメラ動画の撮影においては、単眼カメラを回転させてもよく、ズーム機能を使用してもよいが、単眼カメラの移動（パン）はさせないものとする。

位置座標算出処理は、球面パノラマ画像生成処理と、特徴線候補平面生成処理と、フィールド平面決定処理と、位置座標算出処理とを含む。

（ステップＳ１００）
まず、球面パノラマ画像生成処理部２１は、球面パノラマ画像生成処理として、単眼カメラ動画に基づいて、球面パノラマ画像を生成する。球面パノラマ画像生成処理の詳細は後述する。

（ステップＳ２００）
次に、特徴線候補平面生成処理部２２は、特徴線候補平面生成処理として、ステップＳ１００で得られた球面パノラマ画像から、第１直線、第２直線、第３直線、及び第４直線のいずれかと光学中心とを通る平面（特徴線平面）の候補となる特徴線候補平面を生成する。特徴線候補平面生成処理の詳細は後述する。

（ステップＳ３００）
次に、フィールド平面決定処理部２３は、フィールド平面決定処理として、ステップＳ２００で得られた特徴線候補平面から、フィールド平面を決定する。ここで、フィールド平面とは、実際のフィールドが規定された平面に平行な仮想的な平面のことをいう。フィールド平面決定処理の詳細は後述する。

（ステップＳ４００）
次に、位置座標算出処理部２４は、位置座標算出処理として、ステップＳ３００で得られたフィールド平面に基づいて、単眼カメラ動画を構成する各画像フレーム上の点についてフィールド上における位置座標を算出する。位置座標算出処理の詳細は後述する。

図３は、球面パノラマ画像生成処理の動作フローの一例を示す図である。

球面パノラマ画像生成処理は、単眼カメラ動画を構成する各画像フレームを仮想球面上に投影することにより、球面パノラマ画像を生成する処理である。

（ステップＳ１０１）
特徴点抽出部２１１は、単眼カメラ動画を構成する各画像フレームにおいて、特徴点を抽出する。特徴点を抽出する方法としては、ＳＩＦＴ（Scale－Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）等の公知の特徴点位置合わせ方法に含まれる特徴点の抽出方法を用いることができる。

ここで、ＳＩＦＴとは、特徴点において画像の回転およびスケール変化に対して不変な特徴量を記述し、記述した特徴量に基づいて、複数の画像の位置合わせを行う手法である。ＳＵＲＦとは、ＳＩＦＴにおいて行われる処理を近似処理に置き換えることにより、より高速に位置合わせを行う手法である。なお、本実施形態において行われる特徴点の抽出処理は、ＳＩＦＴまたはＳＵＲＦに限定されるものではなく、任意の特徴点抽出方法を用いることができる。

図７は、特徴点の抽出を説明するための図である。図７において点線丸印で示した箇所は、当該画像フレームにおいて抽出された特徴点である。

（ステップＳ１０２）
次に、特徴点マッチング部２１２は、ステップＳ１０１で抽出された特徴点同士を、画像フレーム間でマッチングする。マッチングの方法は、ステップＳ１０１に準じて、ＳＩＦＴやＳＵＲＦ等の公知の特徴点位置合わせ方法であってよい。なお、特徴点のマッチングは、動画データに含まれる複数の画像フレームの全ての組合せ間で行ってもよい。或いは、計算量を削減するために、特徴点のマッチングは、時系列的に所定の近さ関係にある画像フレーム間のみで行ってもよい。

図８は、特徴点のマッチングを説明するための図である。図８において示された各点線は、２つの画像フレームの各々においてマッチングされる特徴点同士を結ぶ線分である。

（ステップＳ１０３）
次に、カメラパラメータ計算部２１３は、カメラパラメータを計算する。

ここで、所定の特徴点のカメラ座標系における位置座標を（ｘ，ｙ，１）、当該特徴点が表す点の３次元座標系における位置座標を（Ｘ，Ｙ，Ｚ）、カメラパラメータをＫ、Ｒとすると、次が成り立つ。

ただし、ｆはカメラの焦点距離を、（ｋ_x，ｋ_y）は画素の有効サイズを、（ｏ_x，ｏ_y）は画像中心を、ｒ_ij（ｉ＝１～３，ｊ＝１～３）は回転行列成分を、それぞれ表すものとする。

いま、画像フレームＡ及び画像フレームＢが与えられ、画像フレームＡ上の特徴点ｐ_A及び画像フレームＢ上の特徴点ｐ_Aがマッチングされたものとする。また、画像フレームＡのパラメータをＫ_A及びＲ_Aとし、画像フレームＢのパラメータをＫ_B及びＲ_Bとする。このとき、画像フレームＡ上の特徴点ｐ_Aが表す点（ｑとする）の３次元座標系における位置座標ｑ_Aは、ｑ_A＝Ｒ_AＫ_A ^-1ｐ_Aと表され、画像フレームＢ上の特徴点ｐ_Bが表す点（ｑ）の３次元座標系における位置座標ｑ_Bは、ｑ_B＝Ｒ_BＫ_B ^-1ｐ_Bと表される。

ここで、点ｑについての画像フレームＡ及び画像フレームＢ間のずれを、Ｄ_q＝｜ｑ_A／｜ｑ_A｜－ｑ_B／｜ｑ_B｜｜²と表すものとする。そして、カメラパラメータ計算部２１３は、全ての特徴点が表す点についてのずれＤを足し合わせた値が最小となるようなパラメータを求める。これにより、各画像フレーム間のずれが最小となる。

（ステップＳ１０４）
次に、仮想球面投影部２１４は、ステップＳ１１３で求めたカメラパラメータを用いて、画像フレームを仮想球面上に投影し、球面パノラマ画像を生成する。

図９Ａは、画像フレームの仮想球面上への投影を説明するための図である。

図９Ａに示すとおり、仮想球面は、光学中心Ｏ_Gを中心とする半径Ｒの球面状の仮想的な曲面である。仮想球面上に画像フレームが投影されることにより、球面パノラマ画像が生成される。図９Ｂに、球面パノラマ画像の一例を示す。

以上より、球面パノラマ画像が生成される。

図４は、特徴線候補平面生成処理の動作フローの一例を示す図である。

特徴線候補平面生成処理は、球面パノラマ画像から、第１直線、第２直線、第３直線、及び第４直線のいずれかと光学中心とを通る平面（特徴線平面）の候補となる特徴線候補平面を生成する処理である。ここで、特徴線平面とは、例えばサッカーのフィールドの場合、光学中心と一のサイドラインとを通る平面や、光学中心と一のエンドラインとを通る平面である。

（ステップＳ２０１）
まず、直線処理部２２１は、単眼カメラ動画を構成する各画像フレームにおいて、直線を抽出する。直線を抽出する方法としては、ハフ変換やＬＳＤ（Line Segment Detector）等の公知の方法を用いることができる。ここで、ハフ変換とは、直線などの方程式で表される図形を検出するための手法であり、二値画像におけるｘ－ｙ直交座標系の各点をρ－θ極座標系に変換し、ρ－θ極座標系での曲線が最も重なり合うところを画像上の線分として検出するものである。ＬＳＤとは、グレースケールに変換した画像フレームからエッジを検出した後、評価を行うことにより直線を検出する方法であり、区分的な直線を求めることができる。

図１０は、直線の抽出処理を説明するための図である。図１０の左側には直線が検出される前の画像フレームが示されており、図１０の右側には当該画像フレームにおいて直線（図１０では白線で示されている）が検出されたことが示されている。

（ステップＳ２０２）
次に、直線処理部２２１は、ステップＳ２０１で抽出された各画像フレームにおける直線を、ステップＳ１０４で生成された球面パノラマ画像上に投影する。ここで、当該直線が投影されて成る球面パノラマ画像上の線を「投影線」と称する。

図１１は、球面パノラマ画像上への直線の投影を説明するための図である。図１１に示すとおり、球面パノラマ画像上には、各画像フレームにおける直線が投影されて成る投影線が生成される。

（ステップＳ２０３）
次に、特徴線候補平面生成部２２２は、ステップＳ２０２において球面パノラマ画像上の投影線に基づいて、ＲＡＮＳＡＣ（RANdam SAmple Consensus）により、特徴線候補平面を生成する。

ここで、ＲＡＮＳＡＣとは、全データから必要最小限の個数のデータをランダムに選択し、選択されたデータから拘束条件のパラメータを計算し、残りのデータからその値の妥当性を評価する、という操作を多数回行って最大の評価を得た値とそれを支持したデータを採用するパラメータ推定方法である。なお、本実施形態において行われる特徴線候補平面の抽出処理は、ＲＡＮＳＡＣに限定されず、他の任意のパラメータ推定方法を用いて実行することができる。

図１２Ａ及び図１２Ｂは、特徴線候補平面の生成を説明するための図である。まず、特徴線候補平面生成部２２２は、ステップＳ２０２で得られた球面パノラマ画像上の全ての投影線からランダムに一の投影線を選び、当該投影線及び光学中心Ｏ_Gを通る平面（図１２Ａの扇形状の点線で張られる平面）を定義する。次に、特徴線候補平面生成部２２２は、定義された平面から所定の閾値以内に存在する他の投影線を抽出し、抽出された投影線の数を数える。

次に、上述と同様にして、抽出された投影線から新しくランダムに一の投影線を選ぶと共に、当該投影線及び光学中心Ｏ_Gを通る平面を定義し、定義された平面から所定の閾値以内に存在する他の投影線を抽出し、抽出された投影線の数を数える。そして、当該操作を所定回数繰り返した後、抽出された他の投影線の数が最も多かったものを、特徴線候補平面としての解とする。

図１２Ｂには、上述の操作を複数回実行することにより抽出された複数の特徴線候補平面について、当該複数の特徴線候補平面が球面パノラマ画像を通過する線が、点線によって示されている。

以上より、特徴線候補平面が得られる。

図５は、フィールド平面決定処理の動作フローの一例を示す図である。

フィールド平面決定処理は、複数の特徴線候補平面から、フィールド平面（実際のフィールドが規定された平面に平行な仮想的な平面）を決定する処理である。

（ステップＳ３０１）
まず、投影平面算出部２３１は、ステップＳ２０３で生成された特徴線候補平面から４つの特徴線候補平面の組合せを任意に選択する。例えば、図１３に示すとおり、投影平面算出部２３１は、４つの特徴線候補平面Ａ、Ｂ、Ｃ及びＤの組合せを選択する。

（ステップＳ３０２）
次に、投影平面算出部２３１は、ステップＳ３０１で選択された４つの特徴線候補平面から、２つの特徴線候補平面から成るペアを２組選択する。例えば、投影平面算出部２３１は、図１３に示した４つの特徴線候補平面Ａ、Ｂ、Ｃ及びＤから、特徴線候補平面Ａ及びＢから成る第１ペアと、特徴線候補平面Ｃ及びＤから成る第２ペアとを選択する。

（ステップＳ３０３）
次に、投影平面算出部２３１は、ステップＳ３０２で選択した２つのペアのそれぞれについて、ペアを構成する２つの特徴線候補平面の法線ベクトル同士の外積を取ることにより、２つの外積ベクトル（第１外積ベクトル及び第２外積ベクトル）を算出する。例えば、図１４に示すとおり、上述の第１ペアについて、特徴線候補平面Ａの法線ベクトルｎ_Aと、特徴線候補平面Ｂの法線ベクトルｎ_Bとの外積を取ることにより、第１外積ベクトルとして外積ベクトルＵを算出する。第２ペアについても同様に、特徴線候補平面Ｃの法線ベクトルｎ_Cと、特徴線候補平面Ｄの法線ベクトルｎ_Dとの外積を取ることにより、第２外積ベクトルとして外積ベクトルＶを算出する。

（ステップＳ３０４）
次に、投影平面算出部２３１は、ステップＳ３０３で算出された第１外積ベクトル及び第２外積ベクトルの外積を取ることにより、第３外積ベクトルを算出する。例えば、図１５に示すとおり、外積ベクトルＵ及びＶの外積を取ることにより、第３外積ベクトルとして外積ベクトルＮを算出する。

（ステップＳ３０５）
次に、投影平面算出部２３１は、ステップＳ３０４で算出された第３外積ベクトルを法線ベクトルとする平面を算出する。ここで、第３外積ベクトルを法線ベクトルとする平面を投影平面と称する。

図１５を用いて、投影平面の幾何学的意味を説明する。特徴線候補平面Ａが、第１直線を通る平面（特徴線平面）であり、特徴線候補平面Ｂが、第２直線を通る平面（特徴線平面）であると仮定する。更に、特徴線候補平面Ｃが、第３直線を通る平面（特徴線平面）であり、特徴線候補平面Ｄが、第４直線を通る平面（特徴線平面）であると仮定する。この仮定の下では、当該投影平面は、実際のフィールドが規定された平面に平行な仮想的な平面（フィールド平面）となる。以下、理由を説明する。

例えば、特徴線候補平面Ａが第１直線である一端のエンドラインを通る平面であり、特徴線候補平面Ｂが第２直線である他端のエンドラインを通る平面であるものとする。このとき、特徴線候補平面Ａの法線ベクトルｎ_Aと、特徴線候補平面Ｂの法線ベクトルｎ_Bとの外積である外積ベクトルＵ（第１外積ベクトル）は、両方のエンドラインに平行な方向を向くベクトルである。

同様に、例えば、特徴線候補平面Ｃが第３直線である一端のサイドラインを通る平面であり、特徴線候補平面Ｄが第４直線である他端のサイドラインを通る平面であるものとする。このとき、特徴線候補平面Ｃの法線ベクトルｎ_Cと、特徴線候補平面Ｄの法線ベクトルｎ_Dとの外積である外積ベクトルＶ（第２外積ベクトル）は、両方のサイドラインに平行な方向を向くベクトルである。

したがって、外積ベクトルＵと外積ベクトルＶとの外積である外積ベクトルＮ（第３外積ベクトル）は、外積ベクトルＵ及び外積ベクトルＶで張る平面に垂直な方向を向くベクトルである。以上より、外積ベクトルＮ（第３外積ベクトル）を法線ベクトルとする投影平面は、実際のフィールドが規定された平面と平行な仮想的な平面（フィールド平面）となる。

（ステップＳ３０６）
次に、フィールド平面決定部２３２は、設計上のフィールド線を用いて、ステップＳ３０５で得られた投影平面の評価を行う。

図１６Ａ及び図１６Ｂは、投影平面の評価を説明するための図である。まず、図１６Ａに示すとおり、投影平面上にフィールドの設計図を配置する。ここで、フィールドの設計図とは、撮像されたフィールドに係る実際の設計図である。次に、図１６Ｂに示すとおり、図１１に示した投影線（単眼カメラ動画を構成する各画像フレームにおいて検出された直線を仮想球面上に投影した線）を、投影平面上に投影する。そして、フィールドの設計図の線と、投影された各線との距離を算出し、これに基づいて当該投影平面に対する評価値を算出する。ここで、評価値は、フィールドの設計図の線と投影された各線との距離が小さいほど大きな値を有するものとする。

（ステップＳ３０７）
次に、フィールド平面決定部２３２は、ステップＳ３０２で選択された全ての２組のペアについて、ステップＳ３０６の評価値を算出したか否かを判定する。当該判定が否定される場合（ステップＳ３０７；Ｎｏ）、ステップＳ３０２に戻る。当該判定が肯定される場合（ステップＳ３０７；Ｙｅｓ）、ステップＳ３０８に進む。

（ステップＳ３０８）
次に、フィールド平面決定部２３２は、ステップＳ３０１で選択された全ての４つの組合せについて、ステップＳ３０６の評価値を算出したか否かを判定する。当該判定が否定される場合（ステップＳ３０８；Ｎｏ）、ステップＳ３０１に戻る。当該判定が肯定される場合（ステップＳ３０８；Ｙｅｓ）、ステップＳ３０９に進む。

（ステップＳ３０９）
次に、フィールド平面決定部２３２は、ステップＳ３０６で算出した複数の評価値から最大の評価値を選択することにより、フィールド平面を決定する。すなわち、当該最大の評価値を有する特徴線候補平面の４つの組合せ及び２組のペアについて、ステップＳ３０５で算出された投影平面を所望のフィールド平面（実際のフィールドが規定された平面に平行な仮想的な平面）であると決定する。

以上より、フィールド平面が決定される。

図６は、位置座標算出処理の動作フローの一例を示す図である。

位置座標算出処理は、フィールド平面決定処理により決定されたフィールド平面に基づいて、単眼カメラ動画を構成する各画像フレーム上の点についてフィールド上における位置座標を算出する処理である。

（ステップＳ４０１）
まず、フィールド平面投影部２４１は、フィールド平面上に、球面パノラマ画像を投影する。

図１７Ａは、球面パノラマ画像のフィールド平面上への投影を説明するための図である。

図１７Ａに示すとおり、フィールド平面上に球面パノラマ画像が投影されることにより、フィールド画像が生成される。図１７Ｂに、フィールド画像の一例を示す。

（ステップＳ４０２）
次に、位置座標算出部２４１は、単眼カメラ動画を構成する画像フレーム及び球面パノラマ画像の対応関係と、球面パノラマ画像及びフィールド画像の対応関係とに基づいて、各画像フレーム上の点についてフィールド上における位置座標を算出する。

図１８は、画像フレーム上の点についてのフィールド上における位置座標の算出を説明するための図である。図１８に示すとおり、画像フレーム上の点Ｐ_Cは、球面パノラマ画像上の点Ｐ_Pに対応しており、球面パノラマ画像上の点Ｐ_Pは、フィールド画像上の点Ｐ_Fに対応している。当該関係を用いることにより、画像フレーム上の点Ｐ_Cに対して、フィールド画像上の点Ｐ_Fの位置座標を対応づける。

以上より、画像フレーム上の点のフィールド上における位置座標が算出される。

図１９は、位置座標算出処理を用いて生成された画面を説明するための図である。

画面１００は、例えば、処理部２０の制御により表示部３０に表示される画面である。画像１００は、単眼カメラ動画表示領域１１０と、フィールド表示領域１２０と、位置座標表示領域１３０とを含む。

単眼カメラ動画表示領域１１０は、単眼カメラ動画が表示される領域である。図１９に示すとおり、単眼カメラ動画表示領域１１０において、特定のプレイヤ（図１９ではプレイヤＡ）を点線枠等で強調表示してもよい。

フィールド表示領域１２０は、フィールド線が模式的に表示される領域である。図１９に示すとおり、フィールド線に重ねて、単眼カメラ動画表示領域１１０に表示されている画像フレームに対応する位置を、斜線により強調表示してもよい。

位置座標表示領域１３０は、特定のプレイヤに係るフィールド上の位置座標が表示される領域である。図１９に示すとおり、例えばプレイヤＡのフィールドの左側上部の点を原点とする位置座標が表示される。

以上説明したとおり、第１実施形態に係る位置座標算出方法により、まず、単眼カメラ等を用いて撮影されたフィールド画像に基づいて、第１直線、第１直線に略平行な第２直線、第１直線に略平行でない第３直線、及び第３直線に略平行な第４直線それぞれと、光学中心とを通る各平面を算出することができる。そして、各平面の法線ベクトルからフィールドに平行なフィールド平面を算出することができる。そして、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点のフィールド上における位置座標を算出することができる。したがって、第１実施形態に係る位置座標算出方法により、単眼カメラを用いて目標の位置座標を算出することが可能となる。

［第２実施形態］
本発明の第２実施形態に係る位置座標算出方法は、所定のフィールドが撮像されたフィールド画像に基づいて、フィールド画像に含まれる点のフィールド上における位置座標を算出する方法である。ここで、第２実施形態に係る位置座標算出方法における所定のフィールドは、例えば、第１直線と、第１直線に略平行な第２直線と、第１直線に略垂直な第３直線とを含むフィールド線によって規定される。例えば、サッカーのフィールドの場合、第１直線及び第２直線は２本のサイドライン、第３直線は１本のエンドラインである。

第２実施形態に係る位置座標算出方法では、第１実施形態に係るフィールド平面決定処理の代わりに、他のフィールド平面決定処理によってフィールド平面が決定される。以下では、第２実施形態に係る当該フィールド平面決定処理について説明し、第２実施形態に係る位置座標算出方法のうち第１実施形態に係る位置座標算出方法と同一の構成については、説明を省略する。

図２０は、第２実施形態に係るフィールド平面決定処理の動作フローの一例を示す図である。

第２実施形態に係るフィールド平面決定処理は、例えば図４を用いて説明した特徴線候補平面処理により生成された複数の特徴線候補平面から、フィールド平面（実際のフィールドが規定された平面に平行な仮想的な平面）を決定する処理である。第２実施形態に係るフィールド平面決定処理は、例えば、画像処理装置１によって実行される。

（ステップＳ５０１）
まず、投影平面算出部２３１は、ステップＳ２０３で生成された特徴線候補平面から３つの特徴線候補平面の組合せを任意に選択する。例えば、図２１に示すとおり、投影平面算出部２３１は、３つの特徴線候補平面Ａ、Ｂ及びＣの組合せを選択する。

（ステップＳ５０２）
次に、投影平面算出部２３１は、ステップＳ５０１で選択された３つの特徴線候補平面から、第１平面、第２平面及び第３平面を任意に選択する。例えば、投影平面算出部２３１は、図２１に示した３つの特徴線候補平面Ａ、Ｂ及びＣから、第１平面として特徴線候補平面Ａを、第２平面として特徴線候補平面Ｂを、第３平面として特徴線候補平面Ｃを選択する。

（ステップＳ５０３）
次に、投影平面算出部２３１は、ステップＳ５０２で選択した第１平面（特徴線候補平面）の法線ベクトルと、第２平面（特徴線候補平面）の法線ベクトルとの外積を取ることにより、第１外積ベクトルを算出する。例えば、第１平面としての特徴線候補平面Ａの法線ベクトルｎ_Aと、第２平面としての特徴線候補平面Ｂの法線ベクトルｎ_Bとの外積を取ることにより、第１外積ベクトルＵを算出する。

（ステップＳ５０４）
次に、投影平面算出部２３１は、ステップＳ５０２で選択した第３平面（特徴線候補平面）の法線ベクトルと、ステップＳ５０３で算出した第１外積ベクトルとの外積を取ることにより、第２外積ベクトルを算出する。例えば、第３平面としての特徴線候補平面Ｃの法線ベクトルｎ_Cと、上述の第１外積ベクトルＵとの外積を取ることにより、第２外積ベクトルＶを算出する。

（ステップＳ５０５）
次に、投影平面算出部２３１は、ステップＳ５０３で算出された第１外積ベクトルと、ステップＳ５０４で算出された第２外積ベクトルとの外積を取ることにより、第３外積ベクトルを算出する。例えば、上述の外積ベクトルＵ及び外積ベクトルＶの外積を取ることにより、第３外積ベクトルとして外積ベクトルＮを算出する。

（ステップＳ５０６）
次に、投影平面算出部２３１は、ステップＳ５０５で算出された第３外積ベクトルを法線ベクトルとする平面を算出する。ここで、第３外積ベクトルを法線ベクトルとする平面を投影平面と称する。

図２２を用いて、投影平面の幾何学的意味を説明する。特徴線候補平面Ａが、第１直線を通る平面（特徴線平面）であり、特徴線候補平面Ｂが、第２直線を通る平面（特徴線平面）であり、特徴線候補平面Ｃが、第３直線を通る平面（特徴線平面）であると仮定する。この仮定の下では、当該投影平面は、実際のフィールドが規定された平面に平行な仮想的な平面（フィールド平面）となる。以下、理由を説明する。

例えば、特徴線候補平面Ａが第１直線である一端のサイドラインを通る平面であり、特徴線候補平面Ｂが第２直線である他端のサイドラインを通る平面であるものとする。このとき、特徴線候補平面Ａの法線ベクトルｎ_Aと、特徴線候補平面Ｂの法線ベクトルｎ_Bとの外積である外積ベクトルＵ（第１外積ベクトル）は、両方のサイドラインに平行な方向を向くベクトルとなる。

次に、例えば、特徴線候補平面Ｃが第３直線であるエンドラインを通る平面であるものとする。このとき、特徴線候補平面Ｃの法線ベクトルｎ_Cは、エンドラインに垂直な方向を向くベクトルとなる。また、上述のとおり、外積ベクトルＵ（第１外積ベクトル）はサイドラインに平行な方向を向くところ、サイドラインとエンドラインとは互いに略垂直であるため、外積ベクトルＵ（第１外積ベクトル）はエンドラインに垂直な方向を向くベクトルとなる。よって、特徴線候補平面Ｃの法線ベクトルｎ_Cと、上述の外積ベクトルＵ（第１外積ベクトル）との外積である外積ベクトルＶ（第２外積ベクトル）は、エンドラインに平行な方向を向くベクトルとなる。

そして、外積ベクトルＵと外積ベクトルＶとの外積である外積ベクトルＮ（第３外積ベクトル）は、外積ベクトルＵ及び外積ベクトルＶで張る平面に垂直な方向を向くベクトルとなる。以上より、外積ベクトルＮ（第３外積ベクトル）を法線ベクトルとする投影平面は、実際のフィールドが規定された平面と平行な仮想的な平面（フィールド平面）となる。

（ステップＳ５０７）
次に、フィールド平面決定部２３２は、設計上のフィールド線を用いて、上述のステップＳ３０６と同様に、ステップＳ５０６で得られた投影平面の評価を行う。

（ステップＳ５０８）
次に、フィールド平面決定部２３２は、ステップＳ５０２で選択された全ての第１～第３平面について、ステップＳ５０７の評価値を算出したか否かを判定する。当該判定が否定される場合（ステップＳ５０８；Ｎｏ）、ステップＳ５０２に戻る。当該判定が肯定される場合（ステップＳ５０８；Ｙｅｓ）、ステップＳ５０９に進む。

（ステップＳ５０９）
次に、フィールド平面決定部２３２は、ステップＳ５０１で選択された全ての３つの組合せについて、ステップＳ５０６の評価値を算出したか否かを判定する。当該判定が否定される場合（ステップＳ５０９；Ｎｏ）、ステップＳ５０１に戻る。当該判定が肯定される場合（ステップＳ５０９；Ｙｅｓ）、ステップＳ５１０に進む。

（ステップＳ５１０）
次に、フィールド平面決定部２３２は、ステップＳ５０６で算出した複数の評価値から最大の評価値を選択することにより、フィールド平面を決定する。すなわち、当該最大の評価値を有する特徴線候補平面の３つの組合せ及び第１～第３平面について、ステップＳ５０６で算出された投影平面を所望のフィールド平面（実際のフィールドが規定された平面に平行な仮想的な平面）であると決定する。

以上より、フィールド平面が決定される。

フィールド平面が決定した後は、上述の位置座標算出処理（ステップＳ４００）を実行することにより、単眼カメラ動画を構成する各画像フレーム上の点についてフィールド上における位置座標を算出することができる。

以上説明したとおり、第２実施形態に係る位置座標算出方法により、まず、単眼カメラ等を用いて撮影されたフィールド画像に基づいて、第１直線、第１直線に略平行な第２直線、及び第１直線に略垂直な第３直線それぞれと光学中心とを通る各平面を算出することができる。そして、各平面の法線ベクトルからフィールドに平行なフィールド平面を算出することができる。そして、フィールド画像をフィールド平面に投影することにより、フィールド画像に含まれる点のフィールド上における位置座標を算出することができる。したがって、第２実施形態に係る位置座標算出方法により、単眼カメラを用いて目標の位置座標を算出することが可能となる。

なお、上述の第２実施形態の説明では、２本のサイドラインを第１直線及び第２直線とし、１本のエンドラインを第３直線とした。しかしながら、各直線の選び方はこれに限られず、例えば、２本のサイドラインを第１直線及び第２直線とし、１本のセンターラインを第３直線としてもよい。

上述の第１実施形態及び第２実施形態では、スポーツ競技としてサッカーを例に説明を行った。しかしながら、サッカーに限らず、所定のフィールド線によって規定されるフィールドに係るものであれば、野球、バスケットボール、バレーボール、卓球、テニス等の任意のスポーツ競技にも本実施形態を適用できる。ここで、所定のフィールド線は、第１直線と、第１直線に略平行な第２直線と、第１直線に略平行でない第３直線と、第３直線に略平行な第４直線とを含んでもよい。或いは、所定のフィールド線は、第１直線と、第１直線に略平行な第２直線と、第１直線に略垂直な第３直線とを含んでもよい。また、スポーツ競技に限らず、所定のフィールド線が配置された任意の平面についても、本実施形態を適用することにより、当該平面上の目標の位置座標を算出することができる。

上述の実施形態では、特徴線候補平面生成処理、フィールド平面決定処理及び位置座標算出処理に入力するための画像として、球面パノラマ画像生成処理で生成された球面パノラマ画像を用いた。しかしながら、上述した所定のフィールド線を含む画像であれば、単眼カメラ画像や、単眼カメラ動画を構成する画像フレーム等の、一枚の静止画データを特徴線候補平面生成処理、フィールド平面決定処理及び位置座標算出処理の入力に用いてもよい。

１…画像処理装置、１０…記憶部、２０…処理部、３０…表示部、４０…操作部、２１球面パノラマ画像生成処理部、２２…特徴線候補平面生成処理部、２３…フィールド平面決定処理部、２４…位置座標算出処理部

Claims (10)

1. 第１直線、前記第１直線に略平行な第２直線、前記第１直線に略平行でない第３直線、及び前記第３直線に略平行な第４直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出方法であって、
   前記フィールド画像から、前記第１直線、前記第２直線、前記第３直線、及び前記第４直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及び前記フィールド画像の光学中心を通る複数の平面を生成するステップと、
   前記複数の平面から、２つの平面から成る第１ペア及び他の２つの平面から成る第２ペアで構成される複数の組合せを生成するステップと、
   前記複数の組合せのそれぞれについて、前記第１ペアに含まれる各平面の法線ベクトル同士の外積を第１外積ベクトルとして算出し、前記第２ペアに含まれる各平面の法線ベクトル同士の外積を第２外積ベクトルとして算出し、前記第１外積ベクトル及び前記第２外積ベクトルの外積を第３外積ベクトルとして算出し、前記第３外積ベクトルを法線ベクトルとする平面を投影平面として算出するステップと、
   算出された複数の前記投影平面のそれぞれに前記複数の直線及び前記所定のフィールドを投影し、投影された前記複数の直線及び前記所定のフィールドを比較することにより、複数の前記投影平面のそれぞれについて評価値を算出するステップと、
   前記評価値に基づいて、複数の前記投影平面から前記所定のフィールドに平行なフィールド平面を決定するステップと、
   前記フィールド画像を前記フィールド平面に投影することにより、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出するステップと、
   を備えることを特徴とする位置座標算出方法。
2. 第１直線、前記第１直線に略平行な第２直線、及び前記第１直線に略垂直な第３直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出方法であって、
   前記フィールド画像から、前記第１直線、前記第２直線、及び前記第３直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及び前記フィールド画像の光学中心を通る複数の平面を生成するステップと、
   前記複数の平面から３つの平面で構成される複数の組合せを生成するステップと、
   前記複数の組合せのそれぞれについて、前記３つの平面のうちの第１平面の法線ベクトル及び前記３つの平面のうちの第２平面の法線ベクトルの外積を第１外積ベクトルとして算出し、前記３つの平面のうちの第３平面の法線ベクトル及び前記第１外積ベクトルの外積を第２外積ベクトルとして算出し、前記第１外積ベクトル及び前記第２外積ベクトルの外積を第３外積ベクトルとして算出し、前記第３外積ベクトルを法線ベクトルとする平面を投影平面として算出するステップと、
   算出された複数の前記投影平面のそれぞれに前記複数の直線及び前記所定のフィールドを投影し、投影された前記複数の直線及び前記所定のフィールドを比較することにより、複数の前記投影平面のそれぞれについて評価値を算出するステップと、
   前記評価値に基づいて、複数の前記投影平面から前記所定のフィールドに平行なフィールド平面を決定するステップと、
   前記フィールド画像を前記フィールド平面に投影することにより、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出するステップと、
   を備えることを特徴とする位置座標算出方法。
3. 単眼カメラにより生成された複数の単眼カメラ画像に基づいて、前記フィールド画像としての球面パノラマ画像を生成するステップを更に含む、請求項１又は２に記載の位置座標算出方法。
4. 前記フィールド画像と、前記フィールド画像に含まれる少なくとも一つの点に係る前記位置座標とを含む合成画像を表示するステップを更に含む、請求項１から３のいずれか一項に記載の位置座標算出方法。
5. 前記合成画像は、前記所定のフィールドの模式図を更に含む、請求項４に記載の位置座標算出方法。
6. 第１直線、前記第１直線に略平行な第２直線、前記第１直線に略平行でない第３直線、及び前記第３直線に略平行な第４直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出装置であって、
   前記フィールド画像から、前記第１直線、前記第２直線、前記第３直線、及び前記第４直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及び前記フィールド画像の光学中心を通る複数の平面を生成する平面生成部と、
   前記複数の平面から、２つの平面から成る第１ペア及び他の２つの平面から成る第２ペアで構成される複数の組合せを生成する組合せ生成部と、
   前記複数の組合せのそれぞれについて、前記第１ペアに含まれる各平面の法線ベクトル同士の外積を第１外積ベクトルとして算出し、前記第２ペアに含まれる各平面の法線ベクトル同士の外積を第２外積ベクトルとして算出し、前記第１外積ベクトル及び前記第２外積ベクトルの外積を第３外積ベクトルとして算出し、前記第３外積ベクトルを法線ベクトルとする平面を投影平面として算出する投影平面算出部と、
   算出された複数の前記投影平面のそれぞれに前記複数の直線及び前記所定のフィールドを投影し、投影された前記複数の直線及び前記所定のフィールドを比較することにより、複数の前記投影平面のそれぞれについて評価値を算出する評価値算出部と、
   前記評価値に基づいて、複数の前記投影平面から前記所定のフィールドに平行なフィールド平面を決定するフィールド平面決定部と、
   前記フィールド画像を前記フィールド平面に投影することにより、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出部と、
   を備えることを特徴とする位置座標算出装置。
7. 第１直線、前記第１直線に略平行な第２直線、及び前記第１直線に略垂直な第３直線を含むフィールド線によって規定される所定のフィールドが撮像されたフィールド画像に基づいて、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出装置であって、
   前記フィールド画像から、前記第１直線、前記第２直線、及び前記第３直線のいずれかを示す候補として複数の直線を検出し、検出された各直線及び前記フィールド画像の光学中心を通る複数の平面を生成する平面生成部と、
   前記複数の平面から３つの平面で構成される複数の組合せを生成する組合せ生成部と、
   前記複数の組合せのそれぞれについて、前記３つの平面のうちの第１平面の法線ベクトル及び前記３つの平面のうちの第２平面の法線ベクトルの外積を第１外積ベクトルとして算出し、前記３つの平面のうちの第３平面の法線ベクトル及び前記第１外積ベクトルの外積を第２外積ベクトルとして算出し、前記第１外積ベクトル及び前記第２外積ベクトルの外積を第３外積ベクトルとして算出し、前記第３外積ベクトルを法線ベクトルとする平面を投影平面として算出する投影平面算出部と、
   算出された複数の前記投影平面のそれぞれに前記複数の直線及び前記所定のフィールドを投影し、投影された前記複数の直線及び前記所定のフィールドを比較することにより、複数の前記投影平面のそれぞれについて評価値を算出する評価値算出部と、
   前記評価値に基づいて、複数の前記投影平面から前記所定のフィールドに平行なフィールド平面を決定するフィールド平面決定部と、
   前記フィールド画像を前記フィールド平面に投影することにより、前記フィールド画像に含まれる点の前記所定のフィールド上における位置座標を算出する位置座標算出部と、
   を備えることを特徴とする位置座標算出装置。
8. 単眼カメラにより生成された複数の単眼カメラ画像に基づいて、前記フィールド画像としての球面パノラマ画像を生成する球面パノラマ画像生成部を更に含む、請求項６又は７に記載の位置座標算出装置。
9. 前記フィールド画像と、前記フィールド画像に含まれる少なくとも一つの点に係る前記位置座標とを含む合成画像を表示する表示部を更に含む、請求項６から８のいずれか一項に記載の位置座標算出装置。
10. 前記合成画像は、前記所定のフィールドの模式図を更に含む、請求項９に記載の位置座標算出装置。

Images