JP2017168077A - 画像処理方法、表示装置および点検システム - Google Patents

Abstract

【課題】３次元モデル上で指定された位置に関連付けられた情報を容易に一覧可能とする。【解決手段】複数の２次元画像から生成した、対象物体の少なくとも一部を含む３次元モデルの少なくとも一部を近似した３次元メッシュを２次元パノラマ座標に変換する係数を決定する。２次元パノラマ座標の部分に対応する複数の２次元画像から決定した第１の画像上での位置と、２次元パノラマ座標に投影するための注釈とを、第１の画像に応じて指定する。注釈の２次元パノラマ座標上での投影に対応する第２の位置を決定し、第２の位置と注釈とを関連付けて記憶する。第１の画像を２次元パノラマ座標上に投影した第２の画像に、注釈を重畳させる。第１の位置の、複数の２次元画像から決定した第３の画像への投影に対応する第３の位置を決定し、第３の画像上の第３の位置に注釈を投影し、重畳させる。【選択図】図７

Description

本発明は、画像処理方法、表示装置および点検システムに関する。

従来から、建造物などの人に対して十分大きな立体物の点検の際、遠隔操縦ロボットなどを用いて点検対象物を近接撮影し、地上にいる点検員が位置合わせされた撮影画像を用いて点検作業を行いたいという要求があった。そこで、複数の撮影画像を用いて３次元モデルを作成し、ユーザが入力した注釈を３次元モデルと撮影画像との間で関連付けて記憶および表示する技術が知られている。

特許文献１には、ユーザが２次元画像上で選択したオブジェクト（例えば境界ボックス）および入力したコンテンツ（例えば注釈）を３次元モデル上に投影し、これらオブジェクトおよびコンテンツを、同じ３次元位置を撮影した別の２次元画像に反映し、表示する技術が開示されている。特許文献１によれば、複数の画像から作成された３次元モデルにおける３次元オブジェクトに対する注釈を、ユーザが２次元画像を見ながら作成することが可能である。

しかしながら、従来技術による、３次元モデルを用いた注釈作成方法では、全体像を把握するためには３次元モデルを各方向から閲覧する必要があり、一覧性が低いという問題点があった。この一覧性が低いという問題点は、特許文献１によっても解消できていない。

本発明は、上記に鑑みてなされたものであって、３次元モデル上で指定された位置に関連付けられた情報を容易に一覧可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の２次元画像から対象物体の少なくとも一部を含む３次元モデルを生成する３次元モデル生成ステップと、３次元モデルの少なくとも一部を３次元メッシュで近似する３次元メッシュ近似ステップと、３次元メッシュを２次元パノラマ座標に変換する係数を決定する変換係数決定ステップと、２次元パノラマ座標の部分に対応する複数の２次元画像から第１の画像を決定する第１の画像決定ステップと、２次元パノラマ座標に投影するためのコンテンツと、第１の画像上での第１の位置とを、第１の画像に応じて指定する第１の指定ステップと、コンテンツの２次元パノラマ座標上での投影に対応する第２の位置を決定する第２の位置決定ステップと、第２の位置とコンテンツとを関連付けて記憶する第１の記憶ステップと、第１の画像を２次元パノラマ座標上に投影した第２の画像に、コンテンツを注釈として重畳させる第１の重畳ステップと、複数の２次元画像から第３の画像を決定する第３の画像決定ステップと、第１の位置の、第３の画像への投影に対応する第３の位置を決定する第３の位置決定ステップと、第３の画像上の第３の位置に、コンテンツを投影し、注釈として重畳させる第２の重畳ステップとを有する。

本発明によれば、３次元モデル上で指定された位置に関連付けられた情報が容易に一覧可能となるという効果を奏する。

図１は、第１の実施形態に係る画像処理装置による画像処理を概略的に説明するための図である。 図２は、第１の実施形態に係る注釈の生成方法について、より詳細に説明するための図である。 図３は、第１の実施形態に係る注釈の生成方法について、より詳細に説明するための図である。 図４は、第１の実施形態に係る注釈の生成方法について、より詳細に説明するための図である。 図５は、第１の実施形態に適用可能な画像処理装置のハードウェア構成の例を示すブロック図である。 図６は、第１の実施形態に係る画像処理装置の機能を説明するための一例の機能ブロック図である。 図７は、第１の実施形態に係る画像処理を示す一例のフローチャートである。 図８は、第１の実施形態に係る画像および注釈の表示例について説明するための図である。 図９は、第１の実施形態に係る画像および注釈の表示例について説明するための図である。 図１０は、第１の実施形態に係る、３次元メッシュの位置の調整を説明するための図である。 図１１は、第１の実施形態に係る、３次元メッシュを２次元展開図に変換する処理を説明するための図である。 図１２は、第２の実施形態に係る画像処理装置の機能を説明するための一例の機能ブロック図である。 図１３は、第２の実施形態に係るＵＩ画面の第１の例を示す図である。 図１４−１は、第２の実施形態に係るＵＩ画面の第２の例を示す図である。 図１４−２は、第２の実施形態に係るＵＩ画面の第２の例を示す図である。 図１４−３は、第２の実施形態に係るＵＩ画面の第２の例を示す図である。 図１５は、第２の実施形態に係るＵＩ画面の第３の例を示す図である。 図１６は、第２の実施形態に係るＵＩ画面の第４の例を示す図である。 図１７は、第２の実施形態に係るＵＩ画面の第５の例を示す図である。 図１８は、第３の実施形態に係る撮像装置の外観の例を概略的に示す３面図である。 図１９は、第３の実施形態に適用可能な、３軸ジンバルを用いた撮像装置の例を示す図である。 図２０は、第３の実施形態に係る撮像装置の一例の構成を示すブロック図である。

以下に添付図面を参照して、画像処理方法、表示装置および点検システムの実施形態を詳細に説明する。

（第１の実施形態に係る処理の概略）
図１は、第１の実施形態に係る画像処理装置による画像処理を概略的に説明するための図である。図１（ａ）において、物体１００は、例えば橋梁などの建造物であり、ひび１０１が含まれている。物体１００の観察者（例えば橋梁の点検者）は、ひび１０１の状態を観察（点検）するために、観察対象であるひび１０１を異なる観察点から撮影し、２次元画像としての複数の撮像画像を得る。

図１（ｂ）は、ひび１０１を異なる観察点から撮像した撮像画像に基づく２枚の画像１１０および１２０の例を示す。画像１１０および１２０は、物体１００における領域１０２および１０３の範囲の画像を含んでいる。また、画像１１０および１２０は、ひび１０１に対応する画像であるオブジェクトが、座標値１１１および１２１の位置にそれぞれに含まれている。

第１の実施形態に係る画像処理装置は、画像１１０および１２０に基づき、図１（ｃ）に模式的に示されるように、物体１００の少なくとも一部を近似する３次元メッシュ１５０を生成する。３次元メッシュ１５０は、例えば物体１００の１面を近似する平面とすることができる。さらに、第１の実施形態に係る画像処理装置は、図１（ｄ）に示されるように、３次元メッシュを２次元平面に展開した２次元展開図１３０を生成する。２次元展開図１３０は、３次元メッシュ１５０が含む各部分平面が正射影されるように変換した図である。

図１（ｄ）において、画像１３１および１３２は、画像１１０および１２０を２次元展開図１３０に対して座標変換した画像である。第１の実施形態に係る画像処理装置は、画像１３１および１３２を、座標値１１１および１２１に基づき合成して、パノラマ画像１４０を形成することができる。パノラマ画像１４０および２次元展開図１３０は、画像１１０および１２０に含まれる座標値１１１および１２１を一致させた座標値１３３の位置に、座標値１１１および１２１に対応するオブジェクトを含む。

第１の実施形態に係る画像処理装置は、ユーザ操作に応じて、例えばユーザが画像１１０（第１の画像）を参照しながら、オブジェクトの座標値１１１と、テキスト１１２とを入力することができる（図１（ｂ）参照）。テキスト１１２は、オブジェクトに対する注釈を示すコンテンツである。テキスト１１２は、文字情報に限られず、アイコン画像や手描きの画像であってもよい。また、第１の実施形態に係る画像処理装置は、入力された座標値に対応する別の画像での座標値を決定することができる。当該画像処理装置は、例えば、画像１１０に含まれるオブジェクトの座標値１１１を、別の画像としての２次元展開図１３０上の座標値に変換する。

また、別の第１の実施形態では、例えばユーザが２次元展開図１３０に対して座標変換された画像１３１を参照しながら、オブジェクトの座標値１３３とテキスト１３４とを入力することができる（図１（ｄ）参照）。当該画像処理装置は、例えば、画像１３１に含まれるオブジェクトの座標値１３３を、別の画像としての撮像画像１３０上の座標値に変換する。

第１の実施形態に係る画像処理装置は、入力されたテキスト１１２を、オブジェクトの座標値１１１に対応する、別の画像での座標値に関連付けて記憶することができる。当該画像処理装置は、例えば、テキスト１１２を、２次元展開図１３０におけるオブジェクトの座標値１３３と関連付けて記憶することができる。

記憶された注釈は、例えば、第２の画像としての、パノラマ座標を持つ別の画像（画像１２０、画像１３２、パノラマ画像１４０）に重畳させて表示することができる。例えば、図１（ｂ）の例では、画像１１０のオブジェクトの座標値１１１に対して入力されたテキスト１１２が、別の画像としての画像１２０の、座標値１１１のオブジェクトに対応するオブジェクトの座標値１２１に対してテキスト１２２として表示され、注釈表示がなされている。また、図１（ｄ）の例では、テキスト１１２が、２次元展開図１３０に対して、座標１３３に対応する位置にテキスト１３４として重畳されて表示されている。

図２〜図４を用いて、第１の実施形態に係る注釈の生成方法について、より詳細に説明する。なお、図２〜図４において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。第１の実施形態に係る画像処理装置は、注釈を、撮像画像による画像１１０および１２０と、撮像画像に基づき生成された、観察対象の少なくとも一部を近似する３次元メッシュ１５０を２次元平面に展開した２次元展開図１３０とにそれぞれ生成する。

図２および図３は、画像内の座標値を、別の画像内の座標値に変換する処理を説明するための図である。図２において、画像１１０および１２０は、それぞれ異なる観察点Ｐ₁およびＰ₂から撮像された撮像画像に基づく。図２の例では、画像１１０内のオブジェクトの座標値１１１を、別の画像としての画像１２０内の座標値１２１に変換している。

図３において、第１の実施形態に係る画像処理装置は、画像１１０および１２０を、仮想的には、一旦３次元メッシュ１５０に変換し、その後、２次元展開図１３０に変換する。実際の処理としては、当該画像処理装置は、３次元メッシュ１５０への変換工程を省略し、画像１１０および１２０を直接的に２次元展開図１３０に変換し、画像１３１および１３２を形成する。また、当該画像処理装置は、座標値１１１に対応する２次元展開図１３０における座標値１３３についても同様に、３次元メッシュ１５０への変換工程を介さずに、直接的に決定する。これは、図２の例においても同様である。

なお、図３に示されるように、２次元展開図１３０、または、当該２次元展開図１３０に対応するパノラマ画像１４０は、観察点Ｐ₃から物体１００を観察した場合に相当する。

図４は、第１の実施形態に係る、３次元メッシュを２次元展開図に変換する別の例を示す。図４（ａ）の例では、物体１００’は、上述した物体１００に対して、観察者側から見た角度が異なる部分が追加されており、追加部分に対して傷１０５が存在している。また、図４（ａ）において、２次元展開図１３０ｂは、領域１０２、１０３および１０４を撮像した撮像画像を用いて生成された３次元メッシュ１５０’に基づき、観察点Ｐ₄から撮像した撮像画像に基づく画像１３５に対応して生成されている。２次元展開図１３０ａは、上述した２次元展開図１３０に対応する。

図４（ｂ）は、３次元メッシュ１５０’から生成した２次元展開図１３０’の例を示す。２次元展開図１３０は、図４（ａ）で示した２次元展開図１３０ａおよび１３０ｂを含む。第１の実施形態に係る画像処理装置は、２次元展開図１３０’を、３次元メッシュ１５０’を、３次元メッシュ１５０’に含まれる各部分平面を形状および相対面積を保ったまま２次元展開図に変換して生成する。また、第１の実施形態に係る画像処理装置は、２次元展開図１３０’に基づき、画像１３１、１３２および１３５を含むパノラマ画像１４０ａを生成できる。画像１３５において、座標値１３６に対応する位置に、傷１０５の画像が表示されている。

（第１の実施形態に係る画像処理装置の構成例）
図５は、第１の実施形態に適用可能な画像処理装置のハードウェア構成の例を示す。図５において、画像処理装置１０００は、ＣＰＵ(Central Processing Unit)１０１０と、ＲＯＭ(Read Only Memory)１０１１と、ＲＡＭ(Random Access Memory)１０１２と、グラフィクスＩ／Ｆ１０１３と、ストレージ１０１５と、データＩ／Ｆ１０１６と、通信Ｉ／Ｆ１０１９とを含み、これら各部がバス１０３０により互いに通信可能に接続される。このように、第１の実施形態に係る画像処理装置１０００は、一般的なコンピュータを用いて実現できる。

ストレージ１０１５は、ハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体であって、プログラムやデータが記憶される。ＣＰＵ１０１０は、ストレージ１０１５やＲＯＭ１０１１に記憶されるプログラムに従い、ＲＡＭ１０１２をワークメモリとして用いて、画像処理装置１０００の全体の動作を制御する。

グラフィクスＩ／Ｆ１０１３は、ディスプレイ１０１４が接続され、ＣＰＵ１０１０によりプログラムに従い生成された表示制御情報に基づき、ディスプレイ１０１４が表示可能な表示信号を生成する。データＩ／Ｆ１０１６は、画像処理装置１０００の外部から供給される外部データに対するインタフェースである。また、データＩ／Ｆ１０１６は、マウスといったポインティングデバイス１０１７や、キーボード１０１８を接続することができる。データＩ／Ｆ１０１６としては、例えばＵＳＢ(Universal Serial Bus)を適用することができる。

通信Ｉ／Ｆ１０１９は、ネットワークと接続され、ネットワークを介した通信を行う。ネットワークは、ＬＡＮ(Local Area Network)であってもよいし、インターネットであってもよい。また、ネットワークは、有線通信および無線通信の何れを用いて接続されるものでもよい。

図６は、第１の実施形態に係る画像処理装置１０００の機能を説明するための一例の機能ブロック図である。図６（ａ）において、画像処理装置１０００は、画像取得部１１００と、画像記憶部１１０１と、３Ｄ点群取得部１１０２と、３Ｄメッシュ生成部１１０３と、２Ｄ展開図生成部１１０４と、変換係数生成部１１０５と、変形部１１０６と、注釈重畳部１１０７と、指定部１１０８とを含む。

これらのうち、画像取得部１１００、３Ｄ点群取得部１１０２、３Ｄメッシュ生成部１１０３、２Ｄ展開図生成部１１０４、変換係数生成部１１０５、変形部１１０６、注釈重畳部１１０７および指定部１１０８は、ＣＰＵ１０１０上で動作するプログラムにより構成される。これに限らず、画像取得部１１００、３Ｄ点群取得部１１０２、３Ｄメッシュ生成部１１０３、２Ｄ展開図生成部１１０４、変換係数生成部１１０５、変形部１１０６、注釈重畳部１１０７および指定部１１０８の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。また、画像記憶部１１０１は、ストレージ１０１５またはＲＡＭ１０１２における所定の記憶領域により構成される。

第１の実施形態に係る画像処理装置１０００の各機能を実現するための画像処理プログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、情報処理プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、情報処理プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

画像処理プログラムは、上述した各部（画像取得部１１００、３Ｄ点群取得部１１０２、３Ｄメッシュ生成部１１０３、２Ｄ展開図生成部１１０４、変換係数生成部１１０５、変形部１１０６、注釈重畳部１１０７および指定部１１０８）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０１０がストレージ１０１５などの記憶媒体から当該画像処理プログラムを読み出して実行することにより、上述した各部がＲＡＭ１０１２などの主記憶装置上にロードされ、画像取得部１１００、３Ｄ点群取得部１１０２、３Ｄメッシュ生成部１１０３、２Ｄ展開図生成部１１０４、変換係数生成部１１０５、変形部１１０６、注釈重畳部１１０７および指定部１１０８が主記憶装置上に生成されるようになっている。

図６において、画像取得部１１００は、撮像画像を取得する。撮像画像は、観察対象を含めてカメラにより撮像され、例えばデータＩ／Ｆ１０１６から画像処理装置１０００に入力される。画像取得部１１００は、取得した撮像画像を、当該撮像画像を識別する識別情報と関連付けて画像記憶部１１０１に記憶する。

３Ｄ点群取得部１１０２は、画像記憶部１１０１に記憶される複数の撮像画像に基づき、３次元情報を持つ点の集まりである３次元点群を取得する。３Ｄメッシュ生成部１１０３は、３Ｄ点群取得部１１０２で取得された３次元点群に基づき３次元メッシュ１５０を生成する。２Ｄ展開図生成部１１０４は、３Ｄメッシュ生成部１１０３で生成された３次元メッシュ１５０に基づき２次元展開図１３０を生成する。

変換係数生成部１１０５は、２次元展開図１３０と画像との間で座標変換を行うための変換係数を生成する。例えば、変換係数生成部１１０５は、変換係数を、３Ｄ点群取得部１１０２で３次元点群を取得する際に用いた画像（例えば画像１１０および１２０）と、２Ｄ展開図生成部１１０４で生成された２次元展開図１３０とに基づき生成する。

変形部１１０６は、変換係数生成部１１０５で生成された変換係数を用いて、画像記憶部１１０１に記憶される画像（例えば画像１１０および１２０）を変形する。また、変形部１１０６は、それぞれ変形された複数の画像（例えば画像１３１および１３２）を合成してパノラマ座標に適用し、パノラマ画像１４０を生成することができる。

注釈重畳部１１０７は、指定部１１０８により指定された座標値に従い、指定部１１０８により指定されたテキスト（注釈）を、変形部１１０６にて変形された画像（例えば画像１３１および１３２）、および、２Ｄ展開図生成部１１０４で生成された２次元展開図（例えば２次元展開図１３０）の何れかに重畳し、出力する。注釈重畳部１１０７の出力は、例えばグラフィクスＩ／Ｆ１０１３を介してディスプレイ１０１４に供給され、ディスプレイ１０１４の画面に表示される。

指定部１１０８は、ポインティングデバイス１０１７やキーボード１０１８を用いて入力された情報に従い、注釈であるテキスト１１２と、注釈を表示させるための座標値１１１とを指定する。これに限らず、指定部１１０８は、例えば画像記憶部１１０１に記憶される画像を、ＣＰＵ１０１０上で実行される他のプログラムを用いて解析した結果に応じて、テキスト１１２および座標値１１１を指定してもよい。

図６（ｂ）は、注釈重畳部１１０７の機能を説明するための一例の機能ブロック図である。注釈重畳部１１０７は、位置決定部１１７０と、位置記憶部１１７１と、注釈取得部１１７２と、重畳部１１７３とを含む。

位置決定部１１７０は、変形部１１０６から供給された画像または２次元展開図と、指定部１１０８で指定された座標値とが入力される。また、位置決定部１１７０は、変換係数生成部１１０５で生成された変換係数が入力される。位置決定部１１７０は、入力された変換係数に基づき、指定された座標値に対応する画像または２次元展開図上の座標値を決定する。位置記憶部１１７１は、位置決定部１１７０により決定された座標値を記憶する。位置記憶部１１７１は、例えばストレージ１０１５の記憶領域の所定の領域を利用して構成される。

注釈取得部１１７２は、指定部１１０８において注釈として指定されたテキストを取得する。注釈取得部１１７２は、取得したテキストを、例えばストレージ１０１５の記憶領域の所定の領域に記憶する。

重畳部１１７３は、変形部１１０６から画像または２次元展開図が入力される。重畳部１１７３は、注釈取得部１１７２により取得されたテキストを、位置記憶部１１７１により記憶された座標値に従い、変形部１１０６から入力された画像または２次元展開図に重畳して出力する。

図７は、第１の実施形態に係る画像処理を示す一例のフローチャートである。ステップＳ１０で、画像取得部１１００は、観察対象を撮像した撮像画像による画像データ（例えば画像１１０および１２０）を取得する。このとき、画像取得部１１００は、観察対象を異なる観察点から撮像された、複数の撮像画像による各画像を取得する。複数の撮像画像は、それぞれ、第１の撮像画像と、第１の撮像画像の近傍を撮像した第２の撮像画像との間で撮像範囲が重複部分を持つように撮像される。画像取得部１１００は、取得した画像データを画像記憶部１１０１に記憶する。以下、画像取得部１１００が取得した画像データは、特に記載の無い限り、画像として説明する。

例えば、観察対象が橋梁である場合、画像取得部１１００が取得する画像は、空中の異なる点から橋梁を撮像した複数の写真画像による画像である。観察対象は、橋梁に限定されるものではなく、他の建造物などでもよいし、建造物に限られず他の物体でもよい。また、画像取得部１１００が取得する画像は、レンズの歪みが補正された画像であると好ましい。

次のステップＳ１１で、３Ｄ点群取得部１１０２は、観察対象の少なくとも一部を含む３次元点群を取得する。３Ｄ点群取得部１１０２は、ステップＳ１０で取得され画像記憶部１１０１に記憶された複数の画像（例えば画像１１０および１２０）から生成することができる。すなわち、３Ｄ点群取得部１１０２は、複数の２次元画像から３次元点群（３次元モデル）を生成する。

３Ｄ点群取得部１１０２は、例えば、画像記憶部１１０１に記憶される画像１１０と画像１２０とからそれぞれ特徴を抽出する。３Ｄ点群取得部１１０２は、画像１１０の特徴と画像１２０の特徴とを比較して、画像１１０および１２０の間で一致する特徴を識別する。３Ｄ点群取得部１１０２は、各対の一致する特徴について、例えば、ステレオ方式による三角測量を使用して、各３次元点を決定する。これに限らず、３Ｄ点群取得部１１０２は、３次元計測装置を用いて３次元点群を取得してもよい。

次のステップＳ１２で、３Ｄメッシュ生成部１１０３は、ステップＳ１１で生成された３次元点群の一部を近似する３次元メッシュ１５０を生成する。３Ｄメッシュ生成部１１０３は、所定の３次元形状モデルまたはユーザ指定の３次元形状モデルに対し、例えばＲＡＮＳＡＣ(RANDdom Sample Consensus)アルゴリズムによりパラメータを決定することができる。

なお、３Ｄメッシュ生成部１１０３は、可展面の３次元メッシュ１５０を生成することができる。この場合、後述するステップＳ１３の処理において生成される２次元展開図の歪みを抑制することができる。また、３Ｄメッシュ生成部１１０３は、平面の３次元メッシュ１５０を生成することができる。この場合、後述するステップＳ１４の処理において、撮像画像と２次元展開図との変換を、単一のホモグラフィ行列により記述可能となる。

さらに、３Ｄメッシュ生成部１１０３は、円柱面、二次曲面、または、球面の３次元メッシュ１５０を生成することができる。これら場合、後述するステップＳ１３の処理において、撮像画像と２次元展開図との変換を、固有の変換式により記述可能となる。また、３Ｄメッシュ生成部１１０３は、自由曲面の３次元メッシュ１５０を生成することができる。この場合、後述するステップＳ１３の処理において、３次元点群を任意のレベルで近似可能となる。

次のステップＳ１３で、２Ｄ展開図生成部１１０４は、ステップＳ１２で生成された３次元メッシュ１５０の２次元展開図１３０を生成する。２Ｄ展開図生成部１１０４は、３次元メッシュ１５０の各部分平面を、形状および相対面積を保ったまま２次元展開図１３０に変換する。これにより、３次元メッシュを２次元座標に展開する際の歪みを抑制できる。

次のステップＳ１４で、変換係数生成部１１０５は、２次元展開図１３０と画像（例えば画像１１０および１２０）の変換係数を生成する。変換係数生成部１１０５は、ホモグラフィ行列を用いて変換係数を記述することができる。これに限らず、変換係数生成部１１０５は、変換係数を、円柱展開図から画像への変換としてもよい。この場合、撮像画像と２次元展開図との変換を、固有の変換式により記述可能となる。

次のステップＳ１５で、変形部１１０６は、ステップＳ１４で生成された変換係数に基づいて、撮像画像に基づく画像（例えば画像１１０）を２次元展開図１３０に変形し、変形画像（例えば画像１３１）を生成する。第１の実施形態に係る変形部１１０６は、複数の変形画像（例えば画像１３１および１３２）を合成してパノラマ画像１４０（２次元パノラマ画像）を生成することができる。この場合、後述する注釈をパノラマ画像１４０により俯瞰することが可能となる。これに限らず、変形部１１０６は、複数の変形画像をそれぞれレイヤとして保持することができる。複数の変形画像をレイヤとして保持することで、パノラマ画像の合成工程を省略できる。

次のステップＳ１６で、注釈重畳部１１０７は、撮像画像に基づく画像（例えば画像１１０および１２０）、および、２次元展開図１３０のうち一方（第３の画像）の画像座標での座標値入力を、ステップＳ１５で生成された変換係数に基づいて、他方の画像座標値に変換する。注釈重畳部１１０７は、ポインティングデバイス１０１７などのデバイス入力値を用いて座標値入力を行う。これに限らず、注釈重畳部１１０７は、例えば画像処理装置１０００が橋梁や建造物などの点検支援を行うためのものである場合、損傷検出アルゴリズムなどのプログラムが実行されて得られた画像処理結果の値を用いて座標値入力を行ってもよい。

次に、図８および図９を用いて、第１の実施形態に係る画像および注釈の表示例について説明する。なお、図８および図９において、上述した図１と共通する部分には同一の符号を付して、詳細な説明を省略する。

図８は、ステップＳ１０で取得された画像（例えば画像１１０）と、ステップＳ１５で生成された２次元展開図１３０またはパノラマ画像１４０とのうち少なくとも１つと、ステップＳ１６でこれらの画像に対応して変換された座標値とに基づき決定される注釈の表示例を示す。

図８（ａ）は、ステップＳ１５で生成された２次元展開図１３０またはパノラマ画像１４０の例を示している。図８（ｂ）は、図１（ｂ）を参照し、図８（ａ）に示される２次元展開図１３０またはパノラマ画像１４０に含まれる画像１３２に対応する画像１２０と、座標値１２１に従い画像１２０に重畳された注釈であるテキスト１２２とが示されている。第１の実施形態に係る画像処理装置１０００は、これらの、画像１２０と、画像１２０に対して座標値１２１に従い重畳された注釈とを、ウィンドウ４００内に配置して、ディスプレイ１０１４に表示させる。

また、ウィンドウ４００に、ステップＳ１０で取得された画像（例えば画像１１０）が表示され、ステップＳ１５で生成された対応する画像（例えば画像１３１）の２次元展開図１３０での配置に基づき、次に表示する画像（例えば画像１２０）を選択することができる。このように、第１の実施形態に係る画像処理装置１０００は、複数の２次元画像の空間的配置に基づき、ウィンドウ４００に表示する画像を決定することができる。これにより、複数の撮像画像に基づく画像（たとえは画像１３１、１３２）を、順に表示させることができる。

このとき、画像処理装置１０００は、表示させる画像を、各画像を撮像した時間順に基づき決定することができる。これに限らず、画像処理装置１０００は、表示させる画像を、パノラマ座標（パノラマ画像１４０）へのユーザ入力位置に基づき決定することができる。

図９は、少なくともステップＳ１５で生成された２次元展開図１３０またはパノラマ画像１４０を表示するウィンドウ４１０の例を示す。図９の例では、ウィンドウ４１０は、ステップＳ１５で生成された、画像１３１および１３２を含む２次元展開図１３０またはパノラマ画像１４０が表示されている。画像処理装置１０００は、このウィンドウ４１０に表示される２次元展開図１３０またはパノラマ画像１４０に対する座標値入力に応じて、画像１３１および１３２のうち何れを表示するかを選択できる。

図９の例では、画像１３２が選択され、ウィンドウ４１０内の左側の領域に、選択された画像１３２に対応する画像１２０が表示されている。このように、第１の実施形態に係る画像処理装置１０００は、注目領域の観察に最適な画像を表示させることが可能である。

これに限らず、第１の実施形態に係る画像処理装置１０００は、例えばウィンドウ４１０に対して、ステップＳ１５で生成された画像（例えば、画像１３１）が表示され、表示された画像１３１に対して入力された座標値に基づき、当該座標値周辺を最も高解像度で観察できる画像を、表示する画像として選択するようにできる。すなわち、画像処理装置１０００は、入力されたパノラマ座標への座標値と、パノラマ座標に投影された複数の２次元画像（例えば画像１３１および１３２）の、入力された座標値周辺の解像度とに基づき、表示する画像を決定できる。

さらに、第１の実施形態に係る画像処理装置１０００は、ウィンドウ４１０に、ステップＳ１５で生成された画像（例えば、画像１３１）が表示され、表示された画像１３１に対して入力された座標値を、ステップＳ１４で生成された変換係数に基づいて、ステップＳ１０で取得された、画像１３１に対応する画像（例えば、画像１１０）の座標値に変換する。これにより、画像処理装置１０００は、変換された座標値周辺を最も高解像度で観察できる画像を、表示する画像として選択できる。すなわち、画像処理装置１０００は、入力された、パノラマ座標への座標値の、複数の２次元画像（例えば画像１３１および１３２）のパノラマ座標への投影に対応する位置と、当該複数の２次元画像の、入力された座標値周辺の解像度とに基づき、表示する画像を決定できる。

このように、第１の実施形態に係る画像処理装置１０００では、観察対象を撮像した複数の画像から生成した３次元モデルに基づきパノラマ画像を生成する。そして、第１の実施形態に係る画像処理装置１０００は、複数の画像のうち何れかに座標値およびコンテンツを指定し、この複数の画像を含むパノラマ画像上の、指定された座標値に対応する位置に、当該座標値に関連付けられたコンテンツを表示できるようにしている。そのため、３次元モデル上で指定された位置に関連付けられた情報の一覧性が向上する。

第１の実施形態に係る画像処理装置１０００は、ステップＳ１２で生成された３次元メッシュ１５０を、ユーザ入力に応じて所定の方向に移動させ、３次元メッシュ１５０の位置を微調整することができる。画像処理装置１０００は、当該所定の方向を、３次元メッシュ１５０の各部分平面の法線ベクトルの重み付け和に基づき決定できる。図１０は、第１の実施形態に係る、３次元メッシュの位置の調整を説明するための図である。なお、図１０において、上述した図２と共通する部分には同一の符号を付して、詳細な説明を省略する。図１０（ａ）は、３次元メッシュ１５０₀が、位置調整により、観察点Ｐ₁またはＰ₂から奥側（３次元メッシュ１５０₂）および手前側（３次元メッシュ１５０₁）に移動された例を概念的に示している。図１０（ｂ）は、図１０（ａ）の物体１００および観察点Ｐ₁またはＰ₂を上面側から見た図である。

図１１は、第１の実施形態に係る、上述したステップＳ１３による３次元メッシュ１５０を２次元展開図１３０に変換する処理を説明するための図である。図１１は、３次元メッシュ１５０と、２次元画像である画像１１０との変換を示している。図１１（ａ）において、図中に示される数式「Ｋ[Ｒ|ｔ]Ｘ」は、３次元点をカメラ画像の座標ｘに変換するための式である。数式「Ｋ[Ｒ|ｔ]Ｘ」において、値Ｘは、３次元メッシュ上の点の３次元座標を示す（以下適宜、３次元点Ｘと呼ぶ）。また、値Ｋはカメラパラメータであり、値Ｒはカメラの３次元モデルに対する姿勢（回転）、値ｔはカメラと３次元モデルの併進を表している。ここでは、３次元メッシュ１５０は、任意の形状であるものとする。

図１１（ｂ）、ならびに、下記の式（１）、（２）および（３）を用いて、カメラ画像の座標ｘから未知の３次元点Ｘを求める方法について説明する。図１１（ｂ）、ならびに、式（１）、（２）および（３）は、画像１１０の、３次元メッシュ１５０上の点６０１の座標が変数ｒ、θおよびｈで記述できる可展な柱体の一部への変換の例を示す。なお、式（４）は、式（１）〜（３）で用いる各変数の関係を示す。式（１）〜（４）において、変数ｔ_mは、３次元モデルの位置、変数ｘ_m、ｙ_mおよびｚ_mは、３次元モデルの姿勢を表す３軸を、それぞれ示している。また、式（１）〜（４）において、値Ｘバー（文字「Ｘ」の上にバーを付して示す）は、３次元点Ｘにおける方向を示す。

図１１（ｂ）における、画像１１０と３次元メッシュ１５０上の点６０１との幾何学的関係から、変数ｒを求める式（１）が立式できる。式（１）に基づき、知りたい変数ｈおよびθを求める式（２）および（３）を導出できる。

より具体的に説明する。図１１（ａ）中の数式「Ｋ[Ｒ|ｔ]Ｘ」を逆に解くと、図１１（ｂ）に数式「Ｘバー＝Ｋ^-1ｘ」で示されるように、３次元点Ｘそのものは求められず、３次元点Ｘの方向が求められる。３次元点Ｘは、値Ｘバーで示されるベクトル上にある点なので、式（１）の右側の式に示されるように、値Ｘバーに係数ｓを乗じることで、３次元点Ｘを求めることができる。

ここで、式（１）の左側の式と、式（２）および式（３）とに示されるように、変数ｒ、ｈおよびθを求めるためには、３次元点Ｘと係数ｓとを求める必要がある。係数ｓは、式（４）に示されるように、値Ｘバーと、３次元モデルの位置および姿勢を示す変数ｔ_mと、変数ｘ_m、ｙ_mおよびｚ_mとに基づき求めることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態に係る画像処理装置１０００により得られる各画像の閲覧などを行うためのユーザインタフェース（ＵＩ）を提供する。

図１２は、第２の実施形態に係る画像処理装置１００１の機能を説明するための一例の機能ブロック図である。なお、図１２において、上述した図６と共通する部分には、同一の符号を付して詳細な説明を省略する。画像処理装置１００１は、図６の画像処理装置１０００に対して、ＵＩ部１１２１と、変形画像記憶部１１２２と、画像情報記憶部１１２３と、図面記憶部１１２４とが追加されている。また、図６に示した指定部１１０８の機能は、ＵＩ部１１２１の機能に含まれる。

なお、第２の実施形態に係る画像処理装置１００１は、ハードウェア構成として、図５を用いて説明した第１の実施形態に係る画像処理装置１０００のハードウェア構成をそのまま適用できる。

ＵＩ部１１２１は、ＣＰＵ１０１０上で動作する表示プログラムにより構成される。これに限らず、ＵＩ部１１２１をハードウェア回路により構成してもよい。また、変形画像記憶部１１２２、画像情報記憶部１１２３および図面記憶部１１２４は、それぞれ、ストレージ１０１５またはＲＡＭ１０１２における所定の記憶領域により構成される。

変形画像記憶部１１２２は、変形部１１０６により変換係数に基づき変形された変形画像が、その変形画像を識別する識別情報を付加されて記憶される。このとき、変形部１１０６は、変形画像の識別情報と、その変形画像の元となる撮像画像による画像の識別情報とを関連付ける。以下、特に記載の無い限り、「撮像画像による画像」を「撮像画像」として説明を行う。

図面記憶部１１２４は、例えばパノラマ画像１４０が対応する物体１００の図面が記憶される。図面は、例えば物体１００の設計時の図面データが格納されるファイルを画像処理装置１００１に読み込ませて、図面記憶部１１２４に記憶させる。これに限らず、図面データは、例えば物体１００の撮像画像などに基づき自動生成された図面データを図面記憶部１１２４に記憶させてもよい。

ＵＩ部１１２１は、例えばディスプレイ１０１４にユーザインタフェース画面を表示させるための表示制御情報を生成する。例えば図５に示したグラフィクスＩ／Ｆ１０１３は、この表示制御情報に従いユーザインタフェース画面をディスプレイ１０１４に表示させる。ＵＩ部１１２１は、また、ユーザインタフェース画面に応じて例えばポインティングデバイス１０１７やキーボード１０１８といった入力デバイスを用いてなされるユーザ操作を受け付ける。

ＵＩ部１１２１は、注釈重畳部１１０７から出力された２次元展開図１３０またはパノラマ画像１４０が入力される。以下では、特に記載の無い限り、２次元展開図１３０およびパノラマ画像１４０を、パノラマ画像１４０で代表させて説明を行う。また、ＵＩ部１１２１は、変形画像記憶部１１２２に記憶される変形画像も入力される。ＵＩ部１１２１は、変形画像と、その変形画像に対応するパノラマ画像１４０に重畳させた画像を生成することができる。さらに、ＵＩ部１１２１は、図面記憶部１１２４に記憶される図面データに基づく３面図や立体図を作成することができる。

ＵＩ部１１２１は、ユーザ操作に応じて、入力されたパノラマ画像１４０や撮像画像に対して、拡大、縮小などの画像処理を実行できる。また、ＵＩ部１１２１は、ユーザ操作に応じて、例えばパノラマ画像１４０に対応する複数の撮像画像から１つの撮像画像を選択する処理や、この複数の撮像画像を、所定の順序に従って順次選択して表示させる処理を実行できる。

このように、ＵＩ部１１２１は、例えば図５に示した画像処理装置１０００に接続される表示装置と考えることができる。

画像情報記憶部１１２３は、画像記憶部１１０１に記憶される撮像画像の情報と、変形画像記憶部１１２２に記憶される変形画像の情報と、パノラマ画像１４０の情報とを関連付けて記憶する。また、画像情報記憶部１１２３は、撮像画像の情報に関連付けて、ＵＩ部１１２１によりユーザ操作に応じてその撮像画像に対して実行された処理の履歴が記憶される。

表１は、画像情報記憶部１１２３に記憶される情報の例を示す。画像情報記憶部１１２３が記憶する情報は、例えば、撮像画像に関する情報と、その撮像画像が変形部１１０６により変形された変形画像に関する情報と、その変形画像が含まれるパノラマ画像に関する情報とを含む。

撮像画像に関する情報は、例えば、撮像画像の識別情報と、撮像時間と、解像度（サイズ）と、撮像距離と、品質評価値とを含む。撮像画像の識別情報は、１つのパノラマ画像１４０に対応する複数の撮像画像のそれぞれを識別可能な情報である。撮像時間は、その撮像画像が撮像された時間（日時）である。解像度（サイズ）は、例えばその撮像画像の水平および垂直方向それぞれの画素数である。撮像距離は、カメラから被写体までの距離である。品質評価値は、撮像画像の品質を評価する値であって、撮像画像の暈け度合いや、コントラストなどの値を用いることができる。操作履歴は、ユーザ操作に従いＵＩ部１１２１によりその撮像画像に対してなされた処理が順次記憶され蓄積される情報である。

これらの各情報のうち、撮像画像の識別情報、撮像時間、解像度（サイズ）および撮像距離は、カメラまたはカメラの制御回路から取得できる。また、品質評価値は、例えば、撮像画像に基づきＵＩ部１１２１により算出される。

撮像画像の情報としては、さらに、その撮像画像を撮像した時点での撮像位置（カメラ位置）および撮像方向を含めることができる。これら撮像位置および撮像方向は、例えば、カメラに、それぞれｘ，ｙ，ｚの３軸にて検知を行うジャイロセンサ（角速度センサ）、加速度センサ、地磁気センサを含む９軸センサを設け、この９軸センサの出力を用いて検出することが可能である。さらにまた、撮像画像の情報として、カメラの画角を示す情報を含めてもよい。例えば、これら撮像位置、撮像方向および画角と、上述した撮像距離とを用いることで、撮像画像の空間的位置を求めることができる。

変形画像に関する情報は、例えば、変形画像の識別情報と、閲覧フラグと、操作履歴と、パノラマ画像上での位置とを含む。変形画像の識別情報は、１つのパノラマ画像１４０に属する複数の変形画像のそれぞれを識別するための情報である。閲覧フラグは、ＵＩ部１１２１の指示に応じてその変形画像が選択されたか否かを示すフラグである。

パノラマ画像上での位置は、その変形画像が属するパノラマ画像上における、その変形画像の位置を用いることができる。なお、パノラマ画像上の位置に対する変形画像の関連付けは、例えば、図７のフローチャートにおけるステップＳ１１の複数の２次元画像から３次元点群を生成する処理から、ステップＳ１５による複数の変形画像を合成してパノラマ画像１４０を生成する処理の過程で実行可能である。

パノラマ画像の識別情報は、その撮像画像（変形画像）が対応するパノラマ画像を識別する識別情報であって、パノラマ画像を一意に識別可能な情報が用いられる。

（第２の実施形態に係るＵＩ）
次に、第２の実施形態に係るＵＩについて、より具体的に説明する。なお、以下では、第２の実施形態に係る画像処理装置１００１が、橋梁などの建造物の点検に用いる撮像画像に基づくパノラマ画像１４０を表示させるものとして説明を行う。

（第２の実施形態に係るＵＩの第１の例）
図１３は、第２の実施形態に係るＵＩ部１１２１により提示されるＵＩ画面の第１の例を示す。この第１の例に係るＵＩ画面は、例えば、パノラマ画像を用いて点検作業を行う場合に用いて好適な画面である。

図１３において、ＵＩ画面２００ａは、ツールバー２０１と、パノラマ画像表示領域(Panorama view)２１０と、点検画像表示領域(Photo view)２２０と、パノラマ選択領域(Select Panorama)２３０ａと、動作指定領域２４０とを含む。ツールバー２０１は、画像処理装置１００１のストレージ１０１５に保存されるファイルを指定するファイル指定部を含む。

パノラマ画像表示領域２１０は、閲覧対象として選択されたパノラマ画像１４０が表示される。点検画像表示領域２２０は、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０に対して指定された位置に対応する撮像画像が、点検対象の点検画像２１００ａとして表示される。パノラマ選択領域２３０ａは、ファイル指定部において指定されたファイルに基づき、選択可能なパノラマ画像の一覧が表示される。

動作指定領域２４０は、ＵＩ画面２００ａにおける動作を指定するための操作子および入力領域を含む。図１３の例では、動作指定領域２４０は、モード選択領域２４０１と、オプション選択領域２４０２と、スライドショー制御領域２４０３と、ツール選択領域２４０４と、保存および終了指示領域２４０５とを含む。

モード選択領域２４０１は、このＵＩ画面２００ａのモードを選択するための領域である。ＵＩ画面２００ａは、例えば「点検モード」、「図面位置合わせモード」および「撮像品質確認モード」の３つのモードを備える。「点検モード」は、パノラマ画像１４０および点検画像２２０に基づき観察対象の点検を行うためのモードである。「図面位置合わせモード」は、例えば図面記憶部１１２４に記憶される図面データに基づく図面に対してパノラマ画像１４０の位置を合わせる操作を行うモードである。また、「撮像品質確認モード」は、パノラマ画像１４０に対応する各撮像画像の撮像品質を確認するモードである。図１３の例では、これら３つのモードのうち「点検モード」が選択されている。

オプション選択領域２４０２は、パノラマ画像表示領域２１０においてパノラマ画像１４０に対応させて表示させる撮像画像の表示方法を選択するための領域である。この例では、チェックボックスに対する入力に応じて、「元画像はめ込み合成」と、「点検状態確認」との２つの表示方法が選択可能となっている。これら２つの表示方法の具体的な例については、後述する。

スライドショー制御領域２４０３は、点検画像表示領域２２０に表示される点検画像２１００ａを、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０に対応する複数の点検画像２１００ａ間で所定の順序により順次表示させる制御を行うための操作子を含む。

ツール選択領域２４０４は、パノラマ画像表示領域２１０および点検画像表示領域２２０において使用可能なツールを選択するための領域である。ツール選択領域２４０４に表示されるツールは、モード選択領域２４０１において選択されるモードにより異なる。モード選択領域２４０１において「点検モード」が選択される図１３の例では、ツール選択領域２４０１は、パノラマ画像表示領域２１０および点検画像表示領域２２０において任意の描画や文字入力を行うためのツールが選択可能に表示されている。

保存および終了指示領域２４０５は、保存ボタン２４０５ａおよび終了ボタン２４０５ｂを含む。保存ボタン２４０５ａは、ＵＩ画面２００ａにおいて閲覧対象となるパノラマ画像１４０に係る各情報を保存するためのボタンである。例えば、保存ボタン２４０５ａは、操作に応じて、各撮像画像に基づく点検結果と、点検作業の一時中断を想定した中間データとを保存する。

より具体的な例として、ＵＩ部１１２１は、保存ボタン２４０５ａに対する操作に応じて、パノラマ画像表示領域２１０に表示中のパノラマ画像１４０（または２次元展開図１３０）と、当該パノラマ画像１４０に対応する各撮像画像および各変形画像と、パノラマ画像１４０、各撮像画像および各変形画像の情報と、注釈の情報（例えば注釈を示すオブジェクトの座標値１３３およびテキスト１３４）と、各撮像画像に対する処理の履歴とを関連付けて、ストレージ１０１５に保存する。ＵＩ部１１２１は、保存ボタン２４０５ａに対する操作に応じて、画像内に注釈が重畳された撮像画像をさらに保存することができる。また、ＵＩ部１１２１は、保存ボタン２４０５ａに対する操作に応じて、画像内に注釈が重畳されたパノラマ画像１４０または２次元展開図１３０を点検結果画像としてさらに保存することもできる。終了ボタン２４０５ｂは、このＵＩ画面２００ａを閉じるためのボタンである。

パノラマ画像表示領域２１０について、より具体的に説明する。ＵＩ部１１２１は、例えば、ユーザ操作に応じてツールバー２０１に含まれるファイル指定部により指定されたファイルに格納されるパノラマ画像１４０を、パノラマ画像表示領域２１０に表示させる。

ＵＩ部１１２１は、ユーザ操作に応じて、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０の拡大および縮小を実行できる。ＵＩ部１１２１は、例えば、画素単位での補間、間引きを用いてパノラマ画像１４０の拡大、縮小を実行する。

拡大、縮小の指示方法の例として、ＵＩ部１１２１は、パノラマ画像１４０の拡大の機能と縮小の機能とを、キーボード１０１８の所定のキー（例えば拡大を「＋」キー、縮小を「−」キー）にそれぞれ割り当てて、これらのキーに対する操作に応じてパノラマ画像１４０の拡大、縮小を実行することが考えられる。拡大、縮小の指示は、この例に限られない。例えば、パノラマ画像表示領域２１０に、パノラマ画像１４０の拡大および縮小を指示するための各ボタンを配置し、各ボタンに対するユーザ操作に応じて、パノラマ画像１４０の拡大、縮小を実行してもよい。また例えば、ポインィングデバイス１０１７としてのマウスのホイールの操作に応じて拡大、縮小を実行することも考えられる。

また、ＵＩ部１１２１は、ユーザ操作によりパノラマ画像１４０上で位置を指定することで、当該位置に対応する撮像画像を、点検対象の画像である点検画像として選択することができる。図１３の例では、パノラマ画像表示領域２１０において、指定された位置に対応する変形画像２１００の枠が表示され、当該変形画像２１００に対応する、識別情報「ｎｏ．１５」で識別される撮像画像が指定されている様子が示されている。また、図１３の例では、オプション選択領域２４０２において「元画像はめ込み合成」が選択されており、この識別情報「ｎｏ．１５」で識別される撮像画像が、パノラマ画像１４０の指定位置（変形画像２１００に対応する位置）に対してはめ込み合成にて表示される。

点検画像表示領域２２０について、より具体的に説明する。ＵＩ部１１２１は、パノラマ画像表示領域２１０において指定された撮像画像を、点検画像２１００ａとして点検画像表示領域２２０に表示させる。例えば、ＵＩ部１１２１は、画像情報記憶部１１２３に記憶される情報を参照して、パノラマ画像１４０の指定された位置に対応する変形画像を特定し、さらに、特定された変形画像に対応する撮像画像の情報を特定する。ＵＩ部１１２１は、画像記憶部１１０１から特定した撮像画像の情報に示される撮像画像を取得して、取得した撮像画像を点検画像２１００ａとして点検画像表示領域２２０に表示させる。

ＵＩ部１１２１は、ユーザ操作に応じて、点検画像表示領域２２０に表示される点検画像２１０１の拡大および縮小を実行できる。ＵＩ部１１２１は、例えば、画素単位での補間、間引きを用いて点検画像２１００ａの拡大、縮小を実行する。点検画像表示領域２２０における点検画像２１００ａの拡大、縮小は、上述したパノラマ画像表示領域２１０におけるパノラマ画像１４０の拡大、縮小指定方法や、拡大、縮小方法を適用できる。

点検画像表示領域２２０は、上への移動を指示するボタン２２００_Uと、下への移動を指示するボタン２２００_Dと、左への移動を指示するボタン２２００_Lと、右への移動を指示するボタン２２００_Rとを含む。ＵＩ部１１２１は、これらボタン２２００_U、２２００_D、２２００_Lおよび２２００_Rに対するユーザ操作に応じて、点検画像表示領域２２０に点検画像２１００ａとして表示される撮像画像を、複数の撮像画像それぞれの空間的位置に基づき、当該撮像画像の上下左右の撮像画像に切り替えることができる。

一例として、ＵＩ部１１２１は、画像情報記憶部１１２３に記憶される情報を参照して、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０に属する各変形画像について、それらのパノラマ画像１４０上での位置を取得する。ＵＩ部１１２１は、取得した各変形画像のパノラマ画像１４０上での位置に基づき、点検画像２１００ａに対応する変形画像に対して、パノラマ画像１４０上で上下左右に位置する変形画像の識別情報を取得する。ＵＩ部１１２１は、ボタン２２００_U、２２００_D、２２００_Lおよび２２００_Rに対するユーザ操作に応じて、点検画像２１００ａに対応する変形画像の上、下、左または右の変形画像の識別情報に対応する撮像画像の識別情報を取得し、取得した撮像画像の識別情報に示される撮像画像を画像記憶部１１０１から取得する。ＵＩ部１１２１は、こうして取得した撮像画像を、ボタン２２００_U、２２００_D、２２００_Lおよび２２００_Rに対するユーザ操作に応じた点検画像２１００ａとして点検画像表示領域２２０に表示させる。

ＵＩ部１１２１は、パノラマ画像１４０に対応する各撮像画像を所定の順序で順次切り替えて、点検画像表示領域２２０に点検画像２１００ａとして表示させる事ができる。例えば、ＵＩ部１１２１は、画像情報記憶部１１２３に記憶される情報を参照して、スライドショー制御領域２４０３に対するユーザ操作に応じて、画像記憶部１１０１に記憶される各撮像画像を撮像時間順に選択して、順次、点検画像２１００ａとして点検画像表示領域２２０に表示させることができる。ここで、ＵＩ部１１２１は、スライドショー制御領域２４０３に対するユーザ操作に応じて、各撮像画像を、撮像時間に基づき時系列に沿って（順送り）、あるいは、時系列と逆方向に（逆送り）、順次表示させることができる。また、ＵＩ部１１２１は、スライドショー制御領域２４０３に対するユーザ操作に応じて、各撮像画像の表示速度の変更や、順次表示の一時停止を実行させることもできる。

ＵＩ部１１２１は、点検画像表示領域２２０に表示される点検画像２１００ａに対して表示させる注釈の入力を受け付けることができる。例えば、ＵＩ部１１２１は、点検画像表示領域２２０において、カーソル２５０で指定した位置に対する注釈の入力を受け付けるようにできる。

例えば、ＵＩ部１１２１は、入力された注釈および位置を示す情報と、表示中の点検画像２１００ａに対応する撮像画像の識別情報とを、注釈重畳部１１０７に渡す。注釈重畳部１１０７は、渡された注釈および位置を示す情報と、撮像画像の識別情報とに基づき、撮像画像の指定された位置に対して注釈を重畳させて、この注釈が重畳された撮像画像をＵＩ部１１２１に渡す。ＵＩ部１１２１は、注釈が重畳された撮像画像により、点検画像表示領域２２０に表示される点検画像２１００ａを更新する。

パノラマ選択領域２３０について、より具体的に説明する。パノラマ選択領域２３０は、１つの観察対象に対して複数のパノラマ画像１４０が生成された場合に、この複数のパノラマ画像１４０から、パノラマ画像表示領域２１０に表示させる１のパノラマ画像１４０を選択するための領域である。図１３の例では、ＵＩ部１１２１は、１つの観察対象の３つの面についてそれぞれ生成された各パノラマ画像１４０のサムネイル画像２３００ａ、２３００ｂおよび２３００ｃを生成し、これら各サムネイル画像２３００ａ、２３００ｂおよび２３００ｃをパノラマ選択領域２３０に表示させている。ＵＩ部１１２１は、これらサムネイル画像２３００ａ、２３００ｂおよび２３００ｃのうち、ユーザ操作に応じて選択されたサムネイルに対応するパノラマ画像１４０を、パノラマ画像表示領域２１０に表示させる。

上述のように、この「点検モード」によるＵＩ画面２００ａは、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０に対して所望の位置を指定することで、指定した位置に対応する撮像画像が点検画像２１００ａとして点検画像表示領域２２０に表示される。また、点検画像表示領域２２０は、ユーザ操作に応じて、表示される点検画像２１００ａの拡大、縮小処理や、近接する他の撮像画像への切り替えなどが可能である。したがって、ユーザ（観察者）は、観察対象の一部の観察（点検）を、より容易に実行することができる。

なお、ＵＩ部１１２１は、ＵＩ画面２００ａに対してなされたユーザ操作を、操作履歴として逐次、画像情報記憶部１１２３に記憶することができる。例えば、ＵＩ部１１２１は、パノラマ画像表示領域２１０における拡大、縮小操作を操作履歴として記憶できる。また、ＵＩ部１１２１は、パノラマ画像表示領域２１０において指定され点検画像表示領域２２０に点検画像２１００ａとして表示された撮像画像の識別情報を、操作履歴として記憶できる。同様に、ＵＩ部１１２１は、点検画像表示領域２２０において上下左右への移動を指示する各ボタン２２００_U、２２００_D、２２００_Lおよび２２００_Rに対する操作や、点検画像表示領域２２０に表示される点検画像２１００ａに対する拡大、縮小操作を、操作履歴として記憶できる。さらに、ＵＩ部１１２１は、点検画像表示領域２２０において注釈が入力された撮像画像の識別情報を記憶できる。

（第２の実施形態に係るＵＩの第２の例）
図１４−１、図１４−２および図１４−３は、第２の実施形態に係るＵＩ画面の第２の例を示す。この第２の例に係るＵＩ画面は、パノラマ画像１４０の図面に対する位置合わせを行うための画面である。なお、図１４−１、図１４−２および図１４−３において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１４−１において、ＵＩ画面２００ｂは、モード選択領域２４０１にて「図面位置合わせモード」が選択されている。ツール選択領域２４０４は、このモード選択領域２４０１において選択された「図面位置合わせモード」に応じて、位置合わせを行うために用いるコントロールポイントの数を選択するためのツールが表示されている。図１４−１の例では、ツール選択領域２４０４において、コントロールポイントの数として、４点、６点および８点の何れかを選択可能となっている。

ＵＩ部１１２１は、例えば、ユーザ操作に応じてツールバー２０１に含まれるファイル指定部により指定されたファイルに格納される図面データによる図面２１０６を、パノラマ画像１４０と共にパノラマ画像表示領域２１０に表示させる。

ここで、ツール選択領域２４０４において所望の数のコントロールポイントを選択することで、パノラマ画像表示領域２１０に表示される図面２１０６に対して、選択された数のコントロールポイントが設定される。ＵＩ部１１２１は、コントロールポイントを、例えば、図面２１０６の形状に応じて適切な位置（例えば角部）に設定することができる。なお、コントロールポイントは、画面上においてユーザ操作により位置などを変更可能とした点である。

図１４−１の例では、ツール選択領域２４０４において４点のコントロールポイントが選択され、パノラマ画像表示領域２１０に表示される図面２１０６の４つの角部に、それぞれコントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄が設定されている。図１４−１の例では、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄に、「１」〜「４」の番号を付して示している。

ＵＩ部１１２１は、ユーザ操作に応じて、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄と対応するパノラマ画像１４０の各位置を指定する。

例えば、ＵＩ部１１２１は、ユーザによる、カーソル２５０の表示に応じたポインティングデバイス１０１７によるドラッグアンドドロップ操作（図中に矢印Ａにて示す）を用いて、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄を、パノラマ画像１４０の各位置に対応付けることができる。図１４−１の例では、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄が、パノラマ画像１４０上の各角部２１０２₁’、２１０２₂’、２１０２₃’および２１０２₄’に対応付けられている。

ＵＩ部１１２１は、パノラマ画像１４０に指定された各位置を、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄の位置と一致させるための座標変換係数を算出する。ＵＩ部１１２１は、算出した座標変換係数に従いパノラマ画像１４０の座標を図面２１０６の座標に変換する。これにより、パノラマ画像１４０の大きさおよび形状を図面２１０６の大きさおよび形状に変換して、パノラマ画像１４０の図面２１０６に対する位置合わせを行う。

図１４−２は、図面２１０６と位置合わせを行い図面２１０６の大きさおよび形状に変換されたパノラマ画像１４０’の例を示す。図１４−２の例では、図１４−１のパノラマ画像表示領域２１０における図面２１０６に対して、座標変換されたパノラマ画像１４０’が、位置、大きさおよび形状を一致させて重ね合わせて表示されている。

なお、ＵＩ部１１２１は、パノラマ画像１４０に対応する各変形画像の座標も、算出された座標変換係数に従い変換する。これにより、ＵＩ部１１２１は、座標変換されたパノラマ画像１４０’上に指定された位置に対応する撮像画像を特定できる。

なお、図１４−１の例において、ＵＩ画面２００ｂは、パノラマ画像表示領域２１０において、対応点の指定前あるいは指定後に、各コントロールポイント２１０２₁、２１０２₂、２１０２₃および２１０２₄の少なくとも一部について、点間の距離を入力することができる。図１４−１の例では、パノラマ画像１４０に示される観察対象の幅（長さ）および高さの実寸値として、コントロールポイント２１０２₁および２１０２₄間の距離２１０３_Hと、コントロールポイント２１０２₄および２１０２₃の距離２１０３_Vとが入力されている。

ＵＩ部１１２１は、パノラマ画像１４０のピクセル幅と、入力された各距離２１０３_Hおよび２１０３_Vとに基づき、パノラマ画像１４０の実寸との比（実スケール）を算出することができる。また、ＵＩ部１１２１は、パノラマ画像１４０上の実スケールを、点検画像表示領域２２０に表示される点検画像２１００ａ上に座標変換することにより、点検画像２１００ａ上での実スケールも算出することができる。これにより、点検画像２１００ａ上で検出したひびの幅などの実スケールを推定することが可能となる。

パノラマ画像１４０の図面２１０６に対する位置合わせの方法は、図１４−１および図１４−２を用いて説明した、図面２１０６を用いた方法に限定されない。例えば、矩形、台形、八角形など、基準となる形状の図形（基準図形と呼ぶ）を選択し、選択された形状に予め設けられたコントロールポイントに対応するパノラマ画像１４０の位置を指定することで、パノラマ画像１４０の図面２１０６に対する位置合わせを行ってもよい。

図１４−３は、この基準図形を用いて位置合わせを行うためのＵＩ画面２００ｂ’の例を示す。ＵＩ画面２００ｂ’において、ツール選択領域２４０４は、位置合わせを行うために用いる基準図形を選択するためのツールが表示されている。図１４−３の例では、ツール選択領域２４０４において、コントロールポイントを設定するための基準図形として、矩形、台形、および、対向する２辺が凹となった八角形の各図形を選択可能となっている。ここでは、ユーザ操作に応じて、基準図形として矩形が選択されたものとする。この矩形は、コントロールポイントが例えば４つの頂点それぞれに予め設けられているものとする。

ＵＩ部１１２１は、ユーザ操作に応じて、基準図形上に設けられた各コントロールポイントと対応するパノラマ画像１４０の各位置を指定する。図１４−３の例では、基準図形２１０４に設けられた各コントロールポイント２１０５₁、２１０５₂、２１０５₃および２１０５₄に対応するパノラマ画像１４０の各位置として、パノラマ画像１４０の４つの角部が指定されている。

ＵＩ部１１２１は、上述と同様にして、パノラマ画像１４０に指定された各点の位置を、各コントロールポイント２１０５₁、２１０５₂、２１０５₃および２１０５₄の位置と一致させるための座標変換係数を算出する。ＵＩ部１１２１は、算出した座標変換係数に従いパノラマ画像１４０の座標を変換する。これにより、パノラマ画像１４０の形状を選択された基準図形の形状に変換して、パノラマ画像１４０の基準図形２１０４に対する位置合わせを行う。

なお、上述において、ＵＩ部１１２１は、選択された基準図形の例えば縦横比を、ユーザ操作に応じて変更可能とすると、より好ましい。

なお、この基準図形を用いてパノラマ画像１４０の位置合わせを行う方法においても、図１４−１および図１４−２を用いて説明したように、各コントロールポイント２１０５₁、２１０５₂、２１０５₃および２１０５₄の少なくとも一部について点間の距離を入力することができる。ＵＩ部１１２１は、上述と同様にして、入力された点間の距離に基づき、パノラマ画像１４０上の実スケール、および、当該パノラマ画像１４０に対して指定された位置に対応する撮像画像による点検画像２１００ａ上での実スケールを算出することができる。

（第２の実施形態に係るＵＩの第３の例）
図１５は、第２の実施形態に係るＵＩ画面の第３の例を示す。この第３の例に係るＵＩ画面は、パノラマ画像１４０に用いられた撮像画像の撮像品質を確認するための画面である。なお、図１５において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図１５において、パノラマ画像表示領域２１０には、図１４−１および図１４−２を用いて説明した、図面２１０６に合わせて大きさおよび形状を変換したパノラマ画像１４０’が表示されているものとする。

図１５において、ＵＩ画面２００ｃは、モード選択領域２４０１にて「撮像品質確認モード」が選択されている。ツール選択領域２４０４は、このモード選択領域２４０１において選択された「撮像品質確認モード」に応じて、対象となる撮像品質の種類を選択するためのチェックボックスが設けられている。この例では、画像品質として、撮像情報である「撮像解像度」および「撮像距離」と、画質評価情報である「暈け度合い」との３種類が選択可能となっている。選択可能な撮像品質の種類は、この例に限られない。例えば、画質評価情報として「コントラスト」や「平均輝度」などを、撮像品質の種類として適用してもよい。

例えば、ＵＩ部１１２１は、パノラマ画像表示領域２１０にパノラマ画像１４０’が表示された状態で、モード選択領域２４０１にて「撮像品質確認モード」が選択されると、画像情報記憶部１１２３に記憶される情報を参照して、パノラマ画像パノラマ画像表示領域２１０に表示されるパノラマ画像１４０’に対応する各撮像画像を画像記憶部１１０１から取得する。ＵＩ部１１２１は、さらに、ツール選択領域２４０４において撮像品質の種類が選択されると、取得した各撮像画像について、選択された種類の撮像品質を求める。

例えば、「撮像解像度」や「撮像距離」といった撮像情報は、各撮像画像がＥｘｉｆ(Exchangeable image file format)に従い各メタデータを取得してファイルに格納される場合には、各撮像画像のファイルから直接的に抽出できる。また例えば、「暈け度合い」や「コントラスト」といった画像評価情報は、各撮像画像に基づきＵＩ部１１２１により算出することができる。

これらの撮像品質の種類に応じた値は、モード選択領域２４０１およびツール選択領域２４０４に対するユーザ操作に応じて求めることができる。これに限らず、撮像品質の種類に応じた値を、画像取得部１１００により撮像画像が取得され画像記憶部１１０１に記憶された際に、ＵＩ部１１２１が予め求めて画像情報記憶部１１２３に記憶するようにしてもよい。この場合、ＵＩ部１１２１は、モード選択領域２４０１およびツール選択領域２４０４に対するユーザ操作に応じて、画像情報記憶部１１２３から必要な情報を取得する。

ＵＩ部１１２１は、図１５に例示されるように、パノラマ画像表示領域２１０に対して、パノラマ画像１４０’に対応する各撮像画像を示す各矩形２１１０₁、２１１０₂、…を、パノラマ画像１４０’上の対応する位置に重畳して表示させる。このとき、ＵＩ部１１２１は、各矩形２１１０₁、２１１０₂、…を、各撮像画像について取得した、選択された撮像品質を示す値に基づき分類してパノラマ画像表示領域２１０に表示する。

図１５の例では、ＵＩ部１１２１は、各撮像画像の撮像品質を示す値に対して閾値判定を行い、各撮像画像の撮像品質を、「良い」、「中間」および「悪い」の３段階に分類している。閾値判定は、３段階の分類に限定されず、２段階の分類でもよいし、４段階以上の分類であってもよい。また、ＵＩ部１１２１は、閾値の値および数を、ユーザ操作に応じて変更可能とするようにもできる。

ＵＩ部１１２１は、分類結果に応じて、各撮像画像に対応する各矩形２１１０₁、２１１０₂、…を色分けして表示している。図１５では、撮像品質が「良い」である領域Ａに含まれる各撮像画像に対応する各矩形を明るい色（例えば黄色）に、撮像品質が「悪い」である領域Ｃに含まれる各矩形を暗い色（例えば茶色）に、撮像品質が「中間」である領域Ｂ含まれる各矩形をやや明るい色（例えば橙色）に色分けする。この色分けは一例であって、他の色を用いて色分けを行ってもよいし、例えば等高線など色分け以外の方法で分類結果を表現してもよい。等高線と色分けを組み合わせて撮像品質の分類結果を表現してもよい。

なお、図１５において、パノラマ画像１４０’に対して撮像画像に対応する矩形が重畳されていない領域（例えば領域Ｄ）は、撮像漏れの領域を示している。

（第２の実施形態に係るＵＩの第４の例）
図１６は、第２の実施形態に係るＵＩ画面の第４の例を示す。この第４の例に係るＵＩ画面は、パノラマ画像１４０の閲覧状況を確認するための画面である。なお、図１６において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。また、図１６において、パノラマ画像表示領域２１０には、図１４−１および図１４−２を用いて説明した、図面２１０６に合わせて大きさおよび形状を変換したパノラマ画像１４０’が表示されているものとする。

図１６において、ＵＩ画面２００ｄは、モード選択領域２４０１にて「点検モード」が選択され、オプション選択領域２４０２にて「点検状況確認」が選択されている。また、ツール選択領域２４０４は、これらモード選択領域２４０１にて選択された「図面位置合わせモード」と、オプション選択領域２４０２にて選択された「点検状況確認」とに応じて、パノラマ画像表示領域２１０においてパノラマ画像１４０’に対応して表示する情報の種類を選択するためのツールが表示されている。この例では、情報の種類として、「表示済み」、「拡大表示済み」および「書き込み済み」の３種類が選択可能となっている。

ＵＩ部１１２１は、ツール選択領域２４０４において、ユーザ操作により「表示済み」が選択された場合、パノラマ画像１４０’に対応する各撮像画像のうち、点検画像表示領域２２０に点検画像２１００ａとして表示された撮像画像を、パノラマ画像表示領域２１０に明示的に表示させる。

図１６の例では、ツール選択領域２４０４において「表示済み」が選択されている。この場合、ＵＩ部１１２１は、例えば画像情報記憶部１１２３に記憶される操作履歴または閲覧フラグに基づき、パノラマ画像１４０’に対応する各撮像画像のうち、点検画像表示領域２２０に点検画像２１００ａとして既に表示された撮像画像の識別情報を取得する。

図１６の例では、ＵＩ部１１２１は、パノラマ画像表示領域２１０に表示されるパノラマ画像１４０’に対応する各変形画像２１２１₁、２１２１₂、２１２１₃、…のうち、点検画像２１００ａとして既に表示されたとして取得された撮像画像に対応する変形画像（図１６の範囲Ｅに含まれる各変形画像）の枠を、実線で表示している。一方、ＵＩ部１１２１は、各変形画像２１２１₁、２１２１₂、２１２１₃、…のうち、点検画像２１００ａとして既に表示されたとして取得されていない撮像画像に対応する変形画像（図１６の範囲Ｆに含まれる各変形画像）の枠を、点線で表示している。

これにより、パノラマ画像１４０’に対応する各撮像画像が点検画像２１００ａとして表示されているか否かを容易に見分けることが可能である。これは、ツール選択領域２４０４において「拡大表示済み」や「書き込み済み」が選択された場合であっても、同様の効果を得ることが可能である。また、ツール選択領域２４０４において「書き込み済み」が選択された場合は、注釈が入力された撮像画像に対応する変形画像が明示的に表示され、入力された注釈の確認を効率化できる。

（第２の実施形態に係るＵＩの第５の例）
図１７は、第２の実施形態に係るＵＩ画面の第５の例を示す。図１３に示したＵＩ画面２００ａのパノラマ選択領域２３０ａでは、１つの観察対象における異なる面のパノラマ画像をそれぞれ２次元画像を用いて表示していた。これに対して、この第５の例によるＵＩ画面２００ａ’のパノラマ選択領域２３０ｂは、１つの観察対象における異なる面のパノラマ画像を、各面のパノラマ画像を統合した３次元画像を用いて表示する。なお、図１７において、上述した図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１７に示されるように、ＵＩ部１１２１は、例えば図１３のパノラマ選択領域２３０ａにおける各パノラマ画像１４０のサムネイル画像２３００ａ、２３００ｂおよび２３００ｃを、それぞれの空間的な位置関係に従い統合して３次元画像によるサムネイル画像２３０１を生成する。ＵＩ部１１２１は、生成したこのサムネイル画像２３０１を、ＵＩ画面２００ａ’のパノラマ選択領域２３０ｂに表示させる。ＵＩ部１１２１は、パノラマ選択領域２３０ｂに表示される回転指示アイコン２３０２に対するユーザ操作に応じて、サムネイル画像２３０１を３次元空間内で回転させることができる。ＵＩ部１１２１は、サムネイル画像２３０１における１つの面に対するユーザ操作に応じて、その面に対応するパノラマ画像１４０を、パノラマ画像表示領域２１０に表示させる。

このように、３次元画像によるサムネイル画像２３０１を用いることで、パノラマ画像表示領域２１０に表示させるパノラマ画像１４０をより直感的に選択可能となる。

なお、上述した第１のＵＩ画面２００ａと、第２のＵＩ画面２００ｂおよび２００ｂ’と、第３のＵＩ画面２００ｃと、第４のＵＩ画面２００ｄと、第５のＵＩ画面２００ｅとにおいて、ユーザ操作を行うための入力デバイスは、画面上の位置を指定可能であれば、特に種類は限定されない。例えば、当該入力デバイスとして、マウス、キーボード、ペンタブレット、ジョイスティック、トラックボール、タッチパネルなどを適用できる。また、画像処理装置１００１に撮像装置を内蔵または接続し、ジェスチャー、ヘッドトラッキング、視線といったユーザの身体動作を用いてユーザ操作を行うこともできる。さらに、画像処理装置１００１にマイクロホンといった収音デバイスを内蔵または接続し、音声を用いてユーザ操作を行ってもよい。

例えば、入力デバイスとしてペンタブレットを用いた場合には、注釈入力を直観的に実行可能である。また、入力デバイスとしてタッチパネルを用いた場合、スワイプ動作により点検画像２１００ａを送る、あるいは２本指でつまむ（ピンチ）動作により拡大、縮小を指示する、など、直感的な閲覧が可能となる。

さらに、ディスプレイ１０１４としてＨＭＤ(Head Mount Display)を採用することも考えられる。ここで、このＨＭＤに姿勢を検知する検知手段（例えば９軸センサ）を設けることで、ヘッドトラッキングにより拡大、縮小などを指示することが可能となる。また、ＨＭＤに視線検知手段（例えばカメラ）を設けることで、視点移動や拡大、縮小を、視線に基づき指示することが可能となる。このように、姿勢検知手段や視線検知手段を設けたＨＭＤをディスプレイ１０１４として採用することで、観察対象の全体像の把握と詳細の閲覧とを直感的に実行可能となる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、上述した第１の実施形態および第２の実施形態に共通して適用可能な撮像装置を提供するものである。第３の実施形態では、カメラを遠隔操作可能な飛行体に搭載して撮像装置を構成する。第３の実施形態にて提供される撮像装置と、上述した画像処理装置１０００または１００１とを用いることにより、観察対象の点検をより容易に実行可能な点検システムを構成できる。

図１８は、第３の実施形態に係る撮像装置の外観の例を概略的に示す３面図である。図１８（ａ）、図１８（ｂ）および図１８（ｃ）は、それぞれ、第３の実施形態に係る撮像装置３００を上面、正面および側面から見た例を示す。

撮像装置３００は、腕部３１０と、腕部の中央部分に設けられる胴体３１２と、胴体３１２の上部に設けられる、レンズ部３１４を備えるカメラ３１３とを含む。腕部３１０は、上面から見て前方右側、後方右側、前方左側および後方左側に張り出し、それぞれの先端部に、それぞれモータで駆動されるプロペラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄを備える。

また、撮像装置３００は、腕部３１０と、胴体３１２と、レンズ部３１４およびカメラ３１３と、腕部３１０が備える各プロペラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄとを囲うように、保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’が設けられる。図１８（ａ）〜図１８（ｃ）の例では、保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’は、全体として球状にて腕部３１０と、胴体３１２と、レンズ部３１４およびカメラ３１３と、腕部３１０が備える各プロペラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄとを囲うように設けられている。図１８（ａ）〜図１８（ｃ）の例では、保護部材３２０ａは、接続部材３２１ａ、３２１ｂ、３２１ｃおよび３２１ｄにより腕部３１０の張り出した各端と接続され、保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’の全体が腕部３１０（胴体３１２）に対して固定されている。接続部材３２１ａ〜３２１ｄは、ゴムやスプリングなど、弾性のある材料を用いると好ましい。

撮像装置３００は、遠隔操作により各プロペラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄの駆動を制御することで、上下移動、前後左右移動およびホバリングを行い、空中を飛行できる。

なお、上述では、第３の実施形態に係る撮像装置３００が、腕部３１０（胴体３１２）に対して保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’が接続部材３２１ａ〜３２１ｄにより固定されるように説明したが、これはこの例に限定されない。例えば、「株式会社リコー、“公共構造物点検システム”、［online］、［平成２８年１０月２５日検索］、インターネット＜ＵＲＬ：https://jp.ricoh.com/technology/institute/research/tech_inspection_system.html＞」に示されるように、撮像装置３００は、保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’を、３軸ジンバルなどを用いて、腕部３１０または胴体３１２に対して可動に保持する構造であってもよい。

図１９は、第３の実施形態に適用可能な、３軸ジンバルを用いた撮像装置３００’の例を示す。図１９（ａ）は、撮像装置３００’を正面斜め上方向から見た斜視図、図１９（ｂ）は、撮像装置３００’の中心部を抜き出した図を示している。なお、図１９（ａ）および図１９（ｂ）において、上述した図１８（ａ）、図１８（ｂ）および図１８（ｃ）と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１９（ａ）の例では、撮像装置３００’は、腕部３１０’、胴体３１２およびカメラ部３１５と、腕部３１０’の４つの端にそれぞれ設けられたプロペラ３１１ａ〜３１１ｄとを備え、これらが略球形（球殻構造）をなす保護部材３２０ｅにより囲われた構造を有している。この例では、保護部材３２０ｅは、正五角形および正六角形を所謂サッカーボール様に組み合わせた各頂点を棒状部材で結合した構造となっている。

この例では、腕部３１０’は、平行な２本の腕の中心部を１または複数の板状部材で接続した、所謂Ｈ字型の形状となっている。腕部３１０’は、２本の腕のそれぞれの先端にプロペラ３１１ａ〜３１１ｄと、各プロペラ３１１ａ〜３１１ｄを駆動するための各モータが設けられ、２本の腕を接続する板状部材に胴体３１２が設けられている。胴体３１２は、正面にレンズ部を含むカメラ部３１５が設けられている。以下、これら腕部３１０’、胴体３１２およびカメラ部３１５と、プロペラ３１１ａ〜３１１ｄとを含む構成を、本体部と呼ぶ。保護部材３２０ｅは、少なくとも本体部が外部と直接的に接触しない大きさを有する。

本体部は、保護部材３２０ｅに対して３軸ジンバル構造を介して可動に保持される。より具体的には、図１９（ａ）の例における３軸ジンバル構造は、ヨー（Ｙａｗ）軸を中心に回転可能（図中に矢印Ｙで示す）とされた部材３３０と、ロール（Ｒｏｌｌ）軸を中心に回転可能（図中に矢印Ｒで示す）とされた部材３３１ａおよび３３１ｂと、ピッチ（Ｐｉｔｃｈ）軸を中心に回転可能（図中に矢印Ｐで示す）とされた部材３３２とを含む。

図１９（ａ）および図１９（ｂ）の例では、部材３３２は、円形状のレールとして構成され、このレールに沿って、回転部材３３２０が、部材３３２の内側においてピッチ軸を中心に回転自在に設けられる。本体部は、回転部材３３２０に含まれる固定部材３３２０ａおよび３３２０ｂにより、回転部材３３２０に固定される。本体部は、カメラ部３１５の光軸がピッチ軸と一致するような配置で回転部材３３２０に固定されると好ましい。

一方、部材３３０は、回転部材３３００ａおよび３３００ｂにより、ヨー軸を中心に回転自在に保護部材３２０ｅと接続される。また、部材３３１ａおよび３３１ｂは、一端が、それぞれ回転部材３３１０ａおよび３３１ｂによりロール軸を中心に回転自在に部材３３０と接続され、他端が部材３３２に対して固定的に接続される。

撮像装置３００’は、このような３軸ジンバル構造を備えるため、保護部材３２０ｅが本体部とは独立して回転可能である。そのため、撮像装置３００’は、保護部材３２０ｅが障害物と衝突した場合であっても、保護部材３２０ｅのみが回転し、本体部はバランスを保ったまま飛行を継続でき、安定的な撮像が可能である。また、撮像装置３００’は、３軸ジンバル構造により、保護部材３２０ｅを被写体に接触させたまま飛行させて、被写体の接写画像を撮像することも可能である。

また、上述では、撮像装置３００が、上面から見て前方右側、後方右側、前方左側および後方左側に張り出した腕部３１０の各先端部に設けられた４枚のプロペラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄにより飛行駆動されるように説明したが、これはこの例に限定されない。すなわち、撮像装置３００は、遠隔操作により上下移動、前後左右移動およびホバリングが可能であれば、他の構造であってもよい。例えば、「Adrien Briod、“Insect-inspired flying robot handles collisions, goes where other robots can't”、［online］、平成２５年１０月３０日、Robohub、［平成２８年１０月２５日検索］、インターネット＜ＵＲＬ：http://robohub.org/insect-inspired-flying-robot-handles-collisions-goes-where-other-robots-cant/＞」に示されるように、撮像装置３００は、胴体３１２の上面に設けた１組のプロペラにより飛行駆動される構造であってもよい。

図２０は、第３の実施形態に係る撮像装置３００の一例の構成を示す。撮像装置３００は、制御部３００１と、通信部３００２と、駆動部３００３と、複数のモータ（Ｍ）３００４、３００４、…と、カメラ３００５と、メモリ３００６とを含む。制御部３００１は、ＣＰＵ、ＲＯＭおよびＲＡＭと、制御部３００１に接続される通信部３００２、駆動部３００３、カメラ３００５およびメモリ３００６との間で通信を行う各種インタフェースとを含む。

制御部３００１は、ＣＰＵ、ＲＯＭおよびＲＡＭを含み、ＲＯＭに予め格納されるプログラムに従い、ＲＡＭをワークメモリとして用いて動作するＣＰＵの指示に従い、この撮像装置３００の全体の動作を制御する。制御部３００１は、さらに、撮像装置３００の姿勢、飛行速度、飛行方向などを検出するためのセンサ（例えば９軸センサ）を含む。さらにまた、制御部３００１は、現在位置を取得するため、ＧＮＳＳ(Global Navigation Satellite System)に対応する受信機を備えていてもよい。

通信部３００２は、この撮像装置３００を遠隔操作するためのリモートコントローラとの間で無線通信を行う。例えば、通信部３００２は、撮像装置３００の飛行を制御するユーザ操作に応じてリモートコントローラから送信された制御信号を受信し、受信した制御信号を制御部３００１に渡す。駆動部３００３は、制御信号に基づく制御部３００１の制御に従い、例えば各プロベラ３１１ａ、３１１ｂ、３１１ｃおよび３１１ｄを回転させる各モータ３００４、３００４、…をそれぞれ駆動する。

カメラ３００５は、上述したカメラ３１３に対応し、制御部３００１の指示に従い、被写体の撮像を行い、静止画像である撮像画像を出力する。例えば、通信部３００２は、カメラ３００５による撮像を制御するユーザ操作に応じてリモートコントローラから送信された制御信号を受信し、受信した制御信号を制御部３００１に渡す。制御部３００１は、この制御信号に応じて、カメラ３００５に対して例えば撮像を指示する。

カメラ３００５は、撮像を行った際に、撮像画像と共に、撮像に関するメタデータを取得することができる。カメラ３００５は、撮像により得られた撮像画像およびメタデータを出力することができる。メタデータは、少なくとも、撮像を行った日時（撮像時間）と、撮像画像の解像度と、撮像距離（焦点距離）とを含む。カメラ３００５から出力された撮像画像およびメタデータは、制御部３００１に供給される。

制御部３００１は、カメラ３００５から供給された撮像画像およびメタデータを、例えばＥｘｉｆ形式でファイルに格納する。これに限らず、制御部３００１は、撮像画像およびメタデータを、独自の形式でファイルに格納してもよい。制御部３００１は、撮像画像およびメタデータが格納されたファイルを、メモリ３００６に記憶する。メモリ３００６は、例えばフラッシュメモリなどの書き換え可能な不揮発性メモリである。メモリ３００６は、撮像装置３００に内蔵されていてもよいし、撮像装置３００に対して着脱可能に構成されていてもよい。

図６および図１２に示した画像取得部１１００は、このメモリ３００６に記憶された、撮像画像およびメタデータが格納されたファイルから、撮像画像を取得する。

なお、カメラ３００５は、所定のフレームレート（例えば６０フレーム／秒）で被写体の画像を取得し、動画像を出力できる。制御部３００１は、カメラから出力された動画像を、通信部３００２により送信することができる。通信部３００２により送信された動画像は、リモートコントローラや、他の情報処理装置により受信し、表示させることができる。ユーザは、この動画像を参照することで、撮像装置３００の撮像対象を確認することができる。

第３の実施形態に係る撮像装置３００は、全体が保護部材３２０ａ、３２０ｂ、３２０ｃ、３２０ｃ’、３２０ｄおよび３２０ｄ’により囲まれているので、周囲の物体との多少の接触が許容される。そのため、狭隘部への侵入も可能であり、観察対象に安全に近接して明瞭な撮像画像を取得できる。

撮像装置３００により撮像された撮像画像には、撮像装置３００の一部、もしくは、保護部材３２０ａ、３２０ｃおよび３２０ｄなどの一部が映り込み、観察対象の一部を遮蔽してしまう可能性がある。上述した第１の実施形態および第２の実施形態によれば、同じ箇所について複数の少し違う位置から撮像した撮像画像群を閲覧することができる。そのため、遮蔽による点検不能箇所の発生が抑制される。また、空中を飛行する撮像装置３００から撮像した撮像画像は、画像品質が不安定である可能性がある。このような場合であっても、図１５に示したＵＩ画面２００ｃを用いることで、各撮像画像の画像品質をユーザが確認することができる。

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１１０，１２０，１３１，１３２，１３５ 画像
１１１，１２１，１３３，１３６
１３０，１３０’，１３０ａ，１３０ｂ ２次元展開図
１４０，１４０’，１４０ａ パノラマ画像
１５０，１５０’ ３次元メッシュ
２００ａ，２００ａ’，２００ｂ，２００ｂ’，２００ｃ，２００ｄ，２００ｅ ＵＩ画面
２１０ パノラマ画像表示領域
２２０ 点検画像表示領域
２３０ パノラマ選択領域
２４０ 動作指定領域
３００ 撮像装置
３１３，３００５ カメラ
３２０ａ，３２０ｂ，３２０ｃ，３２０ｃ’，３２０ｄ，３２０ｄ’ 保護部材
１０００ 画像処理装置
１０１０ ＣＰＵ
１０１４ ディプレイ
１０１５ ストレージ
１０１７ ポインティングデバイス
１１００ 画像取得部
１１０１ 画像記憶部
１１０２ ３Ｄ点群取得部
１１０３ ３Ｄメッシュ生成部
１１０４ ２Ｄ展開図生成部
１１０５ 変換係数生成部
１１０６ 変形部
１１０７ 注釈重畳部
１１０８ 指定部
２１００ａ 点検画像

特表２０１１−５１０３７８号公報

Claims (25)

1. 複数の２次元画像から対象物体の少なくとも一部を含む３次元モデルを生成する３次元モデル生成ステップと、
   前記３次元モデルの少なくとも一部を３次元メッシュで近似する３次元メッシュ近似ステップと、
   前記３次元メッシュを２次元パノラマ座標に変換する係数を決定する変換係数決定ステップと、
   前記２次元パノラマ座標の部分に対応する複数の２次元画像から第１の画像を決定する第１の画像決定ステップと、
   前記２次元パノラマ座標に投影するためのコンテンツと、前記第１の画像上での第１の位置とを、該第１の画像に応じて指定する第１の指定ステップと、
   前記コンテンツの前記２次元パノラマ座標上での投影に対応する第２の位置を決定する第２の位置決定ステップと、
   前記第２の位置と前記コンテンツとを関連付けて記憶する第１の記憶ステップと、
   前記第１の画像を前記２次元パノラマ座標上に投影した第２の画像に、前記コンテンツを注釈として重畳させる第１の重畳ステップと、
   前記複数の２次元画像から第３の画像を決定する第３の画像決定ステップと、
   前記第１の位置の、前記第３の画像への投影に対応する第３の位置を決定する第３の位置決定ステップと、
   前記第３の画像上の前記第３の位置に、前記コンテンツを投影し、注釈として重畳させる第２の重畳ステップと
   を有する画像処理方法。
2. 前記第３の画像決定ステップは、
   それぞれ２次元画像である複数の撮像画像の撮像順に基づき前記第３の画像を決定する
   請求項１に記載の画像処理方法。
3. 前記第３の画像決定ステップは、
   それぞれ２次元画像である複数の撮像画像の空間位置に基づき前記第３の画像を決定する
   請求項１に記載の画像処理方法。
4. 前記第３の画像決定ステップは、
   ユーザ操作に応じて前記パノラマ座標に対して指定されたユーザ指定位置の前記複数の２次元画像における座標上への投影に対する投影位置と、前記複数の２次元画像上の該投影位置周辺の解像度とのうち少なくとも一方と、前記ユーザ指定位置とに基づき前記第３の画像を決定する
   請求項１に記載の画像処理方法。
5. 前記３次元メッシュ生成ステップは、可展面の前記３次元メッシュを生成する
   請求項１に記載の画像処理方法。
6. 前記３次元メッシュ生成ステップは、平面の前記３次元メッシュを生成する
   請求項１に記載の画像処理方法。
7. 前記３次元メッシュ生成ステップは、円柱面の前記３次元メッシュを生成する
   請求項１に記載の画像処理方法。
8. 前記３次元メッシュ生成ステップは、２次曲面の前記３次元メッシュを生成する
   請求項１に記載の画像処理方法。
9. 前記３次元メッシュ生成ステップは、球面の前記３次元メッシュを生成する
   請求項１に記載の画像処理方法。
10. 前記変換係数決定ステップは、
    前記３次元メッシュを構成する各部分平面を、法線方向から見た形状および相対面積を保ったまま２次元座標に変換する
    請求項１に記載の画像処理方法。
11. 前記変換係数決定ステップは、
    ホモグラフィ行列を用いて前記変換係数を算出する
    請求項１に記載の画像処理方法。
12. 前記変換係数決定ステップは、
    前記３次元メッシュを、ユーザ操作に応じて所定の方向に移動させる３次元メッシュ調整ステップを含む
    請求項１に記載の画像処理方法。
13. 前記変換係数決定ステップは、
    前記所定の方向を、前記３次元メッシュの各部分平面の法線ベクトルの重み付け和に基づき決定する
    請求項１２に記載の画像処理方法。
14. 前記第１の画像に投影するためのコンテンツと、前記２次元パノラマ座標上での第４の位置とを、前記第２の画像に応じて指定する第２の指定ステップと、
    前記第４の位置と前記コンテンツとを関連付けて記憶する第２の記憶ステップと、
    前記第１の画像上での前記コンテンツの投影に対応する投影位置を決定する第４の位置決定ステップと、
    前記投影位置に対応する前記第１の画像に、前記コンテンツを注釈として重畳させる第３の重畳ステップと
    をさらに有する請求項１に記載の画像処理方法。
15. 請求項１乃至請求項１４の画像処理方法をコンピュータに実行させるためのプログラムがコンピュータにより実行されることで実現される画像処理装置に接続される表示装置であって、
    画像の表示とユーザ入力の検出とを行うためのユーザインタフェース画面を表示させる表示制御情報を生成するユーザインタフェース部を備え、
    前記ユーザインタフェース画面は、
    前記第１の画像を表示し、前記ユーザ入力を検出する第１の表示領域と、
    前記第２の画像を表示し、前記ユーザ入力を検出する第２の表示領域と
    を含む
    表示装置。
16. 前記ユーザインタフェース画面は、
    前記ユーザ入力を検出し、１つ以上の前記第２の画像から少なくとも１つを選択する第３の表示領域をさらに含む
    請求項１５に記載の表示装置。
17. 前記ユーザインタフェース画面は、
    前記第３の表示領域に、１つ以上の前記第２の画像を組み合わせて３次元形状として表示する
    請求項１６に記載の表示装置。
18. 前記ユーザインタフェース画面は、
    設定を表示し、ユーザ入力を検出する第４の表示領域をさらに含む
    請求項１５に記載の表示装置。
19. 前記ユーザインタフェース部は、
    図面を表示し、
    前記図面の座標と前記第２の画像の座標とを対応付ける２つ以上の対応点を前記ユーザ入力に応じて指定し、
    該ユーザ入力に応じて指定された２つ以上の該対応点に基づき、前記図面の座標と前記第２の画像の座標との間の座標変換係数を求め、該座標変換係数を用いて前記第２の画像の座標を前記図面の座標に変換する
    請求項１５に記載の表示装置。
20. 前記ユーザインタフェース部は、
    前記ユーザ入力に応じて図形を選択し、
    選択された該図形の２つ以上のコントロールポイントそれぞれに対応する２つ以上の対応点を前記第２の画像の座標上で前記ユーザ入力に応じて指定し、
    選択された該図形の２つ以上のコントロールポイントと、２つ以上の該指定点との組み合わせから該図形と該第２の画像との間の座標変換係数を求め、該座標変換係数を用いて前記第２の画像の形状を該図形の形状に変換する
    請求項１５に記載の表示装置。
21. 前記ユーザインタフェース部は、
    ２つの前記対応点の間の距離を示す値を前記ユーザ入力に応じて入力する
    請求項１９または請求項２０に記載の表示装置。
22. 前記ユーザインタフェース部は、
    前記第２の表示領域に、前記第２の画像の領域毎の画像品質を、色分けおよび等高線の少なくとも１つを用いて表示し、
    前記画像品質は、撮像解像度と、撮像距離と、暈け度合と、コントラストとのうち少なくとも１つを含む
    請求項１５に記載の表示装置。
23. 前記ユーザインタフェース部は、
    前記第１の表示領域に表示された画像の閲覧履歴を記憶媒体に記憶し、
    該閲覧履歴に基づき、前記第２の表示領域に閲覧済み領域を表示する
    請求項１５に記載の表示装置。
24. 前記ユーザインタフェース部は、
    前記第１の表示領域で注釈を入力した画像を選択して前記閲覧済み領域に表示させる
    請求項２３に記載の表示装置。
25. 画像を用いた点検を実行するための点検システムであって、
    ２次元画像を出力するカメラと、飛行機構を含み該カメラが設けられる胴体と、該カメラおよび該胴体が外部の物体に直接接触しないように該カメラおよび該胴体を囲う保護部材とを含む撮像装置と、
    請求項１５に記載の画像処理装置と、
    請求項１５乃至請求項２４の何れか１項に記載の表示装置と
    を含む点検システム。

Images