JP2019092002A - 船舶用俯瞰画像生成装置およびそのキャリブレーション方法 - Google Patents

Abstract

【課題】妥当な俯瞰画像の生成を容易にすることができる船舶用俯瞰画像生成装置およびそのキャリブレーション方法を提供する。【解決手段】船舶用俯瞰画像生成装置は、隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶１に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する。陸上で地面よりも高い位置に設定した俯瞰面ＣＰ１，ＣＰ２上で重複領域にキャリブレーション標識２５が配置される。複数のカメラでキャリブレーション標識を撮像することにより、複数のキャリブレーション画像が取得される。複数のキャリブレーション画像に含まれるキャリブレーション標識の画像が整合するように、射影変換に適用すべき適用パラメータが取得される。【選択図】図８

Description

この発明は、船舶の周囲を俯瞰した俯瞰画像を生成する装置およびそのキャリブレーション方法に関する。

特許文献１は、大型船舶のワンマンコントロールを容易にする操船支援装置を開示している。一つの具体例では、船舶の周囲の４つの区域をそれぞれ撮影する４つのテレビカメラが設けられる。これらのテレビカメラからの画像が一つの画像に複合されて、表示装置に表示される。オペレータは、表示装置に表示された画像を見て、船舶を操船できる。
特許文献２は、車載周辺画像表示装置を開示している。この装置では、自動車の四方を撮影する４台のカメラが、撮影領域が一部重複するように配置されている。各カメラで撮影した画像をそれぞれ射影変換して合成することにより、俯瞰画像が生成される。いずれかのカメラの俯瞰画像に不具合が生じると、そのカメラを調整対象カメラとして、射影変換のパラメータが調整される。具体的には、調整対象カメラの撮影領域と、他のカメラの撮影領域との重複範囲内の地面に正方向の校正パターンが描かれたターゲットボードが配置される。それら２つのカメラで撮影された校正パターンが俯瞰画像中で一致するように、射影変換のためのパラメータが調整される。

実開平４−３１０９８号公報 特開２０１０−２４４３２６号公報

本件発明者は、船舶の周囲の俯瞰画像を生成する船舶用俯瞰画像生成装置を開発している。その過程で、特許文献２に記載されているような車載周辺画像表示装置を単に船舶に転用しても、妥当な俯瞰画像を生成することはパラメータが一艘ずつ異なり容易ではないこと気づき、その解決手段を提供しようとしている。
そこで、この発明の一実施形態は、妥当な俯瞰画像の生成を容易にすることができる船舶用俯瞰画像生成装置およびそのキャリブレーション方法を提供する。

この発明の一実施形態は、隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置をキャリブレーションする方法を提供する。この方法は、陸上で地面よりも高い位置に設定した前記俯瞰面上で前記重複領域にキャリブレーション標識を配置するステップと、前記複数のカメラで前記キャリブレーション標識を撮像することにより、複数のキャリブレーション画像を取得するステップと、前記複数のキャリブレーション画像に含まれる前記キャリブレーション標識の画像が整合するように、前記複数のキャリブレーション画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを取得するステップを含む。

「地面」とは、ここでは、船舶が陸上に置かれているときの地面であり、船舶の最低位置以下となる水平面をいう。
射影変換によって俯瞰画像を得るためのパラメータは、カメラの位置と射影される平面（特許文献２では地面）との位置関係に依存する。自動車の場合には、同一車種であれば、カメラと地面との位置関係は、ほぼ一定であるから、１台ずつの車両に関してパラメータを調整する必要はない。それに対して、船舶は使用者の求めに応じて一艘ずつ製造されるのが通常であるから、カメラの位置は原則として一艘ずつ異なる。したがって、一艘ずつパラメータを調整する必要がある。そのうえ、パラメータの調整は、船舶を水面に浮かべて行う必要がある。船体に対する水面（喫水線）の高さは、個々に異なる船舶の重量に依存するからである。

この発明の一実施形態は、このような課題に対する解決手段を提供する。
この発明の一実施形態に係る船舶用俯瞰画像生成装置は、複数のカメラがそれぞれ撮像する複数の画像を俯瞰面に射影変換することにより、船舶の上方の視点から俯瞰した俯瞰画像を生成する。射影変換のパラメータを適切に調整することにより、妥当な俯瞰画像が得られる。キャリブレーションとは、射影変換に適用すべきパラメータを調整することである。

この発明の一実施形態のキャリブレーション方法では、陸上において、地面よりも高い位置に設定した俯瞰面上にキャリブレーション標識が配置される。このとき、キャリブレーション標識は、複数のカメラの隣り合う撮像領域が重複する領域（重複領域）に配置される。この状態で、複数のカメラが撮像する画像がキャリブレーション画像である。したがって、複数のカメラから得られる複数のキャリブレーション画像には、共通にキャリブレーション標識の画像が含まれている。複数のキャリブレーション画像を射影変換したときに、複数のキャリブレーション画像中のキャリブレーション標識画像が整合するように、射影変換のパラメータが調整される。これにより、射影変換に適用されるべき適切な適用パラメータを得ることができる。

この実施形態の方法では、船舶が陸上にある状態で、地面よりも高い位置に俯瞰面が設定され、その俯瞰面上に配置されたキャリブレーション標識を用いてキャリブレーションを行うことができる。すなわち、船舶を水面に浮かべることなく、容易に船舶用俯瞰画像生成装置のキャリブレーションを行える。
この発明の一実施形態の方法では、前記キャリブレーション標識を配置するステップが、前記船舶に支持され、前記キャリブレーション標識を保持する治具を用いる。この方法によれば、船舶に支持される治具でキャリブレーション標識を保持した状態で、キャリブレーション画像を取得できる。したがって、地面から離れた高さに設定される俯瞰面上にキャリブレーション標識を容易にかつ正確に配置できる。すなわち、陸上から立ち上げた構造物でキャリブレーション標識を保持する必要がないので、キャリブレーション標識の配置が容易である。また、俯瞰面は、船体に対して相対的に定まる平面であるから、治具を介して船舶によってキャリブレーション標識を保持することによって、キャリブレーション標識を正確に俯瞰面上に配置できる。

この発明の一実施形態の方法では、前記治具が、前記船舶に対する前記キャリブレーション標識の高さを変更可能である。この方法によれば、船舶に対するキャリブレーション標識の相対的な高さを変更可能であるので、俯瞰面の高さを様々に設定したキャリブレーションを容易に行うことができる。
この発明の一実施形態は、隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置をキャリブレーションする別の方法を提供する。この方法は、第１キャリブレーション面を第１高さに設定し、当該第１キャリブレーション面上で前記重複領域に第１キャリブレーション標識を配置した状態で、前記複数のカメラでそれぞれ撮像することにより、複数の第１キャリブレーション画像を取得するステップと、第２キャリブレーション面を前記第１高さとは異なる第２高さに設定し、当該第２キャリブレーション面上で前記重複領域に第２キャリブレーション標識を配置した状態で、前記複数のカメラでそれぞれ撮像することにより、複数の第２キャリブレーション画像を取得するステップと、前記複数の第１キャリブレーション画像に含まれる前記第１キャリブレーション標識の画像が整合するように、前記複数の第１キャリブレーション画像を前記第１キャリブレーション面に射影変換するための第１基準パラメータを取得するステップと、前記複数の第２キャリブレーション画像に含まれる前記第２キャリブレーション標識の画像が整合するように、前記複数の第２キャリブレーション画像を前記第２キャリブレーション面に射影変換するための第２基準パラメータを取得するステップと、を含む。

前記第１および第２キャリブレーション面は、一方または両方が俯瞰面と一致していてもよく、両方が俯瞰面とは異なる面であってもよい。
船舶の喫水線の高さは、船舶に搭載した貨物の重量や、乗船者の人数に依存する。特許文献１で想定されているような大型の船舶の場合には喫水線の高さは大きくは変動しないかもしれないけれども、とりわけ小型の船舶においては、喫水線の高さは貨物の重量および乗員数によって容易に変動する。

さらに、特許文献１で想定されているような大型の船舶においては、岸壁や桟橋のある停泊位置を想定すれば十分であるから、俯瞰画像を形成すべき面（俯瞰面）の高さは、一定と見なすことができる。しかも、大型の船舶の場合には、水面から相当程度高い位置にカメラを配置できるから、俯瞰面を水面（喫水線の高さ）または岸壁の上面に設定しておけば、大きな不具合はないと考えられる。

ところが、とくに小型船舶の場合には、一定の停泊場所が確保されることは稀であり、固定桟橋、浮き桟橋、水面上にポールで区画される停泊場所などのさまざまな位置に停泊する必要に迫られる。したがって、俯瞰面の高さは、固定桟橋の表面、浮き桟橋の表面、水面上など、さまざまである。そのうえ、小型船舶においては、カメラの設置高さが低いから、俯瞰面の高さに応じて、異なるパラメータを適用した射影変換を行わなければ妥当な俯瞰画像を得ることはできない。

この発明の一実施形態は、このような課題に対する解決手段を提供する。
この発明の一実施形態に係る方法では、第１高さの第１キャリブレーション面および第２高さの第２キャリブレーション面に関して、それぞれ、複数の第１キャリブレーション画像および複数の第２キャリブレーション画像が取得される。そして、複数の第１キャリブレーション画像を第１キャリブレーション面に射影変換するための第１基準パラメータが求められる。同様に、複数の第２キャリブレーション画像を第２キャリブレーション面に射影変換するための第２基準パラメータが求められる。このようにして、第１および第２高さの面である第１および第２キャリブレーション面に関して適切な射影変換のためのパラメータが求められるから、俯瞰面の高さの変化または変更に対応して適切なパラメータを選択できる。それにより、妥当な俯瞰画像の生成が容易になる。

この発明の一実施形態の方法は、前記俯瞰面の高さを取得するステップと、前記俯瞰面の高さと、前記第１基準変換パラメータおよび前記第２基準変換パラメータのうちの一方または両方とに基づいて、前記複数のカメラが撮像する画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを取得するステップと、をさらに含む。
この方法では、俯瞰面の高さが取得され、その高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて取得される。これにより、俯瞰面の高さの変化または変更に対応して適切な適用パラメータが取得されるから、妥当な俯瞰画像の生成が容易になる。

たとえば、取得された俯瞰面の高さと前記第１および第２高さに基づいて、第１および第２基準パラメータに対する補間処理によって、適用パラメータが求められてもよい。
この発明の一実施形態の方法では、前記俯瞰面の高さを取得するステップが、操作者によって操作される入力装置からの高さ入力を受け付けることを含む。この方法によれば、操作者が入力装置を操作することによって、俯瞰面の高さを設定できる。そして、その設定された高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて求められる。こうして、操作者が設定した高さの俯瞰面に対して適切な適用パラメータが取得されるので、妥当な俯瞰画像の生成が容易になる。

この発明の一実施形態では、前記俯瞰面の高さを取得するステップが、前記船舶に搭載されたセンサによって前記俯瞰面の高さを検出することを含む。この方法によれば、船舶に搭載されたセンサによって俯瞰面の高さが検出される。そして、その検出された高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて求められる。したがって、センサが検出した高さの俯瞰面に対して適切な適用パラメータが取得されるので、操作者による操作を要することなく、妥当な俯瞰画像を容易に生成できる。

たとえば、センサは、船舶に対する水面の高さを検出してもよい。また、センサは、船舶に対する桟橋上面の高さを検出してもよい。より一般化すれば、センサは、船舶の周囲において水平面を呈する表面の高さを検出してもよい。船舶の周囲とは、この場合、船舶に搭載されるカメラが撮像する領域を意味する。
この発明の一実施形態の方法では、前記第１高さおよび前記第２高さが、陸上で地面よりも高い位置に設定される。この方法によれば、陸上において、地面よりも高い位置に設定した第１および第２キャリブレーション面上にそれぞれ第１および第２キャリブレーション標識が配置される。すなわち、船舶が陸上にある状態で、地面よりも高い位置にキャリブレーション面が設定され、そのキャリブレーション面上に配置されたキャリブレーション標識を用いてキャリブレーションを行うことができる。よって、船舶を水面に浮かべることなく、容易に船舶用俯瞰画像生成装置のキャリブレーションを行える。

この発明の一実施形態は、隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置を提供する。この装置は、前記複数のカメラが撮像する画像を第１高さに設定された第１キャリブレーション面に射影変換するための第１基準パラメータと、前記複数のカメラが撮像する画像を前記第１高さとは異なる第２高さに設定された第２キャリブレーション面に射影変換するための第２基準パラメータとを記憶する基準パラメータメモリと、前記第１基準変換パラメータおよび前記第２基準変換パラメータのうちの一方または両方に基づいて、前記複数のカメラが撮像する画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを演算する演算装置と、を含む。

この船舶用俯瞰画像生成装置によれば、船舶に搭載される複数のカメラがそれぞれ撮像する複数の画像を俯瞰面に射影変換することによって、船舶の上方の始点から俯瞰した俯瞰画像が生成される。この装置の基準パラメータメモリには、第１高さの第１キャリブレーション面および第２高さの第２キャリブレーション面への射影変換のための第１および第２基準パラメータが記憶されている。演算装置は、これらの第１および第２基準パラメータの一方または両方を用いて、俯瞰面への射影変換のための適用パラメータを演算する。したがって、俯瞰面の高さの変化または変更に対応して適切な適用パラメータを用いた射影変換を行うことができるので、妥当な俯瞰画像を容易に生成できる。

この発明の一実施形態では、船舶用俯瞰画像生成装置は、前記俯瞰面の高さを取得する装置をさらに含み、前記演算装置が、前記取得される俯瞰面の高さを用いる。
この構成によれば、俯瞰面の高さが取得され、その高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて取得される。それにより、俯瞰面の高さの変化または変更に対応して適切な適用パラメータが取得されるから、妥当な俯瞰画像の生成が容易になる。

たとえば、演算装置は、取得された俯瞰面の高さと前記第１および第２高さに基づいて、第１および第２基準パラメータに対する補間処理によって、適用パラメータが求めてもよい。
この発明の一実施形態では、前記俯瞰面の高さを取得する装置が、操作者によって操作される入力装置を含む。この構成によれば、操作者が入力装置を操作することによって、俯瞰面の高さを設定できる。そして、その設定された高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて求められる。こうして、操作者が設定した高さの俯瞰面に対して適切な適用パラメータが取得されるので、妥当な俯瞰画像の生成が容易になる。

この発明の一実施形態では、前記俯瞰面の高さを取得する装置が、前記船舶に搭載され前記俯瞰面の高さを検出するセンサを含む。この構成によれば、船舶に搭載されたセンサによって俯瞰面の高さが検出される。そして、その検出された高さの俯瞰面への射影変換のための適用パラメータが第１および第２基準パラメータに基づいて求められる。したがって、センサが検出した高さの俯瞰面に対して適切な適用パラメータが取得されるので、操作者による操作を要することなく、妥当な俯瞰画像を容易に生成できる。

たとえば、センサは、船舶に対する水面の高さを検出してもよい。また、センサは、船舶に対する桟橋上面の高さを検出してもよい。より一般化すれば、センサは、船舶の周囲において水平面を呈する表面の高さを検出してもよい。船舶の周囲とは、この場合、船舶に搭載されるカメラが撮像する領域を意味する。

この発明の一実施形態により、妥当な俯瞰画像の生成を容易にすることができる船舶用俯瞰画像生成装置およびそのキャリブレーション方法を提供できる。

図１は、この発明の一実施形態に係る船舶の斜視図である。 図２は、カメラの配置例を説明するための図解的な平面図である。 図３は、俯瞰画像の例を示す。 図４は、キャリブレーションの概要を説明するための図である。 図５は、カメラと俯瞰面との位置関係を説明するための図解的な側面図である。 図６は、俯瞰システムの電気的構成を説明するためのブロック図である。 図７は、俯瞰画像の表示例、および俯瞰面の高さを入力するための操作画像を示す。 図８Ａおよび図８Ｂは、第１および第２基準パラメータを求めるためのキャリブレーションに用いる治具を説明するための図解的な断面図である。 図９は、第１および第２基準パラメータを取得するためのキャリブレーションの手順を説明するためのフローチャートである。 図１０Ａは、使用時のキャリブレーションを説明するためのフローチャートであり、手動モードでのキャリブレーションの流れを示す。 図１０Ｂは、使用時のキャリブレーションを説明するためのフローチャートであり、自動モードでのキャリブレーションの流れを示す。

以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る船舶の斜視図である。船舶１は、いわゆる小型船舶であってもよい。小型船舶とは、総トン数２０トン未満の船舶をいう。ただし、総トン数が２０トン以上の船舶であっても、長さが２０メートル未満であるものは小型船舶に含まれる。

船舶１は、船体２と、推進機３とを含む。推進機３は、この実施形態では、船体２の後尾に取り付けられた船外機である。船体２の中央付近には、コックピット５が設けられている。コックピット５内には、ステアリングホイール、アクセルレバー、表示装置、各種操作スイッチ類などが装備されている。
船舶１には、船体２の周囲の画像を撮像するための複数のカメラ７が搭載されている。カメラ７は、船体２の周壁部２Ａの上縁付近に取り付けられていてもよく、コックピット５の上方縁部に取り付けられていてもよい。

図１には、船舶１が陸上に置かれている状態が示されている。地面１５に置かれた台車１６に船舶１が支持されている。台車１６は、船底２Ｂに接して船体２を下方から支持する台車本体１７と、台車本体１７の下部に転動可能に取り付けられた車輪１８とを含む。台車１６に支持された船舶１の喫水線４は、必ずしも地面１５と平行ではない。
図２は、複数のカメラ７の配置例を説明するための図解的な平面図である。複数のカメラ７は、この例では、船体２の前方左舷および前方右舷の周壁部２Ａの上縁にそれぞれ配置された左前カメラ７Ａおよび右前カメラ７Ｂを含む。複数のカメラ７は、この例では、さらに、コックピット５の左右の上縁にそれぞれ配置された左後カメラ７Ｄおよび右後カメラ７Ｃを含む。これらのカメラ７は、視野角の広い広角レンズを有することが好ましく、より具体的には魚眼レンズを有していることが好ましい。

左前カメラ７Ａは、たとえば、平面視において、船体２の左舷前方縁部と直交する光軸８Ａを中心として、船体２の左前方に１８０度以上の視野角９Ａを有し、平面視において、当該視野角９Ａを中心角とする扇形の撮像領域１０Ａを有している。同様に、右前カメラ７Ｂは、たとえば、平面視において、船体２の右舷前方縁部と直交する光軸８Ｂを中心として、船体２の右前方に１８０度以上の視野角９Ｂを有し、平面視において、当該視野角９Ｂを中心角とする扇形の撮像領域１０Ｂを有している。さらに、左後カメラ７Ｄは、たとえば、平面視において、船体２の前後方向とほぼ直交する光軸８Ｄを中心として、船体２の左方に１８０度以上の視野角９Ｄを有し、平面視において、当該視野角９Ｄを中心角とする扇形の撮像領域１０Ｄを有している。同様に、右後カメラ７Ｃは、たとえば、平面視において、船体２の前後方向と直交する光軸８Ｃを中心として、船体２の右方に１８０度以上の視野角９Ｃを有し、平面視において、当該視野角９Ｃを中心角とする扇形の撮像領域１０Ｃを有している。これらのカメラ７Ａ−７Ｄの光軸８Ａ−８Ｄは、下方に向けて傾斜している。

左前カメラ７Ａおよび右前カメラ７Ｂのそれぞれの撮像領域１０Ａ，１０Ｂは、互いに隣り合っており、かつ船体２の前方に重複領域ＡＢを有している。また、右前カメラ７Ｂおよび右後カメラ７Ｂのそれぞれの撮像領域１０Ｂ，１０Ｃは、互いに隣り合っており、かつ船体２の右方に重複領域ＢＣを有している。また、右後カメラ７Ｃおよび左後カメラ７Ｄのそれぞれの撮像領域１０Ｃ，１０Ｄは、互いに隣り合っており、かつ船体２の後方に重複領域ＣＤを有している。さらに、左後カメラ７Ｄおよび左前カメラ７Ａのそれぞれの撮像領域１０Ｄ，１０Ａは、互いに隣り合っており、かつ船体２の左方に重複領域ＤＡを有している。

図３は、俯瞰画像の例を示す。俯瞰画像ＳＶＩは、船舶１の上方の視点から俯瞰した画像であり、複数のカメラ７Ａ−７Ｄがそれぞれ撮像したカメラ画像を俯瞰面（たとえば水平面）に射影変換して俯瞰変換画像２１Ａ−２１Ｄを作成し、それらを合成することによって得られる。図３の例では、さらに、船舶１を平面視した画像（船舶画像）２０が合成されている。重複領域ＡＢ，ＢＣ，ＣＤ，ＤＡについては、たとえば、各重複領域ＡＢ，ＢＣ，ＣＤ，ＤＡを二分割して、隣り合う撮像領域のそれぞれの俯瞰変換画像中の画像部分を用いてもよい。俯瞰面は、複数のカメラ７のいずれよりも下方に設定される面であり、たとえば水平面である。水平面とは、この場合、船舶１を水面に浮かべて、たとえば停泊状態または極低速航走状態としたときに水面と平行になる面である。

射影変換に適用されるべき適切なパラメータは、各カメラ７と俯瞰面との位置関係によって異なる。パラメータが適切でない場合には、隣り合う撮像領域を撮像して得られる画像が俯瞰画像ＳＶＩ中で不整合となる。たとえば、水面３１に俯瞰面を設定するときと、水面の上方に突き出した桟橋の上面３２の高さに俯瞰面を設定するときとでは、適切なパラメータが異なる。

図４は、適切なパラメータの設定、すなわち、キャリブレーションの一例を説明するための図である。図４には、船舶画像２０を含む俯瞰画像ＳＶＡと、複数のカメラ７Ａ−７Ｄで撮像した画像を射影変換して得られた俯瞰変換画像２１Ａ−２１Ｄとが示されている。
たとえば、左前カメラ７Ａと右前カメラ７Ｂとの重複領域ＡＢにキャリブレーション標識を配置して各カメラ７Ａ，７Ｂで船舶１の周囲の画像を撮像し、それらの画像を射影変換して俯瞰変換画像２１Ａ，２１Ｂを得る場合を想定する。それらの俯瞰変換画像２１Ａ，２１Ｂには、キャリブレーション標識の画像（キャリブレーション標識画像）２５Ａ，２５Ｂがそれぞれ含まれている。そこで、俯瞰変換画像２１Ａ，２１Ｂを船体２の位置を基準に重ね合わせる。このとき、２つのキャリブレーション標識画像２５Ａ，２５Ｂが互いにずれている場合、左前カメラ７Ａおよび左後カメラ７Ｂにそれぞれ適用される射影変換パラメータの一方または両方が不適切である。

「キャリブレーション標識画像が互いにずれている場合」とは、２つのキャリブレーション標識画像２５Ａ，２５Ｂが平行移動の関係にある場合、回転移動の関係にある場合、ならびに平行移動および回転移動を複合した関係にある場合を含む。さらに、キャリブレーション標識画像２５Ａ，２５Ｂの形状の相違によってずれが生じている場合を含む。
２つのキャリブレーション標識画像２５Ａ，２５Ｂが整合して重なり合うように射影変換パラメータを調整することによって、キャリブレーションが達成され、適切な俯瞰画像ＳＶＩを得ることができる。

キャリブレーション標識２５は、図４の例では、格子状のチェッカーパターンである。たとえば、一対の白色正方形および一対の黒色正方向が共有する格子点に着目し、２つのキャリブレーション標識画像２５Ａ，２５Ｂにおける対応する格子点座標間距離が俯瞰面上で最小となるように、射影変換パラメータを調整してもよい。２つ以上（より好ましくは３つ以上、さらに好ましくは４つ以上）の格子点に関して対応する格子点座標間距離が最小となるように、射影変換パラメータを調整することが好ましい。

図５は、カメラと俯瞰面との位置関係を説明するための図解的な側面図である。前述のとおり、俯瞰面ＳＶＰは、水面３１である場合もあるが、水面３１から突出した桟橋の上面３２である場合もある。また、船体２に対する水面３１または桟橋上面３２の相対的な高さは、船舶１の積荷、乗員数などの要因によって変動し得る。このように、俯瞰面ＳＶＰは、主として高さが変動し得るため、カメラ７と俯瞰面ＳＶＰとの位置関係は必ずしも一定ではない。それに応じて、射影変換のための妥当なパラメータも変動する。

大型の船舶１であれば、港湾内での停泊位置が限定されており、かつ積荷等に影響によってカメラと俯瞰面との位置関係の変動も実質的に生じないと考えても差し支えない。しかし、小型船舶では、停泊位置が様々である。加えて、俯瞰面からカメラまでの距離が近いから、積荷の量等によって、それらの位置関係が大きく変動する。したがって、射影変換に適用すべきパラメータも大きく変動する。

図６は、船舶１に搭載されて俯瞰画像ＳＶＩを使用者に提供する俯瞰システム４０の電気的構成を説明するためのブロック図である。俯瞰システム４０は、カメラ７Ａ−７Ｄと、俯瞰画像生成装置４１と、表示装置４２とを含む。俯瞰画像生成装置４１は、処理装置本体４３と、入力装置４４と、高さセンサ４５とを含む。処理装置本体４３は、プロセッサ（ＣＰＵ）４６と、メモリ４７とを含む。プロセッサ４６は、この発明の一実施形態における演算装置の一例である。メモリ４７は、この発明の一実施形態における基準パラメータメモリの一例である。処理装置本体４３に、入力装置４４、高さセンサ４５および表示装置４２が接続されている。表示装置４２は、液晶表示パネル等の二次元表示装置であってもよい。入力装置４４は、たとえば、表示装置４２の表示画面上に設けられたタッチパネルであってもよい。高さセンサ４５は、船体２に対する俯瞰面ＳＶＰの相対的な高さを検出するためのセンサである。より具体的には、高さセンサ４５は、距離センサを用いて構成することができる。

メモリ４７には、プロセッサ４６が実行するプログラム４８と、プロセッサ４６が実行する演算で使用したり、またその演算によって生成されたりするデータ５０とが格納される。メモリ４７に格納されるデータ５０は、カメラ７が出力する画像データ（カメラ画像データ）５１と、そのカメラ画像データ５１を射影変換するためのパラメータ５２と、画像データを射影変換して得られる俯瞰変換画像データ５３とを含む。データ５０は、船舶１を平面視した船舶画像２０を表す画像データ（船舶画像データ）５４を含んでいてもよい。データ５０は、さらに、俯瞰変換画像データ５３および船舶画像データ５４を合成して得られる俯瞰画像データ５５を含む。パラメータ５２は、俯瞰面ＳＶＰの高さＨに応じた適切なパラメータを演算するための基準となる、第１基準パラメータＲＥＦ１および第２基準パラメータＲＥＦ２を含む。また、パラメータ５２は、射影変換のために適用される適用パラメータを含む。

第１基準パラメータＲＥＦ１は、第１高さＨ１の俯瞰面（以下「第１キャリブレーション面」という。）ＣＰ１への射影変換に対して適切に定められたパラメータである。第２基準パラメータＲＥＦ２は、第１高さＨ１とは異なる第２高さＨ２の俯瞰面（以下「第２キャリブレーション面」という。）ＣＰ２への射影変換に対して適切に定められたパラメータである。第１および第２高さＨ１，Ｈ２以外の高さＨに俯瞰面ＳＶＰが設定されるときには、プロセッサ４６は、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を用いた演算（たとえば線形補間演算）を実行する。それにより、第１および第２高さＨ１，Ｈ２以外の任意の高さＨに俯瞰面ＳＶＰへの射影変換に適用すべき適切なパラメータを得ることができる。

事前に適切な第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を求めること、および俯瞰面ＳＶＰの高さＨに応じた適切な適用パラメータを求めることは、いずれも、この発明の一実施形態におけるキャリブレーションの例に含まれる。
図７は、表示装置４２における俯瞰画像ＳＶＩの表示例を示す。表示装置４２の表示画面４２Ｓには、俯瞰画像ＳＶＩと、操作画像６０とが表示される。操作画像６０は、この例では、自動ボタン６１、手動ボタン６２、スライダ操作部６３および設定値表示部６４を含む。自動ボタン６１は、高さセンサ４５による高さ検出に応じて射影変換のパラメータを演算する自動モードを選択するための操作ボタンである。手動ボタン６２は、高さ情報（船体２に対する相対的な高さを表す情報）を操作者が手動入力するための手動モードを選択するための操作ボタンである。スライダ操作部６３は、高さ情報を手動入力するための操作部である。設定値表示部６４は、スライダ操作部６３の操作によって設定された高さ情報を表示する。自動ボタン６１、手動ボタン６２およびスライダ操作部６３のそれぞれの操作入力は、入力装置４４（たとえば表示画面４２Ｓ上に配置されたタッチパネル）によって検出され、プロセッサ４６に入力される。

図８Ａおよび図８Ｂは、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を求めるためのキャリブレーションに用いる治具７０を説明するための図解的な断面図である。キャリブレーションは、カメラ７Ａ−７Ｄの隣り合う撮像領域１０Ａ−１０Ｄの重複領域ＡＢ，ＢＣ，ＣＤ，ＤＡにキャリブレーション標識２５を配置して行われる。第１基準パラメータＲＥＦ１を求めるときには、図８Ａに示すように、第１高さＨ１に設定した第１キャリブレーション面ＣＰ１（好ましくは俯瞰面に平行な平面。たとえば水平面）に第１キャリブレーション標識２５が配置される。第２基準パラメータＲＥＦ２を求めるときには、図８Ｂに示すように、第２高さＨ２に設定した第２キャリブレーション面ＣＰ２（好ましくは俯瞰面に平行な平面。たとえば水平面）に第２キャリブレーション標識２５が配置される。第１キャリブレーション標識および第２キャリブレーション標識は、同一であっても異なっていてもよい。この実施形態では、同一キャリブレーション標識２５が第１および第２キャリブレーション標識として用いられる。

治具７０は、キャリブレーション標識２５を保持した状態で、船体２によって支持可能に構成されている。より具体的には、治具７０は、船体２に取り付けられる取付部７１と、キャリブレーション標識２５を保持する標識保持部７２と、取付部７１に対する標識保持部７２の高さを変動させ、かつ調整後の高さを保持する高さ調節部７３とを含む。
治具７０を船体２に取り付け、かつ高さ調節部７３を操作することによって、キャリブレーション標識２５を第１高さＨ１に設定した第１キャリブレーション面ＣＰ１、または第２高さＨ２に設定した第２キャリブレーション面ＣＰ２に配置することができる。

しかも、治具７０は、船体２に取り付けられて船体２に支持されるので、船舶１が陸上にある状態（図１参照）で、地面１５よりも高い第１高さＨ１および第２高さＨ２にキャリブレーション標識２５を配置できる。つまり、治具７０を用いることにより、陸上でキャリブレーションを実行できる。
図９は、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を取得するためのキャリブレーションの手順を説明するためのフローチャートである。

このキャリブレーションは、典型的には、船舶１の製造業者、船舶１のメンテナンス業者、俯瞰画像生成装置４１の提供業者等によって実行される。これらの業者は、カメラ７の設置位置・姿勢を決定したり、カメラ７の設置位置・姿勢を調整したりする。カメラ７の設置位置・姿勢に応じて、カメラ７と俯瞰面ＳＶＰとの位置関係が変動する。そのため、適切な第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を取得するためのキャリブレーションが必要になる。

自動車の場合には、俯瞰画像を得るためのカメラの設置位置・姿勢は、車種によって一定である。それに対して、船舶１の場合には、カメラの設置位置・姿勢は、上記のような業者によって選択され、事実上、固定された位置または姿勢は存在しない。
キャリブレーションの作業者は、入力装置４４を操作して、俯瞰画像生成装置４１をキャリブレーションモードに設定する（ステップＳ１）。さらに、作業者は、入力装置４４を操作して、キャリブレーション対象、すなわち、射影変換のパラメータを変更すべきカメラ７を指定する（ステップＳ１１）。また、作業者は、キャリブレーション対象カメラ７の撮像領域と他のカメラ７の撮像領域との重複領域において、第１高さＨ１にキャリブレーション標識２５を配置する（ステップＳ１２）。

その状態で、キャリブレーション対象カメラ７と、前記キャリブレーション標識２５が配置された重複領域を撮像領域中に含む他のカメラ７とで、それぞれの撮像領域が撮像され、対応するカメラ画像データ５１が得られる（ステップＳ１３）。このカメラ画像データ５１は、この発明の一実施形態における第１キャリブレーション画像を表すデータである。こうして得られたカメラ画像データ５１は、メモリ４７に格納されているパラメータに基づいて射影変換され、それによって、２つの俯瞰変換画像データ５３が生成される（ステップＳ１４）。

作業者は、入力装置４４を操作して、キャリブレーション対象カメラ７に対応する俯瞰変換画像データ５３を表示装置４２に画像表示させる（ステップＳ１５）。また、作業者は、入力装置４４を操作して、キャリブレーション標識２５を配置した重複領域を撮像領域に含む別のカメラ７に対応する俯瞰変換画像データ５３の画像を表示装置４２にオーバレイ表示させる（ステップＳ１５）。このとき、２つの俯瞰変換画像データ５３の画像は、重複領域を含む領域が表示装置４２に表示される。これらの２つの俯瞰変換画像データ５３のオーバレイ表示は、入力装置４４の操作を要することなく、自動的に実行されてもよい。

作業者は、表示された画像が適切かどうかを調べ、キャリブレーション対象カメラの画像に問題があれば、当該キャリブレーション対象カメラ（たとえば左前カメラ７Ａ）に対応するパラメータを調整する（ステップＳ１６）。より具体的には、作業者は、表示された２つの俯瞰変換画像２１Ａ，２１Ｂ（図４参照）中に表れるキャリブレーション標識画像２５Ａ，２５Ｂに着目する。射影変換のパラメータが適切であれば、２つの俯瞰変換画像２１Ａ，２１Ｂ中に含まれるキャリブレーション標識画像２５Ａ，２５Ｂが重なり合う。射影変換のパラメータが不適切であれば、２つの俯瞰変換画像２１Ａ，２１Ｂ中に含まれるキャリブレーション標識画像２５Ａ，２５Ｂにずれが生じる。そこで、作業者は、キャリブレーション標識画像２５Ａ，２５Ｂにずれが生じているときには、それらのずれが最小となるようにして、キャリブレーション標識画像２５Ａ，２５Ｂが重なり合う（整合する）ように、キャリブレーション対象カメラ７Ａに対応するパラメータを調整する。調整されたパラメータは、キャリブレーション対象カメラの第１基準パラメータＲＥＦ１としてメモリ４７に格納される（ステップＳ１７）。

パラメータの調整は、たとえば、入力装置４４を用いて行うことができる。入力装置４４を用いる代わりに、専用ツールをインストールしたパーソナルコンピュータを処理装置本体４３に接続して、パラメータを調整できるようにしてもよい。この場合に、俯瞰変換画像データ５３のオーバレイ表示は、パーソナルコンピュータに備えられた表示装置上で行われてもよい。

パラメータの調整（ステップＳ１６）は、プロセッサ４６または前述の専用ツールをインストールしたパーソナルコンピュータによる自動処理で行うこともできる。具体的には、２つのキャリブレーション標識画像２５Ａ，２５Ｂ中の対応する格子点（２つ以上、好ましくは３つ以上）を画像データに基づいて自動認識し、それらの間の距離を最小にするパラメータを自動演算によって求めるプログラムを用いればよい。

同様の手順が、キャリブレーション対象カメラを順次（かつ必要に応じて循環的に）変更しながら、繰り返し実行される（ステップＳ１８）。この手順は、いずれの重複領域ＡＢ，ＢＣ，ＣＤ，ＤＡにキャリブレーション標識２５を配置したときにも、隣接する２つの撮像領域を有する２つのカメラから得られる俯瞰変換画像中のキャリブレーション標識画像が充分に整合する状態となるまで、繰り返される。こうして、全てのカメラについて、適切な第１基準パラメータＲＥＦ１がメモリ４７に格納された状態となる（ステップＳ１８：ＹＥＳ）。適切な第１基準パラメータＲＥＦ１が得られるまでに、同一のカメラに対して２回以上のキャリブレーション操作が行われてもよい。

次に、作業者は、第２基準パラメータＲＥＦ２を求めるための操作を行う。作業者は、まず、入力装置４４を操作して、キャリブレーション対象のカメラを指定する（ステップＳ２１）。また、作業者は、キャリブレーション対象のカメラの撮像領域と他のカメラの撮像領域との重複領域において第２高さＨ２にキャリブレーション標識２５を配置する（ステップＳ２２）。その状態で、キャリブレーション対象カメラ７と、キャリブレーション標識２５が配置された重複領域を撮像領域中に含む別のカメラ７とで、それぞれの撮像領域が撮像され、対応するカメラ画像データ５１が得られる（ステップＳ２３）。このカメラ画像データ５１は、この発明の一実施形態における第２キャリブレーション画像を表すデータである。こうして得られたカメラ画像データ５１は、メモリ４７に格納されている対応のパラメータに基づいてそれぞれ射影変換される（ステップＳ２４）。それによって、２つの俯瞰変換画像データ５３が生成され、対応する俯瞰変換画像が表示装置４２にオーバレイ表示される（ステップＳ２５）。その後、第１基準パラメータＲＥＦ１の場合と同様にして、キャリブレーション対象カメラ７の第２基準パラメータＲＥＦ２が求められて（ステップＳ２６）、メモリ４７に格納される（ステップＳ２７）。

同様の手順が、キャリブレーション対象カメラを順次（かつ必要に応じて循環的に）変更しながら、繰り返し実行される（ステップＳ２８）。この手順は、いずれの重複領域ＡＢ，ＢＣ，ＣＤ，ＤＡにキャリブレーション標識２５を配置したときにも、隣接する２つの撮像領域を有する２つのカメラから得られる俯瞰変換画像中のキャリブレーション標識画像２５Ａ，２５Ｂが充分に整合する状態となるまで、繰り返される。こうして、全てのカメラについて、適切な第２基準パラメータＲＥＦ２がメモリ４７に格納された状態となる（ステップＳ２８：ＹＥＳ）。適切な第２基準パラメータＲＥＦ２が得られるまでに、同一のカメラに対して２回以上のキャリブレーション操作が行われてもよい。

全てのカメラ７に対して適切な第１および第２基準パラメータＲＥＦ１，ＲＥＦ２が求まると、作業者は、入力装置４４を操作して、キャリブレーションモードを終える。
図１０Ａおよび図１０Ｂは、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２がメモリ４７に格納された状態で行われるキャリブレーションを説明するためのフローチャートである。これらのキャリブレーションは、典型的には、船舶１の使用時に行われる。図１０Ａは、手動モードでのキャリブレーションの流れを示す。この手動キャリブレーションにおける操作者は、典型的には船舶１の使用者である。図１０Ｂは、自動モードでのキャリブレーションの流れを示す。

図１０Ａに示す手動モードのキャリブレーションは、入力装置４４を操作して俯瞰画像ＳＶＩ（図７参照）を表示させ、手動ボタン６２を操作することによって開始される。操作者は、スライダ操作部６３を操作することによって、俯瞰面ＳＶＰの高さＨを入力する（ステップＳ３１）。すると、プロセッサ４６は、メモリ４７から第１および第２基準パラメータＲＥＦ１，ＲＥＦ２を読み出し（ステップＳ３２）、それらと、入力された高さＨとに基づいて、射影変換に適用すべき適用パラメータを算出する（ステップＳ３３）。そして、プロセッサ４６は、その算出された適用パラメータに基づいて、カメラ画像データ５１を射影変換して、俯瞰変換画像データ５３を求め、メモリ４７に格納する（ステップＳ３４）。そして、プロセッサ４６は、その俯瞰変換画像データ５３と船舶画像データ５４とを合成して、俯瞰画像ＳＶＩを生成し、その俯瞰画像ＳＶＩを表示装置４２に表示する（ステップＳ３５）。

図１０Ｂに示す自動モードのキャリブレーションでは、高さセンサ４５によって俯瞰面ＳＶＰの高さ情報Ｈが取得される（ステップＳ４１）。それ以外の演算および処理（ステップＳ３２〜Ｓ３６）は、図１０Ａの手動モードの場合と同様である。
以上のように、この実施形態によれば、複数のカメラ７がそれぞれ撮像する複数の画像を俯瞰面ＳＶＰに射影変換することにより、船舶１の上方の視点から俯瞰した俯瞰画像ＳＶＩが生成される。射影変換のパラメータを調整するためのキャリブレーションでは、陸上において、地面よりも高い位置に設定した俯瞰面ＳＶＰ（第１および第２キャリブレーション面ＣＰ１，ＣＰ２）上にキャリブレーション標識２５が配置される。このとき、キャリブレーション標識２５は、複数のカメラ７の隣り合う撮像領域の重複領域に配置される。この状態で、複数のカメラ７が撮像する画像（キャリブレーション画像）には、共通にキャリブレーション標識２５の画像が含まれている。そこで、複数のキャリブレーション画像を射影変換したときに、複数のキャリブレーション画像中のキャリブレーション標識画像２５Ａ，２５Ｂが整合するように、射影変換のパラメータが調整される。これにより、射影変換に適用されるべき適切なパラメータを得ることができる。

この実施形態の方法では、船舶１が陸上にある状態で、地面よりも高い位置に俯瞰面ＳＶＰが設定され、その俯瞰面ＳＶＰ上に配置されたキャリブレーション標識２５を用いてキャリブレーションを行うことができる。すなわち、船舶１を水面に浮かべることなく、容易にキャリブレーションを行える。
第１および第２キャリブレーション面ＣＰ１，ＣＰ２の一方または両方は、実際に想定される俯瞰面ＳＶＰの高さに設定されることが好ましい。この場合、第１および第２基準パラメータの一方または両方は、そのまま射影変換に適用する適用パラメータとして用いることができる。

また、この実施形態では、船舶１に取り付け可能な治具７０によってキャリブレーション標識２５を保持した状態で、キャリブレーション画像を取得できる。したがって、地面から離れた高さに設定される俯瞰面ＳＶＰ（キャリブレーション面）上にキャリブレーション標識２５を容易にかつ正確に配置できる。すなわち、陸上から立ち上げた構造物でキャリブレーション標識２５を保持する必要がないので、キャリブレーション標識２５の配置が容易である。また、俯瞰面ＳＶＰは、船体２に対して相対的に定まる平面であるから、治具７０を介して船舶１によってキャリブレーション標識２５を保持することによって、キャリブレーション標識２５を正確に俯瞰面ＳＶＰ（キャリブレーション面）上に配置できる。

また、この実施形態では、治具７０は、船舶１に対するキャリブレーション標識２５の高さを変更可能に構成されている。したがって、船舶１に対するキャリブレーション標識２５の相対的な高さを変更可能であるので、俯瞰面ＳＶＰの高さを様々に設定したキャリブレーションを容易に行うことができる。
さらに、この実施形態では、第１高さＨ１の第１キャリブレーション面ＣＰ１および第２高さＨ２の第２キャリブレーション面ＣＰ２に関して、それぞれ、複数の第１キャリブレーション画像および複数の第２キャリブレーション画像が取得される（ステップＳ１４，Ｓ２４）。そして、複数の第１キャリブレーション画像を第１キャリブレーション面ＣＰ１に射影変換するための第１基準パラメータＲＥＦ１が求められる（ステップＳ１６）。同様に、複数の第２キャリブレーション画像を第２キャリブレーション面ＣＰ２に射影変換するための第２基準パラメータＲＥＦ２が求められる（ステップＳ１７）。このようにして、第１および第２高さＨ１，Ｈ２の面（好ましくは俯瞰面に平行な平面。たとえば水平面）である第１および第２キャリブレーション面ＣＰ１，ＣＰ２に関して適切な射影変換のためのパラメータが求められる。それにより、俯瞰面ＳＶＰの高さＨの変化または変更に対応して適切なパラメータを選択できる。それにより、妥当な俯瞰画像ＳＶＩの生成が容易になる。

また、この実施形態では、使用者の操作入力または高さセンサ４５による自動検出によって俯瞰面ＳＶＰの高さＨが取得され、その高さＨの俯瞰面ＳＶＰへの射影変換のための適用パラメータが第１および第２基準パラメータＲＥＦ１，ＲＥＦ２に基づいて取得される。これにより、俯瞰面ＳＶＰの高さＨの変化または変更に対応して適切な適用パラメータが取得されるから、妥当な俯瞰画像ＳＶＩの生成が容易になる。

手動モードでは、操作者が設定した高さＨの俯瞰面ＳＶＰに対して適切な適用パラメータが取得されるので、妥当な俯瞰画像ＳＶＩの生成が容易になる。
自動モードでは、船舶１に搭載された高さセンサ４５によって俯瞰面ＳＶＰの高さＨが検出され、その検出された高さＨの俯瞰面ＳＶＰへの射影変換のための適用パラメータが第１および第２基準パラメータＲＥＦ１，ＲＥＦ２に基づいて求められる。したがって、高さセンサ４５が検出した高さＨの俯瞰面ＳＶＰに対して適切な適用パラメータが取得されるので、操作者による操作を要することなく、妥当な俯瞰画像ＳＶＩを容易に生成できる。

また、この実施形態では、陸上において、地面よりも高い位置に設定した第１および第２キャリブレーション面ＣＰ１，ＣＰ２上にそれぞれ第１および第２キャリブレーション標識２５が配置される。すなわち、船舶１が陸上にある状態で、地面よりも高い位置にキャリブレーション面ＣＰ１，ＣＰ２が設定され、そのキャリブレーション面ＣＰ１，ＣＰ２上に配置されたキャリブレーション標識２５を用いてキャリブレーションを行うことができる。よって、船舶１を水面に浮かべることなく、容易に船舶用俯瞰画像生成装置４１のキャリブレーションを行える。

また、この実施形態では、俯瞰画像生成装置４１の処理装置本体４３が備えるメモリ４７には、第１高さＨ１の第１キャリブレーション面ＣＰ１および第２高さＨ２の第２キャリブレーション面ＣＰ２への射影変換のための第１および第２基準パラメータＲＥＦ１，ＲＥＦ２が記憶されている。プロセッサ４６は、これらの第１および第２基準パラメータＲＥＦ１，ＲＥＦ２の一方または両方を用いて、俯瞰面ＳＶＰへの射影変換のための適用パラメータを演算する。したがって、俯瞰面ＳＶＰの高さＨの変化または変更に対応して適切な適用パラメータを用いた射影変換を行うことができるので、妥当な俯瞰画像ＳＶＩを容易に生成できる。

以上、この発明の一実施形態について説明したが、この発明は、さらに他の形態で実施することもできる。たとえば、前述の実施形態では、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２が求められてメモリ４７に格納され、俯瞰面ＳＶＰの高さＨに応じた適用パラメータがそれらの第１および第２基準パラメータＲＥＦ１，ＲＥＦ２に基づいて演算される。しかし、船体２に対する俯瞰面ＳＶＰの高さＨが、実質的に２つである場合には、その想定される２つの俯瞰面ＳＶＰの高さＨに第１および第２高さＨ１，Ｈ２を合わせればよい。すなわち、第１および第２キャリブレーション面ＣＰ１，ＣＰ２がそれぞれ第１および第２俯瞰面であり得る。この場合、第１および第２基準パラメータＲＥＦ１，ＲＥＦ２は、そのまま第１および第２適用パラメータとして用いることができる。船舶１の使用者は、入力装置４４を操作して、第１および第２適用パラメータのいずれかを選択すればよい。あるいは、高さセンサ４５が検出する高さＨに応じて、プロセッサ４６が、第１および第２適用パラメータのいずれかを選択してもよい。

また、実質的に想定される俯瞰面ＳＶＰの高さＨが一つであれば、その想定される一つの俯瞰面ＳＶＰの高さＨにキャリブレーション標識２５を配置して、前述の第１および第２基準パラメータＲＥＦ１，ＲＥＦ２の場合と同様にして、適用パラメータを求めればよい。このように、一つの高さに対して妥当な適用パラメータを求めることも、この発明の一実施形態におけるキャリブレーションの一例である。

さらにまた、３つ以上の高さにキャリブレーション面を設定して、それらにそれぞれ対応する３つ以上の基準パラメータまたは適用パラメータを求めてもよい。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。

１ 船舶、２ 船体、７ カメラ、１０Ａ−１０Ｄ 撮像領域、１５ 地面、１６ 台車、 ２０ 船舶画像、２１Ａ−２１Ｄ 俯瞰変換画像、２５ キャリブレーション標識、２５Ａ，２５Ｂ キャリブレーション標識画像、３１ 水面、３２ 桟橋上面、４０ 俯瞰システム、４１ 俯瞰画像生成装置、４２ 表示装置、４３ 処理装置本体、４４ 入力装置、４５ 高さセンサ、４６ プロセッサ、４７ メモリ、５１ カメラ画像データ、５２ パラメータ、５３ 俯瞰変換画像データ、５４ 船舶画像データ、５５ 俯瞰画像データ、６０ 操作画像、６１ 自動ボタン、６２ 手動ボタン、６３ スライダ操作部、６４ 設定値表示部、７０ 治具、７１ 取付部、７２ 標識保持部、７３ 高さ調節部、ＲＥＦ１ 第１基準パラメータ、ＲＥＦ２ 第２基準パラメータ、Ｈ１ 第１高さ、Ｈ２ 第２高さ、ＣＰ１ 第１キャリブレーション面、ＣＰ２ 第２キャリブレーション面、ＳＶＩ 俯瞰画像、ＡＢ，ＢＣ，ＣＤ，ＤＡ 重複領域

Claims (12)

1. 隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置をキャリブレーションする方法であって、
   陸上で地面よりも高い位置に設定した前記俯瞰面上で前記重複領域にキャリブレーション標識を配置するステップと、
   前記複数のカメラで前記キャリブレーション標識を撮像することにより、複数のキャリブレーション画像を取得するステップと、
   前記複数のキャリブレーション画像に含まれる前記キャリブレーション標識の画像が整合するように、前記複数のキャリブレーション画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを取得するステップと、
   を含む、船舶用俯瞰画像生成装置のキャリブレーション方法。
2. 前記キャリブレーション標識を配置するステップが、前記船舶に支持され、前記キャリブレーション標識を保持する治具を用いる、請求項１に記載の方法。
3. 前記治具が、前記船舶に対する前記キャリブレーション標識の高さを変更可能である、請求項２に記載の方法。
4. 隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置をキャリブレーションする方法であって、
   第１キャリブレーション面を第１高さに設定し、当該第１キャリブレーション面上で前記重複領域に第１キャリブレーション標識を配置した状態で、前記複数のカメラでそれぞれ撮像することにより、複数の第１キャリブレーション画像を取得するステップと、
   第２キャリブレーション面を前記第１高さとは異なる第２高さに設定し、当該第２キャリブレーション面上で前記重複領域に第２キャリブレーション標識を配置した状態で、前記複数のカメラでそれぞれ撮像することにより、複数の第２キャリブレーション画像を取得するステップと、
   前記複数の第１キャリブレーション画像に含まれる前記第１キャリブレーション標識の画像が整合するように、前記複数の第１キャリブレーション画像を前記第１キャリブレーション面に射影変換するための第１基準パラメータを取得するステップと、
   前記複数の第２キャリブレーション画像に含まれる前記第２キャリブレーション標識の画像が整合するように、前記複数の第２キャリブレーション画像を前記第２キャリブレーション面に射影変換するための第２基準パラメータを取得するステップと、
   を含む、船舶用俯瞰画像生成装置のキャリブレーション方法。
5. 前記俯瞰面の高さを取得するステップと、
   前記俯瞰面の高さと、前記第１基準変換パラメータおよび前記第２基準変換パラメータのうちの一方または両方とに基づいて、前記複数のカメラが撮像する画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを取得するステップと、
   をさらに含む、請求項４に記載の方法。
6. 前記俯瞰面の高さを取得するステップが、操作者によって操作される入力装置からの高さ入力を受け付けることを含む、請求項５に記載の方法。
7. 前記俯瞰面の高さを取得するステップが、前記船舶に搭載されたセンサによって前記俯瞰面の高さを検出することを含む、請求項５または６に記載の方法。
8. 前記第１高さおよび前記第２高さが、陸上で地面よりも高い位置に設定される、請求項４〜７のいずれか一項に記載の方法。
9. 隣り合う撮像領域が重複領域を有するようにそれぞれの撮像領域を設定して船舶に搭載される複数のカメラが撮像する画像を俯瞰面に射影変換して船舶の上方の視点から俯瞰した俯瞰画像を生成する船舶用俯瞰画像生成装置であって、
   前記複数のカメラが撮像する画像を第１高さに設定された第１キャリブレーション面に射影変換するための第１基準パラメータと、前記複数のカメラが撮像する画像を前記第１高さとは異なる第２高さに設定された第２キャリブレーション面に射影変換するための第２基準パラメータとを記憶する基準パラメータメモリと、
   前記第１基準変換パラメータおよび前記第２基準変換パラメータのうちの一方または両方に基づいて、前記複数のカメラが撮像する画像を前記俯瞰面に射影変換するために適用すべき適用パラメータを演算する演算装置と、
   を含む、船舶用俯瞰画像生成装置。
10. 前記俯瞰面の高さを取得する装置をさらに含み、
    前記演算装置が、前記取得される俯瞰面の高さを用いる、請求項９に記載の船舶用俯瞰画像生成装置。
11. 前記俯瞰面の高さを取得する装置が、操作者によって操作される入力装置を含む、請求項１０に記載の船舶用俯瞰画像生成装置。
12. 前記俯瞰面の高さを取得する装置が、前記船舶に搭載され前記俯瞰面の高さを検出するセンサを含む、請求項９または１０に記載の船舶用俯瞰画像生成装置。
    

Images