JP2017139612A

JP2017139612A - 車載カメラ用校正システム

Info

Publication number: JP2017139612A
Application number: JP2016019072A
Authority: JP
Inventors: 大介木本; Daisuke Kimoto; 間藤　隆一; Ryuichi Mato; 隆一間藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2017-08-10
Also published as: WO2017135081A1; US20180286078A1

Abstract

【課題】生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行う車載カメラ用校正システムを提供すること。【解決手段】車載カメラ用校正システムは、車両に取り付けられ時系列に路面の画像を撮影するカメラ１０１と、カメラ１０１で撮影された画像を時系列に保存するメモリ１０２と、メモリ１０２に保存された撮影画像から特徴点を抽出する特徴点抽出部１０３と、特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部１０４と、特徴点と追跡点からカメラ１０１の校正パラメータを算出するカメラ校正パラメータ算出部１０５と、を具備する。【選択図】図１

Description

本発明は、カメラにより撮影された画像を用いてカメラ画像の校正を行う車載カメラ用校正システムに関する。

従来から、車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。

このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。

また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。

また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合には、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度の校正が求められる。

しかし、従来の校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。

このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門で校正をやり直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため作業の手間が一層かかるものとなっている。

このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されない校正方法が望まれており、従来においても幾つかの技術が提案されている。

例えば、特許文献１には、白線格子を校正用ターゲットとし、白線格子の直線度、平行度、直交度、間隔といった車両の停車状態とは無関係な特徴を利用して、複数台のカメラの内部／歪みパラメータ、および外部パラメータを校正する手法が提案されている。

また、特許文献２には、校正用ターゲットと、校正精度評価用ターゲットが一体化したものを使用して校正する手法が提案されている。

特開２０１２−０１５５７６号公報特開２００９−１１８４１４号公報

しかしながら、特許文献１、２は、校正ターゲット内に車両を停車することが必要となっており、工場の生産ラインにおいて、各車両に対して、作業員が車両を校正ターゲット内に停車する作業（コスト）が発生してしまう。

本発明はかかる点に鑑みてなされたものであり、生産ライン上で車両を停車することなく、車載カメラの校正を行うことができる車載カメラ用校正システムを提供することを目的とする。

本発明の車載カメラ用校正システムは、車両に取り付けられ時系列に路面の画像を撮影するカメラと、前記カメラで撮影された画像を時系列に保存するメモリと、前記メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、前記特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、前記特徴点と前記追跡点から前記カメラの校正パラメータを算出するカメラ校正パラメータ算出部と、を具備する構成を採る。

本発明よれば、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めが不要な車載カメラの校正を行うことができる。

本発明の実施の形態１に係るカメラ校正装置の機能構成を示すブロック図メモリに保存されたＮ番目の画像の特徴点のイメージ座標メモリに保存されたＮ＋１番目の画像の追跡点のイメージ座標カメラ校正パラメータを算出するフローチャートメモリに保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換するフローチャート特徴点、追跡点のイメージ座標を世界座標に変換する処理を説明する図移動体の移動量のズレを算出する処理を説明する図本発明の実施の形態２に係るカメラ校正装置の機能構成を示すブロック図移動体の移動量を算出する移動体移動量算出部の処理を説明するフローチャートカメラの相対的な並進行列Ｔと回転行列Ｒから実世界上の移動量を算出する処理を説明する図

（実施の形態１）
以下、本発明の実施の形態について、図面を参照して詳細に説明する。図１は、本発明の実施の形態１に係るカメラ校正装置の機能構成を示すブロック図である。以下、図１を用いて、本実施の形態に係るカメラ校正装置の構成および動作を説明する。

本実施の形態のカメラ校正装置は、車両などの移動体に設置される。このカメラ校正装置は、カメラ１０１の校正を行うものであって、メモリ１０２、特徴点抽出部１０３、追跡点抽出部１０４およびカメラ校正パラメータ算出部１０５を備えている。なお、図１には、車両１０６も示す。

特徴点抽出部１０３、追跡点抽出部１０４およびカメラ校正パラメータ算出部１０５の各部は、カメラ校正装置内のＣＰＵ１０７がＲＯＭ（図示せず）に格納されたプログラムを実行することで実現される。なお、ＣＰＵ、ＲＯＭを用いる代わりにハードウェアで構成された専用回路で各部を実現してもよい。

カメラ１０１は、車両に設置され、車両の移動中に路面を撮像した画像を時系列的にメモリ１０２に保存する。

特徴点抽出部１０３は、図２に示すようなメモリ１０２に保存されたＮ番目の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ１０２に保存する。なお、イメージ座標とは、メモリ上に置かれた画像の左上を原点とする２次元の座標系である。また、特徴点とは、その点を含む所定の範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナ点等が上記特徴点として探索される。

追跡点抽出部１０４は、図３に示すようなメモリ１０２に保存されたＮ＋１番目の画像から特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ１０２に保存する。追跡点の抽出は、the Kanade-Lucas-Tomasi (KLT)などの処理方法を用いて行われる。

カメラ校正パラメータ算出部１０５は、カメラ校正パラメータを算出する。以下、図４を用いてカメラ校正パラメータ算出部１０５が行う処理を詳細に説明する。

まず、初期カメラパラメータ設定処理において（ステップ２０１）、カメラ校正パラメータ算出部１０５は、カメラ取り付け設計値のカメラ角度（パン、チルト、ロール）、カメラ位置を初期カメラパラメータと設定する。

次に、特徴点、追跡点座標変換処理において（ステップ２０２）、カメラ校正パラメータ算出部１０５は、メモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換する。なお、ステップ２０２の処理の詳細については後述する。

次に、移動量ズレ算出処理において（ステップ２０３）、カメラ校正パラメータ算出部１０５は、各特徴点、追跡点の世界座標上の移動量とメモリ１０２に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。なお、ステップ２０３の処理の詳細については後述する。

カメラ校正パラメータ算出部１０５は、一定の範囲でカメラパラメータを変更し、ステップ２０２−２０３の処理を繰り返す（ステップ２０４：ＮＯ、２０５）。

そして、一定の範囲でステップ２０２−２０３の処理を完了すると（ステップ２０４：ＹＥＳ）、カメラ校正パラメータ出力処理において（ステップ２０６）、カメラ校正パラメータ算出部１０５は、移動量のズレを評価値とし、この評価値が最少となるカメラパラメータ（カメラ角度、位置）を、カメラの画像と実際の道路との対応関係を示すカメラ校正パラメータとし、カメラ校正パラメータをカメラ画像校正装置（図示せず）に出力する。

なお、カメラ画像校正装置は、カメラ校正パラメータを用いて、車載モニタ（図示せず）に映る画像を適正に校正する。

次に、図５、図６を用いて、特徴点、追跡点座標変換処理（ステップ２０２）、すなわち、メモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標を、世界座標に変換する処理の詳細について説明する。

なお、世界座標とは実世界上の３次元座標系のことであり、式（１）は世界座標とカメラ座標の関係を示す式である。世界座標とカメラ座標の関係は、回転行列Ｒと並進行列Ｔというパラメータにより決定される。

ステップ３０１において、カメラ校正パラメータ算出部１０５は、入力されたイメージ座標を歪ありセンサー座標に変換する。式（２）は、イメージ座標と歪ありセンサー座標の関係を示す式である。なお、ｘ，ｙ方向の画素ピッチと画像中心は、カメラ内部パラメータとしてメモリ１０２に保存されている値を用いる。

ステップ３０２において、カメラ校正パラメータ算出部１０５は、歪ありセンサー座標を歪なしセンサー座標に変換する。式（３）は、歪ありセンサー座標と歪なしセンサー座標の関係を示す式である。レンズ歪補正係数は、カメラ内部パラメータとしてメモリ１０２に保存されている値を用いる。

ステップ３０３において、カメラ校正パラメータ算出部１０５は、歪なしセンサー座標を世界座標に変換する。式（４）は、歪なしセンサー座標と世界座標の関係を示す式である。式１の回転行列Ｒと並進行列Ｔが既に決定している、および、特徴点、追跡点が路面であるという条件によって、カメラ校正パラメータ算出部１０５は、式（１）と式（４−２）、式（４−４）から式（４−５）にある３次元方程式が導き出され、世界ｘ座標Ｘｗ、世界ｚ座標Ｚｗを算出できる。

このように、図５のフローが実行されることにより、各特徴点、追跡点のイメージ座標は、図６に示すように世界座標の点に変換される。なお、図６では、カメラの光軸の頂点から路面に垂直に落とした点を原点としている。

次に、図７を用いて、移動量ズレ算出処理（ステップ２０３）の詳細について説明する。

カメラ校正パラメータ算出部１０５は、式（５）により、世界座標に変換された特徴点と追跡点からＺ軸方向とＸ軸方向の世界座標上の移動量を算出する。

次に、カメラ校正パラメータ算出部１０５は、式（６）により、各特徴点、追跡点の世界座標上の移動量とメモリ１０２に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。この場合、実際の移動体（車両）の移動量は、車両１０６から取得された移動量に関する情報（車速パルスや舵角情報、車速など）に基づいて計算され、メモリ１０２に保存される。カメラの取り付けにズレがなければ、カメラパラメータを用いて算出した移動量と実際の車両の移動量とのズレは「０」となる。

図７の例では、式（５）、式（６）を使用することにより、特徴点１のイメージ座標（x,y）=（250,350）が特徴点１の世界座標（X,Y,Z）=（500,0,650）に変換され、追跡点１のイメージ座標（x,y）=（270,300）が追跡点１の世界座標（X,Y,Z）=（600,0,900）に変換されている。

以上説明したように、本実施の形態によれば、車両の移動中に撮影された画像上の特徴点と追跡点を用いて実世界上の移動量を算出することにより、カメラ校正パラメータを算出することができるので、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。

（実施の形態２）
本発明は、上述した実施の形態１に限定されず、一部を変更した実施の形態も考えられる。以下、本発明の実施の形態２について、図面を参照して詳細に説明する。

図８は、本発明の実施の形態２に係るカメラ校正装置の機能構成を示すブロック図である。なお、図８に示すカメラ校正装置において、図１に示したカメラ校正装置と共通する構成部分には図１と同一符号を付してその説明を省略する。図８に示すカメラ校正装置は、図１に示したカメラ校正装置と比較して、ＣＰＵ１０７内に移動体移動量算出部８０６を追加した構成を採る。

移動体移動量算出部８０６は、移動体（車両）の移動量を算出する。以下、図９を用いて、移動体移動量算出部８０６の処理の詳細を説明する。

まず、基礎行列の算出処理において（ステップ９０１）、移動体移動量算出部８０６は、対応する特徴点と追跡点のイメージ座標の組（xα,yα), (x’α,y’α),α=1,…,N（≧8）を入力とし、式（７）によりＦ行列を算出する。

次に、カメラの並進行列Ｔ、回転行列算出処理において（ステップ９０２）、移動体移動量算出部８０６は、基礎行列Ｆと焦点距離ｆから、式（８）により、カメラ１０１の相対的な並進行列Ｔ（単位行列）と回転行列Ｒを算出する。

次に、実世界上の移動量算出処理において（ステップ９０３）、移動体移動量算出部８０６は、カメラの相対的な並進行列Ｔと回転行列Ｒから実世界上の移動量を算出する。以下、図１０を用いて、ステップ９０３について詳細に説明する。

まず、移動体移動量算出部８０６は、特徴点のカメラ座標をPi(i=1,2,…,n)から、式９、式１０により、平面の方程式を算出する。なお、特徴点は路面上の点なので、特徴点のカメラ座標Piは、一つの平面上にある。

次に、移動体移動量算出部８０６は、カメラ座標の原点から平面への垂線を計算し、式１１により、交点C0の座標を求める。

ただし、Ｔは単位行列なのでカメラ座標原点と交点C0間の距離は、カメラ高さに等しくない。そこで、移動体移動量算出部８０６は、カメラ座標原点とC1を結ぶ直線を延長し、カメラ高さに等しい点C1を、点と平面の距離の公式（式１２）を用いて算出する。

図１０のC0P₀とC1Q₀は平行なのでQ₀を求めることができる。同様に、Q'₀も求めることができる。移動体移動量算出部８０６は、車両の移動前の点Q₀と移動後の点Q'₀を求め、すべての特徴点のカメラ座標をPi(i=1,2,…n)での移動ベクトルの平均を求めて実世界上の移動量とし、メモリ１０２に保存する。

以上のように、本実施の形態によっても、実施の形態１と同様に、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。

本発明は、カメラにより撮影された画像を用いてカメラの校正を行う車載カメラ用校正システムに用いられる。

１０１カメラ
１０２メモリ
１０３特徴点抽出部
１０４追跡点抽出部
１０５カメラ校正パラメータ算出部
１０６車両
１０７ＣＰＵ
８０６移動体移動量算出部

Claims

車両に取り付けられ時系列に路面の画像を撮影するカメラと、
前記カメラで撮影された画像を時系列に保存するメモリと、
前記メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、
前記特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、
前記特徴点と前記追跡点から前記カメラの校正パラメータを算出するカメラ校正パラメータ算出部と、
を具備する車載カメラ用校正システム。
前記特徴点抽出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより抽出処理を行う、
請求項１に記載の車載カメラ用校正システム。
前記追跡点抽出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより抽出処理を行う、
請求項１に記載の車載カメラ用校正システム。
前記カメラ校正パラメータ算出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより算出処理を行う、
請求項１に記載の車載カメラ用校正システム。
前記カメラ校正パラメータ算出部は、前記特徴点のイメージ座標と前記追跡点のイメージ座標を世界座標に変換することにより前記カメラの校正パラメータを算出する、
請求項１に記載の車載カメラ用校正システム。
前記車両に関する車速情報と舵角情報を取得し、前記車両の移動量を算出して前記メモリに保存する、
請求項５に記載の車載カメラ用校正システム。
前記特徴点抽出部が抽出する特徴点と前記追跡点抽出部が抽出する追跡点から基礎行列を算出し、算出した前記基礎行列から前記車両の移動量を算出する移動体移動量算出部を更に具備する、
請求項５に記載の車載カメラ用校正システム。
前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
請求項６に記載の車載カメラ用校正システム。
前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
請求項７に記載の車載カメラ用校正システム。