JP2017536613A - 自動車両カメラシステムのオンライン較正 - Google Patents

Abstract

本発明は、自動車両（１）のカメラシステム（７）を較正するための方法に関する。少なくとも１つのカメラ（８−１１）がそれぞれ自動車両（１）の環境（２）からカメラ画像（２１−２８）を連続的に生成する。コンピュータデバイス（１２）が、投影（Ｐ）を用いてカメラ画像（２１−２８）から仮想視点からの環境（２）の仮想ビュー（１４）を生成する。走行では、コンピュータデバイス（１２）がそれぞれのカメラ（８−１１）ごとに較正サイクルを少なくとも１回通る。投影（Ｐ）の現在の投影パラメータ（３０）に基づいて、カメラ（９）のカメラ画像（２３，２４）が変換される。それから動きベクトルが決定される。動きベクトルの少なくとも１つの幾何学的特性に関して、基準値が設定される。動きベクトルの少なくとも１つの幾何学的特性とそれぞれの対応する基準値との間の差分から、エラー値が決定される。エラー値に応じて、新たな投影パラメータが決定される（３０）。

Description

本発明は、自動車両用のカメラシステム及びカメラシステムを較正するための方法に関する。カメラシステムは、自動車両の環境からのカメラ画像、したがってビデオ画像から画像シーケンスを生成する少なくとも１つのカメラを有する。カメラシステムのコンピュータデバイスは、少なくとも１つのカメラのカメラ画像から、所定の仮想視点からの環境の仮想ビュー、例えば環境の平面ビューをそれぞれ生成する。

本発明は、魚眼で行われる動き推定と車両が動いている間に１つ以上のカメラにより取得される地面の視点補正された画像フレームとに基づく車両ビデオシステムのオンライン較正のための方法を提供する。方法は、車両動作の方向と地上平面とに対する各カメラの空間的な方向（ピッチ−ヨー−ロール）を推定できる。また、方法は、地上平面に対する各カメラの高さを推定できる。加えて、方法は、ビデオシステムにより生成される仮想平面ビューのスティッチング品質を更に最適化するためにこれらのパラメータの精緻化をもたらすことができる。

仮想ビューを生成するために、各カメラ画像が変換又は投影によって変換される。この投影は、各カメラの空間的な向き又は空間的方向、したがって環境に対するそれぞれのカメラの実際の視点を考慮しなければならない。カメラの空間的な向きは、例えば、その視角、ヨー角、及び／又は、ロール角によって表される。各カメラの空間的な向きが投影の投影パラメータを決定し、この投影パラメータによってカメラ画像が実際の視点から仮想視点へと変換される。これらの投影パラメータは、較正によって各カメラの実際の空間的な向きに適合されなければならない。

自動車両のカメラシステムを較正するための方法が国際公開第２０１２／１３９６３６号パンフレットから知られている。仮想ビューの複数の変換カメラ画像のシーケンスでは、変換カメラ画像で決定される環境の少なくとも２つの特徴の動作軌道が決定される。動作軌道は、平行四辺形に例えられる幾何学的図形をもたらす。この方法によれば、（地上平面及び動作方向に対する）カメラの不正確に調整されるピッチ角、ヨー角、及び、ロール角を補償することができる。

国際公開第２０１２／１３９６３６号パンフレット

本発明は、自動車両カメラシステムにおける各カメラの車両縦軸と地上平面とに対する空間的な向き及びＺ位置（高さ）の較正を行うという目的に基づく。

目的は独立請求項の主題によって解決される。本発明の有利な進展は、従属請求項の特徴によって明らかである。

本発明によれば、自動車両のカメラシステムを較正するための方法が提供される。この場合、以下のカメラシステムが基準として解釈される。カメラシステムの少なくとも１つのカメラはそれぞれ、自動車両の環境からカメラ画像を連続的に生成する。カメラシステムのコンピュータデバイスが、投影によってカメラ画像からそれぞれ、所定の仮想視点からの環境の仮想ビューをそれぞれ生成する。特に、仮想視点は、環境の平面ビュー、したがって鳥瞰的なビューである。各カメラに対して全体的に形成される変換カメラ画像は、全体的なビュー、特に全周ビューに構成又は合成されることが好ましい。特に、平面ビューにより、自動車両を完全に取り囲む自動車両の環境に対する鳥瞰的なビューがもたらされる。仮想ビューは、例えば、表示装置上に、例えばスクリーン上に表示画像として表示され得る。これにより、駐車支援を行うことができる。

本発明に係る方法は以下のステップを含む。コンピュータデバイスが予め設定された動作方向に沿う自動車両の動作を認識する。特に、直線的な車両動作、したがって、直進走行が認識される。動作方向に沿う認識された走行に関して、コンピュータデバイスがそれぞれのカメラごとに較正サイクルを少なくとも１回それぞれ通る。

各較正サイクルにおいて、コンピュータデバイスは以下のステップを行う。投影の現在の投影パラメータに基づいて、それぞれのカメラのカメラ画像のうちの２つが変換される。したがって、各変換カメラ画像は、所定の仮想視点から環境を表す。自動車両が動作を実行するため、２つのカメラ画像は、２つの変換カメラ画像のうちの第１の変換カメラ画像が第２の変換カメラ画像における動作に応じて所定の距離だけシフトされるという点において異なる。しかしながら、実空間内の特徴のみが直動近似に起因して同じ大きさだけ均一にシフトされる。未だ較正されないシステムの視点エラー、したがって仮想ビュー（例えば平面ビュー）に起因して、シフトは、画像全体にわたって測定される画像特徴に関して均一ではない。すなわち、画像特徴の動きベクトルが同一ではない。第１の変換カメラ画像中のそれぞれの１つの画像特徴を第２の変換カメラ画像中の同じ画像特徴に結び付けることにより、動きベクトルがそれぞれもたらされる。したがって、変換カメラ画像に基づいて、複数の動きベクトルは仮想ビューで決定される。この場合、各動きベクトルは、特に、動きの長さ及び／又は動きの方向と、未較正システムの仮想平面ビューの視点エラーとを表す。直線動作においては、それぞれのカメラごとにピッチ角−ヨー角−ロール角を計算するために、側方に適度に離間される少なくとも２つの動きベクトルが必要とされる。実際には、異常値を検出して拒絶できるためには、より多くの動きベクトルが必要とされる。本発明の方法によれば、これらの動きベクトルが同じフレームから得られる。また、これらの動きベクトルを異なるフレームで得ることも実現可能であり、その場合には、各フレームに少なくとも１つの動きベクトルが必要とされる。

動きベクトルの少なくとも１つの幾何学的特性、特に長さ及び方向に関しては、動作方向に応じてそれぞれの基準値が設定される。言い換えると、動作方向に基づいて、動きベクトルがいずれの幾何学的特性を有するべきかが決定される。したがって、動作方向に応じて公称動きベクトル又は基準ベクトルを例えば決定することができる。例えば、基準ベクトルは、公称長さ及び／又は公称方向を有することができる。動きベクトルの少なくとも１つの幾何学的特性とそれぞれの対応する基準値、例えば長さ及び／又は方向のための基準値との間の差から、エラー値が決定される。言い換えると、基準ベクトルからの動きベクトルのずれが決定される。エラー値に応じて、新たな投影パラメータが現在の投影パラメータから決定される。言及されたエラー値は、例えば、絶対誤差の和、二乗誤差の和、又は、同様の方法として形成され得る。例えば、動きベクトルの実際の値と基準値との差がそれぞれの幾何学的特性ごとに形成され得る。

本発明により、仮想ビュー内の動きベクトルに基づいてそれぞれのカメラごとに、投影パラメータを適合させることにより、したがって、新たな投影パラメータを決定することにより、カメラのロール角だけでなく例えば不正確に調整されたピッチ角及び／又はヨー角も補償できるという利点が生じる。ロール角は、用いられる回転方式にしたがってカメラのその光軸周りの又は車両横軸周りの回転位置である。ヨー角は、車両垂直軸周りのカメラの回転位置を表す。ピッチ角は、車両横軸線周りのカメラの回転位置を表す。車両垂直軸（Ｚ軸）、車両縦軸（Ｘ軸）、及び、車両横軸（Ｙ軸）によって、自動車両技術との関連で知られる通常の表記を理解すべきである。自動車においては、Ｘを縦軸として有し且つＹを横軸として有することが典型的であり、この慣習がここで使用される。

言及された投影は、例えば、それが従来から知られるような視点変換であってもよい。コンピュータデバイスは、例えば、コントローラ又は幾つかのコントローラのアセンブリによって或いは自動車両のＤＳＰ（デジタル信号プロセッサ）又は中央プロセッサデバイスによって与えられてもよい。各動きベクトルは、対応する画像特徴に基づいて２つの変換カメラ画像の画像対で決定され得る。そのような画像特徴を検出して互いに関連付けるために、例えば、ＳＩＦＴアルゴリズム（ＳＩＦＴ−スケール不変特徴変換）又はＳＵＲＦアルゴリズム（ＳＵＲＦ−高速化ロバスト特徴）を与えることができる。そのような特徴検知・マッチングは、第１の変換カメラ画像からのそれぞれの１つの画像特徴と第２の変換カメラ画像からの画像特徴との特徴対を与え、この場合、画像特徴は互いに光学的に対応する。好ましくは、ＳＩＦＴ又はＳＵＲＦのような特徴検出器の代わりに、対象の２つのフレーム間の所定数の画像ブロック（グリッド上の配列）の直接相関を行って、動き場内の局所的な傾向から閾値を超えて逸脱する動きベクトルを拒絶することができる。これは、特徴検出器を使用して次のフレーム内で一致され得る良好な特徴が画像中に現れるのを待つのとは根本的に異なる手法である。このトラッキング方法は、原理的には、ビデオ圧縮のために使用される動き推定に非常に類似している。このことは、ＳＩＦＴ又はＳＵＲＦ（及び多くの他のもの）などの高度な特徴検出器を使用して特徴を一致させることができず、それが行き過ぎであることを意味するものではない。これは、仮想平面ビューが一致されたブロックに対して所要のシフト及びスケール不変性を（ある許容範囲まで）自動的にもたらすからである。しかしながら、トラッキング性能を向上させるために、それらのブロックを一致させる前に２つの仮想平面ビューでラプラシアン・オブ・ガウシアン又はガウシアン差分などの帯域通過フィルタを実行できる。これは、微光状態及び／又は悪天候状態で実質的な改善を与える。

好ましい実施形態では、少なくとも１つのカメラの少なくとも１つの空間的方向、特にピッチ角（ピッチ）及び／又はヨー角（ヨー）及び／又はロール角（ロール）が、投影パラメータ、特に新たな投影パラメータによって表される。

これに加えて又は代えて、自動車両におけるカメラの設置高さが、投影パラメータ、特に新たな投影パラメータによって表される。空間的方向及び／又は設置高さが新たな投影パラメータとして較正される又は適合されることにより、自動車両の動作方向に対応する画像特徴の画像動作が仮想ビューで生じる。特に自動車両の直進走行に関して、仮想ビュー内のピクセルは、一直線に、特に表示画像のエッジとエッジ平行に移動し、すなわち、表示装置を横方向に又は斜めに横切って移動しない。

一実施形態では、少なくとも１つのカメラが走行地面を環境として取得し、また、動きベクトルが走行地面のテクスチャに基づいて決定される。これにより、角、輪郭、又は、縁部などの特別な画像特徴とは無関係に方法を成すことができるという利点が生じる。その結果、状況とは無関係に動きベクトルを形成できる。

一実施形態では、カメラごとの複数の動きベクトルが仮想ビューで決定される。このため、各変換カメラ画像を互いに隣接する又は重なり合う画像ブロックのマトリクスへと分割できる。それぞれの画像ブロックごとに動きベクトルが決定される。これにより、変換カメラ画像全体にわたって分布して配置される複数の動きベクトルに基づいてエラー値が決定されるという利点が生じる。これにより、エラーは、統計的にロバスト性がより高くなる。統計的な異常値を補償することもできる。なお、ピッチ角−ヨー角−ロール角を計算するために、少なくとも２つの動きベクトルは、側方に離間される変換画像の同じ対又は異なる対から得られる。

一実施形態では、エラー値が各較正サイクルで繰り返し減少される。このため、エラー値に応じて、各繰り返しにおいて所定のコスト関数により中間投影パラメータが決定される。コスト関数は、エラー値のための計算規則である。中間投影パラメータは、例えば、コスト関数の数学的な微分に基づいて決定され得る。数学的な微分は、投影パラメータのための勾配を決定するために使用可能であり、それにより、例えばガウス−ニュートン方法などの反復最適化方法をそれ自体知られる態様で行うことができる。問題を過剰決定体系の線形方程式として定式化して線形最小二乗技術を解くこともできる。中間投影パラメータに基づき、投影によって新たに変換することにより、すなわち、再投影することにより、仮想ビュー内の動きベクトルが適合され又は新たに方向付けられる。本明細書では、特に動きベクトルのみが投影される。すなわち、カメラ画像の新たな投影と動きベクトルの再計算とを省くことができる。

これは計算能力を節約する。これにより、反復が終わらされる。エラー値が所定の最適化基準を満たすまで反復が繰り返される。例えば、最適化基準は、エラー値が所定の最大値よりも小さくなければならないこと、又は、エラー値が所定の最小変化よりも小さい前の反復に関連する値分だけ変化してしまったことを事前に設定できる。この実施形態により、２つのカメラ画像のみに基づいて最適化基準の観点から最適な新たな投影パラメータを決定できるという利点が生じる。

一実施形態では、複数の動きベクトルが例えば前述の態様で決定される。動作方向に沿う走行として、自動車両の直進走行、したがって直線的な動作が認識される。これにより、特に簡単に且つ確実にチェックされ得る及び／又は最適化され得る動きベクトルの幾何学的特性が有利に生じる。幾何学的特性として、動きベクトルが互いに平行である及び／又は仮想ビューの画像エッジに対して平行である及び／又は同一の長さであるかどうかがチェックされる。自動車両の直線動作により、これらの幾何学的特性は、ロール角、ヨー角、及び／又は、ピッチ角に関して各カメラを較正するのに十分である。

自動車両の直線動作において前述の幾何学的特性をチェックするために、特に好ましい実施形態が存在する。ここで、車両横軸と平行に方向付けられる各動きベクトルのｙ成分に関して、ｙ基準値ゼロが設定され、また、車両縦軸と平行に方向付けられるｘ成分に関して、動きベクトルのｘ成分の全ての平均値がｘ基準値として設定される。差分二乗和がエラー値として形成される。差分は、一方ではｙ成分の実際の値とｙ基準値との間で計算され、また、前述の態様では、ｘ成分の実際の値とｘ基準値との差である。これにより、最適化基準にしたがった前述の反復最小化をエラー値を用いて特に計算的に効率的に行うことができるという利点が生じる。同時に、全ての方向ベクトルが同一の長さで走行方向と平行に向けられることが達成される。

一実施形態では、それぞれのカメラの画像シーケンスから２つのカメラ画像を選択するために、２つのカメラ画像のうちの第１のカメラ画像と２つのカメラ画像のうちの第２のカメラ画像との間で画像シーケンスの少なくとも１つのカメラ画像がスキップされる。これにより、少なくとも１つの方向ベクトルが最小長さよりも大きいベクトル長さを有するという利点が生じる。この実施形態は、特に、最小速度よりも小さい自動車両の走行速度で行われる。最小速度は特に２ｋｍ／ｈ〜２５ｋｍ／ｈの範囲内である。自動車両の走行速度が所定の速度区間にある場合にだけ較正サイクルが行われるようにすることができる。速度区間は、例えば、１０ｋｍ／ｈ〜３０ｋｍ／ｈ、特に１５ｋｍ／ｈ〜２５ｋｍ／ｈである。主に、ゼロよりも大きい速度からであることを除き制約はない。

複数の動きベクトルがカメラごとに決定される場合には、一実施形態において、少なくとも１つの動きベクトルが異常値として削除される。動きベクトルは、エラー値に対する入力又は寄与度が動きベクトルにおける所定の最大値又は最大部分よりも大きい場合に異常値として分類される。これに加えて又は代えて、動きベクトルは、該動きベクトルがその直ぐ近傍の残りの動きベクトルに関する類似性基準に違反する場合に異常値として分類される。隣接するベクトルのみと比較すべきである。較正されない仮想ビューの視点歪みは、遠い動きベクトル間に大きなずれを必然的に引き起こす。好ましくは、コスト関数では平坦な地面が想定される。不均一な地面（縁石を含む）は実際に較正においてエラーを注入し、したがって、エラーが生じるときにエラーを検出してそれを切り捨てるための機構を使用すべきである。しかしながら、地面が平坦であるが傾斜されるときには、それを傾斜していない地面から区別することができない。殆どの場合、そのようなエラーは、複数の較正サイクルにわたって必然的に平均化される。平坦でない地面（縁石など）のための検出機構は、異なる地面高さにある動きベクトルの長さの急激な変化を検出するようになっている。較正されないシステムの視点エラーは、動きベクトルの均一な長さ変化を引き起こすが、縁石は検出可能な鋭い変化を引き起こす。なお、ベクトル長さは、較正されたシステムにおいて物体高さに直接に関連する。それは、より高い地面が、見かけ上、より大きい動き、したがって、より長い動きベクトルを仮想平面ビューで与えることを意味する。

一実施形態では、複数の較正サイクルがカメラごとに行われる。それぞれの較正サイクルごとに、新たな投影パラメータがそれぞれ決定される。異なる較正タイプから、対応する新たな投影パラメータがそれぞれの平均化された投影パラメータに組み合わされる。例えば、これは再帰的平均化（移動平均）によって行われ得る。言い換えると、投影パラメータが平滑化される。再帰的平均化は、例えば、ＭＲフィルタ（ＭＲ−無限インパルス応答）、例えば指数関数的に減少するインパルス応答として実現されるフィルタを用いて可能である。平均化された投影パラメータは、基準として、次の較正サイクルでそれぞれ投影の現在の投影パラメータとして解釈される。これにより、較正が素早く収束するという利点が生じる。加えて、投影パラメータを決定する際の推定エラーが補償される。

一実施形態では、複数の較正サイクルが行われ、また、較正サイクルのうちの１つのエラー値と少なくとも１つの前の較正サイクルのそれぞれのエラー値とから、平均エラー値が決定される。平均エラー値が所定の閾値よりも大きい場合にのみ新たな投影パラメータが決定される。そうでなければ、較正サイクルは、新たな投影パラメータ決定されずに終了される。これにより、較正のためのトリガ機能が得られる。例えば、カメラ画像のそれぞれの１つの対ごとにエラー値を複数回決定することができ、それにより、エラー信号を連続的に与えることができる。エラー信号がトリガ値又は閾値を超える場合、平均エラー値が再び閾値を下回って減少されてしまうまで新たなパラメータ値を決定することによって実際の較正が行われる。この場合、ヒステリシス閾値を与えることもできる。

既に説明したように、複数のカメラがカメラ画像を生成できる。複数のカメラの変換カメラ画像は、その後、全体ビューに、特に全周ビューに組み合わせられ又は合成され得る。複数のカメラがそれぞれカメラ画像を生成する一実施形態では、各カメラに形成される動きベクトルが互いに一致される。実際には、全てのカメラから同時に得られる全ての動きベクトルは、各カメラのピッチ−ヨー−ロールエラーが補償されてしまった後に同じ長さを有するはずである。これは、それらの動きベクトルが同じ量の直線動作を表すからである。この情報を使用して、各カメラの高さを協働で調整し、全てのカメラにおいて等しい長さの動きベクトルを得ることができる。この技術は、車両のシャーシに装着されるカメラの既知の固定された空間位置を考慮に入れて、シャーシを４つのサスペンションポイントから回転させる又は上昇させることによってカメラがその位置から制約された態様で外れることができるようにする−これは実際に起こることである。車両又は単一のカメラシステムにおけるカメラ位置の従前の知識を伴うことなく較正するために、ＣＡＮバスやＦｌｅｘＲａｙバスで出される車両速度などの、他のセンサからの車両動作の大きさの独立した測定値を使用することができる。その測定値から、カメラ高さが補正された動きベクトルの予期される長さを計算して、任意のエラーを補償できる。マッチングは、カメラのうちの少なくとも１つの投影パラメータとしての設置高さを調整することによって行われる。一実施形態では、全てのカメラにおける動きベクトルが一致するまで又は最大限でも所定の許容値内で異なるまで、２つのカメラ間の相対的な設置高さが調整される。一実施形態では、カメラのうちの１つがその後に完全に較正される。このため、自動車両の走行速度に応じてカメラの絶対設置高さが決定される。走行速度に応じて、動きベクトルのベクトル長のための基準値をこのカメラに関して決定できる。例えば、走行速度は、自動車両の通信バス、特にＣＡＮバス（ＣＡＮ−コントローラ・エリア・ネットワーク）を介して決定され得る。また、絶対設置高さが各カメラにおいて前述の態様で決定されるようにすることもできる。

以下には３つの可能性が記載され、それぞれの可能性は、本発明の一実施形態を与え、特に、投影パラメータの反復較正が２つのカメラの変換カメラ画像を適合させることができるようにする。第１及び第２のカメラがカメラ画像を生成する。２つのカメラの変換カメラ画像で、重なりエラー値が決定される。第１及び／又は第２のカメラのための新たな投影パラメータが重なりエラー値に応じて決定される。３つの記載される実施形態が、重なりエラー値の以下の異なる計算によって生じる。

別の実施形態では、第１のカメラの変換カメラ画像と第２のカメラの変換カメラ画像とに基づいて少なくとも１つのカメラ間動きベクトルが決定される。言い換えると、第１のカメラの変換カメラ画像におけるカメラ間動きベクトルの始点と、第２のカメラの変換カメラ画像におけるカメラ間動きベクトルの終点とが決定される。少なくとも１つのカメラ間動きベクトルの少なくとも１つの幾何学的特性に応じて重なりエラーが形成される。特に直進走行では、幾何学的特性として、カメラ間動きベクトルが自動車両の動作方向と平行に向けられるかどうかがチェックされる。

別の実施形態では、変換カメラ画像の重なり領域内において、画像ブロックが第１のカメラの変換カメラ画像で決定される。画像ブロックは、特徴検出により検出された画像特徴が位置される画像領域である。第２のカメラの変換カメラ画像では、対応する画像ブロックが決定される。言い換えると、第２のカメラの変換カメラ画像内の画像ブロックが再び検出される。画像ブロックは特にテクスチャブロックである。それに対応して特徴は特定のテクスチャである。重なりエラー値は、２つの画像ブロックの距離に応じて決定される。このブロックマッチングにおいて、重なりエラー値は、距離が減少されるように新たな投影パラメータによって減少される。

別の実施形態では、重なり領域内において、重なり領域内の第１のカメラの変換カメラ画像と第２のカメラの変換カメラ画像とから、比較値が生成される。比較値が例えば相関値であってもよい。例えば、２つの変換カメラ画像の重なり領域内のピクセルの輝度値を互いから差し引くことができ、差分の平方の和を形成できる。比較値に応じて重なりエラー値が決定される。特に、比較値が重なりエラー値として使用される。これにより、重なり領域内のテクスチャ相関に基づいて新たな投影パラメータが決定される。

自動車両用のカメラシステム、すなわち、自動車両用のカメラ装置も本発明と関連付けられる。カメラシステムは、自動車両の環境のカメラ画像から画像シーケンスをそれぞれ生成するための少なくとも１つのカメラを有する。好ましくは、複数のカメラが設けられる。また、投影を用いてカメラ画像から、所定の仮想視点からの環境の仮想ビュー、特に環境の平面ビューをそれぞれ生成するようになっているコンピュータデバイスが設けられる。特に、コンピュータデバイスが、各カメラのそれぞれの１つのカメラ画像に基づいて変換カメラ画像を生成して、変換カメラ画像を全体ビューに、特に全周ビューに結び付けるようになっている。本発明に係るカメラシステムは、カメラ画像から生成される仮想ビューを表示するため、したがって変換カメラ画像を表示するための表示装置を更に有する。特に、変換カメラ画像から構成される全体ビュー、好ましくは自動車両の平面ビューが生成されて表示される。本発明に係るカメラシステムにおいて、コンピュータデバイスは、本発明に係る方法の一実施形態を実行するようになっている。

更に、本発明に係るカメラシステムの一実施形態を伴う自動車両が本発明と関連付けられる。本明細書では、好ましくは、カメラシステムが複数のカメラを有するとともに、カメラのうちの第１のカメラの取得範囲が自動車両の近傍の第１の側方領域へ方向付けられ、カメラのうちの第２のカメラの取得範囲が自動車両の近傍の第１の側方領域とは反対側の第２の側方領域へ方向付けられ、カメラのうちの第３のカメラの取得範囲が自動車両の前の前方領域へ方向付けられ、カメラのうちの第４のカメラの取得範囲が自動車両の背後の後方領域へ方向付けられるようになっている。好ましくは、カメラシステムは、各カメラのそれぞれの１つのカメラ画像からそれぞれの変換カメラ画像を生成するようになっている。そのように生成された変換カメラ画像は、全周ビューに、特に平面ビューに関連付けられる。すなわち、全周ビューが変換カメラ画像から生成される。全周ビューは表示装置を用いて表示される。表示装置は、例えば、自動車両の中央コンソール又はダッシュボードのための例えばスクリーンであってもよい。

以下、本発明の一実施形態について説明する。

本発明に係る自動車両の一実施形態の概略図である。 図１の自動車両のカメラシステムにより生成された較正前の仮想平面ビューの表示画像の概略的な例示である。 カメラシステムの較正後の図２の平面図である。 本発明に係る方法の一実施形態のフロー図である。 カメラシステムのカメラのカメラ画像からの動きベクトルである。 較正後における図４の動きベクトルである。

以下に説明される実施形態は、本発明の好ましい実施形態である。しかしながら、実施形態において、該実施形態の記載される構成要素はそれぞれ、互いに切り離して考慮されるべき発明の個々の特徴を表し、これらの特徴もそれぞれ、互いに独立に発明を生み出し、それにより、個々の態様において又は示される組み合わせ以外において発明の構成要素とも見なされ得る。また、記載される実施形態を既に記載された発明の更なる特徴によって補うこともできる。

図中、機能的に同一の要素にはそれぞれ、同一の参照符号が与えられる。

図１は、自動車、特に乗用車であってもよい、自動車両１を示す。図１に示される例では、自動車両１が環境２にわたって走行できる。例えば、自動車両１は、道路であってもよい走行地面３上にわたって進行又は走行できる。図１には、道路の車道境界線４が典型的に例示される。自動車両１は、走行地面３上を前進走行方向５に沿って走行できる。この例では、自動車両１が直線的な車両動作６を行うものとする。

自動車両１はカメラシステム７を有することができる。カメラシステム７は、１つ以上のカメラ８，９，１０，１１を有することができる。図示の例では、カメラ８が前方カメラであってもよく、カメラ９，１０がそれぞれ側方カメラであってもよく、また、カメラ１１が後方カメラであってもよい。各カメラ８，９，１０，１１は例えばビデオカメラであってもよい。例えば、各カメラ８、９、１０、１１はそれぞれ、赤外線画像カメラ、白黒カメラ、又は、カラー画像カメラとして構成され得る。各カメラ８，９，１０，１１を例えばコントローラによって実現され得るコンピュータデバイス１２に結合させることができる。コンピュータデバイス１２は、各カメラ８，９，１０，１１のそれぞれの画像データを受けるようになっていてもよい。コンピュータデバイス１２は、例えば自動車両内部に、例えば中央コンソール上又はダッシュボード上に配置され得る例えばスクリーンであってもよい表示装置１３に結合され得る。コンピュータデバイス１２は、該コンピュータデバイス１２が表示装置１３で表示できるカメラ画像から表示画像１４を生成するようになっていてもよい。

例えば、表示画像１４が自動車両１の仮想平面ビュー１５を示すようにすることができる。このため、自動車両１の画１６を表示画像１４で表示することもできる。表示画像１４は、移動画像、したがって、ビデオシーケンス又は画像シーケンスであってもよい。

仮想平面ビュー１５は、以下のようにカメラシステム７内で生成され得る。各カメラ８，９，１０，１１のそれぞれの画像取得範囲又は簡単に言えば取得範囲１７，１８，１９，２０を環境２内へと向けることができる。特に、各取得範囲１７，１８，１９，２０は、各カメラ８，９，１０，１１がそれぞれの実際のカメラ視点から、例えば２０センチメートル〜１５０センチメートルの範囲内の設置高さから走行地面３をその連続カメラ画像２１，２２，２３，２４，２５，２６，２７，２８の状態で撮像するように走行地面３へと向けられ得る。取得範囲１７，１８，１９，２０は、対を成す重なり領域Ｏを有することができる。

以下では、明確にするために、カメラ９のカメラ画像２３，２４のためのコンピュータデバイス１２による画像処理についてのみ説明する。これに対応して説明は残りのカメラ８，１０，１１にも当てはまる。カメラ画像２３，２４は、投影Ｐによって変換され又は視点が歪められる。投影Ｐは、走行地面３がカメラ９の視点から表されずに仮想平面ビュー１５の所望の予め設定された視点から、したがって自動車両１の上側又は頂上の視点から表されるように各カメラ画像２３，２４を歪めるようになっている。そのような投影は、例えば、変換によって、特に変換行列を用いて行われ得る。また、記載された投影のための別の表記は、修正又は幾何学的歪み又は等化である。そのような投影を行うための方法は、それ自体従来技術から知られている。

カメラ画像２３，２４から、変換カメラ画像２３’，２４’がそれぞれ投影Ｐにより生成される。変換カメラ画像２３’，２４’及びカメラ８，１０，１１の対応する変換カメラ画像は合成ユニット２９へ転送され得る。合成ユニット２９は、対応するカメラ画像、つまり、同じ時点に又は所定の時間間隔内で取得されてしまったカメラ画像を合成するようになっていてもよい。投影Ｐ及び合成装置２９は、例えば、コンピュータデバイス１２のプログラムモジュールとして与えられ得る。

この例では、変換カメラ画像２３’をどのようにしてスーパーインポーズ又はスティッチングにより仮想平面ビュー１５にマッチングする対応する変換カメラ画像２１’，２５’，２７’と合成できるのかが示される。最後に、自動車両１の画１６を加えることもできる。その後、完成した表示画像１４を表示装置１３を用いて出力することができる。変換カメラ画像２１’，２３’，２５’，２７’は、取得範囲１７，１８，１９，２０の重なり領域Ｏに対応する対を成す重なり領域Ｏを有することができる。

表示画像１４が現実的な平面ビュー１５を与えるようにするためには、カメラ８，９，１０，１１の幾何学的配置、特に幾何学的方向が互いに一致されなければならない。また、各カメラ８，９，１０，１１は環境２内への正しい向きを有していなければならない。これは、表示画像１４内で認識できる物体の動きが実際の車両動作６に対応するからである。投影Ｐ（カメラ９の場合）及び残りの投影（図示せず）に関する投影パラメータ値３０を調整する又は較正することによってカメラ８，９，１０，１１の幾何学的方向におけるエラーを各カメラごとにそれぞれ行うことができる。

図２は、表示画像１４を、カメラ８，９，１０，１１の幾何学的方向におけるエラーが補償されない場合にそれが生じ得るように示す。表示画像１４が示される。表示画像１４は、典型的には、変換カメラ画像２１’，２３’，２５’，２７’から形成される。コンピュータデバイス１２により、図２及び図３では明確にするためにその一部のみに参照符号が与えられる、互いに隣接する又は互いに重なり合う画像ブロック３２のマトリクス又はグリッドパターン３１を、表示画像１４中のそれぞれの変換カメラ画像２１’，２３’，２５’，２７’ごとに形成することができる。それぞれの画像ブロック３２ごとに、それぞれのカメラ８，９，１０，１１により時間的に連続して生成される２つのカメラ画像２１〜２８から動きベクトル３３が更に生成された。明確にするため、先と同様に、動きベクトルの一部のみに参照符号が与えられる。

２つの時間的に連続して取得されるカメラ画像又は変換カメラ画像からの動きベクトルの生成は、それ自体例えば国際公開第２０１２／１３９６３６号パンフレットに記載される従来技術から知られている。動きベクトル３３は、特に、変換カメラ画像２１’〜２７’中の撮像された走行地面３のテクスチャ３４に基づいて形成され得る。図２では、動きベクトル３３が自動車両１の走行方向６に沿う直進走行で生じ、その動きベクトルの方向は走行方向６と平行に向けられない。また、長さが異なる動きベクトル３３が生じ得る。

図３には、表示画像１４が、それがカメラシステム７の較正後に生じるように示され、すなわち、所望の投影パラメータ値３０を伴って示される。方向ベクトル３３は、走行方向６と平行に向けられて、長さが同じである。動きベクトル３３の評価では、個々の動きベクトルを異常値３５として切り捨てることができる。図２及び図３では、幾つかの異常値３５のみにそれぞれ参照符号が与えられる。異常値３５は、走行地面３が例えば不均一である場合に生じる。

投影パラメータ値３０は例えばカメラ９の設置高さを特定し得る。投影パラメータ値３０は、例えば、カメラ９のロール角及び／又はピッチ角及び／又は傾き角度を特定することもできる。カメラシステム７の較正のための投影パラメータ値３０を決定するために、図４に示される方法を行うことができる。

提案される方法は、ほぼ直線的な動作及び非旋回を必要とするとともに、大部分の状況下で必然的に生じる地表面上の僅かなテクスチャを必要とする。他の方法とは異なり、提案される方法は、角、輪郭、又は、縁などの任意の特定の対象特徴が画像に存在すること、又は、複数のフレームにわたるそのような特徴のトラッキングを要しない。必要とされる条件が与えられると、方法は、２つの連続するビデオフレームから同時に１つ以上のカメラを較正することができる。なお、実際には、不均一な地面又は車両動作における振動に起因する非恒久的な変化をフィルタ除去するために、現在の較正がＮ個の前の較正の指数関数的に加重された平均として維持される。競合する方法は、それらの精度又は較正のための全時間を引き合いに出さないが、本方法は、それが信頼できる較正を非常に迅速にもたらすことができるため、競合する方法よりも速度及び精度が優れていると見込まれる。

以下のステップは、コンピュータデバイス１２に内部制御をもたらす。

Ｓ１．４つのカメラ画像の魚眼・視点補正及びスティッチングを行って、全てのカメラの恒久的な固有の現在の外部較正が与えられる単一の仮想平面ビューを得る（各カメラの回転及び／又は高さにおけるエラーに対する非常に高い許容範囲を伴う）。これは、一対の仮想平面ビューを得るために全てのカメラの２つの連続するフレームに関して行われる。

画像補正は、予め計算されたルックアップテーブルを用いて行われてもよく、また、画質及びトラッキング性能を向上させるためにアンチエイリアシングフィルタを組み入れてもよい。生成されるビューのズームレベル（１ピクセル当たりの実世界単位）は、トラッキング性能を最適化するために速度及び／又は照明及び環境条件に動的に適合されてもよい。加えて、フレームは、次のステップで得られる動きベクトルの有効長、したがってＳＮＲを増大させるために非常に低い速度でスキップされてもよい。

Ｓ２．随意的に、帯域通過又は高域通過空間フィルタリングを用いて仮想平面ビュー画像の画質を高めて、困難な環境や照明条件でトラッキング性能を向上させる。

Ｓ３．一対の仮想平面ビュー画像中の対象領域（カメラごとに１つのＲＯＩ）内の隣接する又は重なり合うブロックのグリッドに関して動き推定を行って、それぞれのカメラごとに動きベクトルを得る。これらのブロックのピクセル強度の分散が何らかの閾値を下回る場合には、幾つかのブロック又は全てのブロックに関してブロックマッチングが試みられなくてもよい。すなわち、ブロックは、画像中の非常に暗い部分又は露出過度部分などのテクスチャがない表面を表す。ブロックマッチングは、ビデオ圧縮のための動き推定においても使用される典型的なブロックマッチングアルゴリズム（ＢＭＡ）を用いて達成されてもよく、また、より効率的な検索予測のためにＣＡＮバスからの走行距離計測データを用いて支援されてもよい。１つのフレーム内の基準ブロックのピクセルと次のフレーム内の所定の検索領域のピクセルとの間で典型的なブロック類似性測度（ＢＤＭ）、例えば差分絶対値和（ＳＡＤ）又は差分二乗和（ＳＳＤ）などが使用されてもよい。

Ｓ４．動き場の局所的な空間的均一性に基づく明らかな異常値を拒絶する。すなわち、何らかの類似性測度にしたがってそれらの隣り合うものから何らかの許容範囲を超えて逸脱する動きベクトルを切り捨てる。我々は、移動物体、高さを有する物体、又は、不均一な地面などの偽りの物体の偽の一致に起因して或いは真の一致に起因して生じる任意の不整合ベクトルを「異常値」として規定する。

Ｓ５．地上平面上の動きベクトルの簡単な幾何学的特性から導き出されるコスト関数を介して各カメラの現在の較正品質を独立して評価する。好ましくは、これらの幾何学的特性は、車両旋回を検出するために関連するＣＡＮ信号を介して又は動きベクトルの付加的な処理によりアルゴリズムに合わせて示され得る直線的な車両動作を満たす。

ミラーカメラから回転量を検出するための簡単な発見的方法が、動きベクトルｙ成分及びそれらの画像上での水平位置（又は同等にグリッド上におけるそれらの列番号）から得られるデータポイントに対して１つのラインを適合させるようになっている。このラインの傾きは、車両旋回の大きさを表す。

直線的な車両動作において、完全に較正されたシステムは、視点歪みがない動きベクトル、すなわち、画像走査線と平行で且つ全てのカメラ間で等しい長さの動きベクトルを仮想平面ビューでもたらすはずである（図６）。すなわち、全ての動きベクトルの絶対ｙ成分の和及び絶対ｘ成分の分散はいずれもゼロになるはずである。また、これは、ゼロ及び平均値のそれぞれからの残差平方和（ＳＳＥ）として表すこともでき、また、平均二乗誤差（ＭＳＥ）又は二乗平均平方根誤差（ＲＭＳＥ）などの派生形を成してもよい。

図５及び図６は、視点が歪まされた動きベクトル（図５）と歪まされない／較正された動きベクトル（図６）とを対比して示す。重み｛Ｗ１，Ｗ２，Ｗ３，…，Ｗｎ｝を伴う一組の動きベクトル｛Ｖ１，Ｖ２，Ｖ３，…，Ｖｎ｝においては、

により、ｘ成分Ｘｉの加重平均

が

である。

最小にされるべき二乗誤差の和は

である。

また、二乗平均平方根較正誤差は

である。

このエラーが低ければ低いほど、較正が良好となり、また、暗に仮想平面ビューのスティッチング品質も良くなる。実際には、このエラーは、様々な根源からのノイズを組み込み、したがって、シミュレートされた理想的な条件を除いて決して絶対ゼロになり得ない。

較正エラーは、較正プロセスの自己診断及び起動のためにカメラごとに現在の較正品質の安定した表示を得るべく、逆にされ、特定の範囲（０〜１００）に正規化され、及び、指数関数的移動平均ＭＲフィルタを介してフィルタリングされる。フィルタの平滑化係数は、較正トリガの感度を決定する。この信号は、それが何らかのヒステリシス閾値を下回るまで連続的に監視され（繰り返しステップＳ１〜Ｓ５）、その場合、較正プロセスは、次のステップで開始されて、品質が何らかの満足できるレベルに達するまで繰り返される。

なお、較正品質は、較正結果（後述）及びそれ自体の両方において適用される指数関数的な平滑化に起因して、複数の較正サイクルにわたって定常状態へと漸近的に収束する。実際には、正しい条件が与えられると、フレームのそれぞれの対ごとに１つの較正をもたらすことができるシステムの能力に起因して、定常状態が非常に迅速に得られる。

Ｓ６．較正エラーを評価するために前のステップで使用されたものと同様のコスト関数を最小にすることによって各カメラの方向（ピッチ−ヨー−ロール）を独立して較正する。最適化は、地上平面上へ再投影される動きベクトルの残差平方和を最小にすることによって最小二乗の意味で行われる。ローリングシャッターの効果をなくすために、空間オフセットへ変換される時間遅延がコスト関数の計算に組み入れられてもよい。

Ｓ７．更なる処理のために各カメラの較正された方向を使用して全ての動きベクトルを地上平面上へ再投影する。なお、我々は既存のベクトルに対して直接に較正補正を適用できるため、仮想平面ビューもブロックマッチングされる動きベクトルもこの段階で再計算する必要がない。画像処理は、各較正サイクルの開始時にのみ行われる。

Ｓ８．高さを伴う縁石又は他の大きい物体の存在を画像中で検出するために、再投影された動きベクトルの成分の残留誤差及び統計的分布又はクラスタリングを調べる。そのような物体は、全てのベクトルが地上平面上にあるという仮定に起因して較正の精度を低下させ得る。検出が肯定的であれば、動きベクトルの組の全体を切り捨てて、新しいフレームを用いてステップ１からやり直す。或いは、支配的なクラスタを維持して、次のステップに進む。

なお、ステップ６からの較正結果は、画像中の縁石又は同様の物体の存在によって必然的に影響される。画像を２つの半画像へ分ける直線状の縁石の場合、動きベクトルのバイモーダルクラスタリングをある程度まで弱める車両縦軸（動作方向）周りのカメラ回転において主に較正エラーが表出される。殆どの場合、これは検出を妨げない。或いは、縁石又は激しい道路のそりの効果をなくすために、より高度なコスト関数が使用されてもよい。そのようなコスト関数は、動きベクトルの残差誤差を計算する際に地表面のための曲率モデルを組み入れてもよく或いは２つの異なる地上レベルを想定してもよい。

Ｓ９．散発的な異常値を更に減らすために、残りのベクトルのためのコスト関数を再評価して、ある閾値を上回る残差誤差を与えるものを除去する。ステップＳ６において較正を繰り返した後、次のステップに進む。或いは、使用できるベクトルの数がある閾値を上回ったままであれば、それ以上異常値を除去できなくなるまでステップＳ６、Ｓ７、（Ｓ８）、及び、Ｓ９を繰り返す。或いは、異常値拒絶ステップ（Ｓ４）で又は較正中（Ｓ９）に異常値を何ら除去することなく完全ＲＡＮＳＡＣ（ランダムサンプルコンセンサス）アルゴリズムを使用できる。加えて、各ブロックが２つ以上の動きベクトルを潜在的にもたらす場合には、ブロックマッチングステップ（Ｓ３）からの複数の相関ピークを独立した観測結果としてＲＡＮＳＡＣに組み入れることができる。

Ｓ１０．ＣＡＮバスやＦｌｅｘＲａｙバスで出される車両速度又は車輪ＲＰＭ（回転／分）などの他のセンサからの走行距離計測データを用いて各カメラの絶対高さを独立して計算する。或いは、そのようなデータが利用できない又は不正確であれば、カメラが車両シャーシ（剛体）に装着されること、及び、カメラの動きがサスペンションからの車両シャーシの動きによって制約されることを考慮することによって、公称デフォルトカメラ高さからのオフセットを計算する。なお、各カメラの方向を較正することは、カメラの高さの従前の知識を必要としないが、その一方で、高さを較正することは、方向の正確な知識を必要とする。

Ｓ１１．不均一な地面又は未検出異常値に起因する観測雑音、車両振動、及び、一時的効果を抑制するために、較正された外部値に指数関数的平滑化を適用する。較正結果が何らかの妥当な許容範囲内にあるようにするために最終的な健全性チェックが行われてもよい。フィルタリングされた値は、次の較正サイクルの初めに及び全てのその後の処理で画像補正のために現在の較正として使用されるようにシステムへ供給される。

なお、それぞれの較正サイクルの開始時に、仮想平面ビューが最後の較正の結果から更新される。したがって、較正が定常状態へ漸近的に収束するまで視点エラーが次第に減少される。また、各サイクルにおける改善された画像補正は、マッチングされたブロックのより高い類似性に起因してブロックマッチング性能も向上させる。

前述のアルゴリズムは、殆どの用途において十分な較正精度を与えるが、このアルゴリズムは、カメラ間の重なり領域付近における又は重なり領域における画像データを考慮することによって仮想平面ビューのスティッチング精度を更に最適化するようになっていてもよい。これらの領域における異なる視点及び有効分解能の低下は、ブロックマッチングをより困難にする。しかしながら、アルゴリズムの第１の部分から得られる較正結果は、提案される方法に対して非常に良好な開始点を与える。このシナリオでは、中波細部を高めて騒音を抑制するために補正画像をフィルタリングすることがブロックマッチング性能を十分に向上させてもよい。

説明の実施では、カメラ高さ、回転、及び、潜在的にＸ−Ｙ位置、又は、１つ以上のカメラの外部パラメータの任意の有用な組み合わせを同時に変えることによってスティッチング領域における視覚的な相違が最小限に抑えられる。最も簡単な場合には、カメラ高さのみが変えられる。最適化は、残差平方和（幾何学的なエラー）を最小限に抑えることによって最小二乗の意味で行われてもよく、また、同様の異常値拒絶及びフィルタリング機構がこれまでのように適用されてもよい。以下の方法が提案される。

Ｓ１２．１ スティッチングライン付近のカメラにわたってブロックマッチングを行って、「カメラ間」動きベクトルを得る。その後、１つ以上のカメラの外部パラメータを最適化して、これらのベクトルを動作方向と平行にする。これは、（動作方向に対して垂直な）横方向で最適なスティッチング精度を確保する。

Ｓ１２．２ ２つのカメラ間で共有される重なり領域Ｏ’（図２）でブロックマッチングを行って、共通の特徴の位置（テクスチャブロック）を得る。その後、地上平面上のこれらの特徴のそれらのそれぞれのカメラからの再投影の間の幾何学的なエラーを最小限に抑えることによって１つ以上のカメラの外部パラメータを最適化する。

Ｓ１２．３ 関与するそれぞれのカメラごとに重なり領域Ｏ’における画像補正を再計算しつつ、１つ以上のカメラの外部パラメータを最適化して、それぞれの重なり合う画像対ごとに最良の相関を得る。相関は、重なり領域内のテクスチャの２つの大きな矩形ブロック間で行われてもよい。専用の最適化アルゴリズムを用いることができ、或いは、専用の最適化アルゴリズムは、何らかの所定の範囲内での１つ又は２つのパラメータの包括的な検索となり得る。それぞれの試験的較正ごとに、２つのブロック間で新たな相関が行われなければならず、したがって、この方法は計算面に更に高価である。

Claims (15)

1. 自動車両（１）のカメラシステム（７）を較正するための方法であって、前記カメラシステム（７）の少なくとも１つのカメラ（８−１１）が、前記自動車両（１）の環境（２）からカメラ画像（２１−２８）をそれぞれ連続的に生成し、前記カメラシステム（７）のコンピュータデバイス（１２）が、投影（Ｐ）によって前記カメラ画像（２１−２８）から、所定の仮想視点からの前記環境（２）の仮想ビュー（１４）、特に前記環境（２）の平面ビューをそれぞれ生成する、方法において、
   ａ）前記コンピュータデバイス（１２）が所定の動作方向（６）に沿う前記自動車両（１）の動作、特に直線的な車両動作を認識するステップと、
   ｂ）前記動作方向（６）に沿う認識された走行に関して、前記コンピュータデバイス（１２）がそれぞれの前記カメラ（８−１１）ごとに較正サイクルを少なくとも１回通るステップと、
   を備え、
   前記コンピュータデバイス（１２）は、
   前記投影（Ｐ）の現在の投影パラメータ（３０）に基づいて前記カメラ（９）のカメラ画像（２３，２４）が変換されるステップと、
   変換カメラ画像（２３’，２４’）に基づいて動きベクトル（３３）が仮想ビュー（１４）で決定されるステップと、
   前記動きベクトル（３３）の少なくとも１つの幾何学的特性に関して、特に長さ及び／又は方向に関して、それぞれの基準値が前記動作方向（６）に応じて設定されるステップと、
   前記動きベクトル（３３）の少なくとも１つの幾何学的特性とそれぞれの対応する前記基準値との間の差からエラー値が決定されるステップと、
   前記エラー値に応じて現在の投影パラメータ（３０）から新たな投影パラメータが決定されるステップと、
   を行うことを特徴とする方法。
2. 前記少なくとも１つのカメラ（８−１１）の少なくとも１つの空間的方向、特にピッチ角（ピッチ）及び／又はヨー角（ヨー）及び／又はロール角（ロール）、及び／又は、自動車両（１）における前記カメラ（８−１１）の設置高さが前記投影パラメータ（３０）によって表されることを特徴とする請求項１に記載の方法。
3. 前記少なくとも１つのカメラ（８−１１）が走行地面（３）を前記環境（２）として取得し、前記動きベクトル（３３）が前記走行地面（３）のテクスチャに基づいて決定されることを特徴とする請求項１又は請求項２に記載の方法。
4. 各変換カメラ画像（２３’，２４’）を互いに隣接する又は重なり合う画像ブロック（３２）のマトリクス（３１）へと分割してそれぞれの前記画像ブロック（３２）ごとに動きベクトル（３３）を決定することによって複数の動きベクトル（３３）が決定されることを特徴とする請求項１から３のいずれか一項に記載の方法。
5. それぞれの較正サイクルでは、前記エラー値に応じて中間投影パラメータを決定するとともに、前記エラー値が所定の最適化基準を満たすまで、前記投影（Ｐ）を用いて新たに変換することにより前記中間投影パラメータに基づいて前記仮想ビュー（１４）内の動きベクトル（３３）のみを新たに方向付けることによって、前記エラー値が繰り返し減少されることを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 直進走行が前記動作方向（６）に沿う走行として認識され、幾何学的特性として、前記動きベクトル（３３）が互いに平行に及び／又は前記仮想ビュー（１４）の画像エッジに対して平行に配置される及び／又は同一の長さであるかどうかがチェックされることを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 車両横軸と平行に方向付けられる前記各動きベクトル（３３）のｙ成分に関して、ｙ基準値ゼロが設定され、車両縦軸と平行に方向付けられるｘ成分に関して、前記動きベクトル（３３）のｘ成分の全ての平均値がｘ基準値として設定され、差分二乗和が前記エラー値として形成されることを特徴とする請求項５に記載の方法。
8. それぞれのカメラ（９）の画像シーケンスから２つのカメラ画像（２３，２４）を選択するために、前記２つのカメラ画像のうちの第１のカメラ画像と前記２つのカメラ画像のうちの第２のカメラ画像との間で少なくとも１つのカメラ画像がスキップされることを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記エラー値に対する寄与度が所定の最大値よりも大きい少なくとも１つの動きベクトル及び／又は残りの動きベクトルに関する類似性基準に違反する少なくとも１つの動きベクトルは、前記動きベクトル（３３）から異常値（３５）として削除されることを特徴とする請求項１から８のいずれか一項に記載の方法。
10. 複数の較正サイクルが行われるステップと、
    それぞれの較正サイクルごとに新たな投影パラメータ（３０）がそれぞれ決定されるステップと、
    異なる較正サイクルからの対応する新たな投影パラメータ（３０）がそれぞれの平均化された投影パラメータに組み合わされるステップと、
    平均化された投影パラメータ（３０）が、基準として、次の較正サイクルでそれぞれ前記投影（Ｐ）の現在の投影パラメータ（３０）として解釈されるステップと、
    を備えることを特徴とする請求項１から９のいずれか一項に記載の方法。
11. 複数の較正サイクルが行われるステップと、
    前記較正サイクルのうちの１つのエラー値と少なくとも１つの前の較正サイクルのそれぞれのエラー値とから、平均エラー値が決定され、前記平均エラー値が所定の閾値よりも大きい場合にのみ新たな投影パラメータ（３０）が決定されるステップと、
    を備えることを特徴とする請求項１から１０のいずれか一項に記載の方法。
12. 前記複数のカメラ（８−１１）がカメラ画像（２１−２８）を生成し、各カメラ（８−１１）に対して形成される動きベクトル（３３）は、前記カメラのうちの少なくとも１つの設置高さを投影パラメータ（３０）として調整することによって互いに一致されることを特徴とする請求項１から１１のいずれか一項に記載の方法。
13. 第１及び第２の前記カメラ（８−１１）がカメラ画像（２１−２８）を生成するステップと、
    重なりエラー値が２つの前記カメラ（８−１１）の前記変換カメラ画像（２１’−２８’）で決定されるとともに、前記第１及び／又は第２のカメラ（８−１１）のための新たな投影パラメータ（３０）が前記重なりエラー値に応じて決定されるステップと、
    を備え、
    ａ）前記第１のカメラ画像（８−１１）の変換カメラ画像（２１’−２７’）と前記第２のカメラ（８−１１）の変換カメラ画像（２１’−２７’）とに応じて少なくとも１つのカメラ間動きベクトルが決定されるとともに、前記少なくとも１つのカメラ間動きベクトルの少なくとも１つの幾何学的特性に応じて前記重なりエラー値が形成され、又は、
    ｂ）重なり領域（Ｏ’）内において、画像ブロックが前記第１のカメラ（８−１１）の変換カメラ画像（２１’−２７’）で決定され、対応する画像ブロックが前記第２のカメラの変換カメラ画像（２１’−２７’）で決定されるとともに、前記重なりエラー値が前記２つの画像ブロックの距離に応じて決定され、又は、
    ｃ）重なり領域（Ｏ’）内において、前記重なり領域（Ｏ’）内の前記第１のカメラの変換カメラ画像と前記第２のカメラの変換カメラ画像とから、比較値、特に相関値が生成されるとともに、前記比較値が前記重なりエラー値として使用される、
    ことを特徴とする請求項１から１２のいずれか一項に記載の方法。
14. 自動車両（１）の環境（２）のカメラ画像（２１−２８）から画像シーケンスをそれぞれ生成するための少なくとも１つのカメラ（８−１１）と、
    投影（Ｐ）を用いて前記カメラ画像（２１−２８）から、所定の仮想視点からの前記環境（２）の仮想ビュー（１４）により、特に前記環境（２）の平面ビューにより、変換カメラ画像（２１’−２７’）をそれぞれ生成するようになっているコンピュータデバイス（１２）と、
    前記変換カメラ画像（２１’−２７’）を特に自動車両（１）の周りの合成全周ビューとして表示するための表示装置（１３）と、
    を含む自動車両（１）用のカメラシステム（７）であって、
    前記コンピュータデバイス（１２）は、請求項１から１３のいずれか一項に記載の方法を行うようになっていることを特徴とするカメラシステム（７）。
15. 請求項１４に記載のカメラシステム（７）を伴う自動車両（１）であって、前記カメラシステム（７）が複数のカメラ（８−１１）を有し、前記カメラのうちの第１のカメラ（９）の取得範囲（１８）が自動車両（１）の近傍の第１の側方領域へ方向付けられ、前記カメラのうちの第２のカメラ（１０）の取得範囲（１９）が自動車両（１）の近傍の前記第１の側方領域とは反対側の第２の側方領域へ方向付けられ、前記カメラのうちの第３のカメラ（８）の取得範囲（１７）が自動車両（１）の前の前方領域へ方向付けられ、前記カメラのうちの第４のカメラ（１１）の取得範囲（２０）が自動車両（１）の背後の後方領域へ方向付けられ、前記カメラシステム（７）は、前記各カメラ（８−１１）のカメラ画像（２１，２３，２５，２７）のうちの各カメラ画像からそれぞれの変換カメラ画像（２１’，２３’，２５’，２７’）を生成し、それから全周ビューを生成するとともに、表示装置（１３）を用いて前記全周ビューを表示するようになっている自動車両（１）。

Images