JP7082671B2 - 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体 - Google Patents

車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体 Download PDF

Info

Publication number
JP7082671B2
JP7082671B2 JP2020541881A JP2020541881A JP7082671B2 JP 7082671 B2 JP7082671 B2 JP 7082671B2 JP 2020541881 A JP2020541881 A JP 2020541881A JP 2020541881 A JP2020541881 A JP 2020541881A JP 7082671 B2 JP7082671 B2 JP 7082671B2
Authority
JP
Japan
Prior art keywords
vehicle
calibration
camera
self
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020541881A
Other languages
English (en)
Other versions
JP2021513247A (ja
Inventor
傑 向
寧元 毛
海波 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2021513247A publication Critical patent/JP2021513247A/ja
Application granted granted Critical
Publication of JP7082671B2 publication Critical patent/JP7082671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は画像処理の技術分野に関し、特に車載カメラ自己校正方法と装置、および車両運転方法と装置に関する。
従来の車載カメラ校正方法は、設定されたカメラモデルで、特定の基準物を手動的に校正し、続いて画像を処理し、一連の数学的な変換式を利用して計算および最適化し、最終的にカメラモデルのパラメータを求めてからカメラを校正する。
本開示は車載カメラ自己校正の技術的解決手段を提供する。
本開示の一方面によれば、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にすることと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、取得された情報に基づいて前記車載カメラを自己校正することと、を含む車載カメラ自己校正方法が提供される。
本開示の一方面によれば、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュールと、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュールと、取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュールと、を含む車載カメラ自己校正装置が提供される。
本開示の一方面によれば、上記車載カメラ自己校正方法のいずれか一項に記載の自己校正後の車載カメラを、車両の運転に用いる車両運転装置が提供される。
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、上記車載カメラ自己校正方法を実行するように構成される電子機器が提供される。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記車載カメラ自己校正方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。
本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器内のプロセッサは上記車載カメラ自己校正方法を実現するための命令を実行するコンピュータプログラムが提供される。
本開示の実施例では、車載カメラの自己校正をオンにした後、車両の走行中に車載カメラによって取得した情報に基づき、車載カメラが自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。
明細書の一部として含まれる図面は、明細書と共に本開示の例示的な実施例、特徴および方面を示し、本開示の原理を解釈するために用いられる。
本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。 本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。 本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。 本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。 本開示の実施例に係る車載カメラ自己校正方法における交点の模式図を示す。 本開示の実施例に係る車載カメラ自己校正方法における地平線の模式図を示す。 本開示の実施例に係る車載カメラ自己校正方法におけるキーポイントの模式図を示す。 本開示の実施例に係る車載カメラ自己校正装置のブロック図を示す。 本開示の例示的な実施例に係る電子機器のブロック図を示す。
以下、図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似の機能の要素を表す。図面に実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」ことを意味する。ここで「例示的」として説明されるいかなる実施例も、他の実施例より好ましい又は優れるものであると理解すべきではない。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施可能であることを理解すべきである。いくつかの実施例では、当業者に既知の方法、手段、要素および回路について、本開示の趣旨を強調するために、詳細な説明を行わない。以下のいくつかの具体的な実施例は互いに組み合わせることができる。また、同じまたは類似の概念またはプロセスについては、ある実施例において詳細な説明を省略することがある。なお、以下の実施例は、本開示の選択可能的な実施形態に過ぎず、本開示の保護範囲を実質的に限定するものと解釈すべきではない。以下の実施例に基づく他の実施形態も本開示の保護範囲に属するものと理解すべきである。
図１は本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。図１に示すように、前記車載カメラ自己校正方法は以下のステップを含む。
ステップＳ１０、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にする。
前記車両は走行機能を有する装置である。例えば、可能な一実施形態では、前記車両は、自動車、軽車両、列車、車おもちゃ、およびロボットの一つまたは任意の組み合わせを含んでもよい。
自動車は、大型自動車、電車、電動車両、オートバイ、トラクターなど動力装置が配置され、かつ動力装置により駆動されて走行する車両を含んでもよい。軽車両は、自転車、三輪車、スクーター、畜力車など人力または畜力により駆動されて走行する車両を含んでもよい。車おもちゃは、リモコンカー、電動乗用玩具など車両形状の走行可能な玩具を含んでもよい。ロボットは、人型走行ロボットおよび非人型走行ロボットを含んでもよい。そのうち、非人型走行ロボットは、ロボット掃除機、搬送ロボットなどを含んでもよい。
車載カメラは、車両出荷時に車両に組みこまれているカメラであってもよいし、車両出荷後に車両に追加されるカメラであってもよい。車載カメラは、例えば、可視光カメラ、赤外線カメラ、両眼カメラなど様々なタイプのカメラを含んでもよい。本開示は車載カメラのタイプを限定しない。
車載カメラの自己校正は、車載カメラが自動的に自己校正の実質的な動作を完成することを含んでもよい。車載カメラの自己校正プロセスは手動操作を必要としない。例えば、車載カメラは、設定された自己校正オン条件に応じて、車両の走行中に車載カメラが撮影した画像における目標物の位置情報、および保存されている初期校正情報を利用し、自動的に校正パラメータを計算して、計算された校正パラメータに基づいて自動的に校正することができる。校正プロセス全体は、車載カメラに対する手動操作を必要とせず、校正パラメータまたは位置情報などの手動入力も必要としない。
車載カメラ自己校正をオンにする方式は、手動で命令を入力してオンにする方式を含んでもよいし、予め設定されたオン条件に応じて自動的にオンにする方式を含んでもよい。そのうち、予め設定されたオン条件は、車両の走行状況が設定された走行条件を満たすことを含んでもよいし、車載カメラの撮影状況が設定された撮影条件を満たすことを含んでもよい。オン条件は複数のオン条件の組み合わせを含んでもよい。必要に応じて車載カメラ自己校正プロセスのオン条件およびオン方式を決定してもよく、非常に柔軟に実現可能である。
車載カメラの自己校正をオンにした後、車載カメラが取り付けられている車両を走行状態にする必要がある。選択可能的に、車両を走行状態にする提示情報を発信して、ユーザ体験を向上させてもよい。車両の走行中に、車載カメラはオン状態にあり、画像を撮影可能である。車載カメラは静的な画像を撮影してもよいし、ビデオストリームを撮影してもよい。
必要に応じて、所要の画像を得るように車載カメラの撮影方式および撮影した画像のフォーマットを決定してもよい。
ステップＳ２０、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。
可能な一実施形態では、車両の走行中に、車載カメラが撮影した画像から車載カメラの自己校正に必要な情報を取得してもよい。
車載カメラの自己校正に必要な情報は、車載カメラが撮影した画像を含んでもよいし、車載カメラが撮影した画像を処理した処理画像を含んでもよい。また、車載カメラが撮影した画像において検出された目標物の情報を含んでもよい。そのうち、目標物は、建築物、車両または歩行者など様々なタイプの対象を含んでもよい。
車両は走行中に車載カメラの自己校正に必要な情報を連続的に取得してもよいし、設定された取得周期で車載カメラの自己校正に必要な情報を取得してもよく、非常に柔軟に実現して、異なる適用の必要を満たすことができる。
ステップＳ３０、取得された情報に基づいて前記車載カメラを自己校正する。
可能な一実施形態では、車載カメラの取付位置または撮影画角が変化した場合、車載カメラが撮影した画像で車載カメラを正確に自己校正できるように、改めて車載カメラを再校正する必要がある。ユーザが手動で校正することなく、車載カメラが取得した情報に基づいて車載カメラを自己校正することができる。
走行中に車載カメラが取得した情報、及び車載カメラの既知条件での初期校正情報に基づいて、車載カメラを自己校正するようにしてもよい。
本実施例では、車載カメラは、車載カメラの自己校正がオンにされた後、車両の走行中に車載カメラが取得した情報に基づき、自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにすることを含む。
可能な一実施形態では、車載カメラの画角は、車載カメラのレンズ中心点と結像面の対角線の両端とをそれぞれ連結した連結線がなす夾角を含んでもよい。車載カメラの焦点距離は、車載カメラのレンズの光学後側主点から焦点までの距離を含む。車載カメラの画角が車載カメラの焦点距離に反比例する。同じ結像面積について、車載カメラのレンズ焦点距離が短いほど、画角が大きい。
車載カメラが撮影した画像を利用して車載カメラの画角または焦点距離が変化したかどうかを検出してもよい。車載カメラのパラメータを取得して、車載カメラの画角または焦点距離が変化したかどうかを確認してもよい。
車載カメラの画角または焦点距離が変化した場合、車載カメラが同じ位置の同じ目標物を撮影した画像は異なりになる。従って、車載カメラの画角または焦点距離が変化した場合、車載カメラが正確な位置決め情報などを取得可能になるように、車載カメラの自己校正をオンにして、自己校正する必要がある。
本実施例では、車載カメラの画角または焦点距離が変化した場合、前記車載カメラの自己校正をオンにする。このように、車載カメラの画角または焦点距離が変化した場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正は、車両の正常な走行および正常な使用に影響を及ぼすことがない。車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにすることを含む。
可能な一実施形態では、車載カメラの取付位置は、車載カメラの車両における取付部位を含んでもよい。本開示の実施例では、車載カメラが車両の走行路面を撮影可能な任意の部位に取り付けられてもよい。車載カメラの撮影角度は、車載カメラのレンズ面と水平面とがなす夾角を含んでもよい。必要および使用環境に応じて車載カメラの取付位置および撮影角度を決定してもよい。
車載カメラの取付位置および／または撮影角度が変化した場合、車載カメラの使用環境が異なりになると考えられ、改めて車載カメラを自己校正する必要がある。
本実施例では、車載カメラの取付位置および／または撮影角度が変化した場合、前記車載カメラの自己校正をオンにする。このように、車載カメラの取付位置および／または撮影角度が変化した場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の正常な走行および正常な使用に影響を及ぼすことがなく、車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、車載カメラの自己校正をオンにすることは、前記車載カメラが取り付けられている車両の累計走行距離を確認することと、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにすることと、を含む。
可能な一実施形態では、車両の累計走行距離が走行距離閾値よりも大きい場合、車載カメラまたは車両の使用環境が大きく変化したと考えられ、車載カメラを自己校正する必要がある。
車両の走行距離を読み取ることにより、車両の累計走行距離を確認してもよい。例えば、車両の走行距離の変化がＭキロメートルよりも大きいたびに、車載カメラの自己校正をオンにしてもよい。
本実施例では、車両の累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにする。車両が一定時間使用されたら、車両の実用中に振動を生じて車載カメラの撮影角度または取付位置の変化を招くおそれがある。上記のようにすれば、車両の累計走行距離が走行距離閾値よりも大きくなる場合、車載カメラがタイムリーに自己校正を行うことができる。車載カメラの自己校正プロセスは、車両の正常な走行および正常な使用に影響を及ぼすことがなく、車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、車載カメラの自己校正をオンにすることは、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることを含む。
可能な一実施形態では、本開示の実施例は、自己校正オン命令を受信した場合、車載カメラの自己校正をオンにしてもよい。受信される自己校正オン命令は、手動で入力される自己校正オン命令であってもよいし、予め設定された実行プログラムにより自動的に送信される自己校正オン命令であってもよい。
自己校正オン命令を受信するために、自己校正オン命令の入力方式を提供してもよい。例えば、自己校正オン命令用のボタンを提供し、または提示情報を提供して利用者に自己校正オン命令の入力を指導してもよい。
また、自動実行プログラムを設定し、予め設定された実行周期で自己校正オン命令を自動的に送信してもよい。例えば、設定された自動実行プログラムに従い、２０日毎に１回自己校正オン命令を送信する。
本実施例では、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることができる。使用上の必要に応じてタイムリーに車載カメラの自己校正をオンにすることができる。車載カメラの自己校正を異なる使用環境にタイムリーに適応できる。
図２は本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。図２に示すように、前記車載カメラ自己校正方法はさらに以下のステップを含む。
ステップＳ４０、前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供する。
可能な一実施形態では、自己校正の結果をより正確にするために、車載カメラが十分な情報を取得する必要がある。取得進捗情報を提供することにより、車両の利用者に車載カメラの取得進捗を提示して、ユーザ体験を改善することができる。
音声提示情報、テキスト提示情報または画像提示情報の一つまたは任意の組み合わせによって、取得進捗情報を提供してもよい。自発的に取得進捗情報を提供してもよいし、提示命令に応じて取得進捗情報を提供してもよい。
例えば、車両のセンターコンソール画面に進捗バーを表示するように、取得進捗情報を提供してもよい。また、「現在取得進捗は、２０％である」の音声を放送するように、取得進捗情報を提供してもよい。
本開示は取得進捗情報の形式および提供方式を限定しない。
ステップＳ３０は、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正するステップＳ３１を含む。
可能な一実施形態では、取得進捗情報は取得の未完成を提示する場合、車載カメラが自己校正に必要な情報を十分に取得するように、車両の利用者は走行状態を維持し続ける必要がある。取得進捗情報は取得の完成を提示する場合、取得された情報に基づいて車載カメラを自己校正することができる。
本実施例では、取得進捗情報を提供することで、車載カメラの自己校正プロセスをより明瞭にすることができ、車両の利用者はより容易に車載カメラ自己校正の進捗を把握できる。車載カメラ自己校正の成功率および正確度を向上させることができる。
図３は本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。図３に示すように、前記車載カメラ自己校正方法は以下のステップをさらに含む。
ステップＳ５０、前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供し、前記取得条件は、前記車載カメラが自己校正に必要な情報を取得する条件を含む。
可能な一実施形態では、車載カメラは、車載カメラ自己校正の成功率を向上させるために、車載カメラが自己校正に必要な情報を取得する取得条件を満たす必要がある。取得条件提示情報を提供することにより、車両の利用者に車載カメラが取得条件を満たすかどうかを確認するように提示することができる。
音声提示情報、テキスト提示情報または画像提示情報の一つまたは任意の組み合わせによって、取得条件提示情報を提供してもよい。自発的に取得条件提示情報を提供してもよいし、提示命令に応じて取得条件提示情報を提供してもよい。
例えば、車両のセンターコンソール画面に関連画像またはテキストを表示するように、取得条件提示情報を提供してもよい。また、「現在の撮影視線に遮蔽物があるかどうか？」の音声を放送するように、取得条件提示情報を提供してもよい。
本開示は取得条件提示情報の形式および提供方式を限定しない。
ステップＳ２０は、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するステップＳ２１を含む。
可能な一実施形態では、取得条件提示情報に基づき、車載カメラが取得条件を備えていないと確認した場合、車両の利用者により車載カメラを調整しまたは環境を変更してから車載カメラを自己校正してもよい。
取得条件提示情報に基づき、車載カメラが取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。
本実施例では、取得条件提示情報によって、車載カメラが自己校正に必要でかつ正確な情報を取得可能になり、車載カメラ自己校正の成功率および正確度が向上する。
可能な一実施形態では、ステップＳ２０は、前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
可能な一実施形態では、撮影ピッチ角の範囲は、最小ピッチ角を下限、最大ピッチ角を上限としたピッチ角の集合を含んでもよい。車載カメラの取付位置、撮影角度および使用環境に応じて、撮影ピッチ角の範囲を設定してもよい。
車載カメラの撮影ピッチ角が撮影ピッチ角の範囲外にある場合、車載カメラが撮影した画像から自己校正に必要な情報を取得できない、または取得された情報が不完全、不正確で、車載カメラの自己校正に用いられることができない。
本実施例では、前記車載カメラの撮影ピッチ角が撮影ピッチ角の範囲内にある場合、車載カメラによって車載カメラの自己校正に必要な情報を取得し、正確な車載カメラ自己校正の結果を得ることができる。
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、ステップＳ２０は、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
可能な一実施形態では、車両の走行中に、車両走行道路上に車線区画線がある。車線区画線は、白色の車線区画線または黄色の車線区画線を含んでもよく、実線または破線を含んでもよく、単一線または二重線を含んでもよい。例えば、車線区画線は白色破線、白色実線、黄色実線、黄色破線、二重白色破線、二重黄色実線などであってもよい。車線区画線は、自動車が走行している路面の路肩であってもよい。車線区画線は、車載カメラが撮影した画像において明確で、形状均一などの特徴を有する。
車載カメラによって取得される車載カメラの自己校正に必要な情報が車線区画線である場合、車載カメラが撮影した画像において車線区画線が含まれる必要がある。前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラは、取得された情報に基づいて自己校正を行うことができる。
本実施例では、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラが車両走行道路の車線区画線を撮影したことが確保されると、取得された車線区画線に基づいて車載カメラを自己校正することができる。これによって、車載カメラの自己校正は適用範囲が広くなり、校正プロセスが簡単かつ確実になる。
可能な一実施形態では、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
可能な一実施形態では、車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、車載カメラの前方に遮蔽物がないと確認できる。車載カメラが撮影した車線区画線は完全でかつ鮮明である。完全でかつ鮮明な車線区画線に基づき、車載カメラを正確に自己校正できる。
本実施例では、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、車載カメラは、撮影された完全でかつ鮮明な車線区画線に基づき、より正確な車載カメラ自己校正の結果を得ることができる。
可能な一実施形態では、ステップＳ２０は、前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得することを含む。
可能な一実施形態では、取得時間範囲は、最小取得時間を下限、最大取得時間を上限とした時間範囲を含んでもよい。車載カメラが自己校正に必要な情報を取得する取得時間が最小取得時間よりも短い場合、取得された情報が車載カメラ自己校正のための計算に十分でない。車載カメラが自己校正に必要な情報を取得する取得時間が最大取得時間を超える場合、最大取得時間を超えた後に車載カメラが取得した情報は、自己校正のための計算に用いられなくてもよい。必要に応じて取得時間範囲を予め設定してもよく、例えば、取得時間範囲は１０～２５分としてもよい。
車載カメラの取得時間が取得時間範囲により限定された最大取得時間を超えた場合、システムリソースの浪費を回避するように、車載カメラに自己校正に必要な情報の取得を終止させてもよい。
本実施例では、取得時間範囲によって、車載カメラが取得した情報が自己校正のための計算に十分であるとともに、システムリソースの浪費を生じない。
可能な一実施形態では、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含む。
可能な一実施形態では、走行距離範囲は、最小走行距離を下限、最大走行距離を上限とした車両の走行距離の範囲を含んでもよい。車両の走行中に、車両の走行した距離が大きいほど、車載カメラの取得した情報が多い。車両の走行距離が最小走行距離よりも小さい場合、車載カメラが取得した情報は、自己校正のための計算に十分でない。車両の走行距離が最大走行距離よりも大きい場合、最大走行距離を超えた後に車載カメラが取得した情報は、自己校正のための計算に用いられなくてもよい。必要、車載カメラの配置および車載カメラの実際の使用環境に応じて、走行距離範囲を決定してもよい。例えば、走行距離範囲は５～８キロメートルとしてもよい。
車両の走行距離が走行距離範囲により限定された最大走行距離を超えた場合、システムリソースの浪費を回避するように、車載カメラに自己校正に必要な情報の取得を終止させてもよい。
本実施例では、走行距離範囲によって、車載カメラが取得した情報が自己校正のための計算に十分であるとともに、システムリソースの浪費を生じない。
図４は本開示の実施例に係る車載カメラ自己校正方法のフローチャートを示す。図４に示すように、前記車載カメラ自己校正方法におけるステップＳ３０は以下のステップを含む。
ステップＳ３２、取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新する。
可能な一実施形態では、車載カメラのポーズは、車載カメラの回転パラメータおよび並進パラメータを含んでもよい。車載カメラのポーズに基づき、車載カメラのホモグラフィ行列を構築してもよい。車載カメラのホモグラフィ行列は、車載カメラの変換パラメータまたは変換行列などを含んでもよい。車載カメラのホモグラフィ行列によって、車載カメラが撮影した画像における点について、画像座標系とワールド座標系での座標間の相互変換を行うことができる。
車載カメラのホモグラフィ行列の構築プロセスは、車両に配置されているカメラで実の道路画像を撮影し、道路画像における点の集合、実の道路上の対応する点の集合に基づいて、ホモグラフィ行列を構築することを含んでもよい。具体的な方法は以下のことを含んでもよい。１、座標系の確立：車両の左前輪を原点とし、運転者の視野角の右方向をＸ軸の正方向とし、前方向をＹ軸の正方向として、車体座標系を確立する。２、点選択：車両の車体座標系での点を選択し、例えば（０，５）、（０，１０）、（０，１５）、（１．８５，５）、（１．８５，１０）、（１．８５，１５）のような点集合を得て、ここで、各点の単位はメートルである。必要に応じて、距離がより遠い点を選択してもよい。３、マーキング：選択された点を実の道路上でマークし、実の点集合を得る。４、校正：校正用ボードおよび校正プログラムを使用して、実の点集合に対応する撮影画像での画素位置を得る。５、対応の画素位置に基づいてホモグラフィ行列を生成する。
車載カメラの初回使用、初回取付または出荷時に、既知画角で車載カメラのホモグラフィ行列を構築してもよい。構築された車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した画像における目標物の座標を、既知画角で撮影した画像の画像座標系での座標とワールド座標系での座標との間で相互に変換してもよい。
前記車両の走行中に車載カメラによって車載カメラの自己校正に必要な情報を取得した後、取得された情報に基づき、車載カメラのホモグラフィ行列を更新できる。例えば、走行中に車載カメラが撮影した車線区画線に基づき、車載カメラのホモグラフィ行列を更新することができる。
更新後の車載カメラのホモグラフィ行列に基づき、車載カメラが走行撮影画角で撮影した画像における目標物の座標を、走行撮影画角で撮影した画像の画像座標系で座標とワールド座標系での座標との間で相互に変換することができる。
ステップＳ３３、更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正する。
可能な一実施形態では、更新前の車載カメラのホモグラフィ行列は、車載カメラが既知画角で撮影した画像の画像座標系とワールド座標系との変換関係を含んでもよい。更新前の車載カメラのホモグラフィ行列は、車載カメラの既知パラメータまたは既知行列を含んでもよい。
更新後の車載カメラのホモグラフィ行列は、車載カメラが走行撮影画角で撮影した画像の画像座標系とワールド座標系との変換関係を含んでもよい。更新後の車載カメラのホモグラフィ行列は、車載カメラの変換パラメータまたは変換行列を含んでもよい。
更新前および更新後の前記車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した第一画像における目標物の第一画像座標と、車載カメラが走行撮影画角で撮影した第二画像における目標物の第二画像座標とを、相互に変換できる。第一画像座標と第二画像座標との変換関係に基づき、車載カメラを自己校正できる。
本実施例では、車載カメラのホモグラフィ行列を更新し、更新前および更新後の車載カメラのホモグラフィ行列に基づき、車載カメラを自己校正する。車載カメラのホモグラフィ行列によって、正確に、高速に車載カメラを自己校正できる。
可能な一実施形態では、ステップＳ３２は、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることと、前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新することと、を含む。
可能な一実施形態では、画像認識技術を利用し、車載カメラが撮影した画像において車線区画線を検出してもよい。車載カメラが撮影した画像をニューラルネットワークに入力し、ニューラルネットワークの出力に基づき、車載カメラが撮影した画像において車線区画線を検出してもよい。
車載カメラが撮影した画像は、車両の走行中に、車載カメラが走行撮影画角で撮影した画像を含む。車線区画線の検出位置情報は、走行撮影画角で撮影された画像の画像座標系での車線区画線の位置情報を含む。
車線区画線の走行撮影画角で撮影された画像での位置情報に基づき、車載カメラのホモグラフィ行列を更新してもよい。更新後のホモグラフィ行列は、車線区画線の走行撮影画角で撮影された画像での位置情報と、車線区画線の既知画角で撮影された画像での位置情報とを、相互に変換できる。
本実施例では、前記車載カメラが撮影した画像において車線区画線を検出した後、車線の検出位置に基づいて車載カメラのホモグラフィ行列を更新する。画像において正確な車線区画線を検出し、正確な車線区画線の検出位置情報を得ることができる。正確な車線区画線の検出位置情報に基づいて正確な更新後のホモグラフィ行列を得ることができ、更新後のホモグラフィ行列を車載カメラの自己校正に用いることにより、正確な自己校正の結果を得ることができる。
可能な一実施形態では、ステップＳ３３は以下のステップを含む。
ステップＳ３３１、更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得る。
可能な一実施形態では、更新前の車載カメラのホモグラフィ行列は、車載カメラの初回使用、初回取付または出荷時に、既知画角で構築された車載カメラのホモグラフィ行列を含んでもよい。構築された車載カメラのホモグラフィ行列に基づき、車載カメラが既知画角で撮影した画像における目標物の座標を、既知画角で撮影した画像の画像座標系での座標とワールド座標系での座標との間で相互に変換できる。
更新前のホモグラフィ行列に基づき、既知画角で撮影された画像の画像座標系での車線区画線の位置情報と、ワールド座標系での車線区画線の位置情報とを含む車線区画線の既知位置情報を得ることができる。
ステップＳ３３２、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定する。
可能な一実施形態では、車載カメラのパラメータは、内部パラメータおよび外部パラメータを含んでもよい。内部パラメータは、車載カメラの焦点距離、画素サイズなど車載カメラ自体の特性に関するパラメータを含んでもよく、車載カメラ毎に内部パラメータが一意である。外部パラメータは、車載カメラのワールド座標系での位置パラメータおよび回転方向パラメータを含む。車載カメラの校正パラメータは、車載カメラの回転方向パラメータを含んでもよい。校正パラメータを利用して、ワールド座標系と車載カメラが撮影した画像の画像座標系とのマッピング関係を構築できる。校正パラメータに基づくマッピング関係を利用して、目標物の画像座標系での位置情報と、ワールド座標系での位置情報とを相互に変換できる。
ワールド座標系での車線区画線の既知位置情報、および車載カメラが既知画角で撮影した画像の画像座標系での車線区画線の既知位置情報に基づき、車載カメラの既知パラメータを得ることができる。さらに、車載カメラの既知パラメータ、および車載カメラの走行撮影画角と既知画角との変換パラメータに基づき、車載カメラの走行撮影画角での校正パラメータを得ることができる。
ステップＳ３３３、前記校正パラメータに基づいて前記車載カメラを自己校正する。
可能な一実施形態では、校正パラメータに基づいて車載カメラを自己校正した後、車載カメラが走行撮影画角で撮影した画像における対象物の座標情報を、走行撮影画角で撮影した画像の画像座標系での座標情報とワールド座標系での座標情報との間で相互に変換できる。
本実施例では、車線区画線の検出位置情報および既知位置情報に基づいて車載カメラの校正パラメータを得て、校正パラメータに基づいて車載カメラを自己校正する。車線区画線に基づいて車載カメラを校正し、それによって車載カメラが自己校正を容易に完成可能になり、校正効率が高く、適用範囲が広い。
可能な一実施形態では、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、前記車載カメラが撮影した画像において車線区画線を検出することと、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることと、を含み、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することは、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することを含む。
可能な一実施形態では、キーポイントは、車線区画線上の指定位置の点を含んでもよいし、車線区画線上の所定特徴を有する点を含んでもよい。必要に応じて車線区画線上のキーポイントを決定してもよい。車線区画線上のキーポイントは一つ以上としてもよく、必要に応じてキーポイントの数を決定してもよい。
キーポイントの検出座標は、車載カメラが走行撮影画角で撮影した画像の画像座標系でのキーポイントの位置情報を含んでもよい。例えば、車線区画線上のキーポイント１の検出座標は（Ｘ1，Ｙ1）であり、キーポイント２の検出座標は（Ｘ2，Ｙ2）である。
キーポイントの既知座標は、ワールド座標系でのキーポイントの既知座標、および車載カメラが既知画角で撮影した画像の画像座標系でのキーポイントの既知座標を含む。
キーポイントの既知座標および検出座標に基づいて車載カメラの変換パラメータを得、キーポイントの既知座標に基づいて車載カメラの既知パラメータを得、最終的に車載カメラの既知パラメータおよび変換パラメータに基づいて、車載カメラの校正パラメータを得ることができる。
本実施例では、キーポイントの検出座標および既知座標に基づいて、車載カメラの校正パラメータを得ることができる。キーポイントの検出座標および既知座標に基づいて校正パラメータを得ることは、計算量が小さい。車載カメラが高速に、正確に自己校正を完成でき、校正効率が高く、適用範囲が広い。
可能な一実施形態では、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることと、を含む。
可能な一実施形態では、車載カメラが撮影した複数の画像において車線区画線を検出してもよい。必要に応じて、検出される車線区画線の数および位置を決定してもよい。例えば、車両左側の車線区画線を検出してもよいし、車両右側の車線区画線を検出してもよい。複数車線の路面の場合、車両自体に最も近い左右両側の車線区画線を検出してもよいし、車両右側の二つの車線区画線のみを検出してもよい。
車両が路面上を走行している時、車載カメラが撮影した複数の画像において、車線区画線の画像における位置が比較的一定である。各画像においてフィッティング対象の車線区画線を検出し、さらに、複数の画像におけるフィッティング対象の車線区画線をフィッティングして、車線区画線を得て、車線区画線の検出位置情報を得ることができる。
検出される車線区画線を車両走行車線の車線区画線に決定した場合、画像において、検出される車線区画線は車両の左側および右側にそれぞれ最も近い二つの車線区画線とする。車載カメラが撮影した複数の画像において検出されたフィッティング対象の車線区画線に基づき、フィッティングによって、車両が走行している車線の左右二つの車線区画線を得て、左右二つの車線区画線の検出位置情報を得ることができる。
例えば、車載カメラが撮影した１００枚の画像において検出されるフィッティング対象の車線区画線は、各画像における自動車の最前端から前方５メートル以内の車線区画線とする。１００枚の画像において検出されたフィッティング対象の車線区画線をフィッティングして、車両走行道路の車線区画線を得て、車線区画線の検出位置情報を得ることができる。
車線区画線の既知位置情報および検出位置情報に基づき、車載カメラの校正パラメータを得ることができる。
本実施例では、複数の画像において検出されたフィッティング対象の車線区画線を利用して車線区画線の検出位置情報を得ることにより、各画像におけるフィッティング対象の車線区画線間に存在し得る位置ずれを除去できる。それによって車載カメラの自己校正の結果はより正確になる。
可能な一実施形態では、前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、各画像における交点に基づいて地平線を決定することと、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることと、を含む。
可能な一実施形態では、第一車線区画線および第二車線区画線はそれぞれ車両左側または右側の車線区画線であってもよい。例えば、第一車線区画線は車両に最も近い左側車線区画線、第二車線区画線は車両に最も近い右側車線区画線であってもよい。第一車線区画線と第二車線区画線は実の道路上の平行な二つの線であってもよい。車載カメラが撮影した画像において、第一車線区画線と第二車線区画線が自動車の前方に交点を持ってもよいし、または第一車線区画線の延長線と第二車線区画線の延長線が自動車の前方に交点を持ってもよい。
車載カメラが撮影した各画像において、第一車線区画線および第二車線区画線をそれぞれ検出して、各画像における第一車線区画線と第二車線区画線との交点を決定するようにしてもよい。
図５は本開示の実施例に係る車載カメラ自己校正方法における交点の模式図を示す。図５に示すように、図５中の座標系は画像座標系であり、第一車線区画線は左車線区画線であり、第二車線区画線は右車線区画線であり、左車線区画線の延長線と右車線区画線の延長線が自動車の前方に交点を持つ。
可能な一実施形態では、車両が走行している実の道路上で、第一車線区画線と第二車線区画線は地平線で交わってもよい。従って、各画像における交点に基づき、車両前方の地平線の位置をフィッティングして得ることができる。各画像における交点とフィッティングされた地平線との距離の和が最も小さい。
図６は本開示の実施例に係る車載カメラ自己校正方法における地平線の模式図を示す。図６に示すように、図６中の座標系は画像座標系であり、各画像から決定された交点は合計１２個であり、１２個の交点に基づいて地平線を決定してもよい。各交点と決定された地平線との距離の和が最も小さい。
可能な一実施形態では、各画像において決定された地平線の位置は比較的一定である。車線区画線が第一車線区画線および第二車線区画線を含む場合、各画像におけるキーポイントの検出位置間の誤差を最小にし、キーポイントの検出位置情報および既知位置情報をより正確にするために、決定された地平線を基準として、第一車線区画線および第二車線区画線上にキーポイントを決定するようにしてもよい。
例えば、各画像において、地平線との距離がＭとなるように、第一車線区画線および第二車線区画線上にキーポイント１およびキーポイント２をそれぞれ決定し、地平線との距離がＮとなるように、第一車線区画線および第二車線区画線上にキーポイント３およびキーポイント４をそれぞれ決定するようにしてもよい。ここで、ＭとＮは単位が同じであるが、値が異なる。
各画像において、決定されたキーポイントに基づいて各キーポイントの検出座標を得ることができる。各キーポイントの検出座標は、走行撮影画角で撮影された画像の画像座標系での各キーポイントの座標を含む。
本実施例では、画像において二つの車線区画線を検出した後、二つの車線区画線に基づいて地平線の位置を得て、地平線の位置に基づいてキーポイントの位置を決定した後、キーポイントの検出座標を得る。地平線に基づいて各画像におけるキーポイントの正確な位置を得ることができ、これによってより正確な校正パラメータが得られる。
可能な一実施形態では、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることと、を含む。
図７は本開示の実施例に係る車載カメラ自己校正方法におけるキーポイントの模式図を示す。図７に示すように、図中の座標系は画像座標系であり、地平線の下方に地平線と平行な二つの検出線があり、検出線と左車線区画線および右車線区画線との四つの交点がキーポイントとして決定される。
可能な一実施形態では、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
可能な一実施形態では、キーポイントの既知座標は、車載カメラが既知画角で撮影した画像の画像座標系でのキーポイントの既知座標を含む。例えば、車載カメラの既知画角Ａの場合、キーポイントの画像での既知座標は（ＸA，ＹA）である。既知画角Ａおよび既知座標（ＸA，ＹA）に基づき、既知画角Ａでの車載カメラの既知パラメータＨAを得ることができる。ここで、既知パラメータＨAは行列形式のパラメータを含んでもよい。既知パラメータＨAは車載カメラの回転方向パラメータを含んでもよい。既知パラメータＨAは、既知画角Ａで撮影した画像におけるキーポイントの画像座標系での座標をワールド座標系での座標へ変換できる。
キーポイントの検出座標は、車載カメラが走行撮影画角で撮影した画像の画像座標系でのキーポイントの検出座標を含む。例えば、車載カメラの走行撮影画角Ｂの場合、キーポイントの画像での検出座標は（ＸB，ＹB）である。
既知座標（ＸA，ＹA）および検出座標（ＸB，ＹB）に基づき、車載カメラの既知画角Ａから走行撮影画角Ｂへの変換パラメータＨABを得ることができる。変換パラメータＨABは行列形式のパラメータを含んでもよい。変換パラメータＨABは車載カメラの回転方向パラメータを含んでもよい。変換パラメータＨABは、キーポイントの座標を、既知画角Ａで撮影した画像の画像座標系での座標と、走行撮影画角Ｂで撮影した画像の画像座標系での座標との間で相互に変換できる。
可能な一実施形態では、変換パラメータＨABおよび既知パラメータＨAに基づき、車載カメラの走行撮影画角Ｂでの検出パラメータＨBを得ることができる。検出パラメータＨBは行列形式のパラメータを含んでもよい。検出パラメータＨBは車載カメラの回転方向パラメータを含んでもよい。検出パラメータＨBは、走行撮影画角Ｂで撮影した画像におけるキーポイントの画像座標系での座標をワールド座標系での座標へ変換できる。検出パラメータＨBは車載カメラの走行撮影画角Ｂでの校正パラメータである。
可能な一実施形態では、前記キーポイントの既知座標は、既知画角での、前記キーポイントの画像座標系での座標である第一既知座標、および既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標を含み、前記変換パラメータおよび既知パラメータに基づき、前記車載カメラの校正パラメータを決定することは、前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含んでもよい。
可能な一実施形態では、キーポイントの既知座標は、車載カメラが既知画角Ａで撮影した画像の画像座標系でのキーポイントの既知座標（ＸA，ＹA）、およびワールド座標系でのキーポイントの既知ワールド座標（Ｘ，Ｙ，１）を含む。既知座標（ＸA，ＹA）および既知ワールド座標（Ｘ，Ｙ，１）に基づき、車載カメラの既知画角Ａでの既知パラメータＨAを得ることができる。既知パラメータＨAおよび変換パラメータＨABに基づいて、走行撮影画角Ｂでの検出パラメータＨBを得ることができる。
本実施例では、車載カメラの既知画角での既知座標および車載カメラの走行撮影画角での検出座標に基づき、車載カメラの校正パラメータを決定し、キーポイントの既知座標および検出座標によって、車載カメラを容易に校正でき、計算プロセスが簡単で、計算結果が正確である。
可能な一実施形態では、前記方法は、前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正することをさらに含む。
可能な一実施形態では、車載カメラの較正パラメータは、車載カメラの焦点距離および単位画素に基づいて算出された較正パラメータを含んでもよい。車載カメラ毎に焦点距離および単位画素が異なっており、車載カメラ自身のパラメータに基づいて較正パラメータを算出することができる。透視の原理または三角の原理を利用し、車載カメラの変換パラメータをより正確になるように較正してもよい。
例えば、ｆは車載カメラの焦点距離（ミリメートル）であり、ｐｍは車載カメラの画素／ミリメートルである。較正のBAは下式である。
Figure 0007082671000001
 ここで、ｋ’は第一較正係数であり、ｋは第二較正係数であり、ｂは第三較正係数である。
本実施例では、車載カメラ自身の較正パラメータを変換パラメータに反映させる計算プロセスによって、変換パラメータをより正確にし、車載カメラの個体特徴により適応させることができる。
本開示の実施例は、自己校正後の車載カメラを車両の運転に用いることを含む車両運転方法をさらに提供する。
可能な一実施形態では、車両運転は、車両の自発的運転および車両の運転支援を含んでもよい。自己校正後の車載カメラを用いることにより、車両に正確な位置決め情報を提供し、車両の自発的運転および運転支援をより安全かつ確実にすることができる。
車載カメラをセンサとする運転支援システムに校正パラメータを保存し、運転支援の後続の画像処理に有効な校正パラメータを提供する。運転支援システムは、特定の目標物の位置情報に基づいて運転を支援するシステムを含んでもよい。
例えば、運転支援システムは、車線維持支援システム、ブレーキ支援システム、自動駐車支援システム、および車両後退支援システムを含んでもよい。そのうち、車線維持支援システムは、車両が走行している車線に基づいて、車両を現在車線内に維持するように運転を支援することができる。ブレーキ支援システムは、設定された目標物との距離に基づき、車両にブレーキ命令を出し、車両と目標物との距離を安全距離内に維持することができる。自動駐車支援システムは、検出された駐車線に基づき、車両をガレージに入庫することができる。車両後退支援システムは、自動車とその後方の障害物との距離に基づき、車両に後退命令を出し、障害物を避けるように車両を後退させることができる。
車載カメラの正確な校正パラメータを利用することにより、車両は車載カメラが撮影した画像における目標物の正確な位置情報を得ることができ、運転支援システムは目標物の位置情報に基づき、正確な運転支援命令を取得できる。
本実施例では、自己校正後の車載カメラを用いることにより、車両の実際の使用に影響を及ぼすことがなく、車両をより安全に、確実に運転できる。
なお、本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では説明を省略する。
また、本開示は画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、およびプログラムをさらに提供し、それらはいずれも本開示が提供する画像処理方法のいずれか一つを実現するために用いられることができ、対応する技術的解決手段および説明は方法部分の対応する記載を参照すればよく、ここでは説明を省略する。
図８は本開示の実施例に係る車載カメラ自己校正装置のブロック図を示す。図８に示すように、前記車載カメラ自己校正装置は、車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュール１０と、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュール２０と、取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュール３０と、を含む。本実施例では、車載カメラの自己校正をオンにした後、車両の走行中に車載カメラが取得した情報に基づき、車載カメラが自己校正を行うことができる。車載カメラの自己校正プロセスは車両の使用を妨げることなく、車載カメラの実際の使用環境において容易に完成でき、校正結果が正確で、校正効率が高く、適用範囲が広い。
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにするための第一自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにするための第二自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、前記自己校正オンモジュール１０は、前記車載カメラが取り付けられている車両の累計走行距離を確認し、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにするための第三自己校正オンサブモジュールを含む。それによって車載カメラは常に正確な校正状態を維持できる。
可能な一実施形態では、前記自己校正オンモジュール１０は、自己校正オン命令に応じて、前記車載カメラの自己校正をオンにするための第四自己校正オンサブモジュールを含む。それによって使用上の必要に応じて、車載カメラの自己校正を適時オンにすることができる。車載カメラの自己校正は異なる使用環境に適時に適応できる。
可能な一実施形態では、前記装置は、前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供するための進捗情報提供モジュールをさらに含み、前記自己校正演算モジュール３０は、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正するための第一自己校正演算サブモジュールを含む。取得進捗情報を提供することにより、車両の利用者に車載カメラの取得進捗を提示して、ユーザ体験を改善することができる。
可能な一実施形態では、前記装置は、前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供するためのものであって、前記取得条件は前記車載カメラが自己校正に必要な情報を取得する条件を含む取得条件提示情報をさらに含み、前記情報取得モジュール２０は、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第一情報取得サブモジュールを含む。本実施例では、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得する。車載カメラが車両走行道路の車線区画線を撮影したことが確保されると、取得された車線区画線に基づいて車載カメラを自己校正できる。それによって車載カメラの自己校正は適用範囲が広くなり、校正プロセスが簡単かつ確実になる。
可能な一実施形態では、前記情報取得モジュール２０は、前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第二情報取得サブモジュールを含む。
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、前記情報取得モジュール２０は、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第三情報取得サブモジュールを含む。
可能な一実施形態では、前記情報取得モジュール２０は、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第四情報取得サブモジュールを含む。
可能な一実施形態では、前記情報取得モジュール２０は、前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得するための第五情報取得サブモジュールを含む。
可能な一実施形態では、前記情報取得モジュール２０は、前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための第六情報取得サブモジュールを含む。
可能な一実施形態では、前記自己校正演算モジュール３０は、取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新するためのホモグラフィ行列更新サブモジュールと、更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正するための第二自己校正演算サブモジュールと、を含む。ここで、車載カメラのホモグラフィ行列を更新し、更新前および更新後の車載カメラのホモグラフィ行列に基づき、車載カメラを自己校正する。車載カメラのホモグラフィ行列によって、正確に、高速に車載カメラを自己校正できる。
可能な一実施形態では、前記情報は前記車両走行道路の車線区画線を含み、前記ホモグラフィ行列更新サブモジュールは、前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得るための車線区画線検出位置情報取得ユニットと、前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新するためのホモグラフィ行列更新ユニットと、を含む。
可能な一実施形態では、前記第二自己校正演算サブモジュールは、更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得るための車線区画線既知位置情報取得ユニットと、前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定するための校正パラメータ取得ユニットと、前記校正パラメータに基づいて前記車載カメラを自己校正するための自己校正ユニットと、を含む。
可能な一実施形態では、前記車線区画線検出位置情報取得ユニットは、前記車載カメラが撮影した画像において車線区画線を検出することと、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることとに用いられ、前記校正パラメータ取得ユニットは、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定するために用いられる。本実施例では、車線区画線の検出位置情報および既知位置情報に基づいて車載カメラの校正パラメータを得て、校正パラメータに基づいて車載カメラを自己校正する。車線区画線に基づいて車載カメラを校正し、それによって車載カメラが容易に自己校正を完成でき、校正効率が高く、適用範囲が広い。
可能な一実施形態では、前記車線区画線検出位置情報取得ユニットは、前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることとに用いられる。
可能な一実施形態では、前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、各画像における交点に基づいて地平線を決定することと、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることと、を含む。
可能な一実施形態では、前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることと、を含む。
可能な一実施形態では、前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
可能な一実施形態では、前記キーポイントの既知座標は、既知画角での、前記キーポイントの画像座標系での座標である第一既知座標、および既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標を含み、前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することは、前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することと、を含む。
可能な一実施形態では、前記装置は、前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正するための較正モジュールをさらに含む。
可能な一実施形態では、前記車両は、自動車、軽車両、列車、車おもちゃ、およびロボットの一つまたは任意の組み合わせを含む。
本開示が提供する車載カメラ自己校正装置の実施例の動作プロセスおよび設定方式のいずれも、本開示の上記の対応する方法の実施例の具体的な説明を参照すればよく、紙数に限りがあるので、ここでは説明を省略する。
本開示の実施例はさらに、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記方法の実施例のいずれか一つを実現させるコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、非揮発性コンピュータ読み取り可能な記憶媒体または揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例はさらに、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサは、前記実行可能な命令を呼び出すことにより、本開示の方法の実施例のいずれか一つを実現する電子機器を提供する。具体的な動作プロセスおよび設定方式のいずれも、本開示の上記の対応する方法の実施例の具体的な説明を参照すればよく、紙数に限りがあるので、ここでは説明を省略する。
図９は本開示の例示的な実施例に係る電子機器のブロック図を示す。電子機器は端末、サーバまたは他の形態の装置として提供されてもよい。例えば、電子機器は車載カメラ自己校正装置を含んでもよく、車載カメラ自己校正装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。
図９を参照すると、装置８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置、またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は、前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するように、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は一つの前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は装置８００の各面での状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤ画像センサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように配置される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、装置８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実施形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書における用語は、各実施例の原理、実際の適用または従来技術に対する技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるために選ばれたものである。
本願は２０１８年０６月０５日に中国特許局に提出された、出願番号２０１８１０５７８７３６．５、発明の名称「車載カメラ自己校正方法と装置、および車両運転方法と装置」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

Claims (14)

  1. 車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にすることと、
    前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
    取得された情報に基づいて前記車載カメラを自己校正することと、を含むことを特徴とする車載カメラ自己校正方法。
  2. 車載カメラの自己校正をオンにすることは、
    前記車載カメラの画角または焦点距離の変化を検出した場合、前記車載カメラの自己校正をオンにすることと、
    前記車載カメラの取付位置および／または撮影角度の変化を検出した場合、前記車載カメラの自己校正をオンにすることと、
    前記車載カメラが取り付けられている車両の累計走行距離を確認し、前記累計走行距離が走行距離閾値よりも大きい場合、前記車載カメラの自己校正をオンにすることと、
    自己校正オン命令に応じて、前記車載カメラの自己校正をオンにすることと、の少なくとも一つを含むことを特徴とする請求項１に記載の方法。
  3. 前記車載カメラによる、自己校正に必要な情報の取得の進捗情報を含む取得進捗情報を提供することを、さらに含み、
    取得された情報に基づいて前記車載カメラを自己校正することは、前記取得進捗情報に基づいて、自己校正に必要な情報の取得が完成したと確認した場合、取得された情報に基づいて前記車載カメラを自己校正することを含むこと、および／または、
    前記車載カメラが取得条件を備えるかどうかについての提示情報を含む取得条件提示情報を提供することであって、前記取得条件は、前記車載カメラが自己校正に必要な情報を取得する条件を含むことを、さらに含み、
    前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、前記取得条件提示情報に基づき、前記車載カメラが前記取得条件を備えていると確認した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することを含むこと、を特徴とする請求項１または２に記載の方法。
  4. 前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することは、
    前記車載カメラのレンズピッチ角が撮影ピッチ角の範囲内にある場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
    前記情報は車両走行道路の車線区画線を含み、前記車載カメラが前記車両走行道路の車線区画線を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
    前記情報は前記車両走行道路の車線区画線を含み、前記車載カメラが前記車両走行道路の地平線または車線区画線の消失点を撮影した場合、前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、
    前記車両の走行中に、前記車載カメラによって取得時間範囲内で前記車載カメラの自己校正に必要な情報を取得することと、
    前記車両の走行中に、車両の走行距離が走行距離範囲内にある場合、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得することと、の少なく一つを含むことを特徴とする請求項１から３のいずれか一項に記載の方法。
  5. 取得された情報に基づいて前記車載カメラを自己校正することは、
    取得された情報に基づき、前記車載カメラのポーズを反映する前記車載カメラのホモグラフィ行列を更新することと、
    更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正することと、を含むことを特徴とする請求項４に記載の方法。
  6. 前記情報は前記車両走行道路の車線区画線を含み、取得された情報に基づいて前記車載カメラのホモグラフィ行列を更新することは、
    前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることと、
    前記車線区画線の検出位置情報に基づいて前記車載カメラのホモグラフィ行列を更新することと、を含むことを特徴とする請求項５に記載の方法。
  7. 更新前および更新後の前記車載カメラのホモグラフィ行列に基づいて前記車載カメラを自己校正することは、
    更新前の前記車載カメラのホモグラフィ行列に基づいて前記車線区画線の既知位置情報を得ることと、
    前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することと、
    前記校正パラメータに基づいて前記車載カメラを自己校正することと、を含むことを特徴とする請求項６に記載の方法。
  8. 前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、
    前記車載カメラが撮影した画像において車線区画線を検出することと、
    検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることと、を含み、
    前記車線区画線の検出位置情報および前記車線区画線の既知位置情報に基づき、前記車載カメラの校正パラメータを決定することは、
    前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することを含むこと、および／または、
    前記車載カメラが撮影した画像において車線区画線を検出し、前記車線区画線の検出位置情報を得ることは、
    前記車載カメラが撮影した各画像において車線区画線を検出し、各画像におけるフィッティング対象の車線区画線を得ることと、
    各画像におけるフィッティング対象の車線区画線をフィッティングし、車線区画線および前記車線区画線の検出位置情報を得ることとを含むこと、を特徴とする請求項７に記載の方法。
  9. 前記車線区画線は第一車線区画線および第二車線区画線を含み、検出された車線区画線上にキーポイントを決定し、キーポイントの検出座標を得ることは、
    各画像において検出された第一車線区画線および第二車線区画線に基づき、各画像における第一車線区画線と第二車線区画線との交点を決定することと、
    各画像における交点に基づいて地平線を決定することと、
    前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、前記キーポイントの検出座標を得ることとを含むこと、および／または
    前記キーポイントの検出座標および前記キーポイントの既知座標に基づき、前記車載カメラの校正パラメータを決定することは、
    走行撮影画角での前記キーポイントの座標を含む前記キーポイントの検出座標、および既知画角での前記キーポイントの座標を含む前記キーポイントの既知座標に基づき、前記カメラの変換パラメータを決定することと、
    前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することとを含むこと、を特徴とする請求項８に記載の方法。
  10. 前記地平線、前記第一車線区画線および前記第二車線区画線に基づいてキーポイントを決定し、各前記キーポイントの検出座標を得ることは、
    前記地平線と平行、かつ前記第一車線区画線および前記第二車線区画線とそれぞれ交差する検出線を決定することと、
    前記検出線と前記第一車線区画線との交点、および前記検出線と前記第二車線区画線との交点をキーポイントとして決定し、各前記キーポイントの検出座標を得ることとを含むこと、および／または、
    前記キーポイントの既知座標は、
    既知画角での、前記キーポイントの画像座標系での座標である第一既知座標と、
    既知画角での、前記キーポイントのワールド座標系での座標である第二既知座標と、を含み、
    前記変換パラメータおよび既知パラメータに基づき、前記カメラの校正パラメータを決定することは、
    前記第一既知座標および前記第二既知座標に基づき、既知パラメータを決定することと、
    前記変換パラメータおよび前記既知パラメータに基づき、前記カメラの校正パラメータを決定することとを含むこと、を特徴とする請求項９に記載の方法。
  11. 前記車載カメラの較正パラメータに基づき、透視の原理または三角の原理を利用して前記校正パラメータを較正することを、さらに含むことを特徴とする請求項７から１０のいずれか一項に記載の方法。
  12. 車載カメラの自己校正をオンにして、前記車載カメラが取り付けられている車両を走行状態にするための自己校正オンモジュールと、
    前記車両の走行中に、前記車載カメラによって前記車載カメラの自己校正に必要な情報を取得するための情報取得モジュールと、
    取得された情報に基づいて前記車載カメラを自己校正するための自己校正演算モジュールと、を含むことを特徴とする車載カメラ自己校正装置。
  13. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、前記実行可能な命令を呼び出すことにより、請求項１から１１のいずれか一項に記載の方法を実現することを特徴とする電子機器。
  14. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、請求項１から１１のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2020541881A 2018-06-05 2019-05-29 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体 Active JP7082671B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810578736.5A CN110570475A (zh) 2018-06-05 2018-06-05 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN201810578736.5 2018-06-05
PCT/CN2019/089033 WO2019233330A1 (zh) 2018-06-05 2019-05-29 车载摄像头自标定方法及装置和车辆驾驶方法及装置

Publications (2)

Publication Number Publication Date
JP2021513247A JP2021513247A (ja) 2021-05-20
JP7082671B2 true JP7082671B2 (ja) 2022-06-08

Family

ID=68769241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541881A Active JP7082671B2 (ja) 2018-06-05 2019-05-29 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体

Country Status (6)

Country Link
US (1) US20200357138A1 (ja)
JP (1) JP7082671B2 (ja)
KR (1) KR20200125667A (ja)
CN (1) CN110570475A (ja)
SG (1) SG11202007195TA (ja)
WO (1) WO2019233330A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN111141311B (zh) * 2019-12-31 2022-04-08 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
US11080544B1 (en) * 2020-04-24 2021-08-03 StradVision, Inc. Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
US11341683B2 (en) * 2020-09-22 2022-05-24 AiFi Corp Smart self calibrating camera system
CN112419423B (zh) * 2020-10-30 2024-11-05 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN112541952B (zh) * 2020-12-08 2024-07-23 北京精英路通科技有限公司 停车场景相机标定方法、装置、计算机设备及存储介质
CN112529968A (zh) * 2020-12-22 2021-03-19 上海商汤临港智能科技有限公司 摄像设备标定方法、装置、电子设备及存储介质
CN112614192B (zh) * 2020-12-24 2022-05-17 亿咖通(湖北)技术有限公司 一种车载相机的在线标定方法和车载信息娱乐系统
CN112785653B (zh) * 2020-12-30 2024-06-21 中山联合汽车技术有限公司 车载相机姿态角标定方法
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
CN113284186B (zh) * 2021-04-13 2022-04-15 武汉光庭信息技术股份有限公司 一种基于惯导姿态和灭点的相机标定方法及系统
CN112991433B (zh) * 2021-04-26 2022-08-02 吉林大学 基于双目深度感知和车辆位置的货车外廓尺寸测量方法
CN113766211B (zh) * 2021-08-24 2023-07-25 武汉极目智能技术有限公司 一种adas设备的摄像头安装角度检测系统及方法
CN113824880B (zh) * 2021-08-26 2023-05-19 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN115214694B (zh) * 2021-09-13 2023-09-08 广州汽车集团股份有限公司 摄像头标定触发控制方法、车载控制器和智能驾驶系统
CN113822944B (zh) * 2021-09-26 2023-10-31 中汽创智科技有限公司 一种外参标定方法、装置、电子设备及存储介质
US11875580B2 (en) * 2021-10-04 2024-01-16 Motive Technologies, Inc. Camera initialization for lane detection and distance estimation using single-view geometry
CN113838149B (zh) * 2021-10-09 2023-08-18 智道网联科技(北京)有限公司 自动驾驶车辆的相机内参标定方法、服务器及系统
US11750791B2 (en) 2021-10-19 2023-09-05 Mineral Earth Sciences Llc Automatically determining extrinsic parameters of modular edge computing devices
CN113963066B (zh) * 2021-10-22 2025-04-04 北京茵沃汽车科技有限公司 基于车道线的车载全景摄像头标定方法、装置及存储介质
FR3129511B1 (fr) * 2021-11-23 2024-10-25 Multitec Innovation Système d’assistance au stationnement d’un véhicule équipé d’une plateforme mobile, telle un hayon élévateur arrière ou latéral, et procédé correspondant
CN114387349A (zh) * 2021-12-03 2022-04-22 合肥湛达智能科技有限公司 一种图像传感器的在线自标定方法
CN114170324A (zh) * 2021-12-09 2022-03-11 深圳市商汤科技有限公司 标定方法及装置、电子设备和存储介质
CN114347917B (zh) * 2021-12-28 2023-11-10 华人运通(江苏)技术有限公司 一种车辆、车载摄像系统的校准方法和装置
CN114622469B (zh) * 2022-01-28 2024-09-13 南通威而多专用汽车制造有限公司 一种自动敷旧线控制系统及其控制方法
CN114663524B (zh) * 2022-03-09 2023-04-07 禾多科技（北京）有限公司 多相机在线标定方法、装置、电子设备和计算机可读介质
CN114708334A (zh) * 2022-03-16 2022-07-05 深圳市德驰微视技术有限公司 一种基于域控制器平台的环视系统混合标定方法及系统
JP7788325B2 (ja) * 2022-03-28 2025-12-18 本田技研工業株式会社 区画線認識装置
WO2023190076A1 (ja) * 2022-03-29 2023-10-05 京セラ株式会社 端末装置及び端末装置の動作方法
CN114820816B (zh) * 2022-05-07 2025-07-25 厦门瑞为信息技术有限公司 一种车载摄像头高度的自动标定方法、装置、设备和介质
US11842623B1 (en) 2022-05-17 2023-12-12 Ford Global Technologies, Llc Contextual calibration of connected security device
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN115225890B (zh) * 2022-06-22 2025-06-24 上海闻泰信息技术有限公司 测试摄像头视场角的方法、装置、终端设备及存储介质
JP7394934B1 (ja) 2022-08-16 2023-12-08 株式会社デンソーテン 情報処理装置、情報処理方法、およびプログラム
CN115550555B (zh) * 2022-11-28 2023-04-07 杭州华橙软件技术有限公司 云台校准方法及相关装置、摄像器件和存储介质
CN116188589B (zh) * 2022-11-29 2025-11-28 武汉极目智能技术有限公司 Adas摄像头克隆标定方法、装置、计算机设备及介质
US12405116B2 (en) * 2023-03-03 2025-09-02 Telenav, Inc. Navigation system with automatic optical calibration mechanism and method of operation thereof
CN116704046B (zh) * 2023-08-01 2023-11-10 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN116977447A (zh) * 2023-08-09 2023-10-31 上海几何伙伴智能驾驶有限公司 基于关键点捕获实现路端相机自动标定处理的方法
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
FR3160289B1 (fr) 2024-03-15 2026-03-13 Ampere Sas Procédé de calibration de caméras embarquées et d’enrichissement d’une base de données de calibration, partagée par plusieurs véhicules
KR102782627B1 (ko) * 2024-08-28 2025-03-19 한국전자기술연구원 단일 소실점 인식 기반의 카메라 칼리브레이션 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2008193188A (ja) 2007-02-01 2008-08-21 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008269139A (ja) 2007-04-18 2008-11-06 Sanyo Electric Co Ltd 運転支援システム並びに車両
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
JP2013129278A (ja) 2011-12-21 2013-07-04 Alpine Electronics Inc 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP2013238497A (ja) 2012-05-15 2013-11-28 Toshiba Alpine Automotive Technology Corp 車載カメラ自動キャリブレーション装置
JP2016070814A (ja) 2014-09-30 2016-05-09 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
JP2016181753A (ja) 2015-03-23 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
WO2017130650A1 (ja) 2016-01-26 2017-08-03 株式会社日立製作所 ステレオカメラおよび撮像システム
US20170278270A1 (en) 2016-03-24 2017-09-28 Magna Electronics Inc. Targetless vehicle camera calibration system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
CN103927754B (zh) * 2014-04-21 2016-08-31 大连理工大学 一种车载摄像机的标定方法
CN105976377B (zh) * 2016-05-09 2018-11-20 西安电子科技大学 车载鱼眼摄像头自标定的方法
CN106651963B (zh) * 2016-12-29 2019-04-26 清华大学苏州汽车研究院（吴江） 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
CN106981082B (zh) * 2017-03-08 2020-04-17 驭势科技（北京）有限公司 车载摄像头标定方法、装置及车载设备
CN107145825A (zh) * 2017-03-31 2017-09-08 纵目科技（上海）股份有限公司 地平面拟合、摄像头标定方法及系统、车载终端
CN107133985B (zh) * 2017-04-20 2020-05-12 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
CN108052908A (zh) * 2017-12-15 2018-05-18 郑州日产汽车有限公司 车道保持方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2008193188A (ja) 2007-02-01 2008-08-21 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008269139A (ja) 2007-04-18 2008-11-06 Sanyo Electric Co Ltd 運転支援システム並びに車両
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
JP2013129278A (ja) 2011-12-21 2013-07-04 Alpine Electronics Inc 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP2013238497A (ja) 2012-05-15 2013-11-28 Toshiba Alpine Automotive Technology Corp 車載カメラ自動キャリブレーション装置
JP2016070814A (ja) 2014-09-30 2016-05-09 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
JP2016181753A (ja) 2015-03-23 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
WO2017130650A1 (ja) 2016-01-26 2017-08-03 株式会社日立製作所 ステレオカメラおよび撮像システム
US20170278270A1 (en) 2016-03-24 2017-09-28 Magna Electronics Inc. Targetless vehicle camera calibration system

Also Published As

Publication number Publication date
KR20200125667A (ko) 2020-11-04
CN110570475A (zh) 2019-12-13
JP2021513247A (ja) 2021-05-20
SG11202007195TA (en) 2020-08-28
WO2019233330A1 (zh) 2019-12-12
US20200357138A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7082671B2 (ja) 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体
CN108596116B (zh) 测距方法、智能控制方法及装置、电子设备和存储介质
CN106981082B (zh) 车载摄像头标定方法、装置及车载设备
CN114578329A (zh) 多传感器联合标定方法、设备、存储介质及程序产品
KR101119563B1 (ko) 주차지원장치
US10967851B2 (en) Vehicle system and method for setting variable virtual boundary
CN110832275A (zh) 基于双目图像更新高分辨率地图的系统和方法
CN107776489B (zh) 车辆及其全景影像的显示方法和显示系统
JP6789010B2 (ja) 走行支援装置、走行支援方法、撮像装置、及び車両
CN107452220A (zh) 一种车载终端及智能寻车系统
CN114608591B (zh) 车辆定位方法、装置、存储介质、电子设备、车辆及芯片
JP2019041185A (ja) 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
JP2012155660A (ja) 地図データ生成装置および走行支援装置
US20180284782A1 (en) Vehicle Motion Control System and Method
JP2010215029A (ja) 駐車支援装置
KR20120094397A (ko) 자동차용 카메라 모듈 및 이를 이용한 주차 유도 방법
US20190311523A1 (en) Method and Vehicle Control System for Producing Images of a Surroundings Model, and Corresponding Vehicle
CN112529968A (zh) 摄像设备标定方法、装置、电子设备及存储介质
CN115439551A (zh) 车载环视相机的外参标定方法和装置、介质及车辆
CN111402132B (zh) 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
CN116142080A (zh) 辅助驾驶系统、方法、车辆及存储介质
CN112653889A (zh) 摄像头自标定的方法、装置、摄像设备及车辆
JP2009230225A (ja) 車両用周囲監視装置
JP2020166673A (ja) 駐車位置案内システム
WO2016047037A1 (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220527

R150 Certificate of patent or registration of utility model

Ref document number: 7082671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250