JP2018032402A - 車載拡張現実システム向けの遮蔽調整システム - Google Patents

車載拡張現実システム向けの遮蔽調整システム Download PDF

Info

Publication number
JP2018032402A
JP2018032402A JP2017159594A JP2017159594A JP2018032402A JP 2018032402 A JP2018032402 A JP 2018032402A JP 2017159594 A JP2017159594 A JP 2017159594A JP 2017159594 A JP2017159594 A JP 2017159594A JP 2018032402 A JP2018032402 A JP 2018032402A
Authority
JP
Japan
Prior art keywords
interest
graphic
vehicle
driver
hud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017159594A
Other languages
English (en)
Other versions
JP6428876B2 (ja
Inventor
エムラ アクン シシュボット,
Akin Sisbot Emarah
エムラ アクン シシュボット,
尾口 健太郎
Kentaro Oguchi
健太郎 尾口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JP2018032402A publication Critical patent/JP2018032402A/ja
Application granted granted Critical
Publication of JP6428876B2 publication Critical patent/JP6428876B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

【課題】ヘッドアップディスプレイ上において関心物が遮蔽されていることを運転者に通知する。【解決手段】コンピュータによって実行される方法であって、車両の前方にある関心物を検出する関心物検出ステップと、前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示ステップと、前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出ステップと、を含み、前記表示ステップでは、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示する。【選択図】図1E

Description

本出願は、「SYSTEM FOR OCCLUSION ADJUSTMENT FOR IN-VEHICLE AUGMENTED REALITY SYSTEMS」と題し、2016年8月23日に出願された米国特許出願第15/244,975号の優先権を主張する。
本明細書は、車載拡張現実システム向けの遮蔽調整に関する。
拡張現実の人気が高まっている。いくつかの拡張現実の適用例は、車両向けに存在する。これらは、「車載拡張現実システム」として知られている。
車両は、ヘッドアップディスプレイユニット(HUD)を装備している場合がある。いくつかの車載拡張現実システムは、HUDを使用して動作する。
HUDを含む車載拡張現実システムの1つの欠点は、表示グラフィックとドライバの目との間に物理的な障害物が存在するときに現れる。例えば、物理的な障害物によって遮られている物体がある場合であっても、グラフィック上では当該物体は障害物によって遮られていないため、ドライバに混同を引き起こす。
たとえば、図1Bを参照する。紛らわしいグラフィック121は、現実には物理的な障害物(たとえば、遮蔽物119)によって遮られている関心物117を表す。この現実のひずみは、車両のドライバを混同させる可能性がある。また、この混同は、安全上のリスクの原因となる可能性がある。たとえば、図1Bの例では、紛らわしいグラフィック121は真実ではないが、「関心物117が遮蔽物119の前にある」とドライバに誤認させてしまう可能性がある。
この例では、関心物117に視覚的に類似する紛らわしいグラフィック121は、「関心物117が実際よりも車両に近い」と、ドライバに誤認させてしまう可能性もある。たとえば、ドライバは、視覚的類似性のせいで、紛らわしいグラフィック121が実際には関心物117であると誤って考え、したがって、関心物117と車両との正しい距離または範囲を認識しない可能性がある。この混同または誤解は、遮蔽物119と車両との正しい距離をドライバに認識させない可能性もある。
この問題に対する1つの解決策は、関心物117を表すグラフィックを表示しないことである。しかしながら、ドライバは関心物117が遮蔽物119の後ろにあることを知らない可能性があるので、この解決策は安全上のリスクも引き起こすおそれがある。
この一例が図1Cに示されている。図1Cを参照すると、ドライバは、関心物117が遮蔽物119の後ろに位置することを認知できない。関心物117(たとえば、人間)が遮蔽物119の後ろにあることをドライバが知っていれば、関心物117が遮蔽物119の後ろに位置することを知らない場合と比較して、異なる判断をドライバが行う可能性がある。たとえば、関心物117が遮蔽物119の後ろに位置することをドライバが知っている場合、ドライバは車両を低速で運転するか、または車両を停止させるであろう。これらのドライバの判断は、関心物117が車両にぶつけられる可能性を小さくすることにより、関心物117またはドライバに対するリスクを低減することができる。
上述された例示的な問題を解決する実施形態が本明細書に記載される。これらの実施形
態は、車載拡張現実システム向けの遮蔽調整を実現することを含む。車載拡張現実システムは、車両内に取り付けられた3次元ヘッドアップディスプレイユニット(3D−HUD)を含む。これらの実施形態は、たとえば、関心物の重要度およびその遮蔽に基づいて、3D−HUD上に表示されるグラフィックの位置を調整することを含む。
これらの実施形態の例が図1D〜図1Fに描写されている。このようにして、遮蔽物119の後ろの関心物117の位置は、車両と関心物117との距離または範囲についてドライバを混同させずに、ドライバに伝達される。
いくつかの実施形態では、3D−HUDを有している車両にインストールされた遮蔽アプリケーションが、本明細書に記載される機能を実現する。遮蔽アプリケーションは、車両のプロセッサによって実行可能である。プロセッサは、例えば、車載コンピュータ、エンジン制御ユニット、ヘッドユニット、3D−HUD、または車両の他の何らかのプロセッサベースのコンピューティングデバイスの要素であってもよい。
いくつかの実施形態では、車両は、ドライバについての情報を記述するセンサデータを記録する内部センサを有している。内部センサは、3D−HUDに対するドライバの目の位置を追跡することができる。たとえば、内部センサは、ドライバが3D−HUDを見る際に、ドライバの目がどこに位置するか、および3D−HUDを介して見ることができる物体またはグラフィックがドライバにどのように見えるかを記述するセンサデータを記録することができる。遮蔽アプリケーションは、内部センサからセンサデータを受け取ることができる。遮蔽アプリケーションは、内部センサから受け取ったセンサデータに基づいて、3D−HUDに対するドライバの目の位置を特定することができる。
いくつかの実施形態では、車両は、(車両環境と呼ばれることがある)車両外部の環境を記述するセンサデータを記録する外部センサを有している。外部センサは、車両環境内の物体の位置を追跡することができる。これらの物体のうちのいくつかは、関心物または遮蔽物であり得る。関心物は、車両に対して安全上のリスクをもたらすか、または車両のドライバが危険から保護することを望むか、もしくは危険から保護することを望むべき物体であり得る、任意の物理的なものを含む。たとえば、関心物は、動物(たとえば、人間もしくは犬)、別の車両、または車道上に位置する場合がある他の何らかの物理的なものであり得る。遮蔽物は、ドライバまたは外部センサから見えないように関心物を遮るか、または妨げる任意の物理的なものを含む場合がある。外部センサは、1つまたは複数の時点における1つまたは複数の関心物の位置、1つまたは複数の時点における1つまたは複数の関心物の位置に対応するタイムスタンプ、1つまたは複数の時点における1つまたは複数の遮蔽物の位置、および1つまたは複数の時点における1つまたは複数の遮蔽物の位置に対応するタイムスタンプのうちの1つまたは複数を記述するセンサデータを作成することができる。遮蔽アプリケーションは、外部センサからセンサデータを受信することができる。遮蔽アプリケーションは、外部センサから受信されたセンサデータに基づいて、車両環境内にある関心物の第1の位置を推定することができる。
いくつかの実施形態では、遮蔽アプリケーションは、3D−HUDを見ているドライバの目の位置および環境内の関心物の第1の位置に基づいて、ドライバが3D−HUDを介して第1のグラフィックおよび関心物を見た際に、第1のグラフィックが関心物に重なるように、3D−HUD上における第1のグラフィックの表示位置を決定することができる。遮蔽アプリケーションは、ドライバが3D−HUDを介して関心物に重なる第1のグラフィックを見ることができるように、その位置に3D−HUD上の第1のグラフィックを表示することができる。
いくつかの実施形態では、遮蔽アプリケーションは、外部センサから受信されたセンサ
データに基づいて、関心物の少なくとも一部分が遮蔽物によって遮られているかどうかを判定する。関心物が遮蔽物によって遮られているという判定に応答して、遮蔽アプリケーションは、(1)第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにし、(2)3D−HUDを見ているドライバに、遮蔽物の後ろの関心物の位置を視覚的に示す第2のグラフィックを3D−HUD上に表示することができる。
いくつかの実施形態では、遮蔽アプリケーションは、関心物が十分に重要であるか、または関心物の位置が十分に重要である場合、第1のグラフィックをオフにしない場合がある。これは、ドライバの嗜好による。
いくつかの実施形態では、遮蔽アプリケーションは、内部センサから受け取ったセンサデータ(たとえばドライバ情報)、車両環境を記述する外部センサから受信されたセンサデータ、およびドライバの1つまたは複数の嗜好などの他の情報に基づいて、関心物の重要度または関心物の位置を特定することができる。
いくつかの実施形態では、遮蔽アプリケーションは、関心物の重要度または関心物の位置に基づいて、3D−HUD上にグラフィックが表示される(たとえば、第1のグラフィックから第2のグラフィックに遷移する)方法を変更することができる。このようにして、遮蔽アプリケーションは、有益なことに、車両環境に焦点を当てる追加の時間および能力をドライバに提供することができ、その結果、ドライバは、車両環境内の物体または状態により速く、かつより正確に反応することができる。
1つまたは複数のコンピュータのシステムは、動作中にシステムにアクションを実行させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せを有することで、特定の動作またはアクションを実行するように構成することができる。1つまたは複数のコンピュータプログラムは、データ処理装置によって実行された場合に装置にアクションを実行させる命令を含むことで、特定の動作またはアクションを実行するように構成することができる。
1つの一般態様は、コンピュータ可読プログラムを含む非一時的コンピュータ使用可能媒体を含むコンピュータプログラム製品を含み、コンピュータ可読プログラムは、車両のコンピュータ上で実行された場合に、
車両内に取り付けられた3D−HUDに対する車両のドライバの目の位置を特定することと、
車両の外部環境内で、実質的に車両の前にある関心物の第1の位置を推定することと、
3D−HUDを見ているドライバの目の位置および環境内の関心物の第1の位置に基づいて、ドライバが3D−HUDを介して第1のグラフィックおよび関心物を見た際に、第1のグラフィックが関心物に重なるように、3D−HUD上における第1のグラフィックの表示位置を決定することと、
ドライバが3D−HUDを介して関心物に重なる第1のグラフィックを見ることができるように、その位置に3D−HUD上の第1のグラフィックを表示することと、関心物の少なくとも一部分が遮蔽物によって遮られているかどうかを判定することと、
関心物が遮蔽物によって遮られているという判定に応答して、(1)第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにし、(2)3D−HUDを見ているドライバに、遮蔽物の後ろの関心物の位置を視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
をコンピュータに行わせる。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
1つの一般態様は、
車両内に取り付けられた3D−HUD上に、ドライバが3D−HUDを介して見ることができる第1のグラフィックを表示することと、
関心物の少なくとも一部分が遮蔽物によって遮られていると判断することと、
第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにすることと、
3D−HUDを見ているドライバに、遮蔽物の後ろに関心物が位置することを視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
を含む、コンピュータ実装された方法を含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
実施形態は、以下の特徴のうちの1つまたは複数を含む場合がある。
関心物および遮蔽物が車両の外部に位置する、方法。
関心物および遮蔽物が少なくとも実質的に車両の前に位置する、方法。
第2のグラフィックが関心物に重ならない、方法。
1つまたは複数の車両センサを使用して関心物の動きを追跡することをさらに含む、方法。
1つまたは複数の車両センサが関心物の動きを追跡するカメラを含む、方法。
カメラが遮蔽物および車両に対する関心物の動きを追跡する、方法。
1つまたは複数の車両センサが、遮蔽物および車両に対する関心物の動きおよび関心物の1つまたは複数の距離を追跡する測距器を含む、方法。
関心物が第1の位置から第2の位置に移動することをセンサが検出し、3D−HUD上の第1の位置に表示されていた第2のグラフィックを、第2の位置に対応するように3D−HUD上で再配置することをさらに含む、方法。
記載される技法の実施形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含む場合がある。
1つの一般態様は、
車両内に取り付けられた3D−HUDと、実行された場合に、ドライバが3D−HUDを見ているときに関心物に重なるように見ることができる第1のグラフィックを3D−HUD上に表示することと、
関心物の少なくとも一部分が遮蔽物によって遮られていると判断することと、
第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにすることと、
3D−HUDを見ているドライバに、遮蔽物の後ろに関心物が位置することを視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
をシステムに行わせる命令を記憶するメモリを含む、システムを含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
実施形態は、以下の特徴のうちの1つまたは複数を含む場合がある。
関心物および遮蔽物が車両の外部に位置する、システム。
関心物および遮蔽物が少なくとも実質的に車両の前に位置する、システム。
第2のグラフィックが関心物に重ならない、システム。
命令が実行された場合に、1つまたは複数の車両センサを使用して関心物の動きを追跡させる、システム。
1つまたは複数の車両センサが関心物の動きを追跡するカメラを含む、システム。
カメラが遮蔽物および車両に対する関心物の動きを追跡する、システム。
1つまたは複数の車両センサが、遮蔽物および車両に対する関心物の動きおよび関心物の1つまたは複数の距離を追跡する測距器を含む、システム。
関心物が第1の位置から第2の位置に移動することをセンサが検出し、3D−HUD上の第1の位置に表示されていた第2のグラフィックを、第2の位置に対応するように3D−HUD上で再配置することを指示するシステム。
命令が実行された場合に、関心物が第2の位置に位置するとき遮蔽物によって遮られているかどうかを判定し、関心物が第2の位置において遮られていないと判定することに応答して、第2のグラフィックが3D−HUD上に表示されないように第2のグラフィックをオフにし、3D−HUD上に再び第1のグラフィックを表示することをシステムに行わせ、3D−HUDを見ているドライバが、第2の位置において関心物に重なるように第1のグラフィックを見ることができる、システム。
記載される技法の実施形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含む場合がある。
また、本発明に係る方法は、
コンピュータによって実行される方法であって、車両の前方にある関心物を検出する関心物検出ステップと、前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示ステップと、前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出ステップと、を含み、前記表示ステップでは、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示することを特徴とする。
本発明は、以下の特徴のうちの1つまたは複数を含んでもよい。例えば、
前記関心物の重要度を判定する判定ステップをさらに含み、前記表示ステップでは、前記関心物の重要度が所定の閾値よりも高い場合において前記第2のグラフィックを表示してもよい。
また、前記重要度は、前記関心物が人間である場合において、前記関心物が人間以外である場合よりも高くなることを特徴としてもよい。
また、前記所定の閾値は、前記車両の外部環境が、前記関心物を視認しにくい環境であるほど低くなることを特徴としてもよい。
また、前記第2のグラフィックは、前記遮蔽物と重ならない位置に表示されることを特徴としてもよい。
また、前記検出ステップでは、前記車両が有するセンサを用いて、前記関心物の第1の位置を推定してもよい。
また、前記表示ステップでは、前記3D−HUDに対する運転者の目の位置を特定し、前記3D−HUDに対する運転者の目の位置と、前記推定した第1の位置と、に基づいて、前記第1のグラフィックの表示位置を決定してもよい。
また、前記関心物検出ステップでは、前記3D−HUD上における前記関心物の動きを追跡し、前記表示ステップでは、前記3D−HUD上における前記関心物の動きに同期して、前記第1のグラフィックの表示位置を更新してもよい。
また、前記関心物検出ステップでは、前記遮蔽物に対する前記関心物の動きを同時に追跡してもよい。
また、前記関心物検出ステップでは、前記車両の外部から送信されたセンサ情報にさらに基づいて前記関心物を検出し、前記第1の位置を推定してもよい。
また、前記関心物検出ステップでは、前記関心物の形状をさらに取得し、前記第1のグラフィックは、前記関心物の形状を表すグラフィックであることを特徴としてもよい。
また、前記第2のグラフィックは、前記遮蔽物の後ろに前記関心物があることを強調する表示であってもよい。
本開示は、添付図面の図において限定としてではなく例として示され、添付図面では、同様の構成要素を参照するために同様の参照番号が使用される。
いくつかの実施形態による、遮蔽アプリケーションのための例示的な動作環境を示すブロック図。 いくつかの実施形態による、関心物が遮蔽物によって遮られている場合でも、関心物を表すグラフィックが3D−HUDによって表示される例の図。 いくつかの実施形態による、関心物が遮蔽物によって遮られている場合において、関心物を表すグラフィックが3D−HUDによって表示されない例の図。 いくつかの実施形態による、関心物が遮蔽物に対して動いており、関心物が遮蔽物によって遮られているかどうか、および関心物が十分に重要であるかどうかのうちの1つまたは複数に基づいて、グラフィックが3D−HUDによって表示される例の図。 いくつかの実施形態による、関心物が遮蔽物に対して動いており、関心物が遮蔽物によって遮られているかどうか、および関心物が十分に重要であるかどうかのうちの1つまたは複数に基づいて、グラフィックが3D−HUDによって表示される例の図。 いくつかの実施形態による、関心物が遮蔽物に対して動いており、関心物が遮蔽物によって遮られているかどうか、および関心物が十分に重要であるかどうかのうちの1つまたは複数に基づいて、グラフィックが3D−HUDによって表示される例の図。 いくつかの実施形態による、遮蔽アプリケーションを含む例示的なコンピュータシステムを示すブロック図である。 いくつかの実施形態による、3D−HUDを示すブロック図である。 いくつかの実施形態による、共有アプリケーションを含む例示的なコンピュータシステムを示すブロック図である。 いくつかの実施形態による、3D−HUDのグラフィック向けの遮蔽調整を実現するための例示的な方法のフローチャートである。 いくつかの実施形態による、3D−HUDのグラフィック向けの遮蔽調整を実現するための例示的な方法のフローチャートである。 いくつかの実施形態による、3D−HUDのグラフィック向けの遮蔽調整を実現するための例示的な方法のフローチャートである。
遮蔽アプリケーションは、3D−HUDを含む車両の要素である。遮蔽アプリケーションは、3D−HUDに表示される第1のグラフィックを作成することができる。第1のグラフィックは、車両のドライバに視認される際に、第1のグラフィックが少なくとも部分的に関心物に重なるように、3D−HUD上に表示することができる。第1のグラフィックは、有益なことに、ドライバが自分の視界内で他の物体から関心物を区別することを可能にする。遮蔽アプリケーションは、車両のプロセッサによって実行された場合に、(1)車両の内部センサをアクティブ化して3D−HUDに対するドライバの目の位置を識別するステップと、(2)3D−HUDに第1のグラフィックを作成させ、ドライバの目の位置によって示されたドライバの視界に対して、3D−HUDを介してドライバが見る際に少なくとも部分的に関心物に重なる3D−HUD上の位置に第1のグラフィックを表示させるステップと、をプロセッサに行わせるコードおよびルーチンを含む。
いくつかの実施形態では、関心物は遮蔽物に対して動いている場合がある。たとえば、関心物は人間であり得るし、遮蔽物は、駐車中のトラック、または車両のドライバの視界から関心物を遮る他の何らかの物理的なものであり得る。この例では、関心物と遮蔽物の両方は、車両の外部環境(車両環境)内に存在する。遮蔽アプリケーションは、プロセッサによって実行された場合に、(1)車両の1つまたは複数の外部センサを使用して、関心物(または遮蔽物などの他の物体)の動きを監視するステップと、(2)第1のグラフィックが関心物の動きを追跡し、3D−HUDを介してドライバが見る際に少なくとも部分的に関心物に重なり続けるように、第1のグラフィックの配置を更新するステップとを、プロセッサに行わせるコードおよびルーチンを含む。第1のグラフィックの配置に対する更新は、第1のグラフィックの動きが関心物の動きとともにシームレスに流れるように構成される場合があり、その結果、ドライバにはそれらが互いに結合されているように視覚的に見える。
いくつかの実施形態では、遮蔽アプリケーションは、関心物が遮蔽物によって少なくとも部分的に遮られていると判断する。遮蔽アプリケーションは、プロセッサによって実行された場合に、ドライバの視界に対して関心物が遮蔽物によって遮られるように、第1のグラフィックをオフにするコードおよびルーチンを含む。
いくつかの実施形態では、遮蔽アプリケーションは、プロセッサによって実行された場合に、関心物が遮蔽物によって少なくとも部分的に遮られているとプロセッサに判断させるコードおよびルーチンを含む。遮蔽アプリケーションは、プロセッサによって実行された場合に、関心物が遮蔽物によって少なくとも部分的に遮られているという判断に応答して、(1)第1のグラフィックが3D−HUDによって表示されないように第1のグラフィックをオフにすることと、(2)遮蔽物に重ならず、ドライバが3D−HUDを見ているときに遮蔽物の後ろに関心物の位置があることをドライバに視覚的に示す第2のグラフィックを3D−HUDに表示させることとを、プロセッサに行わせるコードおよびルーチンを含む。いくつかの実施形態では、遮蔽アプリケーションは、プロセッサによって実行された場合に、関心物が遮られていることに応答して、関心物についてのタイプ(たとえば、人間、動物、子供、車両など)、およびこの物体のタイプが、第2のグラフィックを作成する必要があるほど重要であるかどうかをプロセッサに判定させるコードおよびルーチンを含む。関心物が十分に重要であると判定された場合、この段落内で上述されたステップ(1)および(2)は、関心物が十分に重要であるというこの判定に応答して実行される場合がある。
いくつかの実施形態では、遮蔽アプリケーションは、プロセッサによって実行された場合に、関心物および遮蔽物の動きを追跡し続けることを車両の外部センサに行わせるコードおよびルーチンを含む。遮蔽アプリケーションは、プロセッサによって実行された場合に、外部センサから受信されたセンサデータに基づいて、関心物が遮蔽物によってもはや遮られていないとプロセッサに判断させるコードおよびルーチンを含む。遮蔽アプリケーションは、プロセッサによって実行された場合に、関心物が遮蔽物によってもはや遮られていないという判断に基づいて、(第2のグラフィックが以前オンにされた場合)第2のグラフィックをオフにし、第1のグラフィックをオンに戻すことを、プロセッサに行わせるコードおよびルーチンを含む。
(システム概要)
図1Aは、遮蔽アプリケーション199および共有アプリケーション198のための例示的な動作環境100を示すブロック図である。
動作環境100は、路側ユニット101(単数形の場合RSUまたはRSU101、複数形の場合RSUsまたはRSUs101)、第2の車両106、および第1の車両10
3のうちの1つまたは複数を含む。図示された実施形態では、動作環境100のこれらのエンティティは、ネットワーク105を介して通信可能に結合される。動作環境100は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバ、電力使用サービス(たとえば、課金サービス)を提供するための電力サービスサーバ、および地図データを提供するための地図サーバなどを含む、図1Aに示されていない他のサーバまたはデバイスを含んでもよい。
第1の車両103は、信号線122を介してドライバ125によってアクセスされる。たとえば、信号線122は、ドライバ125が第1の車両103を制御するか、または第1の車両103に入力を与えるために使用する、ハンドルおよび他の何らかの車両入力デバイス(たとえば、トランスミッション、アクセルペダル、ブレーキペダル、ヘッドユニット、ボタン、スイッチ、センサなど)のうちの1つまたは複数を表す。
いくつかの実施形態では、第1の車両103は、車両環境108内に位置する。車両環境108には、第1の車両103が位置する物理的世界の一部分が含まれる。車両環境108は、RSU101、第2の車両106、関心物117、および遮蔽物119のうちの1つまたは複数を含んでもよい。
関心物117は、ドライバ125にとって関心がある、または関心があるべき物理的なものである。また、遮蔽物119は、ドライバ125の視界から、全体的または部分的に、関心物117を遮る可能性がある物理的なものである。いくつかの実施形態では、車両環境108は、車道環境を含む。
関心物117は、たとえば、人間、動物(たとえば、犬、猫、鹿、牛、フクロネズミなど)、車両、自転車、車道上のがれきまたは車道上に存在する他の何らかの物体、車道上の穴、氷片、水たまりまたは水などの液体の他の何らかの集合体、交通信号、標識または他の何らかの通信デバイス、および車両環境108内に存在する可能性がある任意の物理的なもののうちの1つまたは複数を含む。
遮蔽物119は、車両(たとえば、駐車中のトラック、駐車中の自動車、走行中のトラック、走行中の自動車)、標識または他の何らかの通信デバイス、自動販売機、ポール(たとえば、看板、電柱、交通信号用のポールなど)、ビルディング、車道上のがれきまたは車道上に存在する他の何らかの物体、および車両環境108内に存在する可能性がある任意の物理的なもののうちの1つまたは複数を含む。
図1Aにおける第1の車両103、第2の車両106、RSU101、および車両環境108は、例として示されたものである。図1Aは、1つの第1の車両103、1つの第2の車両106、1つのRSU101、および1つの車両環境108を示すが、本開示は、1つまたは複数の第1の車両103、1つまたは複数の第2の車両106、1つまたは複数のRSUs101、および1つまたは複数の車両環境108を有するシステムアーキテクチャに適用できる。さらに、図1Aは、第1の車両103、第2の車両106、およびRSU101に結合された1つのネットワーク105を示すが、実際には、1つまたは複数のネットワーク105がこれらのエンティティに結合することができる。
ネットワーク105は、従来のタイプの有線またはワイヤレスであり得るし、スター形構成、トークンリング構成、または他の構成を含む、多数の様々な構成を有する場合がある。さらに、ネットワーク105は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(たとえば、インターネット)、または、複数のデバイスおよび/もしくはエンティティがそれを介して通信することができる他の相互接続データパスを含む場合がある。いくつかの実施形態では、ネットワーク105はピアツーピアネットワークを含む場合がある。ネットワーク105はまた、様々な異なる通信プロトコルで
データを送るための電気通信ネットワークの部分に結合される場合があるか、またはそれらを含む場合がある。いくつかの実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、ワイヤレスアプリケーションプロトコル(WAP)、電子メール、DSRCなどを介して、データを送受信するためのBluetooth(登録商標)通信ネットワークまたはセルラー通信ネットワークを含む。ネットワーク105は、第3世代(3G)、第4世代(4G)、ロングタームエボリューション(LTE)、ボイスオーバーLTE(VoLTE)、もしくはその他のモバイルデータネットワークを含む場合があるモバイルデータネットワーク、またはモバイルデータネットワークの組合せを含む場合もある。さらに、ネットワーク105は、1つまたは複数のIEEE802.11ワイヤレスネットワークを含む場合がある。
いくつかの実施形態では、ネットワーク105は、第1の車両103および1つまたは複数の他のワイヤレス通信デバイスの間で共有される1つまたは複数の通信チャネルを含む。通信チャネルは、DSRCまたはその他のワイヤレス通信プロトコルを含んでもよい。たとえば、ネットワーク105は、第1の車両103にDSRCメッセージ、DSRCプローブ、または基本安全メッセージを送信するために使用される場合がある。いくつかの実施形態では、ネットワーク105は、その全体が参照により本明細書に組み込まれる、2014年8月28日に出願され、「Full−Duplex Coordination System」と題する米国特許出願第14/471,387号(以下、387号出願)明細書に記載された全二重ワイヤレス通信を介して、データを送受信するための通信チャネルを含む。
RSU101は、信号線104を介してネットワーク105に通信可能に結合される。第2の車両106は、信号線197を介してネットワーク105に通信可能に結合される。第1の車両103は、信号線109を介してネットワーク105に通信可能に結合される。
いくつかの実施形態では、動作環境100は、それぞれ、第1の車両103または第2の車両106の地理的位置を記述するGPS位置データを、第1の車両103または第2の車両106に供給するためのGPS衛星を含んでもよい。
第1の車両103には、自動車、トラック、スポーツ用多目的車、バス、セミトラック、ドローン、または3D−HUDを含むその他の車道ベースの乗り物が含まれ得る。いくつかの実施形態では、第1の車両103には、自律車両または半自律車両が含まれ得る。
いくつかの実施形態では、第1の車両103は、3D−HUD、プロセッサ、非一時的メモリ、通信ユニット、センサセット、および遮蔽アプリケーション199のうちの1つまたは複数を含む場合がある。プロセッサは、車載コンピュータ、電子制御ユニット、ヘッドユニット、3D−HUD、または他の何らかのプロセッサベースのコンピューティングデバイスの要素であり得る。
3D−HUDは、その全体が参照により本明細書に組み込まれる、2016年3月24日に出願され、「Wireless Data Sharing Between a Mobile Client Device and a Three−Dimensional Heads−Up Display Unit」と題する米国特許出願第15/080,433号明細書に記載されている。3D−HUDの例示的な実施形態は、図2Bを参照して下記でより詳細に記載される。
プロセッサ、非一時的メモリ、通信ユニット、およびセンサセットは、図2Aを参照し
て下記に記載される、それぞれ、プロセッサ225、メモリ227、通信ユニット245、およびセンサセット212と同様の機能を含む。
いくつかの実施形態では、センサセットは、1つまたは複数のセンサを含む。1つまたは複数のセンサは、車両環境108を測定するように動作可能であり得る。たとえば、センサセットは、車両環境108の1つまたは複数の物理的特性を記録する。1つまたは複数の物理的特性は、直接的に(たとえば、気圧、気温、または車両センサによる直接測定が可能なその他のパラメータ)、あるいは間接的に(たとえば、車両環境108の物理的特性または車両環境内に存在する物体もしくはイベントを描写または記述する画像または音声)記録される場合がある。
いくつかの実施形態では、センサセットは、第1の車両103の性能を測定するように動作可能な1つまたは複数のセンサを含む。たとえば、センサセットは、第1の車両103の速度または加速度を記述するセンサデータ181を記録することができる。
いくつかの実施形態では、センサセットは、外部マイクロフォン、内部マイクロフォン、外部カメラ、内部カメラ、LIDARセンサ、レーザーベースの測距器、レーザー高度計、ナビゲーションセンサ(たとえば、非DSRC準拠GPSユニットの場合のように10メートル以内まで正確であることとは対照的に、1.5メートル以内まで正確なDSRC準拠GPSユニットの全地球測位システムセンサ)、赤外線検出器、動き検出器、サーモスタット、音声検出器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、空気流量センサ、エンジン冷却剤温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空燃比メータ、死角メータ、カーブ感触器、欠陥検出器、ホール効果センサ、多岐管絶対圧力センサ、駐車センサ、レーダーガン、速度計、速度センサ、タイヤ圧監視センサ、トルクセンサ、トランスミッション液温度センサ、タービン速度センサ(TSS)、可変磁気抵抗センサ、車両速度センサ(VSS)、水分センサ、車輪速度センサ、およびその他のタイプの自動車センサのうちの1つまたは複数を含む場合がある。
センサセットは、1つまたは複数の様々な時間における第1の車両103の1つまたは複数の位置、車両環境108および車両環境108内に存在する物体または他の車両の画像または他の測定値などを記述するセンサデータ181を記録するように動作可能であり得る。このようにして、センサデータ181は、車両環境108を記述することができる。
いくつかの実施形態では、センサデータ181は、(たとえば、第1の車両103の位置を記述するセンサデータ181に関連付けられたタイムスタンプによって示された)1つまたは複数の様々な時間における第1の車両103の位置、(たとえば、関心物117の位置を記述するセンサデータ181に関連付けられたタイムスタンプによって示された)1つまたは複数の様々な時間における関心物117の位置、(たとえば、遮蔽物119の位置を記述するセンサデータ181に関連付けられたタイムスタンプによって示された)1つまたは複数の様々な時間における遮蔽物119の位置、関心物117から第1の車両103までの距離または範囲、遮蔽物119から第1の車両103までの距離または範囲、遮蔽物119から関心物117までの距離または範囲、関心物117の1つまたは複数の色、遮蔽物119の1つまたは複数の色、関心物117、遮蔽物119、または車両環境108のその他の特徴もしくは要素の1つまたは複数の画像のうちの1つまたは複数を記述することができる。
遮蔽アプリケーション199は、第1の車両103の非一時的メモリに記憶され、第1の車両103のプロセッサによってアクセス可能かつ実行可能である、コードおよびルー
チンを含む。
いくつかの実施形態では、遮蔽アプリケーション199は、3D−HUDの動作を制御する。たとえば、遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、車両環境108内の関心物117などの物体の存在を強調するグラフィックを3D−HUDに作成させるコードおよびルーチンを含む。たとえば、センサセットの1つまたは複数のセンサは、関心物117の存在を検出し追跡することができ、遮蔽アプリケーション199は、関心物117の少なくとも一部分の上にグラフィックを重ねることにより、3D−HUDを見ているドライバ125によって見られるように、関心物117の存在を強調する第1のグラフィックを3D−HUDに表示させることができる。第1のグラフィックは、ドライバ125が3D−HUDを通して関心物117を見るときに、関心物117をドライバ125に対してより目立たせるように、遮蔽アプリケーション199によって構成される場合がある。遮蔽アプリケーション199は、時間とともに車両環境108内の関心物の位置を監視し追跡し続けることを、センサセットに行わせることができる。関心物117が時間とともに移動するにつれて、遮蔽アプリケーション199は、ドライバ125によって見られるように第1のグラフィックの位置が関心物117の位置を追跡するように、3D−HUDに第1のグラフィックを再配置させることができる。
いくつかの実施形態では、遮蔽アプリケーション199は、関心物117の位置が変化する場合、遮蔽物119などの物理的障害物の後ろに関心物が位置するように、3D−HUDのディスプレイ上において遮蔽を自動的に発生させることができる。たとえば、遮蔽アプリケーション199は、関心物117が遮蔽物119の後ろに位置することを示すセンサデータ181をセンサセットの1つまたは複数のセンサが供給することに応答して、関心物117の存在を強調する第1のグラフィックを3D−HUDに表示させることを中止することができる。関心物117が十分に重要である場合、遮蔽アプリケーション199は、関心物117用のグラフィックを再配置することができる。たとえば、遮蔽アプリケーション199は、第1のグラフィックが遮蔽物119に重なる可能性があり、ドライバ125を混同させる可能性があるので、第1のグラフィックをオフにすることができる。たとえば、図1Bに描写された紛らわしいグラフィック121を参照されたい。再び図1Aを参照すると、遮蔽アプリケーション199は、遮蔽物119に重ならず、遮蔽物119の後ろの関心物117の位置を示す第2のグラフィックを3D−HUDに表示させることができる。たとえば、図1Eに描写された第2のグラフィック124を参照されたい。
再び図1Aを参照すると、いくつかの実施形態では、遮蔽アプリケーション199は、3D−HUDによって表示される第1のグラフィックを作成することができる。第1のグラフィックは、ドライバ125によって見られる際に第1のグラフィックが少なくとも部分的に関心物117に重なるように、3D−HUD上に表示される場合がある。第1のグラフィックは、有益なことに、ドライバが3D−HUDを見るときに自分の視界内の他の物体から関心物117を区別することを可能にする。遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、(1)センサセットの内部センサをアクティブ化して3D−HUDに対するドライバ125の目の位置を識別するステップ(たとえば、内部センサは、ドライバの目と、関心物117がドライバ125によって見ることができる3D−HUDの領域との間の視角を識別できる)、および(2)3D−HUDに第1のグラフィックを作成させ、ドライバ125の目の位置によって示されたドライバ125の視界に対して、3D−HUDを見ているドライバ125によって見られるように少なくとも部分的に関心物に重なる3D−HUD上の位置に第1のグラフィックを表示させるステップのうちの1つまたは複数を、プロセッサに行わせるコードおよびルーチンを含む。
いくつかの実施形態では、内部センサは、ドライバ125の1つまたは複数の目と、ドライバ125によって関心物117が視認される3D−HUDの領域とを分離する3次元直交座標を記述するセンサデータ181を供給する。たとえば、3D−HUDの上部左側の隅は、グリッド上の原点の位置(0,0,0)であり得る(3D−HUDのその他の点も原点として働くことができる)。Z軸は、ドライバ125の1つまたは複数の目、および関心物117がドライバ125によって見ることができる3D−HUDの水平断面の部分からの距離を記述する。X軸およびY軸は、原点に対する関心物117がドライバ125によって見ることができる3D−HUD内の点の垂直位置および水平位置を記述する。たとえば、(1)実空間内の1ミリメートルが直交座標系内の1単位に等しく、(2)原点に対する関心物117がドライバ125によって見ることができる3D−HUD内の点が原点の25ミリメートル下かつ100ミリメートル右であり、(3)ドライバ125の1つまたは複数の目が、関心物がドライバ125によって見ることができる3D−HUDの水平断面から200ミリメートルである場合、センサデータ181は、遮蔽アプリケーション199がドライバ125の1つまたは複数の目と、ドライバ125によって関心物117が視認される3D−HUDの領域とを分離する直交座標を、(100,−25,200)と決定することができる。
いくつかの実施形態では、関心物117は遮蔽物119に対して動いている場合がある。たとえば、関心物117は人間であり得、遮蔽物119は、駐車中のトラック、または3D−HUDを通して見ているときのドライバ125の視界から関心物117を遮るであろう他の何らかの物理的なものであり得る。遮蔽アプリケーション199は、プロセッサによって実行された場合に、(1)センサセットの1つまたは複数の外部センサを使用して、関心物117(または遮蔽物119などの他の物体)の動きを監視するステップと、(2)第1のグラフィックが関心物117の動きを追跡し、3D−HUDを見ている間にドライバ125によって見られるように少なくとも部分的に関心物117に重なり続けるように第1のグラフィックの配置を更新するステップとを、プロセッサに行わせるコードおよびルーチンを含む。第1のグラフィックの配置に対する更新は、第1のグラフィックの動きが車両環境108内の関心物117の動きとともにシームレスに流れるように構成される場合があり、その結果、ドライバ125には、第1のグラフィックが関心物117(または関心物117の構成要素)に結合されているように視覚的に見える。
いくつかの実施形態では、センサセットに含まれるセンサは、時間とともに関心物117の位置を追跡し、時間とともに関心物117の位置を記述するセンサデータ181を供給し続ける。遮蔽アプリケーション199は、センサデータ181に基づいて、関心物117が遮蔽物119によって少なくとも部分的に遮られていると判断することができる。遮蔽アプリケーション199は、プロセッサによって実行された場合に、第1のグラフィックは、3D−HUDによってもはや表示されず、ドライバ125の視界に対して、関心物117が遮蔽物119によって遮られているように見せるよう、第1のグラフィックをオフにするコードおよびルーチンを含む。
いくつかの実施形態では、遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、関心物117が遮蔽物119によって少なくとも部分的に遮られているとプロセッサに判断させるコードおよびルーチンを含む。遮蔽アプリケーション199は、プロセッサによって実行された場合に、関心物117が遮蔽物119によって少なくとも部分的に遮られているという判断に応答して、(1)第1のグラフィックが3D−HUDによって表示されないように第1のグラフィックをオフにするステップと、(2)遮蔽物119に重ならず、ドライバが3D−HUDを見ているときに関心物117の位置が遮蔽物119の後ろであることをドライバに視覚的に示す第2のグラフィックを3D−HUDに表示させるステップとを、プロセッサに行わせるコードおよびルーチ
ンを含む。たとえば、図1D、図1E、および図1Fを参照されたい。いくつかの実施形態では、遮蔽アプリケーション199は、プロセッサによって実行された場合に、関心物117が遮られていることに応答して、関心物についてのタイプ(たとえば、人間、動物、子供、車両など)、およびこの物体のタイプが第2のグラフィックを作成する必要があるほど重要であるかどうかをプロセッサに判定させるコードおよびルーチンを含む。関心物117が十分に重要であると判定された場合、この段落内で上述されたステップ(1)および(2)は、関心物117が十分に重要であるというこの判定に応答して実行される場合がある。
いくつかの実施形態では、遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、車両環境108内の関心物117および遮蔽物119の動きを追跡し続けることを第1の車両103の外部センサに行わせるコードおよびルーチンを含む。遮蔽アプリケーション199は、プロセッサによって実行された場合に、外部センサから受信されたセンサデータに基づいて、関心物117が遮蔽物119によってもはや遮られていないとプロセッサに判断させるコードおよびルーチンを含む。遮蔽アプリケーション199は、プロセッサによって実行された場合に、関心物が遮蔽物119によってもはや遮られていないという判断に基づいて、(第2のグラフィックが以前オンにされた場合)第2のグラフィックをオフにし、第1のグラフィックをオンに戻すことをプロセッサに行わせるコードおよびルーチンを含む。たとえば、図1Fを参照されたい。
いくつかの実施形態では、遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、図1D、図1E、および図1Fに描写されたGUIのうちの1つまたは複数を第1の車両103の3D−HUDに表示させるコードおよびルーチンを含む。
いくつかの実施形態では、遮蔽アプリケーション199は、第1の車両103のプロセッサによって実行された場合に、図3A〜図3Cに描写された方法300を参照して下記に記載されるステップのうちの1つまたは複数をプロセッサに実行させるコードおよびルーチンを含む。
いくつかの実施形態では、遮蔽アプリケーション199は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)を含むハードウェアを使用して実装することができる。いくつかの他の実施形態では、遮蔽アプリケーション199は、ハードウェアとソフトウェアの組合せを使用して実装することができる。遮蔽アプリケーション199は、デバイスとサーバの組合せ、またはデバイスもしくはサーバのうちの1つに記憶される場合がある。
センサデータ181は、遮蔽アプリケーション199がその機能を提供するために必要な任意のデータを含む。
遮蔽アプリケーション199は、図2Aを参照して下記でより詳細に記載される。
第2の車両106は、第1の車両103と同様の機能を含むので、その説明はここでは繰り返さない。いくつかの実施形態では、第2の車両106は、3D−HUD、プロセッサ、非一時的メモリ、通信ユニット、およびセンサセットのうちの1つまたは複数を含む場合がある。第2の車両106のこれらの要素は、第1の車両103について上述された要素に類似するので、それらの説明はここでは繰り返さない。
第2の車両106は、共有アプリケーション111も含む。第2の車両106のセンサセットは、第2の車両106の非一時的メモリに記憶されるセンサデータ181を収集す
ることができる。共有アプリケーション111は、センサデータ181またはセンサデータ181の一部分を含むワイヤレスメッセージを作成する。共有アプリケーション111は、ネットワーク105にワイヤレスメッセージを送信することを第2の車両106の通信ユニットに行わせる。第1の車両103の通信ユニットは、ネットワーク105からワイヤレスメッセージを受信する。このようにして、共有アプリケーション111は、有益なことに、第1の車両103の遮蔽アプリケーション199が、全体的または部分的に第2の車両106などのリモートソースから供給されるセンサデータ181を使用して、その機能を実現することを可能にする。
いくつかの実施形態では、共有アプリケーション111は、第2の車両106のプロセッサによって実行された場合に、図3A〜図3Cに描写された方法300を参照して下記に記載されるステップのうちの1つまたは複数をプロセッサに実行させるコードおよびルーチンを含む。
いくつかの実施形態では、共有アプリケーション111は、FPGAまたはASICを含むハードウェアを使用して実装することができる。いくつかの他の実施形態では、共有アプリケーション111は、ハードウェアとソフトウェアの組合せを使用して実装することができる。共有アプリケーション111は、デバイスとサーバの組合せ、またはデバイスもしくはサーバのうちの1つに記憶される場合がある。
共有アプリケーション111は、図2Cを参照して下記でより詳細に記載される。
上述されたように、RSU101は路側サービスユニットである。いくつかの実施形態では、RSU101は、プロセッサ、非一時的メモリ、通信ユニット、およびセンサセットのうちの1つまたは複数を含む場合がある。RSU101のこれらの要素は、第1の車両103について上述された要素に類似するので、それらの説明はここでは繰り返さない。
RSU101は、共有アプリケーション111を含む場合もある。たとえば、RSU101のセンサセットはセンサデータ181を収集することができ、共有アプリケーション111は、第1の車両103の遮蔽アプリケーション199とセンサデータ181を共有することをRSU101のプロセッサに行わせることができる。
次に図1Bを参照すると、いくつかの実施形態による、関心物117が遮蔽物119によって遮られている場合において、関心物117を表す紛らわしいグラフィック121が3D−HUDによって表示されるグラフィック表現170の例が描写されている。紛らわしいグラフィック121は、車両のドライバ125を混同させる可能性がある。たとえば、紛らわしいグラフィック121が関心物に視覚的に類似し、遮蔽物119の一部分に重なるとする。その結果、ドライバ125の目126には、遮蔽物の前にあるように見えるため、ドライバ125は関心物117が遮蔽物119の前にあると考える可能性がある。紛らわしいグラフィック121は、関心物117が実際は遮蔽物119の後ろにあり、したがって実際は車両からさらに遠く離れている場合であっても、関心物117が遮蔽物119の前にあり、見掛け上車両に近いかのように見せる可能性があるので、範囲または距離に関して、現実よりも関心物117が車両に近いとドライバ125に考えさせる可能性もある。遮蔽アプリケーション199は、有益なことに、これらの例示的な問題を解決する。たとえば、遮蔽アプリケーション199は、本明細書に記載されたように、第1のグラフィックおよび第2のグラフィックを作成することができる。
次に図1Cを参照すると、いくつかの実施形態による、関心物が遮蔽物119によって遮られている場合において、関心物117を表すグラフィックが3D−HUDによって表
示されないグラフィック表現171の例が描写されている。これにより、関心物または車両のドライバ125に対する安全上のリスクが引き起こされる。たとえば、ドライバ125の1つまたは複数の目126によって見られるように、ドライバ125は、遮蔽物119によって遮られている関心物117を認識できない可能性がある。ドライバ125が関心物117を視認した場合、ドライバ125は、関心物117またはドライバ125に対するリスクを低減するような措置を取ることができる。当該措置の例には、車両の速度を落とすこと、車両のブレーキをかけること、車両が異なる車線または異なる道路に移動するように車線を変更すること、車両を停止させること、およびドライバ125がリスクを低減することができると信じる可能性があるその他のアクションのうちの1つまたは複数が含まれ得る。しかしながら、ドライバ125が、関心物117を見ることができなければ、これらの措置のいずれも取らない可能性がある。遮蔽アプリケーションは、有益なことに、この例示的な問題を解決する。たとえば、遮蔽アプリケーション199は、本明細書に記載されたように、第1のグラフィックおよび第2のグラフィックを選択的に作成することができる。遮蔽アプリケーション199は、しきい値に対する関心物117の重要度に基づいて、グラフィックのうちの1つまたは複数を表示するべきかどうかを選択することができる。
次に図1D〜図1Fを参照すると、いくつかの実施形態による、関心物117が遮蔽物119に対して動いており、(1)関心物117が遮蔽物119によって遮られているかどうか、および(2)関心物117が十分に重要であるかどうかのうちの1つまたは複数に基づいて、第1のグラフィック123または第2のグラフィック124が3D−HUDによって選択的に表示される、3D−HUDの一連のグラフィック表現172,173,174が描写されている。
次に図1Dを参照する。いくつかの実施形態では、センサデータは、関心物117が遮蔽物119によって遮られていないことを示す場合がある。遮蔽アプリケーションは、センサデータを分析して、ドライバ125の1つまたは複数の目126の視界に対して、関心物117が遮蔽物119によって遮られていないと判断することができる。遮蔽アプリケーションは、3D−HUDに第1のグラフィック123を表示させるためのGUIデータを作成する。遮蔽アプリケーションは、3D−HUDにGUIデータを供給する。遮蔽アプリケーションは、ドライバ125の視界に対して、関心物117に重なるが、遮蔽物119に重ならないような位置に、第1のグラフィック123を表示することを3D−HUDに行わせることができる。たとえば、遮蔽アプリケーションは、(1)車両の1つまたは複数の内部センサによって収集されたセンサデータに基づいて、第1のグラフィック123が関心物117に重なるが、遮蔽物119に重ならないように見えるように、ドライバ125の1つまたは複数の目126に対して第1のグラフィック123が3D−HUD上で位置するべき直交座標を決定することができる。たとえば、遮蔽アプリケーションは、(2)遮蔽アプリケーションによって決定された直交座標に対応する位置に第1のグラフィック123を表示することを3D−HUDに行わせることができる。
次に図1Eを参照する。いくつかの実施形態では、センサデータは、関心物117が遮蔽物119によって遮られていることを示す場合がある。遮蔽アプリケーションは、センサデータを分析して、ドライバ125の1つまたは複数の目126の視界に対して、関心物117が遮蔽物119によって遮られていると判断する。
いくつかの実施形態では、遮蔽アプリケーションは、3D−HUDに第1のグラフィック123の表示を停止させることができる。
いくつかの実施形態では、遮蔽アプリケーションは、3D−HUDに第2のグラフィック124を表示させるためのGUIデータを作成することができる。遮蔽アプリケーショ
ンは、3D−HUDにGUIデータを供給することができる。遮蔽アプリケーションは、ドライバ125の視界に対して、関心物117または遮蔽物119に重ならないが、関心物117が遮蔽物119の後ろに位置することを示す位置に、第2のグラフィック124を表示することを3D−HUDに行わせることができる。たとえば、遮蔽アプリケーションは、(1)車両の1つまたは複数の内部センサによって収集されたセンサデータに基づいて、第2のグラフィック124が関心物117または遮蔽物119に重ならないが、関心物117が遮蔽物119の後ろに位置することを示すように、ドライバ125の1つまたは複数の目126に対して第2のグラフィック124が3D−HUD上で位置するべき直交座標を決定し、(2)遮蔽アプリケーションによって決定された直交座標に対応する位置に第2のグラフィック124を表示することを3D−HUDに行わせることができる。
このようにして、遮蔽アプリケーションは、第1のグラフィック123または第2のグラフィック124のいずれかを、3D−HUDに選択的に表示させることができる。
いくつかの実施形態では、遮蔽アプリケーションは、(たとえば、関心物117を記述する画像などのセンサデータ、および、人間、車両、犬、猫などの既知のタイプを有する既知の物体を記述する1組の物体の前例に基づいて、関心物117についてのタイプを特定することができる。関心物117の様々なタイプは、様々なレベルの重要度に関連付けられる場合がある。この重要度は、値を用いて定量化される場合がある。たとえば、「人間」タイプであると特定された関心物117は、関心物の他のタイプと比べて比較的高い重要度に関連付けられる。たとえば、車両のメモリは、タイプの第1の列と、第1の列の様々なタイプに関連付けられた重要度値の第2の列とを有する表を記憶することができる。メモリは、重要度しきい値も記憶することができる。いくつかの実施形態では、遮蔽アプリケーションは、(1)関心物117についてのタイプを特定し、(2)関心物について特定されたタイプに関連付けられた重要度値を特定し、(3)関心物117について特定されたタイプに関連付けられた重要度値との比較用の重要度しきい値を取り出す。いくつかの実施形態では、遮蔽アプリケーションは、関心物117について特定されたタイプ用の重要度値が重要度しきい値を満たすか、または超えるかどうかを判定する。いくつかの実施形態では、遮蔽アプリケーションは、関心物117について特定されたタイプ用の重要度値が重要度しきい値を満たすか、または超える場合にのみ、3D−HUDに第2のグラフィック124を表示させることができる。
このようにして、遮蔽アプリケーションは、関心物117の重要度に基づいて、第2のグラフィック124を選択的に表示することができる。
次に図1Fを参照すると、いくつかの実施形態では、センサデータは、以前遮蔽物119によって遮られていた(たとえば、図1Fより前の時点に起きた可能性がある図1Eを参照)ときの関心物117が遮蔽物119によってもはや遮られていないことを示す場合がある。遮蔽アプリケーションは、センサデータを分析して、ドライバ125の1つまたは複数の目126の視界に対して、関心物117が遮蔽物119によってもはや遮られていないと判断することができる。
いくつかの実施形態では、遮蔽アプリケーションは、3D−HUDに第2のグラフィック124の表示を停止させる。
いくつかの実施形態では、遮蔽アプリケーションは、3D−HUDに第1のグラフィック123を表示させるためのGUIデータを作成することができる。遮蔽アプリケーションは、3D−HUDにGUIデータを供給することができる。遮蔽アプリケーションは、ドライバ125の視界に対して、関心物117に重なるが、図1Dについて上述された遮
蔽物に類似する遮蔽物119に重ならない位置に、第1のグラフィック123を表示することを3D−HUDに行わせることができる。
(例示的なシステム)
次に図2Aを参照すると、遮蔽アプリケーション199を含むコンピュータシステム200の一例が描写されている。
図2Aは、いくつかの実施形態による、遮蔽アプリケーション199と、プロセッサ225と、メモリ227と、3D−HUD231と、センサセット212と、通信ユニット245とを含むコンピュータシステム200のブロック図である。コンピュータシステム200の構成要素は、バス220によって通信可能に結合される。いくつかの実施形態では、コンピュータシステム200は、第1の車両103である。
プロセッサ225には、算術論理演算ユニット、マイクロプロセッサ、汎用コントローラ、または、計算を実施し、ディスプレイデバイスに電子表示信号を供給する他の何らかのプロセッサアレイが含まれる。プロセッサ225は、信号線236を介して他の構成要素と通信するためにバス220に結合される。プロセッサ225は、データ信号を処理し、複合命令セットコンピュータ(CISC)アーキテクチャ、縮小命令セットコンピュータ(RISC)アーキテクチャ、または命令セットの組合せを実装するアーキテクチャを含む、様々なコンピューティングアーキテクチャを含む場合がある。図2Aは単一のプロセッサ225を含むが、複数のプロセッサ225が含まれる場合がある。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、および物理構成が考えられ得る。
メモリ227は、プロセッサ225によって実行され得る命令またはデータを記憶する。メモリ227は、信号線244を介して他の構成要素と通信するためにバス220に結合される。命令またはデータは、本明細書に記載された技法を実施するためのコードを含む場合がある。メモリ227は、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、または他の何らかのメモリデバイスであり得る。いくつかの実施形態では、メモリ227はまた、不揮発性メモリまたは同様の永続的なストレージデバイス、および、ハードディスクドライブ、フロッピーディスクドライブ、CD−ROMデバイス、DVD−ROMデバイス、DVD−RAMデバイス、DVD−RWデバイス、フラッシュメモリデバイス、またはより永続的に情報を記憶するための他の何らかの大容量記憶デバイスを含む媒体を含む。
図2Aに示されたように、メモリ227は、ドライバ情報293、外部センサデータ295、ドライバ嗜好データ298、タイプデータセット291、GUIデータ297、およびドライバビューデータ299のうちの1つまたは複数を記憶する。
ドライバ情報293は、センサセット212の1つまたは複数の内部センサによって取り込まれたセンサデータを含む。ドライバ情報293は、ドライバを記述することができる。ドライバ情報293は、特に、3D−HUD231に対するドライバの目の方位を記述することができる。
外部センサデータ295は、(1)センサセット212の1つまたは複数の外部センサ、(2)第2の車両の1つまたは複数の外部センサ、および(3)RSUの1つまたは複数の外部センサのうちの1つまたは複数によって取り込まれたセンサデータを含む。
外部センサデータ295は、車両環境を記述することができる。外部センサデータ295は、たとえば、1つまたは複数の関心物および1つまたは複数の遮蔽物を記述すること
ができる。外部センサデータ295は、第1の車両も記述することができる。たとえば、外部センサデータ295は、第1の車両の位置を記述することができる。
ドライバ嗜好データ298は、第1の車両のドライバの1つまたは複数の嗜好を記述する。ドライバ嗜好データ298は、重要度しきい値を記述することができる。重要度しきい値は、たとえば、時刻、曜日、車両環境の外部明暗レベル、または他の要因に基づいて変化する場合がある。たとえば、車両環境が、関心物を視認しにくい環境である場合(例えば夜間、荒天時など)、関心物を視認しやすい場合と比較して重要度しきい値を低くしてもよい。ドライバ嗜好データ298は、1つまたは複数の第1のグラフィックおよび1つまたは複数の第2のグラフィックの作成について、ドライバが好む色または他の情報を記述することができる。
タイプデータセット291は、関心物についてのタイプおよびその物体の重要度を特定するために必要な任意のデータである。たとえば、タイプデータセット291は、関心物についてのタイプを特定するために使用される物体の前例、および物体のそのタイプについての重要度を特定するために使用される、表または他の何らかのデータ構造を含む。
GUIデータ297は、3D−HUD231上に表示するためのグラフィックを作成するために使用されるグラフィカルデータを含む。たとえば、GUIデータ297は、第1のグラフィックおよび第2のグラフィックのうちの1つまたは複数を作成するために使用されるグラフィカルデータを含む。
ドライバビューデータ299は、ドライバの視界に対して3D−HUD231上でグラフィックをどこに表示するべきかを判定するために使用される1つまたは複数の直交座標を決定するために必要な任意のデータを含む。
いくつかの実施形態では、メモリ227は、図1A〜図1Fを参照して上述されたセンサデータ181を記憶することができる。たとえば、ドライバ情報293、外部センサデータ295、およびドライバビューデータ299は、センサデータ181の構成要素であり得る。
3D−HUD231は、図2Bを参照して下記でより詳細に記載される。3D−HUD231は、信号線232を介してバス220に通信可能に結合される。
センサセット212は、外部マイクロフォン、内部マイクロフォン、外部カメラ、内部カメラ、LIDARセンサ、レーザーベースの測距器、レーザー高度計、ナビゲーションセンサ(たとえば、非DSRC準拠GPSユニットの場合のように10メートル以内まで正確であることとは対照的に、1.5メートル以内まで正確なDSRC準拠GPSユニットの全地球測位システムセンサ)、赤外線検出器、動き検出器、サーモスタット、音声検出器、一酸化炭素センサ、二酸化炭素センサ、酸素センサ、空気流量センサ、エンジン冷却剤温度センサ、スロットル位置センサ、クランクシャフト位置センサ、自動車エンジンセンサ、バルブタイマ、空燃比メータ、死角メータ、カーブ感触器、欠陥検出器、ホール効果センサ、多岐管絶対圧力センサ、駐車センサ、レーダーガン、速度計、速度センサ、タイヤ圧監視センサ、トルクセンサ、トランスミッション液温度センサ、タービン速度センサ(TSS)、可変磁気抵抗センサ、車両速度センサ(VSS)、水分センサ、車輪速度センサ、およびその他のタイプの自動車センサのうちの1つまたは複数を含む場合がある。センサセット212は、上記に列挙された任意のタイプのセンサのうちの1つまたは複数を含む場合がある。
センサセット212は、図1A〜図1Fを参照して上述されたセンサデータ181、ド
ライバ情報293、外部センサデータ295、およびドライバビューデータ299のうちの1つまたは複数を記述するセンサデータ181を記録するように動作可能である。
いくつかの実施形態では、センサセット212は、センサデータ181、ドライバ情報293、外部センサデータ295、およびドライバビューデータ299を供給するために必要な画像を取り込むための1つまたは複数のデジタルカメラを含む。1つまたは複数のカメラは、3D−HUD231を介してドライバ125が見ている画像を取り込むことができる。いくつかの実施形態では、1つの画像は、3D−HUD231上に表示するための仮想現実コンテンツを供給するために使用されるパノラマを作成するための立体画像を含む。
いくつかの実施形態では、カメラのうちの少なくとも1つは、第1の車両103の内部に取り付けられ、ドライバ125の視線を監視し、3D−HUD231のどの領域をドライバ125が見ているかを判定するように構成されたデジタルカメラである。たとえば、内部カメラは、ドライバの顔、特に、ドライバの目および3D−HUD231に対するドライバの視線を記録する。カメラは、3D−HUD231を介してドライバが見るもの(たとえば、関心物)も記録することができる。カメラには、ドライバの目(またはドライバの目の間の点)と、関心物が位置するか、またはグラフィックが表示される可能性がある3D−HUDの領域との距離または範囲を特定するために使用される、LIDARまたは測距器が含まれ得る。
いくつかの実施形態では、センサセット212は、信号線247を介してバス220に通信可能に結合される。
通信ユニット245は、ネットワーク105にデータを送信し、ネットワーク105からデータを受信するハードウェアを含む。いくつかの実施形態では、通信ユニット245は、ネットワーク105または別の通信チャネルへの直接物理接続用のポートを含む。たとえば、通信ユニット245は、ネットワーク105との有線通信用のUSB、SD、CAT−5、または同様のポートを含む。いくつかの実施形態では、通信ユニット245は、IEEE802.11、IEEE802.16、Bluetoothまたは別の適切なワイヤレス通信方法を含む1つもしくは複数のワイヤレス通信方法を使用して、ネットワーク105または別の通信チャネルとデータ交換するためのワイヤレストランシーバを含む。
いくつかの実施形態では、通信ユニット245は、ネットワーク105または別の通信チャネルへの直接物理接続用のポートを含む。たとえば、通信ユニット245は、ネットワーク105との有線通信用のUSB、SD、CAT−5、または同様のポートを含む。
いくつかの実施形態では、通信ユニット245は、IEEE802.11、IEEE802.16、Bluetooth、ENISO14906:2004電子式料金徴収−アプリケーションインターフェース、EN12253:2004専用短距離通信−5.8GHzにおいてマイクロ波を使用する物理層(レビュー)、EN12795:2002専用短距離通信(DSRC)−DSRCデータリンク層、媒体アクセスおよび論理リンク制御(レビュー)、EN12834:2002専用短距離通信−アプリケーション層(レビュー)、EN13372:2004専用短距離通信(DSRC)−RTTTアプリケーション用DSRCプロファイル(レビュー)、387号出願の明細書に記載された通信方法、または別の適切なワイヤレス通信方法を含む1つまたは複数のワイヤレス通信方法を使用して、ネットワーク105または他の通信チャネルとデータを交換するためのワイヤレストランシーバを含む。
いくつかの実施形態では、通信ユニット245は、387号出願の明細書に記載された全二重調整システムを含む。
いくつかの実施形態では、通信ユニット245は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、WAP、電子メール、または別の適切なタイプの電子通信を介して、セルラー通信ネットワーク上でデータを送受信するためのセルラー通信トランシーバを含む。いくつかの実施形態では、通信ユニット245は、有線ポートおよびワイヤレストランシーバを含む。通信ユニット245はまた、TCP/IP、HTTP、HTTPS、およびSMTP、ミリメートル波、DSRCなどを含む標準ネットワークプロトコルを使用して、ファイルまたはメディアオブジェクトを配信するための、ネットワーク105への他の従来の接続を提供する。
通信ユニット245は、信号線246を介してバス220に通信可能に結合される。
遮蔽アプリケーション199は、通信モジュール202、センサモジュール204、座標変換モジュール206、位置特定モジュール208、状況判定モジュール210、および遮蔽評価モジュール211のうちの1つまたは複数を備える。
通信モジュール202は、信号線222を介してバス220に通信可能に結合される。センサモジュール204は、信号線224を介してバス220に通信可能に結合される。座標変換モジュール206は、信号線226を介してバス220に通信可能に結合される。位置特定モジュール208は、信号線228を介してバス220に通信可能に結合される。状況判定モジュール210は、信号線229を介してバス220に通信可能に結合される。遮蔽評価モジュール211は、信号線230を介してバス220に通信可能に結合される。
通信モジュール202は、遮蔽アプリケーション199とコンピュータシステム200の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。いくつかの実施形態では、通信モジュール202は、遮蔽アプリケーション199とコンピュータシステム200の他の構成要素との間の通信を処理するための下記に記載される機能を実現するために、プロセッサ225によって実行可能な1組の命令である。いくつかの実施形態では、通信モジュール202は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
通信モジュール202は、通信ユニット245を介して、動作環境100の他の構成要素からデータを受信し、動作環境100の他の構成要素にデータを送信する。たとえば、通信モジュール202は、座標変換モジュール206にドライバ情報293を送信する。
通信モジュール202は、コンピュータシステム200の他の構成要素からデータを受信し、コンピュータシステム200の他の構成要素にデータを送信する。
通信モジュール202は、通信ユニット245を介して、ネットワーク105と通信することができる。たとえば、通信モジュール202は、ネットワーク105から外部センサデータ295の一部分を受信する。
センサモジュール204は、遮蔽アプリケーション199によってその機能を実現するために使用されるセンサデータを収集するためのルーチンを含むソフトウェアである。センサモジュール204は、センサセット212の動作を制御することができる。センサモジュール204は、ドライバ情報293、外部センサデータ295、およびドライバビュ
ーデータ299などの様々なカテゴリにセンサデータを編成することができる。いくつかの実施形態では、センサモジュール204は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
座標変換モジュール206は、ドライバビューデータ299を、ドライバの目の位置の座標を記述するデータに変換するためのルーチンを含むソフトウェアである。たとえば、座標変換モジュール206は、入力としてドライバビューデータ299を受け取り、第1のグラフィックまたは第2のグラフィックをドライバに提供する際に配置すべき3D−HUD231上の位置を記述する直交座標を出力する。ドライバビューデータ299は、カラーカメラもしくは深度カメラからの画像、またはレーザーセンサもしくはLIDARセンサからの距離情報であり得る。いくつかの実施形態では、座標変換モジュール206は、ドライバの視界に対して3D−HUD上にグラフィックをどのように配置するかを決定することにより、ドライバ状態を決定する。
いくつかの実施形態では、座標変換モジュール206は、所与の時間に3D−HUD231のどの領域をドライバが見ているかを判定するためのルーチンを含むソフトウェアを含む。たとえば、センサセット212は、ドライバの画像を取り込む内部カメラを含む。画像は、1つまたは複数の時間に3D−HUD231のどの領域をドライバの目が見ているかを座標変換モジュール206が識別することを可能にするように、方向付けされる。
いくつかの実施形態では、座標変換モジュール206は、3D−HUD231のどの部分をドライバが見ているかを継続的に監視し、通信モジュール202にこの情報を記述する信号を遮蔽アプリケーション199の1つまたは複数の他の要素に継続的に供給させることができる。たとえば、座標変換モジュール206による命令に基づいて、通信モジュール202は、3D−HUD231のどの部分をドライバが見ているかを記述する直交座標を記述する信号を、位置特定モジュール208または遮蔽評価モジュール211のうちの1つまたは複数に供給する。このようにして、これらの要素は、3D−HUD231を介してドライバが見られるように、関心物が遮蔽物によって遮られているかどうかにかかわらず、ドライバの視界に対して、第1のグラフィックが関心物に重なるように、第1のグラフィックが3D−HUD231上のどこに表示されるべきか、第2のグラフィックが3D−HUD上のどこに表示されるべきか、などを判定することができる。
いくつかの実施形態では、座標変換モジュール206は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
位置特定モジュール208は、車両環境内の様々な物体の位置を監視し追跡するためのコードおよびルーチンを含む。たとえば、センサモジュール204は、外部センサデータ295が継続して更新されることを保証することができ、位置特定モジュール208は、互いに対する車両環境内の様々な物体の位置を継続的に評価し追跡することができる。車両環境内の物体の位置は、第1の車両の位置を基準にして特定してもよい。物体には、1つまたは複数の関心物および1つまたは複数の遮蔽物が含まれる。
いくつかの実施形態では、位置特定モジュール208は、第1の車両の位置も特定することができる。たとえば、位置特定モジュール208は、(センサセット212の要素であり得る)第1の車両のGPSユニットを呼び出し、第1の車両の位置を記述するGPSベースの位置データを受け取ることができる。GPSはDSRC準拠であり得る。次いで、位置特定モジュール208は、(LIDARセンサまたは他の何らかの測距器などによって供給される)時間とともに第1の車両から車両環境内の1つまたは複数の物体までの範囲を記述する外部センサデータ295を使用して、互いおよび第1の車両に対するこれ
らの物体の位置を追跡することができる。たとえば、物体の相対範囲は、近い物体が遠い物体を遮る可能性があり、それにより近い物体が遮蔽物であり得ることを示すように、ある物体が他の物体の前にあることを示すことができるので、様々な物体の相対範囲は、物体が関心物に対する遮蔽物であり得るかどうかを示すことができる。このようにして、位置特定モジュール208は、確度が向上したDSRC準拠のGPSデータをより多く使用して、車両環境内の様々な物体の位置をより正確に特定することができる。
いくつかの実施形態では、位置特定モジュール208は、関心物の形状を特定するためのルーチンを含むソフトウェアを含む。形状情報は、たとえば、関心物に視覚的に類似する方法で、関心物に重なる第1のグラフィックを作成するために使用される。
いくつかの実施形態では、位置特定モジュール208は、第1のグラフィック用のGUIデータ297を作成する。位置特定モジュール208は、3D−HUD231に第1のグラフィック用のGUIデータ297を供給することを通信モジュール202に行わせる。
いくつかの実施形態では、通信モジュール202は、3D−HUD231のどの部分をドライバが見ているかを記述する直交座標を含む信号を位置特定モジュール208に供給する。位置特定モジュール208または座標変換モジュール206は、第1の車両のドライバがどのように3D−HUD231を見ているかに対して、現実世界における関心物の位置に対応するように、3D−HUD231内で第1のグラフィックをどこに表示するべきかに関して、3D−HUD231に命令する。第1のグラフィックを表示するための位置は、第1のグラフィックが関心物に重なるように構成される。
いくつかの実施形態では、位置特定モジュール208は、遮蔽物、および(3D−HUD231のドライバのビューを記述する直交座標を継続的に供給することにより、座標変換モジュール206によって命令されるように、通信モジュール202によって継続的に更新され得る)ドライバのビューに対する関心物の位置を継続的に追跡する。たとえば、第1のグラフィックは、関心物に対応して3D−HUD231上に表示される場合があり、位置特定モジュール208は、遮蔽物(および、オプションとして、ドライバのビュー)に対する関心物の位置を追跡して、(たとえば、関心物が遮蔽物の後ろに位置しているので、その結果、ドライバの視界に対して関心物の前にある遮蔽物の存在のせいで、ドライバが関心物の少なくとも一部分しか見ることができないはずなので)関心物が遮蔽物によって遮られているかどうかを判定する際に遮蔽評価モジュール211を支援する。関心物が遮蔽物によって遮られていると位置特定モジュール208が判定した場合、位置特定モジュール208は、遮蔽評価モジュール211に信号を供給することを通信モジュール202に行わせて、遮蔽評価モジュール211がその機能を実現する際に支援する。
いくつかの実施形態では、位置特定モジュール208は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
いくつかの実施形態では、状況判定モジュール210は、関心物が遮蔽物によって遮られている場合であっても、ドライバに見せることが必要なほど、関心物が十分に重要(または重大)であるかどうかを判定するためのルーチンを含むソフトウェアを含む場合がある。
いくつかの実施形態では、状況判定モジュール210は、外部センサデータ295を評価して、関心物を識別するステップ、関心物についてのタイプを特定するステップ、特定されたタイプについての重要度値を特定するステップ、メモリ227から重要度しきい値
を取り出すステップ、および重要度値を重要度しきい値と比較して、第2のグラフィックを作成する必要があるほど関心物が重要であるかどうかどうかを判定するステップのうちの1つまたは複数を実施するためのルーチンを含むソフトウェアを含む。
いくつかの実施形態では、状況判定モジュール210は、関心物に判定スコアを割り当てる。判定スコアは、重要度しきい値との重要度値の比較に基づいて、割り当てられる場合がある。判定スコアは、3D−HUD231を介してドライバが見る関心物が遮蔽物によって遮られている場合、第2のグラフィックが関心物のために作成されるべきかどうかを示す値であり得る。判定スコアはバイナリであり得る。たとえば、「1」に等しい判定スコアは、(たとえば、しきい値が満たされたか、または超えられたので)関心物が第2のグラフィックを作成する必要があるほど重要であることを示す場合があり、「0」に等しい判定スコアは、(たとえば、しきい値が満たされなかったか、または超えられなかったので)関心物が第2のグラフィックを作成する必要があるほど重要ではないことを示す場合がある。判定スコアは、本明細書に記載されない他の形式を取る場合がある。
いくつかの実施形態では、状況判定モジュール210は、関心物が第2のグラフィックを作成する必要があるほど重要であるかどうかを記述するか、または示す信号を遮蔽評価モジュール211に供給することを、通信モジュール202に行わせる。たとえば、通信モジュール202は、関心物が遮蔽物の後ろに位置するか否か、関心物の位置、遮蔽物の位置、3D−HUD231のどの部分をドライバが見ているかを記述する直交座標、関心物についての重要度値が重要度しきい値を超えるかどうか、のうちの1つまたは複数を記述するか、または示す1つまたは複数の信号を遮蔽評価モジュール211に供給する(たとえば、これは、判定スコアがバイナリであり得るので、有益なことに、データの単一ビットが通信モジュール202からの信号に含まれることを必要とする場合がある判定スコアを含む場合がある)。
いくつかの実施形態では、状況判定モジュール210は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
いくつかの実施形態では、遮蔽評価モジュール211は、3D−HUD231が第2のグラフィックを表示するべきかどうか、および3D−HUD231上のどこに第2のグラフィックが表示されるべきかを判定するためのルーチンを含むソフトウェアを含む。たとえば、遮蔽評価モジュール211は、関心物が遮蔽物の後ろに位置するか否か、関心物の位置、遮蔽物の位置、3D−HUD231(および、オプションとして、3D−HUD231を見ているときのドライバによって見ることができる任意の物体)に対するドライバの視線の方位を記述する直交座標、関心物についての重要度値が重要度しきい値を超えるかどうか、のうちの1つまたは複数を記述する1つまたは複数の信号を通信モジュール202から受け取る。このデータに基づいて、遮蔽評価モジュール211は、関心物が遮られている際に関心物に対応する第2のグラフィックを表示するべきかどうか、および第2のグラフィックが3D−HUD231によってどこに表示されるべきかを判定することができる。
たとえば、関心物が遮蔽物によって遮られており、関心物が十分に重要である場合、遮蔽評価モジュール211は、3D−HUD231に第2のグラフィックを表示させるためのGUIデータ297を作成する。遮蔽評価モジュール211は、3D−HUD231に第2のグラフィック用のGUIデータ297を供給することを通信モジュール202に行わせる。遮蔽評価モジュール211は、3D−HUD231の特定の位置に第2のグラフィックを表示することを3D−HUD231に行わせる。その位置は、関心物が遮蔽物の後ろに位置することをドライバに示しつつ、第2のグラフィックが、遮蔽物または関心物
のうちの1つまたは複数に重ならないように、遮蔽評価モジュール211によって選択される。たとえば、図1Eを参照されたい。
遮蔽評価モジュール211は、関心物、遮蔽物、車両、およびドライバのビューのうちの1つまたは複数が時間とともに移動するにつれて、第2のグラフィックの位置を3D−HUD231に修正させることができる。
いくつかの実施形態では、遮蔽評価モジュール211は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
いくつかの実施形態では、コンピュータシステム200は、その全体が参照により本明細書に組み込まれる、2016年3月24日に出願され、「Three Dimensional Graphical Overlays for a Three Dimensional Heads−up Display Unit of a Vehicle」と題する米国特許出願第15/080,412号明細書に記載されたモジュールおよび/またはデータのうちの1つまたは複数を含む場合がある。
いくつかの実施形態では、コンピュータシステム200は、その全体が参照により本明細書に組み込まれる、2016年3月24日に出願され、「Three Dimensional Heads−up Display Unit Including Visual Context for Voice Commands」と題する米国特許出願第15/080,394号明細書に記載されたモジュールおよび/またはデータのうちの1つまたは複数を含む場合がある。
図2Bを参照すると、いくつかの実施形態による、3D−HUD231を示すブロック図が描写されている。
いくつかの実施形態では、3D−HUD231は、プロジェクタ1001と、可動スクリーン1002と、スクリーン駆動ユニット1003と、(レンズ1004、1006、反射鏡1005などを含む)光学系とを含む。プロジェクタ1001は、デジタルミラーデバイス(DMD)プロジェクタ、液晶プロジェクタなどの、任意の種類のプロジェクタである。プロジェクタ1001は、可動スクリーン1002に画像(グラフィック)1008を投影する。可動スクリーン1002は透明板を含み、そのため、投影画像の光は、可動スクリーン1002を通過して、車両(第1の車両103)のフロントガラス1007に投影される。フロントガラス1007に投影された画像は、フロントガラスに投影された物体とは対照的に、それが現実世界の3次元空間内に存在する(1011a、1011bとして示される)現実の物体であるかのように、ドライバ1010によって知覚される。
いくつかの実施形態では、3D−HUD231は、スクリーン1002上の投影位置を調整することにより、ドライバ1010に対する画像の方向(言い換えれば、フロントガラス内の画像位置)を制御することが可能である。さらに、スクリーン1002は、位置1003aと1003bとの間の範囲内で、スクリーン駆動ユニット1003によって移動可能である。スクリーン1002の位置を調整すると、現実世界におけるドライバ1010からの投影画像の深度(距離)を変更することができる。一例では、スクリーン1002の可動範囲(位置1003aと1003bとの間の距離)は5mmであるが、それは、現実世界において5mから無限大まで離れることに対応する。3D−HUD231を使用すると、ドライバ1010は、投影画像が現実世界(3次元空間)に存在することを知覚することが可能になる。たとえば、画像が(歩行者、自動車などの)現実の物体と同じ
3次元位置(または少なくとも実質的に同じ深度)に投影されると、ドライバは、投影画像を見るために目の焦点を調整する必要がなく、現実の物体を見ている間に投影画像を容易に把握する結果になる。
図2Bに描写された3D−HUD231は、例として提供されるが、他の例も考えられる。これらの例には、図2Bに描写された3D−HUD231よりも多いかまたは少ない複雑度を有するヘッドアップディスプレイが含まれる。たとえば、可動スクリーン1002などの可動部品を必要としないヘッドアップディスプレイが将来存在することが予想される。たとえば、動かない静止スクリーンが導入される可能性がある。導入されるヘッドアップディスプレイは、2次元ヘッドアップディスプレイユニットではない可能性がある。図2Aを参照して上述された遮蔽アプリケーション199は、そのような構成要素とともに動作可能であるように設計される。
次に図2Cを参照すると、いくつかの実施形態による、共有アプリケーション198を含む例示的なコンピュータシステム296を示すブロック図が描写されている。描写されているように、コンピュータシステム296は、共有アプリケーション198と、プロセッサ235と、メモリ237と、センサセット289と、通信ユニット239とを含む。コンピュータシステム296には、第2の車両106またはRSU101が含まれる。コンピュータシステム296の構成要素は、バス240によって通信可能に結合される。
プロセッサ235、センサセット289、および通信ユニット239は、図2Aを参照して述べられたプロセッサ225、センサセット212、および通信ユニット245に類似するので、これらの説明は再び述べられない。プロセッサ235は、信号線284を介してバス240に通信可能に結合される。センサセット289は、信号線287を介してバス240に通信可能に結合される。通信ユニット239は、信号線285を介してバス240に通信可能に結合される。メモリ237は、信号線288を介してバス240に通信可能に結合される。
メモリ237は、プロセッサ235によってアクセスおよび実行され得る命令またはデータを記憶する。メモリ237は、信号線288を介して他の構成要素と通信するためにバス240に結合される。命令またはデータは、本明細書に記載された技法を実施するためのコードを含む。メモリ237は、ダイナミックランダムアクセスメモリ(DRAM)デバイス、スタティックランダムアクセスメモリ(SRAM)デバイス、フラッシュメモリ、または他の何らかのメモリデバイスであり得る。いくつかの実施形態では、メモリ237はまた、不揮発性メモリまたは同様の永続的なストレージデバイス、および、ハードディスクドライブ、フロッピーディスクドライブ、CD−ROMデバイス、DVD−ROMデバイス、DVD−RAMデバイス、DVD−RWデバイス、フラッシュメモリデバイス、またはより永続的に情報を記憶するための他の何らかの大容量記憶デバイスを含む媒体を含む。
図2Cに示されたように、メモリ237は外部センサデータ295を記憶することができる。外部センサデータ295は図2Aを参照して上述されたので、その説明はここでは繰り返さない。外部センサデータ295は、センサセット289によって取り込まれ、メモリ237に記憶される場合がある。いくつかの実施形態では、共有アプリケーション198は、ネットワーク105を介して第1の車両103と外部センサデータ295を共有することができる。たとえば、通信ユニット239は、DSRC、ワイヤレス全二重通信、3G、4G、Wi−Fi、または通信ユニット239によってサポートされる他の何らかのワイヤレス通信を介して、ネットワーク105に外部センサデータ295を供給することができる。
いくつかの実施形態では、共有アプリケーション198は、通信モジュール221と集約モジュール254とを含む。
通信モジュール221は、信号線280を介してバス240に通信可能に結合される場合がある。集約モジュール254は、信号線281を介してバス240に通信可能に結合される場合がある。
通信モジュール221は、共有アプリケーション198とコンピュータシステム296の他の構成要素との間の通信を処理するためのルーチンを含むソフトウェアである。いくつかの実施形態では、通信モジュール221は、共有アプリケーション198とコンピュータシステム296の他の構成要素との間の通信を処理するための下記に記載される機能を実現するために、プロセッサ235によって実行可能な1組の命令である。いくつかの実施形態では、通信モジュール221は、コンピュータシステム296のメモリ237に記憶することができ、プロセッサ235によってアクセス可能かつ実行可能である。
通信モジュール221は、通信ユニット239を介して、動作環境100の要素のうちの1つまたは複数との間でデータを送受信する。たとえば、通信モジュール221は、第1の車両103がネットワーク105から外部センサデータ295を受信することができるように、ネットワーク105に外部センサデータ295を送信することを通信ユニット239に行わせる。
いくつかの実施形態では、通信モジュール221は、コンピュータシステム296の構成要素からデータを受け取り、メモリ237にデータを記憶する。たとえば、通信モジュール221は、センサセット289から外部センサデータ295を受け取り、メモリ237に外部センサデータ295を記憶する。
いくつかの実施形態では、通信モジュール221は、共有アプリケーション198の構成要素間の通信を処理することができる。
集約モジュール254は、センサセット289に外部センサデータ295を収集させるためのルーチンを含むソフトウェアである。集約モジュール254は、所与の時間にセンサセット289のセンサのうちのどれがアクティブであるかを調整することができる。集約モジュール254は、外部センサデータ295を分析して、外部センサデータ295が第1の車両103に有用なデータを含むかどうかを判定することができる。たとえば、外部センサデータ295が関心物または遮蔽物の画像を含む場合、集約モジュール254は、外部センサデータ295が第1の車両103に有用であると判定することができる。関心物が現在遮られている場合において、遮蔽物の後ろにある関心物の位置を示す画像は、3D−HUD上で第2のグラフィックをどこに配置するべきかを決定する際に支援することができるので、第1の車両103にとって特に有益である。集約モジュール254は、第1の車両103が受信するために、ネットワーク105に外部センサデータ295を送信するように、通信モジュール221に通知することができる。通信モジュール221は、外部センサデータ295を含むワイヤレスメッセージをネットワーク105に送信することを通信ユニット239に行わせることができる。
いくつかの実施形態では、集約モジュール254は、コンピュータシステム296のメモリ237に記憶することができ、プロセッサ235によってアクセス可能かつ実行可能である。
(方法)
図3A〜図3Cは、いくつかの実施形態による、3D−HUDのグラフィック向けの遮
蔽調整を実現するための方法300の一例のフローチャートである。
ステップ302において、第1のセンサデータを受信する。第1のセンサデータは、外部センサデータおよびドライバ情報を含む場合がある。外部センサデータの一部は、1つまたは複数の外部ソースから受信される場合がある。例示的な外部ソースには、RSUまたは第2の車両が含まれ得る。
ステップ304において、ドライバ状態を特定する。たとえば、ドライバ状態は、ドライバ情報に基づいて特定される場合がある。ドライバ情報は、たとえば、車両のキャビン内部の1つまたは複数のセンサによって取り込まれたセンサデータを含む。ドライバ状態は、ドライバが3D−HUDをどのように見ているか、(たとえば、直交座標によって記述された)3D−HUDのドライバのビューの方位、および3D−HUDを介してドライバが何を見るか、のうちの1つまたは複数を記述する情報を含む。
ステップ306において、車両環境内の物体の位置を特定する。物体には、1つまたは複数の関心物、1つまたは複数の遮蔽物、および第1の車両のうちの1つまたは複数が含まれ得る。関心物および遮蔽物の位置は、第1の車両および互いに対して特定される。第1の車両の位置についてのGPSデータが使用される場合がある。GPSデータは、DSRC準拠GPSユニットによって収集される場合がある。
ステップ308において、関心物についてのタイプを特定する。たとえば、センサデータは、関心物の画像を含む場合がある。画像は、物体の前例のうちのどれが関心物に一致するか、または実質的に一致するかを判定するために、1つまたは複数の物体の前例と比較されてもよい。各物体の前例は、異なるタイプに関連付けられてもよい。各タイプは、重要度値に関連付けられてもよい。関心物を物体の前例と照合するための信頼率が特定されてもよい。
ステップ310において、関心物の重要度を特定する。たとえば、物体の様々なタイプの重要度があらかじめ決定される場合がある。重要度は、ドライバまたは方法300を実施するシステムの設計者の嗜好に基づいてもよい。たとえば、ドライバは、物体の様々なタイプへの重要度値の割当てに影響を及ぼす入力を与えることができる。いくつかの実施形態では、メモリは重要度しきい値を記憶することができる。重要度しきい値は、ステップ308において特定されたタイプについての重要度値と比較される。しきい値が満たされるか、または超えられた場合、関心物は十分に重要であり得る。いくつかの実施形態では、重要度しきい値は、ドライバの嗜好、または方法300を実装するシステムの設計者の嗜好によって決定されてもよい。
ステップ312において、第1のグラフィックデータを作成する。第1のグラフィックデータは、関心物を表す第1のグラフィックを3D−HUDに作成させるように構成される。第1のグラフィックデータは3D−HUDに供給される。3D−HUDは、ドライバが3D−HUDを通して関心物を見るときに、第1のグラフィックが少なくとも部分的に関心物に重なるように、第1のグラフィックを作成する。
次に図3Bを参照すると、ステップ314において、第2のセンサデータを受信することができる。第2のセンサデータは、ドライバの視界に対する関心物または遮蔽物の動きを記述する。たとえば、第2のセンサデータは、車両環境内の関心物または遮蔽物の動きを記述する外部センサデータを含む。第2のセンサデータは、たとえば、ドライバの頭の動きまたは第1の車両の動き(たとえば、でこぼこ道)のうちの1つまたは複数によって引き起こされる、ドライバの視線における変化を記述するドライバ情報を含んでもよい。
ステップ316において、第2のセンサデータを分析して、第1の車両のドライバの視線に対して、関心物が遮蔽物によって遮られているかどうかを判定する。ドライバの視線は、第2のセンサデータに含まれるドライバ情報によって示されてもよい。
ステップ317において、ドライバの視線に対して、関心物が遮蔽物によって遮られているかどうかに関して判定を行う。ステップ317において、関心物が遮られていない場合、方法300はステップ314に進む。ステップ317において関心物が遮られている場合、方法300はステップ319に進む。
ステップ319において、遮られていると判定された関心物について、重要度しきい値が満たされるか、または超えるか否かについて判定を行う。ステップ319において重要度しきい値が満たされない、または超えない場合、方法300はステップ320に進み、そこで、関心物が遮蔽物によって遮蔽されるように、第1のグラフィックをオフにする。ステップ319において重要度しきい値が満たされるか、または超える場合、方法300はステップ321に進む。
ステップ321において、どのグラフィックも遮蔽物に重ならないように、第1のグラフィックをオフにする。また、第2のグラフィックを表示するための第2のグラフィックデータを作成する。第2のグラフィックは、3D−HUDによって表示された場合に、遮蔽物に重ならずに、遮蔽物の後ろにある関心物の存在をドライバに知らせる。これにより、有益なことに、関心物の位置についてドライバを混同させずに、遮蔽物の後ろにある重要な物体の存在をドライバが気づくことが可能になる。
次に図3Cを参照すると、ステップ323において、第3のセンサデータを受信する。第3のセンサデータは、ドライバの視界に対する関心物または遮蔽物の動きを記述することができる。たとえば、第3のセンサデータは、関心物または遮蔽物の動きを記述する外部センサデータを含む場合がある。第3のセンサデータは、たとえば、ドライバの頭の動きまたは第1の車両の動きのうちの1つまたは複数によって引き起こされる、ドライバの視線における変化を記述するドライバ情報を含む場合もある。
ステップ325において、第3のセンサデータを分析して、第1の車両のドライバの視線に対して、関心物が遮蔽物によって遮られているかどうかを判定する。
ステップ326において、関心物が遮蔽物によって遮られ続けているかどうかに関して、判定を行う。ステップ326において関心物が遮られていると判定された場合、方法300はステップ323に進み、そこで、さらなる第3のセンサデータを受信し、後で分析する。ステップ326において関心物が遮られていないと判定された場合、方法300はステップ328に進む。
ステップ328において、第2のグラフィックをオフにし、第1のグラフィックをオンに戻す。第1のグラフィックは、3D−HUD上で、車両環境内の関心物の新しい位置に対応する位置に表示される。
本出願は、387号出願に関連する発明と組み合わせることも可能である。
図1Aにおける、第1の車両103、第2の車両106、RSU101のうちの1つ以上が、387号出願における通信デバイスであってもよい。
半二重通信システムでは、第2の通信デバイスにデータを送信中である第1の通信デバイスは、同時に第2のデバイスからデータを受信することができない。第2の通信デバイスが第1の通信デバイスに送信するデータを有する場合、第2の通信デバイスは、第1の通信デバイスがそのデータ送信を完了するまで待つ必要がある。半二重通信システムでは
、一度に1つの通信デバイスのみがデータを送信することを許可される。
規格IEEE802.11ワイヤレスローカルエリアネットワーク(WLAN)では、通信デバイスは、キャリア検知多重アクセス/衝突回避(CSMA/CA)媒体アクセス制御(MAC)プロトコルに基づいて、ワイヤレスチャネルへのアクセスのために競合する場合がある。IEEE802.11MACプロトコルは、一度に1つの通信デバイスのみがワイヤレスチャネルを使用してデータを送信することを要求する。2つ以上の通信デバイスが同時にワイヤレスチャネルを介してデータを送信する場合、衝突が発生する。結果として、現在ワイヤレスチャネルにアクセスしている通信デバイスのみが、ワイヤレスチャネルを使用してデータを送信することができる。送信するデータを有する他の通信デバイスは、ワイヤレスチャネルを監視する必要があり、ワイヤレスチャネルが再びアイドルになると、ワイヤレスチャネルへのアクセスのために競合する場合がある。
387号出願に記載された主題の1つの発明的態様によれば、第1の車両103、第2の車両106、RSU101は、全二重ワイヤレス通信を実装するための全二重調整システムを含む。全二重調整システムは、プロセッサ、および、実行された場合に、(第2の車両106、RSU101などの)第1の通信デバイスにおいて、(外部センサデータ295などの)第1のデータを作成して(第1の車両103などの)第2の通信デバイスに送信することと、第1の通信デバイスの半二重動作モードを全二重動作モードに切り替えて第1の通信デバイスの全二重動作モードをアクティブ化することと、ワイヤレスチャネルを使用して第1の通信デバイスから第2の通信デバイスに第1のデータの第1の部分を送信することと、第1の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第2の通信デバイスから(外部センサデータ295の受信通知や、後の時点における外部センサデータ295の追加リクエストなどの)第2のデータを同時に受信しながら、第2の通信デバイスに第1のデータの残りの部分を送信することと、を全二重調整システムに行わせる命令を記憶するメモリを含む。
387号出願に記載された主題の別の発明的態様によれば、全二重ワイヤレス通信を実装するための全二重調整システムは、プロセッサ、および、実行された場合に、ワイヤレスチャネルを介して第1の通信デバイスから(メモリ237に記憶されるデータの任意の組合せなどの)第1のデータの第1の部分を受信することと、第1のデータの第1の部分に基づいて、第2の通信デバイスが第1のデータの唯一の宛先であると判断することと、第2の通信デバイスが第1の通信デバイスに送信する(外部センサデータ295の受信通知や追加リクエストなどの)第2のデータを有すると判断することと、第1の通信デバイスが全二重通信能力を有すると判断することと、第2の通信デバイスの半二重動作モードを全二重動作モードに切り替えて第2の通信デバイスの全二重動作モードをアクティブ化することと、第2の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第1の通信デバイスから第1のデータの残りの部分を同時に受信しながら、第1の通信デバイスに第2のデータを送信することと、を全二重調整システムに行わせる命令を記憶するメモリを含む。
一般に、387号出願に記載された主題の別の発明的態様は、第1の通信デバイスにおいて、第1のデータを作成して第2の通信デバイスに送信することと、第1の通信デバイスの半二重動作モードを全二重動作モードに切り替えて第1の通信デバイスの全二重動作モードをアクティブ化することと、ワイヤレスチャネルを使用して第1の通信デバイスから第2の通信デバイスに第1のデータの第1の部分を送信することと、第1の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第2の通信デバイスから第2のデータを同時に受信しながら、第2の通信デバイスに第1のデータの残りの部分を送信することと、を含む方法において具現化することができる。
387号出願に記載された主題のさらに別の発明的態様は、ワイヤレスチャネルを介して第1の通信デバイスから第1のデータの第1の部分を受信することと、第1のデータの第1の部分に基づいて、第2の通信デバイスが第1のデータの唯一の宛先であると判断することと、第2の通信デバイスが第1の通信デバイスに送信する第2のデータを有すると判断することと、第1の通信デバイスが全二重通信能力を有すると判断することと、第2の通信デバイスの半二重動作モードを全二重動作モードに切り替えて第2の通信デバイスの全二重動作モードをアクティブ化することと、第2の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第1の通信デバイスから第1のデータの残りの部分を同時に受信しながら、第1の通信デバイスに第2のデータを送信することと、を含む方法において具現化することができる。
387号出願に記載された主題の別の発明的態様は、第1の通信デバイスから第2の通信デバイスに送信する第1のデータを決定することと、共通ワイヤレスチャネルを使用して第2の通信デバイスから第2のデータを同時に受信しながら、全二重動作モードで動作する第1の通信デバイスから第2の通信デバイスに第1のデータを送信することと、を含む方法において具現化することができる。
387号出願に記載された主題の別の発明的態様は、第2の通信デバイスにおいて、ワイヤレスチャネルを介して第1の通信デバイスから第1のデータを受信することと、第1のデータの少なくとも一部分を受信することに応答して、第2の通信デバイスから第1の通信デバイスに送信する第2のデータを決定することと、第1の通信デバイスから第1のデータを同時に受信しながら、ワイヤレスチャネルを使用して全二重動作モードで動作する第2の通信デバイスから第1の通信デバイスに第2のデータを送信することと、を含む方法において具現化することができる。
387号出願に記載された主題の別の発明的態様は、第1の通信デバイスにおいて、第2の通信デバイスに送信する第1のデータを決定することと、第1の通信デバイスを半二重動作モードから全二重動作モードに切り替えることと、第1の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第2の通信デバイスから第2のデータを同時に受信しながら、第2の通信デバイスに第1のデータを送信することと、第1のデータの送信が完了したことの判断に応答して、第1の通信デバイスの全二重動作モードを半二重動作モードに切り替えることと、を含む方法において具現化することができる。
387号出願に記載された主題の別の発明的態様は、第2の通信デバイスにおいて、ワイヤレスチャネルを介して第1の通信デバイスから第1のデータを受信することと、第2の通信デバイスが第1の通信デバイスに送信する第2のデータを有すると判断することと、第2の通信デバイスを半二重動作モードから全二重動作モードに切り替えることと、第2の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第1の通信デバイスから第1のデータを同時に受信しながら、第1の通信デバイスに第2のデータを送信することと、第2のデータの送信が完了したことの判断に応答して、第2の通信デバイスの全二重動作モードを半二重動作モードに切り替えることと、を含む方法において具現化することができる。
他の態様は、上記その他の発明的態様のための対応する方法、システム、装置、およびコンピュータプログラム製品を含む。
387号出願に記載の実施形態は、各々、以下の動作および特徴のうちの1つまたは複数を含む場合がある。
例えば、特徴は、第1のデータが第1のパケットを含み、第1のデータの第1の部分が第1のパケットのヘッダ部分を含むことと、
第1のデータの残りの部分が第1のパケットのペイロード部分およびトレーラ部分を含むことと、
第2の通信デバイスが第1のデータの唯一の宛先であると判断することと、
第2の通信デバイスが第1のデータの唯一の宛先であることに応答して、第1の通信デバイスの全二重動作モードをアクティブ化することと、
第1の通信デバイスおよび第2の通信デバイスがワイヤレスローカルエリアネットワーク内の通信デバイスであることと、
全二重通信能力が必要とされる規制スペクトルにおいて第1の通信デバイスが動作すると判断することと、
第1の通信デバイスに関連付けられたデバイスレジストリデータを受信することと、
デバイスレジストリデータに基づいて第1の通信デバイスが全二重通信能力を有すると判断することと、
第1のデータの第1の部分内の能力指示フィールドに基づいて第1の通信デバイスが全二重通信能力を有すると判断することと、を含み、
能力指示フィールドは、第1の通信デバイスが全二重通信能力を有するかどうかを記述するデータを含む。
例えば、動作は、ワイヤレスチャネルがアイドルであると判断することと、チャネルアクセスルールに基づいて、第1の通信デバイスと第2の通信デバイスとの間のデータ通信用のワイヤレスチャネルにアクセスすることと、を含む。
387号出願に記載の発明は、いくつかの点で特に有利である。例えば、387号出願の明細書に記載されたシステムは、半二重通信技術を使用するのではなく、全二重通信技術を使用して、高いスループットおよび速い通信速度を実現することが可能である。全二重通信は、車両(例えば、図1Aで描写されたような、第1の車両103や第2の車両106に設置された通信システム)、または全二重通信能力を有する(RSU101のような)他の通信デバイスの間で実施することができる。別の例では、システムは、中央コーディネータを使用しない分散方式で、通信デバイス間の通信を調整する。システムは、通信デバイスのペアを決定し、通信デバイスのペア間のデータの同時送信を調整し、その結果、通信デバイスのペアは、同じワイヤレスチャネルを使用して同時に互いにデータを送信することができる。一方、他の通信デバイスは、衝突を回避するために、そのワイヤレスチャネルを介してデータを送信することができない。387号出願の明細書に記載されたシステムの利点が例として提供され、システムは多数の他の利点を有する場合がある。
387号出願は、通信デバイス間の全二重ワイヤレス通信を実施するためのシステムおよび方法を含む。全二重調整システムは、プロセッサ、および、実行された場合に、第1の通信デバイスにおいて、第1のデータを作成して第2の通信デバイスに送信することと、第1の通信デバイスの半二重動作モードを全二重動作モードに切り替えて第1の通信デバイスの全二重動作モードをアクティブ化することと、ワイヤレスチャネルを使用して第1の通信デバイスから第2の通信デバイスに第1のデータの第1の部分を送信することと、第1の通信デバイスの全二重動作モードにおいて、ワイヤレスチャネルを使用して第2の通信デバイスから第2のデータを同時に受信しながら、第2の通信デバイスに第1のデータの残りの部分を送信することと、を全二重調整システムに行わせる命令を記憶するメモリを含む。
以上に説明したような、387号出願に記載の通信システムを本出願と組み合わせてもよい。
以上の説明では、本発明を十分に理解できるように、多くの詳細について説明する。しかしながら、各実施形態はこれらの具体的な詳細無しでも良いことは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の
形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプの計算装置および任意の周辺機器について適用できる。
本明細書における「一実施形態」または「ある実施形態」等という用語は、その実施形態と関連づけて説明される特定の特徴・構造・性質が少なくとも本発明の一つの実施形態に含まれることを意味する。「一実施形態における」等という用語は本明細書内で複数用いられるが、これらは必ずしも同一の実施形態を示すものとは限らない。
以上の詳細な説明の一部は、非一時的(non-transitory)なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において(また一般に)アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要がある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算(処理)」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的(電子的)量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。
本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー(登録商標)ディスク・光ディスク・CD−ROM・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光学式カード、USBキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。
発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信
、伝搬および転送可能な任意の装置を指す。コンピュータが読み込み可能な記憶媒体は、有形または非一時的コンピュータ可読記憶媒体であってもよい。コンピュータ可読媒体は、コンピュータ実行可能コードを格納することができる。コンピュータ可読媒体は、プロセッサに通信可能に結合されてもよい。プロセッサは、コンピュータ実行可能コードの1
つ以上の部分を実行するようにプログラムされてもよい。
プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも1つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。
入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接続される。
システムにはネットワークアダプタも接続されており、これにより、私的ネットワークや公共ネットワークを介して他のデータ処理システムやリモートにあるプリンタや記憶装置に接続される。モデム、ケーブルモデム、イーサネット(登録商標)は、現在利用可能なネットワークアダプタのほんの一例である。
最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。
実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。さらに、当業者であれば、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できることを理解できるであろう。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。以上のように、上記の本発明の説明は限定的なものではなく例示的なものであり、本発明の範囲は添付の特許請求の範囲にしたがって定められる。
100 動作環境
101 路側ユニット
103 第1の車両
105 ネットワーク
106 第2の車両
108 車両環境
111 共有アプリケーション
117 関心物
119 遮蔽物
125 ドライバ
181 センサデータ
199 遮蔽アプリケーション

Claims (13)

  1. コンピュータによって実行される方法であって、
    車両の前方にある関心物を検出する関心物検出ステップと、
    前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示ステップと、
    前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出ステップと、
    を含み、
    前記表示ステップでは、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示する、
    方法。
  2. 前記関心物の重要度を判定する判定ステップをさらに含み、
    前記表示ステップでは、前記関心物の重要度が所定の閾値よりも高い場合において前記第2のグラフィックを表示する、
    請求項1に記載の方法。
  3. 前記重要度は、前記関心物が人間である場合において、前記関心物が人間以外である場合よりも高くなる、
    請求項2に記載の方法。
  4. 前記所定の閾値は、前記車両の外部環境が、前記関心物を視認しにくい環境であるほど低くなる、
    請求項3に記載の方法。
  5. 前記第2のグラフィックは、前記遮蔽物と重ならない位置に表示される、
    請求項1から4のいずれかに記載の方法。
  6. 前記関心物検出ステップでは、前記車両が有するセンサを用いて、前記関心物の第1の位置を推定する、
    請求項1から5のいずれかに記載の方法。
  7. 前記表示ステップでは、前記3D−HUDに対する運転者の目の位置を特定し、前記3D−HUDに対する運転者の目の位置と、前記推定した第1の位置と、に基づいて、前記第1のグラフィックの表示位置を決定する、
    請求項6に記載の方法。
  8. 前記関心物検出ステップでは、前記3D−HUD上における前記関心物の動きを追跡し、
    前記表示ステップでは、前記3D−HUD上における前記関心物の動きに同期して、前記第1のグラフィックの表示位置を更新する、
    請求項6または7に記載の方法。
  9. 前記関心物検出ステップでは、前記遮蔽物に対する前記関心物の動きを同時に追跡する、
    請求項8に記載の方法。
  10. 前記関心物検出ステップでは、前記車両の外部から送信されたセンサ情報にさらに基づいて前記関心物を検出し、前記第1の位置を推定する、
    請求項6から9のいずれかに記載の方法。
  11. 前記関心物検出ステップでは、前記関心物の形状をさらに取得し、
    前記第1のグラフィックは、前記関心物の形状を表すグラフィックである、
    請求項6から10のいずれかに記載の方法。
  12. 前記第2のグラフィックは、前記遮蔽物の後ろに前記関心物があることを強調する表示である、
    請求項1から11のいずれかに記載の方法。
  13. 車両の前方にある関心物を検出する関心物検出手段と、
    前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示手段と、
    前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出手段と、
    を有し、
    前記表示手段は、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示する、
    システム。
JP2017159594A 2016-08-23 2017-08-22 車載拡張現実システム向けの遮蔽調整システム Active JP6428876B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/244,975 2016-08-23
US15/244,975 US10248196B2 (en) 2016-08-23 2016-08-23 System for occlusion adjustment for in-vehicle augmented reality systems

Publications (2)

Publication Number Publication Date
JP2018032402A true JP2018032402A (ja) 2018-03-01
JP6428876B2 JP6428876B2 (ja) 2018-11-28

Family

ID=61242479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017159594A Active JP6428876B2 (ja) 2016-08-23 2017-08-22 車載拡張現実システム向けの遮蔽調整システム

Country Status (2)

Country Link
US (2) US10248196B2 (ja)
JP (1) JP6428876B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189646A1 (ja) * 2019-03-19 2020-09-24 株式会社小糸製作所 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム
JP2024524103A (ja) * 2021-06-15 2024-07-05 メルセデス・ベンツ グループ アクチェンゲゼルシャフト 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572825B2 (en) * 2017-04-17 2020-02-25 At&T Intellectual Property I, L.P. Inferring the presence of an occluded entity in a video captured via drone
DE102014221888A1 (de) * 2014-10-28 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3299241B1 (en) * 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
US10977956B1 (en) 2016-11-01 2021-04-13 State Farm Mutual Automobile Insurance Company Systems and methods for virtual reality based driver training
JP7009057B2 (ja) 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
US10818187B2 (en) * 2017-07-17 2020-10-27 Uatc, Llc Systems and methods for deploying an autonomous vehicle to oversee autonomous navigation
KR102334318B1 (ko) * 2017-09-19 2021-12-03 삼성전자주식회사 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법
JP2019121320A (ja) * 2018-01-11 2019-07-22 株式会社小糸製作所 車車間通信システム、車両システム、車両用照明システム及び車両
FR3082485B1 (fr) * 2018-06-18 2020-08-28 Valeo Comfort & Driving Assistance Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule
FR3083195A1 (fr) * 2018-06-29 2020-01-03 Valeo Comfort And Driving Assistance Dispositif d'affichage pour l'aide a la conduite
EP3835128A4 (en) * 2018-08-06 2021-09-08 Koito Manufacturing Co., Ltd. VEHICLE AND VEHICLE DISPLAY SYSTEM
US10817733B2 (en) * 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
EP3901919B1 (en) * 2019-04-17 2025-04-16 Rakuten Group, Inc. Display control device, display control method, program, and non-transitory computer-readable information recording medium
EP4066086A1 (en) 2019-11-26 2022-10-05 Telefonaktiebolaget LM Ericsson (publ.) Occlusion of virtual content in extended reality
JP7234103B2 (ja) * 2019-12-16 2023-03-07 日立Astemo株式会社 車両制御装置、および、車両制御システム
DE102020205444B3 (de) * 2020-04-29 2021-07-08 Continental Automotive Gmbh Gerät zum Generieren eines virtuellen Bildes mit Störlichtunterdrückung, Head-Up-Display aufweisend ein solches Gerät und Fahrzeug aufweisend ein solches Gerät bzw. Head-Up-Display
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CA3237344A1 (en) * 2021-11-15 2023-05-19 Flightsafety International Inc. System and method of adjusting focal distances of images displayed to a user of a simulator
GB2613004A (en) * 2021-11-19 2023-05-24 Wayray Ag System and method
GB2608665B (en) * 2022-02-22 2024-01-03 Envisics Ltd Head-up display
US11663939B1 (en) * 2022-03-23 2023-05-30 GM Global Technology Operations LLC Augmented reality head-up display for generating a contextual graphic signifying a visually occluded object
US11790776B1 (en) 2022-07-01 2023-10-17 State Farm Mutual Automobile Insurance Company Generating virtual reality (VR) alerts for challenging streets
EP4322566B1 (en) * 2022-08-09 2024-07-31 Denso Corporation Cpm apr based security for its
US12423755B2 (en) 2023-04-10 2025-09-23 State Farm Mutual Automobile Insurance Company Augmented reality system to provide recommendation to repair or replace an existing device to improve home score
US12482199B2 (en) 2023-08-30 2025-11-25 Meta Platforms Technologies, Llc Reducing energy consumption in extended reality devices
US12511995B2 (en) * 2024-02-12 2025-12-30 GM Global Technology Operations LLC Identifying roadway safety events in remote vehicles
US20250368188A1 (en) * 2024-05-31 2025-12-04 Adeia Guides Inc. Configurable precision parking assist system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
WO2012131871A1 (ja) * 2011-03-28 2012-10-04 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW550521B (en) * 2002-02-07 2003-09-01 Univ Nat Central Method for re-building 3D model of house in a semi-automatic manner using edge segments of buildings
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
JP6287237B2 (ja) 2014-01-17 2018-03-07 株式会社リコー 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
WO2012131871A1 (ja) * 2011-03-28 2012-10-04 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189646A1 (ja) * 2019-03-19 2020-09-24 株式会社小糸製作所 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム
US11899201B2 (en) 2019-03-19 2024-02-13 Koito Manufacturing Co., Ltd. Head-up display for vehicles and head-up display system for vehicles
JP2024524103A (ja) * 2021-06-15 2024-07-05 メルセデス・ベンツ グループ アクチェンゲゼルシャフト 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置
JP7696456B2 (ja) 2021-06-15 2025-06-20 メルセデス・ベンツ グループ アクチェンゲゼルシャフト 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置
US12612083B2 (en) 2021-06-15 2026-04-28 Mercedes-Benz Group AG Method and device for increasing the share of automated driving in an at least partially automated vehicle

Also Published As

Publication number Publication date
US10248196B2 (en) 2019-04-02
US20190171287A1 (en) 2019-06-06
US20180059779A1 (en) 2018-03-01
JP6428876B2 (ja) 2018-11-28

Similar Documents

Publication Publication Date Title
JP6428876B2 (ja) 車載拡張現実システム向けの遮蔽調整システム
US10600251B2 (en) Method of ground adjustment for in-vehicle augmented reality systems
EP3705846B1 (en) Object location indicator system and method
JP6844581B2 (ja) 拡張現実を用いた車線案内
US10395433B2 (en) Traffic situation awareness for an autonomous vehicle
US10895465B2 (en) Optimizing a route selection for a highly autonomous vehicle
US20160063332A1 (en) Communication of external sourced information to a driver
US20190132572A1 (en) 3d lidar system using a dichroic mirror for autonomous driving vehicles
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
US10366473B2 (en) Providing traffic mirror content to a driver
US9409519B2 (en) Generating spatial information for a heads-up display
JP2022105256A (ja) マルチビュー自動車及びロボット工学システムにおける画像合成
JP2019021306A (ja) 色盲のための拡張現実車両支援
EP4402437B1 (en) Map features delivered via augmented reality (ar)
TW201843069A (zh) 動態信息系統及動態信息系統的操作方法
US12260573B2 (en) Adversarial approach to usage of lidar supervision to image depth estimation
KR20220142590A (ko) 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
CN114527735A (zh) 用于控制自动驾驶车辆的方法和装置、车辆及存储介质
EP4520060A1 (en) Method and user device for detecting an environment of the user device
CN118850064A (zh) 车辆变道控制方法、装置、计算机设备以及存储介质
JP2020086882A (ja) 表示制御装置、方法、及びコンピュータ・プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R151 Written notification of patent or utility model registration

Ref document number: 6428876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151