JP2018032402A - 車載拡張現実システム向けの遮蔽調整システム - Google Patents
車載拡張現実システム向けの遮蔽調整システム Download PDFInfo
- Publication number
- JP2018032402A JP2018032402A JP2017159594A JP2017159594A JP2018032402A JP 2018032402 A JP2018032402 A JP 2018032402A JP 2017159594 A JP2017159594 A JP 2017159594A JP 2017159594 A JP2017159594 A JP 2017159594A JP 2018032402 A JP2018032402 A JP 2018032402A
- Authority
- JP
- Japan
- Prior art keywords
- interest
- graphic
- vehicle
- driver
- hud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
- G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
Abstract
Description
この一例が図1Cに示されている。図1Cを参照すると、ドライバは、関心物117が遮蔽物119の後ろに位置することを認知できない。関心物117(たとえば、人間)が遮蔽物119の後ろにあることをドライバが知っていれば、関心物117が遮蔽物119の後ろに位置することを知らない場合と比較して、異なる判断をドライバが行う可能性がある。たとえば、関心物117が遮蔽物119の後ろに位置することをドライバが知っている場合、ドライバは車両を低速で運転するか、または車両を停止させるであろう。これらのドライバの判断は、関心物117が車両にぶつけられる可能性を小さくすることにより、関心物117またはドライバに対するリスクを低減することができる。
態は、車載拡張現実システム向けの遮蔽調整を実現することを含む。車載拡張現実システムは、車両内に取り付けられた3次元ヘッドアップディスプレイユニット(3D−HUD)を含む。これらの実施形態は、たとえば、関心物の重要度およびその遮蔽に基づいて、3D−HUD上に表示されるグラフィックの位置を調整することを含む。
データに基づいて、関心物の少なくとも一部分が遮蔽物によって遮られているかどうかを判定する。関心物が遮蔽物によって遮られているという判定に応答して、遮蔽アプリケーションは、(1)第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにし、(2)3D−HUDを見ているドライバに、遮蔽物の後ろの関心物の位置を視覚的に示す第2のグラフィックを3D−HUD上に表示することができる。
車両内に取り付けられた3D−HUDに対する車両のドライバの目の位置を特定することと、
車両の外部環境内で、実質的に車両の前にある関心物の第1の位置を推定することと、
3D−HUDを見ているドライバの目の位置および環境内の関心物の第1の位置に基づいて、ドライバが3D−HUDを介して第1のグラフィックおよび関心物を見た際に、第1のグラフィックが関心物に重なるように、3D−HUD上における第1のグラフィックの表示位置を決定することと、
ドライバが3D−HUDを介して関心物に重なる第1のグラフィックを見ることができるように、その位置に3D−HUD上の第1のグラフィックを表示することと、関心物の少なくとも一部分が遮蔽物によって遮られているかどうかを判定することと、
関心物が遮蔽物によって遮られているという判定に応答して、(1)第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにし、(2)3D−HUDを見ているドライバに、遮蔽物の後ろの関心物の位置を視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
をコンピュータに行わせる。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
車両内に取り付けられた3D−HUD上に、ドライバが3D−HUDを介して見ることができる第1のグラフィックを表示することと、
関心物の少なくとも一部分が遮蔽物によって遮られていると判断することと、
第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにすることと、
3D−HUDを見ているドライバに、遮蔽物の後ろに関心物が位置することを視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
を含む、コンピュータ実装された方法を含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
関心物および遮蔽物が車両の外部に位置する、方法。
関心物および遮蔽物が少なくとも実質的に車両の前に位置する、方法。
第2のグラフィックが関心物に重ならない、方法。
1つまたは複数の車両センサを使用して関心物の動きを追跡することをさらに含む、方法。
1つまたは複数の車両センサが関心物の動きを追跡するカメラを含む、方法。
カメラが遮蔽物および車両に対する関心物の動きを追跡する、方法。
1つまたは複数の車両センサが、遮蔽物および車両に対する関心物の動きおよび関心物の1つまたは複数の距離を追跡する測距器を含む、方法。
関心物が第1の位置から第2の位置に移動することをセンサが検出し、3D−HUD上の第1の位置に表示されていた第2のグラフィックを、第2の位置に対応するように3D−HUD上で再配置することをさらに含む、方法。
記載される技法の実施形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含む場合がある。
車両内に取り付けられた3D−HUDと、実行された場合に、ドライバが3D−HUDを見ているときに関心物に重なるように見ることができる第1のグラフィックを3D−HUD上に表示することと、
関心物の少なくとも一部分が遮蔽物によって遮られていると判断することと、
第1のグラフィックが3D−HUD上に表示されないように第1のグラフィックをオフにすることと、
3D−HUDを見ているドライバに、遮蔽物の後ろに関心物が位置することを視覚的に示し、遮蔽物に重ならない第2のグラフィックを3D−HUD上に表示することと、
をシステムに行わせる命令を記憶するメモリを含む、システムを含む。
本態様の他の実施形態は、対応するコンピュータシステム、装置、および、1つまたは複数のコンピュータストレージデバイスに記録され、各々が方法のアクションを実行するように構成されたコンピュータプログラムを含む。
関心物および遮蔽物が車両の外部に位置する、システム。
関心物および遮蔽物が少なくとも実質的に車両の前に位置する、システム。
第2のグラフィックが関心物に重ならない、システム。
命令が実行された場合に、1つまたは複数の車両センサを使用して関心物の動きを追跡させる、システム。
1つまたは複数の車両センサが関心物の動きを追跡するカメラを含む、システム。
カメラが遮蔽物および車両に対する関心物の動きを追跡する、システム。
1つまたは複数の車両センサが、遮蔽物および車両に対する関心物の動きおよび関心物の1つまたは複数の距離を追跡する測距器を含む、システム。
関心物が第1の位置から第2の位置に移動することをセンサが検出し、3D−HUD上の第1の位置に表示されていた第2のグラフィックを、第2の位置に対応するように3D−HUD上で再配置することを指示するシステム。
命令が実行された場合に、関心物が第2の位置に位置するとき遮蔽物によって遮られているかどうかを判定し、関心物が第2の位置において遮られていないと判定することに応答して、第2のグラフィックが3D−HUD上に表示されないように第2のグラフィックをオフにし、3D−HUD上に再び第1のグラフィックを表示することをシステムに行わせ、3D−HUDを見ているドライバが、第2の位置において関心物に重なるように第1のグラフィックを見ることができる、システム。
記載される技法の実施形態は、ハードウェア、方法もしくはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含む場合がある。
コンピュータによって実行される方法であって、車両の前方にある関心物を検出する関心物検出ステップと、前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示ステップと、前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出ステップと、を含み、前記表示ステップでは、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示することを特徴とする。
前記関心物の重要度を判定する判定ステップをさらに含み、前記表示ステップでは、前記関心物の重要度が所定の閾値よりも高い場合において前記第2のグラフィックを表示してもよい。
また、前記重要度は、前記関心物が人間である場合において、前記関心物が人間以外である場合よりも高くなることを特徴としてもよい。
また、前記所定の閾値は、前記車両の外部環境が、前記関心物を視認しにくい環境であるほど低くなることを特徴としてもよい。
また、前記第2のグラフィックは、前記遮蔽物と重ならない位置に表示されることを特徴としてもよい。
また、前記検出ステップでは、前記車両が有するセンサを用いて、前記関心物の第1の位置を推定してもよい。
また、前記表示ステップでは、前記3D−HUDに対する運転者の目の位置を特定し、前記3D−HUDに対する運転者の目の位置と、前記推定した第1の位置と、に基づいて、前記第1のグラフィックの表示位置を決定してもよい。
また、前記関心物検出ステップでは、前記3D−HUD上における前記関心物の動きを追跡し、前記表示ステップでは、前記3D−HUD上における前記関心物の動きに同期して、前記第1のグラフィックの表示位置を更新してもよい。
また、前記関心物検出ステップでは、前記遮蔽物に対する前記関心物の動きを同時に追跡してもよい。
また、前記関心物検出ステップでは、前記車両の外部から送信されたセンサ情報にさらに基づいて前記関心物を検出し、前記第1の位置を推定してもよい。
また、前記関心物検出ステップでは、前記関心物の形状をさらに取得し、前記第1のグラフィックは、前記関心物の形状を表すグラフィックであることを特徴としてもよい。
また、前記第2のグラフィックは、前記遮蔽物の後ろに前記関心物があることを強調する表示であってもよい。
図1Aは、遮蔽アプリケーション199および共有アプリケーション198のための例示的な動作環境100を示すブロック図である。
3のうちの1つまたは複数を含む。図示された実施形態では、動作環境100のこれらのエンティティは、ネットワーク105を介して通信可能に結合される。動作環境100は、たとえば、交通データを提供するための交通サーバ、気象データを提供するための気象サーバ、電力使用サービス(たとえば、課金サービス)を提供するための電力サービスサーバ、および地図データを提供するための地図サーバなどを含む、図1Aに示されていない他のサーバまたはデバイスを含んでもよい。
関心物117は、ドライバ125にとって関心がある、または関心があるべき物理的なものである。また、遮蔽物119は、ドライバ125の視界から、全体的または部分的に、関心物117を遮る可能性がある物理的なものである。いくつかの実施形態では、車両環境108は、車道環境を含む。
データを送るための電気通信ネットワークの部分に結合される場合があるか、またはそれらを含む場合がある。いくつかの実施形態では、ネットワーク105は、ショートメッセージングサービス(SMS)、マルチメディアメッセージングサービス(MMS)、ハイパーテキスト転送プロトコル(HTTP)、直接データ接続、ワイヤレスアプリケーションプロトコル(WAP)、電子メール、DSRCなどを介して、データを送受信するためのBluetooth(登録商標)通信ネットワークまたはセルラー通信ネットワークを含む。ネットワーク105は、第3世代(3G)、第4世代(4G)、ロングタームエボリューション(LTE)、ボイスオーバーLTE(VoLTE)、もしくはその他のモバイルデータネットワークを含む場合があるモバイルデータネットワーク、またはモバイルデータネットワークの組合せを含む場合もある。さらに、ネットワーク105は、1つまたは複数のIEEE802.11ワイヤレスネットワークを含む場合がある。
て下記に記載される、それぞれ、プロセッサ225、メモリ227、通信ユニット245、およびセンサセット212と同様の機能を含む。
チンを含む。
ンを含む。たとえば、図1D、図1E、および図1Fを参照されたい。いくつかの実施形態では、遮蔽アプリケーション199は、プロセッサによって実行された場合に、関心物117が遮られていることに応答して、関心物についてのタイプ(たとえば、人間、動物、子供、車両など)、およびこの物体のタイプが第2のグラフィックを作成する必要があるほど重要であるかどうかをプロセッサに判定させるコードおよびルーチンを含む。関心物117が十分に重要であると判定された場合、この段落内で上述されたステップ(1)および(2)は、関心物117が十分に重要であるというこの判定に応答して実行される場合がある。
ることができる。共有アプリケーション111は、センサデータ181またはセンサデータ181の一部分を含むワイヤレスメッセージを作成する。共有アプリケーション111は、ネットワーク105にワイヤレスメッセージを送信することを第2の車両106の通信ユニットに行わせる。第1の車両103の通信ユニットは、ネットワーク105からワイヤレスメッセージを受信する。このようにして、共有アプリケーション111は、有益なことに、第1の車両103の遮蔽アプリケーション199が、全体的または部分的に第2の車両106などのリモートソースから供給されるセンサデータ181を使用して、その機能を実現することを可能にする。
示されないグラフィック表現171の例が描写されている。これにより、関心物または車両のドライバ125に対する安全上のリスクが引き起こされる。たとえば、ドライバ125の1つまたは複数の目126によって見られるように、ドライバ125は、遮蔽物119によって遮られている関心物117を認識できない可能性がある。ドライバ125が関心物117を視認した場合、ドライバ125は、関心物117またはドライバ125に対するリスクを低減するような措置を取ることができる。当該措置の例には、車両の速度を落とすこと、車両のブレーキをかけること、車両が異なる車線または異なる道路に移動するように車線を変更すること、車両を停止させること、およびドライバ125がリスクを低減することができると信じる可能性があるその他のアクションのうちの1つまたは複数が含まれ得る。しかしながら、ドライバ125が、関心物117を見ることができなければ、これらの措置のいずれも取らない可能性がある。遮蔽アプリケーションは、有益なことに、この例示的な問題を解決する。たとえば、遮蔽アプリケーション199は、本明細書に記載されたように、第1のグラフィックおよび第2のグラフィックを選択的に作成することができる。遮蔽アプリケーション199は、しきい値に対する関心物117の重要度に基づいて、グラフィックのうちの1つまたは複数を表示するべきかどうかを選択することができる。
ンは、3D−HUDにGUIデータを供給することができる。遮蔽アプリケーションは、ドライバ125の視界に対して、関心物117または遮蔽物119に重ならないが、関心物117が遮蔽物119の後ろに位置することを示す位置に、第2のグラフィック124を表示することを3D−HUDに行わせることができる。たとえば、遮蔽アプリケーションは、(1)車両の1つまたは複数の内部センサによって収集されたセンサデータに基づいて、第2のグラフィック124が関心物117または遮蔽物119に重ならないが、関心物117が遮蔽物119の後ろに位置することを示すように、ドライバ125の1つまたは複数の目126に対して第2のグラフィック124が3D−HUD上で位置するべき直交座標を決定し、(2)遮蔽アプリケーションによって決定された直交座標に対応する位置に第2のグラフィック124を表示することを3D−HUDに行わせることができる。
蔽物に類似する遮蔽物119に重ならない位置に、第1のグラフィック123を表示することを3D−HUDに行わせることができる。
次に図2Aを参照すると、遮蔽アプリケーション199を含むコンピュータシステム200の一例が描写されている。
ができる。外部センサデータ295は、第1の車両も記述することができる。たとえば、外部センサデータ295は、第1の車両の位置を記述することができる。
ライバ情報293、外部センサデータ295、およびドライバビューデータ299のうちの1つまたは複数を記述するセンサデータ181を記録するように動作可能である。
ーデータ299などの様々なカテゴリにセンサデータを編成することができる。いくつかの実施形態では、センサモジュール204は、コンピュータシステム200のメモリ227に記憶することができ、プロセッサ225によってアクセス可能かつ実行可能である。
らの物体の位置を追跡することができる。たとえば、物体の相対範囲は、近い物体が遠い物体を遮る可能性があり、それにより近い物体が遮蔽物であり得ることを示すように、ある物体が他の物体の前にあることを示すことができるので、様々な物体の相対範囲は、物体が関心物に対する遮蔽物であり得るかどうかを示すことができる。このようにして、位置特定モジュール208は、確度が向上したDSRC準拠のGPSデータをより多く使用して、車両環境内の様々な物体の位置をより正確に特定することができる。
を取り出すステップ、および重要度値を重要度しきい値と比較して、第2のグラフィックを作成する必要があるほど関心物が重要であるかどうかどうかを判定するステップのうちの1つまたは複数を実施するためのルーチンを含むソフトウェアを含む。
のうちの1つまたは複数に重ならないように、遮蔽評価モジュール211によって選択される。たとえば、図1Eを参照されたい。
3次元位置(または少なくとも実質的に同じ深度)に投影されると、ドライバは、投影画像を見るために目の焦点を調整する必要がなく、現実の物体を見ている間に投影画像を容易に把握する結果になる。
図3A〜図3Cは、いくつかの実施形態による、3D−HUDのグラフィック向けの遮
蔽調整を実現するための方法300の一例のフローチャートである。
図1Aにおける、第1の車両103、第2の車両106、RSU101のうちの1つ以上が、387号出願における通信デバイスであってもよい。
半二重通信システムでは、第2の通信デバイスにデータを送信中である第1の通信デバイスは、同時に第2のデバイスからデータを受信することができない。第2の通信デバイスが第1の通信デバイスに送信するデータを有する場合、第2の通信デバイスは、第1の通信デバイスがそのデータ送信を完了するまで待つ必要がある。半二重通信システムでは
、一度に1つの通信デバイスのみがデータを送信することを許可される。
例えば、特徴は、第1のデータが第1のパケットを含み、第1のデータの第1の部分が第1のパケットのヘッダ部分を含むことと、
第1のデータの残りの部分が第1のパケットのペイロード部分およびトレーラ部分を含むことと、
第2の通信デバイスが第1のデータの唯一の宛先であると判断することと、
第2の通信デバイスが第1のデータの唯一の宛先であることに応答して、第1の通信デバイスの全二重動作モードをアクティブ化することと、
第1の通信デバイスおよび第2の通信デバイスがワイヤレスローカルエリアネットワーク内の通信デバイスであることと、
全二重通信能力が必要とされる規制スペクトルにおいて第1の通信デバイスが動作すると判断することと、
第1の通信デバイスに関連付けられたデバイスレジストリデータを受信することと、
デバイスレジストリデータに基づいて第1の通信デバイスが全二重通信能力を有すると判断することと、
第1のデータの第1の部分内の能力指示フィールドに基づいて第1の通信デバイスが全二重通信能力を有すると判断することと、を含み、
能力指示フィールドは、第1の通信デバイスが全二重通信能力を有するかどうかを記述するデータを含む。
以上に説明したような、387号出願に記載の通信システムを本出願と組み合わせてもよい。
形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、ここでの説明は、データおよびコマンドを受信する任意のタイプの計算装置および任意の周辺機器について適用できる。
、伝搬および転送可能な任意の装置を指す。コンピュータが読み込み可能な記憶媒体は、有形または非一時的コンピュータ可読記憶媒体であってもよい。コンピュータ可読媒体は、コンピュータ実行可能コードを格納することができる。コンピュータ可読媒体は、プロセッサに通信可能に結合されてもよい。プロセッサは、コンピュータ実行可能コードの1
つ以上の部分を実行するようにプログラムされてもよい。
101 路側ユニット
103 第1の車両
105 ネットワーク
106 第2の車両
108 車両環境
111 共有アプリケーション
117 関心物
119 遮蔽物
125 ドライバ
181 センサデータ
199 遮蔽アプリケーション
Claims (13)
- コンピュータによって実行される方法であって、
車両の前方にある関心物を検出する関心物検出ステップと、
前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示ステップと、
前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出ステップと、
を含み、
前記表示ステップでは、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示する、
方法。 - 前記関心物の重要度を判定する判定ステップをさらに含み、
前記表示ステップでは、前記関心物の重要度が所定の閾値よりも高い場合において前記第2のグラフィックを表示する、
請求項1に記載の方法。 - 前記重要度は、前記関心物が人間である場合において、前記関心物が人間以外である場合よりも高くなる、
請求項2に記載の方法。 - 前記所定の閾値は、前記車両の外部環境が、前記関心物を視認しにくい環境であるほど低くなる、
請求項3に記載の方法。 - 前記第2のグラフィックは、前記遮蔽物と重ならない位置に表示される、
請求項1から4のいずれかに記載の方法。 - 前記関心物検出ステップでは、前記車両が有するセンサを用いて、前記関心物の第1の位置を推定する、
請求項1から5のいずれかに記載の方法。 - 前記表示ステップでは、前記3D−HUDに対する運転者の目の位置を特定し、前記3D−HUDに対する運転者の目の位置と、前記推定した第1の位置と、に基づいて、前記第1のグラフィックの表示位置を決定する、
請求項6に記載の方法。 - 前記関心物検出ステップでは、前記3D−HUD上における前記関心物の動きを追跡し、
前記表示ステップでは、前記3D−HUD上における前記関心物の動きに同期して、前記第1のグラフィックの表示位置を更新する、
請求項6または7に記載の方法。 - 前記関心物検出ステップでは、前記遮蔽物に対する前記関心物の動きを同時に追跡する、
請求項8に記載の方法。 - 前記関心物検出ステップでは、前記車両の外部から送信されたセンサ情報にさらに基づいて前記関心物を検出し、前記第1の位置を推定する、
請求項6から9のいずれかに記載の方法。 - 前記関心物検出ステップでは、前記関心物の形状をさらに取得し、
前記第1のグラフィックは、前記関心物の形状を表すグラフィックである、
請求項6から10のいずれかに記載の方法。 - 前記第2のグラフィックは、前記遮蔽物の後ろに前記関心物があることを強調する表示である、
請求項1から11のいずれかに記載の方法。 - 車両の前方にある関心物を検出する関心物検出手段と、
前記車両内に備え付けられた3次元ヘッドアップディスプレイ(3D−HUD)上に、前記関心物を運転者に視認させるための第1のグラフィックをオーバーレイ表示させる表示手段と、
前記関心物の少なくとも一部が遮蔽物によって遮蔽されていることを検出する遮蔽検出手段と、
を有し、
前記表示手段は、関心物の少なくとも一部が遮蔽物によって遮蔽されている場合に、前記第1のグラフィックの少なくとも一部を非表示にし、または、前記遮蔽物の後ろに前記関心物があることを運転者に視覚的に通知する第2のグラフィックを表示する、
システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/244,975 | 2016-08-23 | ||
| US15/244,975 US10248196B2 (en) | 2016-08-23 | 2016-08-23 | System for occlusion adjustment for in-vehicle augmented reality systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018032402A true JP2018032402A (ja) | 2018-03-01 |
| JP6428876B2 JP6428876B2 (ja) | 2018-11-28 |
Family
ID=61242479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017159594A Active JP6428876B2 (ja) | 2016-08-23 | 2017-08-22 | 車載拡張現実システム向けの遮蔽調整システム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US10248196B2 (ja) |
| JP (1) | JP6428876B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020189646A1 (ja) * | 2019-03-19 | 2020-09-24 | 株式会社小糸製作所 | 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム |
| JP2024524103A (ja) * | 2021-06-15 | 2024-07-05 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10572825B2 (en) * | 2017-04-17 | 2020-02-25 | At&T Intellectual Property I, L.P. | Inferring the presence of an occluded entity in a video captured via drone |
| DE102014221888A1 (de) * | 2014-10-28 | 2016-04-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld |
| US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
| EP3299241B1 (en) * | 2016-09-26 | 2021-11-10 | Volvo Car Corporation | Method, system and vehicle for use of an object displaying device in a vehicle |
| US10977956B1 (en) | 2016-11-01 | 2021-04-13 | State Farm Mutual Automobile Insurance Company | Systems and methods for virtual reality based driver training |
| JP7009057B2 (ja) | 2016-11-15 | 2022-01-25 | 株式会社リコー | 表示装置、表示システム、及びプログラム |
| US10818187B2 (en) * | 2017-07-17 | 2020-10-27 | Uatc, Llc | Systems and methods for deploying an autonomous vehicle to oversee autonomous navigation |
| KR102334318B1 (ko) * | 2017-09-19 | 2021-12-03 | 삼성전자주식회사 | 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법 |
| JP2019121320A (ja) * | 2018-01-11 | 2019-07-22 | 株式会社小糸製作所 | 車車間通信システム、車両システム、車両用照明システム及び車両 |
| FR3082485B1 (fr) * | 2018-06-18 | 2020-08-28 | Valeo Comfort & Driving Assistance | Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule |
| FR3083195A1 (fr) * | 2018-06-29 | 2020-01-03 | Valeo Comfort And Driving Assistance | Dispositif d'affichage pour l'aide a la conduite |
| EP3835128A4 (en) * | 2018-08-06 | 2021-09-08 | Koito Manufacturing Co., Ltd. | VEHICLE AND VEHICLE DISPLAY SYSTEM |
| US10817733B2 (en) * | 2019-02-13 | 2020-10-27 | Sap Se | Blind spot implementation in neural networks |
| EP3901919B1 (en) * | 2019-04-17 | 2025-04-16 | Rakuten Group, Inc. | Display control device, display control method, program, and non-transitory computer-readable information recording medium |
| EP4066086A1 (en) | 2019-11-26 | 2022-10-05 | Telefonaktiebolaget LM Ericsson (publ.) | Occlusion of virtual content in extended reality |
| JP7234103B2 (ja) * | 2019-12-16 | 2023-03-07 | 日立Astemo株式会社 | 車両制御装置、および、車両制御システム |
| DE102020205444B3 (de) * | 2020-04-29 | 2021-07-08 | Continental Automotive Gmbh | Gerät zum Generieren eines virtuellen Bildes mit Störlichtunterdrückung, Head-Up-Display aufweisend ein solches Gerät und Fahrzeug aufweisend ein solches Gerät bzw. Head-Up-Display |
| CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技(深圳)有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CA3237344A1 (en) * | 2021-11-15 | 2023-05-19 | Flightsafety International Inc. | System and method of adjusting focal distances of images displayed to a user of a simulator |
| GB2613004A (en) * | 2021-11-19 | 2023-05-24 | Wayray Ag | System and method |
| GB2608665B (en) * | 2022-02-22 | 2024-01-03 | Envisics Ltd | Head-up display |
| US11663939B1 (en) * | 2022-03-23 | 2023-05-30 | GM Global Technology Operations LLC | Augmented reality head-up display for generating a contextual graphic signifying a visually occluded object |
| US11790776B1 (en) | 2022-07-01 | 2023-10-17 | State Farm Mutual Automobile Insurance Company | Generating virtual reality (VR) alerts for challenging streets |
| EP4322566B1 (en) * | 2022-08-09 | 2024-07-31 | Denso Corporation | Cpm apr based security for its |
| US12423755B2 (en) | 2023-04-10 | 2025-09-23 | State Farm Mutual Automobile Insurance Company | Augmented reality system to provide recommendation to repair or replace an existing device to improve home score |
| US12482199B2 (en) | 2023-08-30 | 2025-11-25 | Meta Platforms Technologies, Llc | Reducing energy consumption in extended reality devices |
| US12511995B2 (en) * | 2024-02-12 | 2025-12-30 | GM Global Technology Operations LLC | Identifying roadway safety events in remote vehicles |
| US20250368188A1 (en) * | 2024-05-31 | 2025-12-04 | Adeia Guides Inc. | Configurable precision parking assist system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087337A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 車輌周囲情報表示装置 |
| WO2012131871A1 (ja) * | 2011-03-28 | 2012-10-04 | パイオニア株式会社 | 情報表示装置、制御方法、プログラム、及び記憶媒体 |
| JP2016048550A (ja) * | 2014-08-27 | 2016-04-07 | トヨタ自動車株式会社 | ドライバの注意評価に基づく空間情報の提示 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW550521B (en) * | 2002-02-07 | 2003-09-01 | Univ Nat Central | Method for re-building 3D model of house in a semi-automatic manner using edge segments of buildings |
| US8503762B2 (en) * | 2009-08-26 | 2013-08-06 | Jacob Ben Tzvi | Projecting location based elements over a heads up display |
| KR102028720B1 (ko) * | 2012-07-10 | 2019-11-08 | 삼성전자주식회사 | 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법 |
| US9292764B2 (en) * | 2013-09-17 | 2016-03-22 | Qualcomm Incorporated | Method and apparatus for selectively providing information on objects in a captured image |
| JP6287237B2 (ja) | 2014-01-17 | 2018-03-07 | 株式会社リコー | 情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-08-23 US US15/244,975 patent/US10248196B2/en active Active
-
2017
- 2017-08-22 JP JP2017159594A patent/JP6428876B2/ja active Active
-
2019
- 2019-02-08 US US16/271,762 patent/US20190171287A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087337A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 車輌周囲情報表示装置 |
| WO2012131871A1 (ja) * | 2011-03-28 | 2012-10-04 | パイオニア株式会社 | 情報表示装置、制御方法、プログラム、及び記憶媒体 |
| JP2016048550A (ja) * | 2014-08-27 | 2016-04-07 | トヨタ自動車株式会社 | ドライバの注意評価に基づく空間情報の提示 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020189646A1 (ja) * | 2019-03-19 | 2020-09-24 | 株式会社小糸製作所 | 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム |
| US11899201B2 (en) | 2019-03-19 | 2024-02-13 | Koito Manufacturing Co., Ltd. | Head-up display for vehicles and head-up display system for vehicles |
| JP2024524103A (ja) * | 2021-06-15 | 2024-07-05 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置 |
| JP7696456B2 (ja) | 2021-06-15 | 2025-06-20 | メルセデス・ベンツ グループ アクチェンゲゼルシャフト | 少なくとも部分的な自動運転車両において自動運転の割合を高めるための方法及び装置 |
| US12612083B2 (en) | 2021-06-15 | 2026-04-28 | Mercedes-Benz Group AG | Method and device for increasing the share of automated driving in an at least partially automated vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| US10248196B2 (en) | 2019-04-02 |
| US20190171287A1 (en) | 2019-06-06 |
| US20180059779A1 (en) | 2018-03-01 |
| JP6428876B2 (ja) | 2018-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6428876B2 (ja) | 車載拡張現実システム向けの遮蔽調整システム | |
| US10600251B2 (en) | Method of ground adjustment for in-vehicle augmented reality systems | |
| EP3705846B1 (en) | Object location indicator system and method | |
| JP6844581B2 (ja) | 拡張現実を用いた車線案内 | |
| US10395433B2 (en) | Traffic situation awareness for an autonomous vehicle | |
| US10895465B2 (en) | Optimizing a route selection for a highly autonomous vehicle | |
| US20160063332A1 (en) | Communication of external sourced information to a driver | |
| US20190132572A1 (en) | 3d lidar system using a dichroic mirror for autonomous driving vehicles | |
| WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
| US10366473B2 (en) | Providing traffic mirror content to a driver | |
| US9409519B2 (en) | Generating spatial information for a heads-up display | |
| JP2022105256A (ja) | マルチビュー自動車及びロボット工学システムにおける画像合成 | |
| JP2019021306A (ja) | 色盲のための拡張現実車両支援 | |
| EP4402437B1 (en) | Map features delivered via augmented reality (ar) | |
| TW201843069A (zh) | 動態信息系統及動態信息系統的操作方法 | |
| US12260573B2 (en) | Adversarial approach to usage of lidar supervision to image depth estimation | |
| KR20220142590A (ko) | 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체 | |
| CN114527735A (zh) | 用于控制自动驾驶车辆的方法和装置、车辆及存储介质 | |
| EP4520060A1 (en) | Method and user device for detecting an environment of the user device | |
| CN118850064A (zh) | 车辆变道控制方法、装置、计算机设备以及存储介质 | |
| JP2020086882A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181015 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6428876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |