JP7172004B2 - 光通信発信源のデータ処理および認証 - Google Patents

Description

本明細書に説明された実施形態は、光通信発信源からのデータの処理技術におおむね関連し、特に、光学カメラ通信発信源による、可視光から取得されたデータに関する認証およびデータ解釈技術の使用に関連する。

可視光通信は、メッセージをブロードキャストするために発光ダイオード（ＬＥＤ）サイネージおよびＬＥＤランプなどの光発信源を用いる通信技術などの、新たに発生した様々な無線通信技術において具現化される。ネットワーク接続のラストワンマイル送信のための高速リンクの役割を果たす無線データネットワークに特化された展開のためのものを含む、様々な用途が、可視光通信のエリアにおいて提案されてきた。可視光通信の多くの使用において、光発信源の明るさが、人間の目が観測し得るよりも高速で変調され、光発信源が、感知できるちらつきなしでメッセージを送信することを可能にする。

可視光通信の１つの実装形態であり、"ＣａｍＣｏｍ"としても知られる光学カメラ通信は、可視の（人に可視の、またはカメラに可視の）光データを受け取りおよび処理するために、カメラ内のイメージセンサを使用する。光学カメラ通信の標準化のための１つの提案が、ＩＥＥＥ８０２．１５．７－２０１１規格の改訂のための短距離光無線通信タスクグループによって現在進展中である。例えば、このタスクグループは、送信デバイスまたは受信デバイスとしてフラッシュ、ディスプレイ、およびイメージセンサなどの光学デバイスを用いて、スケーラブルなデータレート、ポジショニング／位置特定、およびメッセージブロードキャストを可能にするための光学カメラ通信の使用に関する、改良された基準を開発中である。

必ずしも原寸に比例して記載されるとは限らない図面において、類似の参照符号は、異なる図面においても同様のコンポーネントを説明し得る。異なる添字を有する類似の参照符号は、同様のコンポーネントの異なる例を示し得る。添付の図面の図において、いくつかの実施形態が限定ではなく、例として図示される。

一例による、自動車のコンポーネントによって光通信発信源を処理および認証する動作環境の図である。

一例による、複数の光通信発信源を指示する、自動車から観測されるカメラに撮像されたシーンの定型化された表現の図である。

一例による、複数の光通信発信源のうちの特定の光通信発信源の認証を示す、自動車から観測されるカメラに撮像されたシーンの定型化された表現の図である。

一例による、制限された視野における複数の光通信発信源の認証を示す、自動車からのカメラに撮像されたシーンの定型化された表現の図である。

一例による、光学カメラ通信システムのコンポーネントのうちから、光学的に通信されたデータを選択して解釈するための、動作を図示するシーケンス図である。

一例による、ユーザ認証技術を用いた光学カメラ通信システムにおける、変調光データを取得および処理する方法を例示するフローチャートである。

一例による、自動認証技術を用いた光学カメラ通信システムにおける、変調光データを取得および処理する方法を例示するフローチャートである。

一例による、光学カメラ通信を用いて、変調光データを処理および認証するための例示的なシステムにおけるコンポーネントを図示するブロック図である。

一例による、本明細書で説明された技術（例えば、動作、処理、方法および手順）のうち任意の１つまたは複数が実行され得る、例示的な電子処理システムアーキテクチャを図示するブロック図である。

以下の説明において、可視光通信を用いて通信される変調光を指示するイメージデータに関する、カメライメージ物体発信源から検出されたイメージデータの処理および認証のための方法、構成、および関連する装置が開示される。特に、本明細書に説明される技術は、一般に光学カメラ通信と称される可視光通信の用途に関連し、可視光通信は、イメージセンサを介してカメラにおいて撮像される（受け取られる）ためのデータを出力（送信）するために、ＬＥＤサイネージおよびＬＥＤ照明などの発光物体を用いる。変調光データを含むそのようなイメージデータを解析し、イメージデータからの変調光データの発信源を認証するための、様々な、デバイスベースおよびシステムベースの技術が、本明細書に開示される。

本明細書で説明される文脈において用いられるものとして、認証とは、データ発信源がデータ受信側と接続する（例えば、データ受信側にデータを提供する）前に、識別情報を提供または決定することを指す。認証の同様の例として、ＩＥＥＥ８０２．１１（Ｗｉ－Ｆｉ（登録商標））無線通信ネットワークにおいて、認証フレーム交換が、無線ネットワークとの接続を確立することが可能になる前に、局が修正認証情報（例えば、事前共有ＷＥＰ／ＷＰＡ暗号鍵）を有することを確認するように用いられる。この設定において、暗号鍵が知られている場合、局はネットワークと関連づける権限が与えられることが前提となる。光学カメラ通信の分野において、受け取るデバイスにおいてそのデータがさらなる挙動を開始することを可能とする前に、受け取られたデータストリームが認証済み発信源から提供されたものか確認するためには、同様の技術的課題がある。多くのタイプの可視光通信は、その光を観測可能な範囲における任意のリスナへ限定されることなくブロードキャストされているので、所望の、または信用された位置からのみデータを取得する能力は、複雑であるが重要な課題となっている。

本明細書に説明された光学カメラ通信の例において、データ受信側が視覚的に観測されるデータ発信源からデータを受け取ることを望む旨を確認するように、イメージデータ内のそのデータ発信源を視覚的に識別することによって、より低い層での処理において、認証が実行される。所望のデータ発信源の識別は、他の発光物体から検出された変調光データを度外視しながら、所望の発光物体からの変調光データを、探索、選択、アクセス、および処理するように用いられてよい。したがって、認証済みでない光発信源は無視および度外視されてよく、未知の、所望されない、未確認の、権限がない、または不正なデータの使用を阻止する。

本明細書で説明されるように、光学カメラ通信認証技術は、人による入力または自動化された物体認識のいずれかを用いて発光物体のイメージデータ上で実行される、変調光データ発信源の識別および選択を含んでよい。認証のためのイメージデータの使用は、所望の発信源からの、変調光データの適切な確認を可能にする。なぜなら、カメラセンサによって取得されたイメージデータは、変調されたデータを送信するために用いられる光を撮像するときに、物体を視覚的に認識するための光もまた撮像するからである。したがって、本明細書で説明される光学カメラ通信認証技術は、すべての有効な変調光データ発信源の消費および処理を認証なしで選ぶ既存の手法と比べて、動作およびセキュリティのかなりの利点を提供する。

図１は、自動車のコンポーネントによる光通信発信源の処理および認証のための動作環境の例を図示する。図１から３の以下の例は、乗員が車道で自動車を運転するときに生じ得るものなどの、自動車の乗員の視点に位置決めされたカメラからの、イメージデータおよび変調光データの撮像に関する使用事例を、具体的に説明する。以下の例にある機能の統合物は、工場で統合されたテレマティックスおよび情報娯楽システム、または拡張用のテレマティックスおよび情報娯楽デバイスによって、自動車に提供されてよい。しかしながら、以下の光学カメラ通信認証機能は、スマートフォン、ウェアラブルデバイス、タブレット、ポータブルパーソナルコンピュータ、および同様の、他のオペレーショナルシステムに埋め込まれたユーザインタラクティブ／クライアントデバイスにおいて提供された、そのようなイメージおよびデータ処理機能と同様に、自動車とは独立して動作する他の形態のモバイルコンピューティングデバイスにもまた該当し得ることが理解されるであろう。

図１に示されるように、自動車１１０はカメラデバイス１１２を含み、それは視野におけるシーンを検出および撮像するように、自動車１１０および取り囲む環境に対して外向きに位置決めされる。カメラデバイス１１２は、（ＬＥＤサイネージなどの）発光物体から自動車１１０に送信されている可視光通信１２０を含む、自動車１１０の前進方向からの視野の光学的イメージを取得するものとして示される。発光物体における光は、（例えば、人に感知できない急速な点滅光によって）人間の目が一般に確かめたり観測したりできないようにデータを指示すべく、急速に変調される。カメラデバイス１１２は、シーンのイメージデータを撮像するための少なくとも１つのセンサを含み、カメラデバイス１１２は、発光物体のうち少なくとも１つの光が、データを伴って変調されている（例えば、可視光通信１２０を送っている）旨を検出する処理回路を含むか、それと動作可能に連結されてよい。

自動車１１０は、自動車の前で観測される視野におけるシーンを取得し、処理し、および評価する、多数の処理コンポーネント１３０を含む。そのような処理機能は、（ＬＥＤサイネージの静止ＲＧＢイメージなどの）実世界物体に関するイメージデータを撮像するように動作し、変調光データは（ＬＥＤサイネージの動作から提供される、変調光データなどの）可視光通信１２０において提供される。例えば、処理コンポーネント１３０は、シーンのイメージデータを撮像するカメラセンサ１３２（例えば、ＣＭＯＳ／ＣＣＤセンサ）、撮像されたイメージデータからデータを処理、格納、および抽出するカメラデータ処理コンポーネント１３４（例えば、プログラミングされた回路によって実装される）、および、シーンにおける物体から放出される、変調光データを検出および解釈する可視光通信処理コンポーネント１３６（例えば、プログラミングされた回路によって実装される）を含んでよい。

処理コンポーネント１３０は、発光発信源（物体）からの変調光データのユーザインタラクティブな、または自動化された認証を実装する認証データ処理コンポーネント１３８（例えば、プログラミングされた回路によって実装される）、イメージデータの拡張された表示を生成することを含む、ユーザインタラクティブな制御を受け取るユーザインタフェース表示処理コンポーネント１４０（例えば、プログラミングされた回路によって実装される）、および、イメージデータの表示を出力し、イメージデータの表示に関するユーザ入力およびコマンドを受け取るインタラクティブ表示ユニット１４２（例えば、タッチスクリーンディスプレイハードウェア）をさらに含んでよい。

処理コンポーネント１３０または自動車１１０と一体化された別のコンポーネントは、さらに、可視光通信１２０によるデータの認証および処理における使用のための補助データ１６０を取得すべく、（例えば、インターネットを介して）外部ネットワーク発信源１５０にアクセスするように用いられてもよい。例えば、外部ネットワーク発信源１５０は、ネットワークに接続されたデータ処理サーバ１５２（例えば、ウェブサーバ）および、処理コンポーネント１３０からの要求またはクエリに応答して補助データを供給するデータホスティングシステム１５４（例えば、データベース）を提供してよい。例えば、可視光通信１２０は、外部ネットワーク発信源１５０のユニフォームリクエストロケーター（ＵＲＬ）を示すデータを含んでよく、データ処理サーバ１５２およびデータホスティングシステム１５４は、要求またはクエリに応答して補助データ１６０を供給するように適合している。

図２Ａは、自動車から観測される例示的なカメラに撮像されたシーンの定型化された表現２００Ａを図示し、複数の光通信発信源を指示する。定型化された表現２００Ａは、実世界環境における３つの照明つきのサイン、すなわち、アイスクリーム店の看板２０２、コーヒー店の看板２０４、および交通標識２０６のイメージを含むイメージデータの出力を図示する。各照明つきのサインは、カメラによって受け取りおよび復調されるための、それぞれの組の可視光通信のデータを送るように、特定のパターンで光データを変調するＬＥＤを含む。

したがって、図２Ａの定型化された表現２００Ａにおいて、３つの照明つきのサイン２０２、２０４、２０６のそれぞれが、信号データのパターンで変調された光出力を提供する。初期の処理ステップとして、カメラと関連づけられた信号プロセッサが、撮像されたシーンの中のどの物体が光学カメラ通信データを送信しているのかを決定する（例えば、探索する、観測する）。このことは、いくつかの例において、使用可能なデータを実際に送信するのは、そのシーンにおいて利用可能なＬＥＤ発光素子のうちいくつかのみであるので、重要である。一例において、発光発信源の識別は、スタートフレームデリミタの使用などによって、特化されたカメラ通信の波形を用いて実行される。他の例において、光は、光が変調光データ発信源である旨を指示する、特化されたシグナリング出力を使用してよい。この決定に応答して、カメラと関連づけられた信号プロセッサは、利用可能な観測者にデータを送信する（例えば、ブロードキャストする）、利用可能な光発信源を識別する。

識別された光発信源上の情報は、認証処理において用いられ、識別された光発信源のうちどれが、関連づけられた処理システムによって消費されるために利用可能なデータストリームを提供するかを決定する。次に、手動の、または自動化された認証処理が、利用可能な（識別された）光発信源からのデータを選択するように、実行されてよい。例えば、図２Ａに示されるように、イメージ処理プロセッサは、変調されたデータを送信している各光発信源（例えば、サイン２０２、２０４、２０６）の周囲に、実線のボックス（例えば、色つきのボックス）を生成してよい。一例において、イメージ処理プロセッサは、識別された変調光データ発信源の実世界での位置をハイライトまたは強調するように、イメージデータへのオーバーレイとしてこの指示を提供する。このような識別は、人間のユーザまたは自動化された機構に利用可能なデータ発信源をハイライトまたはマーキングするように動作する（そのような自動化された機構は、画像認識技術またはイメージ処理アルゴリズムを含んでいる）。発光発信源をマーキング、リスト、または識別するための他の方法および機構も、また利用されてよい。

一例において、変調光データによって送られる情報は、グラフィカル、テキスト、またはその他のソフトウェア解釈可能なコンテンツの形態の、符号化された情報を含んでよい。図１に関して上で説明されるように、変調光データによって送られる情報はさらに、（例えば、Ｗｉ－Ｆｉ（登録商標）、または３Ｇ／４Ｇデータ接続などの無線アクセスネットワークによる）補助データにアクセスするように処理システムによって用いられるであろうＵＲＬアドレスを含んでよい。データを撮像および復号した後、定型化された表現２００Ａは、グラフィカル、テキストの、またはソフトウェア解釈されたコンテンツを表示するように更新されてよい。

図２Ｂは、複数の光通信発信源のうちの特定の光通信発信源の認証を指示する、自動車から観測された例示的なカメラに撮像されたシーンの定型化された表現２００Ｂを図示する。定型化された表現２００Ｂにおいて、アイスクリーム店の看板２０２から変調光データを選択する認証が、コンテキストメニュー２１２を表示するために用いられる情報の処理および受け取りをもたらす。コンテキストメニュー２１２は、アイスクリーム店の看板２０２のイメージ表示の隣に、拡張現実出力の形態で表示出力にオーバーレイされるメッセージとして提供される。

図２Ｂは、したがって、コンテンツにオーバーレイした形態の、グラフィカルディスプレイ上への出力を図示し、それは特定の光通信発信源（アイスクリーム店の看板２０２）の認証、およびこの特定の光通信発信源からの情報の処理に応答して出力される。一例において、光通信発信源の認証は、手動の、ユーザ主導の処理を用いて行われてよく、他の例において、光通信発信源の認証は、自動化された処理を用いて行われてよい。認証が行われた後、イメージ処理アルゴリズムは、次に、選択された光発信源からのデータを取り込む権限を与えられる。

手動認証動作において、人間のユーザは、グラフィカルユーザインタフェースへの入力などを介して、ユーザがどのデータ発信源による認証を望むか、あるいはどのデータ発信源からデータをダウンロードすることを望むかを指示する指示を提供してよい。例えば、ユーザは、定型化された表現２００Ｂにおいて示されるような、認証のためのユーザインタフェースコマンドをトリガするように、発光発信源（アイスクリーム店の看板２０２の表示）の表現に、タッチ入力２２０を提供してよい。タッチ入力２２０に応答して、アイスクリーム店の看板２０２からの変調光データは、コンテンツを取得するように解析および解釈されてよい。このシナリオにおいて、アイスクリーム店機構の利用可能なコンテキストメニュー（フードメニュー）に投入されるコンテンツの集合が、光学カメラ通信から受け取られ、データを送信した物体の表現の隣の、イメージデータにオーバーレイされる（コンテキストメッセージ２１２）。したがって、発光発信源から取得されたコンテンツは、定型化された表現２００Ｂにおいて、拡張現実の形態でユーザに表示され、オーバーレイされてよい。発光発信源から取得されたコンテンツは、他のタイプのデバイスによって出力されてよく、認証に応答してフォーマットを出力してよいことが理解されるであろう。

自動認証動作において、認証は、特定のデータ発信源からのデータへのアクセスおよびデータの解析のために自動的に行われてよい。そのような自動認証は、物体の形状、分類、特性、もしくは識別に、または、物体のタイプ（特定のサイン、サインに関連づけられたビジネスのタイプなど）に基づいて、ユーザのためにデータ発信源を選択する画像認識アルゴリズムによって行われてよい。例えば、制御モードにおいて、画像認識アルゴリズムは、データが、歩行者制御光または交通信号などの前もって知られている物体からダウンロードされて処理されることを可能にするためのみに、用いられてよい。他の例として、すべての識別された発信源からのデータによって認証してデータを処理する自動モード（"無差別モード"と称される）が、有効な発信源からのデータのより大きな集合を取得するために、用いられてよい。しかし、すべての有効な発信源からのデータの選択は、視野における物体の位置に基づいてさらに限定されてよい（図３を参照して以下にさらに説明されるようなものなど）。

ある例において、グラフィカルディスプレイにおいてオーバーレイされるコンテンツのタイプ、フォーマット、または特性は、イメージによって撮像される視野の視点に基づいて適合させてよい。グラフィカルディスプレイのこの移行は、それぞれの光発信源のサイズおよび見てとれる特性が変化するときに、とりわけ、シーンのイメージが様々な距離から撮像されたときに行われてよい。一例において、グラフィカルディスプレイに関してオーバーレイされるコンテンツの生成は、サイネージなどの発光物体が視野にあるが、他の光発信源と混ざっている場合（例えば、遠距離で観測される場合）、サイネージなどの発光物体が可視であり視野の他の物体から分けられる場合（例えば、図２Ａおよび２Ｂに描写されるように）、または、サイネージなどの発光物体が、撮像された視野において部分的にのみ可視である場合（例えば、近距離で観測される場合）におけるシナリオを扱うように適合させてよい。

例えば、自動車が車道を走り、光発信源からの距離が大きいとき、シーンのイメージは、複数の光発信源がオーバーラップしてイメージのひとつの領域に集中するように描写されることがある。（しかし、変調光データはこれらの異なる発信源から検出されて処理されてよい）。より近い位置において、それぞれの光は区別可能であり、視野において互いから分けられる。より近い位置でさえ、観測者が非常に近接している場合、または発光物体を部分的に通過した場合、物体は歪むか、完全には可視でないものとなることがある。光発信源が不明瞭である場合には、グラフィカルディスプレイは、不明瞭な光発信源および物体が識別および区別されることを可能とするように、代替のグラフィック、検出された光発信源のリスト、コンテキストメニュー、または他の形態の拡張された図面を提供してよい。

図３は、制限された視野における複数の光通信発信源の認証の例を指示する、自動車からカメラに撮像されたシーンの定型化された表現３００を図示する。図３は、カメラとおおよそ同一の平面における光発信源のみが自動的に認証される（および、光は認証に関しては無視される）手法の結果を具体的に図示する。

定型化された表現３００は、視界エリア３１０、３２０、３３０のそれぞれに示されるように、カメラの仰角の視野に基づく所望の発信源の選択を描写する。カメラの視野において、第１の視界エリア３１０は高すぎる仰角を識別するように適合しており、第２の視界エリア３３０は、低すぎる仰角を識別するように適合しているが、第３の視界エリア３２０は、変調光データを提供する可能性が最も高い物体の仰角を識別するように適合している。例えば、第３の視界エリア３２０は、（ブレーキシステムデータまたは他の車両－車両間通信などの）車両が関心を持っている変調光データを提供する可能性が最も高い領域でありえる。他の例において、他の仰角または視界エリアもまた、変調光データを提供してよい。定型化された表現３００によって描写されたシナリオにおいて、カメラの前の視野における他の自動車からの光（例えば、光３２２Ａ、３２２Ｂ、３２２Ｃ、３２２Ｄ、３２２Ｅ、３２２Ｆ、３２２Ｇ、３２２Ｈ）は、それぞれの車両の後に向いた光（テールライト）を用いて、変調光データを送信し、変調光データは、自動車のスピード、システムのイベント、車道の状態、および同様のものなどのデータを指示する。

一例において、それぞれの光通信発信源の認証は、到来角に基づく。この方式において、カメラは、カメラ位置に対して＋－５度の仰角の光によって自動的に認証してよい。例えば、自動車の走行中に撮像された視野における、この狭くされた領域は、多くの頭上の街灯、および視野からの反射を取り除く。したがって、視界エリア３１０において、頭上の光３１２Ａ、３１２Ｂ、３１２Ｃ、３１２Ｄ、３１２Ｅは度外視される。同じく、視界エリア３３０において、反射光３３２Ａ、３３２Ｂ、３３２Ｃ、３３２Ｄ、３３２Ｅは度外視される。

なおもさらなる例において、自動認証のために用いられる視野、観測される仰角、および領域は、それぞれの光発信源の距離、明確性、観測特性に基づいて、変更されてよい。例えば、観測者があまりに遠くに離れているか、あまりに近接しているか、または発光物体のための観測角を過ぎているために光発信源が不明瞭であるか、完全には可視でない場合、視野は、追加の観測領域を含むか排除するように変更されてよい。

図１から３の上記例は、自動車における情報娯楽またはテレマティックシステムの表示を参照して提供されたが、技術は、モバイル通信デバイス、ウェアラブル、および同様のものを含む、パーソナル電子デバイスによる他の変形例の電子イメージ撮像のために用いられてよいことが理解されるであろう。例えば、カメラおよび投影式ディスプレイを含む頭部装着型の眼鏡は、上で説明された技術を用いて拡張現実表示を提供するように動作してよい。同じく、カメラおよびタッチスクリーンディスプレイを含むスマートフォンは、ユーザに近接するすぐ近くの情報発信源を閲覧するための、拡張現実またはシミュレーションされた現実の表示を提供してよい。さらに、上で提案された商業的、および広告的使用事例に加えて、変調光発信源は、多くの他の使用事例のうち、ゲーム、娯楽、公共の安全のための情報を通信するように用いられてよい。

図４は、光学カメラ通信システムのコンポーネントの中で、光学的に通信されたデータを選択および解釈するための例示的な動作のシーケンス図を図示する。示されるように、光学カメラ通信システムは、光ディスプレイ４０２（例えば、ＬＥＤ発光デバイス）、カメラ４０４、処理システム４０６（例えば、電子処理システム）、ユーザインタフェースデバイス４０８（例えば、情報娯楽システムを有する表示出力またはモバイルコンピューティングデバイス）、および第三者のデータ発信源４１０（例えば、リモートウェブサービス）を含む。

示されるように、シーケンス図は、光ディスプレイ４０２からカメラ４０４への変調光におけるデータメッセージの送信（動作４１１）を含む。カメラ４０４は、イメージデータのバッファリングなどによって、変調光データを受け取り、検出、および格納するように動作する（動作４１２）。カメラ４０４はさらに、撮像されたシーンのイメージデータを処理システム４０６に提供し（動作４１３）、また、処理システム４０６に変調光の指示を提供する（動作４１４）ようにも動作する。

処理システム４０６は、イメージデータのオーバーレイ（例えば、拡張現実表示）として光ディスプレイ４０２の指示を含むイメージデータの出力を生成するように動作する（動作４１５）。このオーバーレイされたイメージデータから、イメージデータのユーザインタフェースが、ユーザインタフェースデバイス４０８による出力のために生成される（動作４１６）。このユーザインタフェースは、ユーザインタフェース画面上にじかに強調されてよい、またはアウトラインされてよいなどの、変調光のそれぞれのデータ発信源の、人間のユーザへの位置を識別する指示を含む。ユーザインタフェースデバイス４０８は、次に、ユーザ入力位置で見つけられた光ディスプレイを認証すべく、ユーザインタフェースにおいてユーザ入力選択を受け取り（動作４１７）、それは処理システム４０６に、ユーザ入力位置に相当するデータ（例えば、光ディスプレイ４０２から取得された変調光）を処理させる（動作４１８）。

いくつかの例において、ユーザ入力位置から指示されたデータ（例えば、光ディスプレイ４０２から取得された変調光）は、第三者のデータ発信源４１０などの、別の発信源における補助データの指示を含む。それに応答して、処理システム４０６は、第三者のデータ発信源４１０から補助データを取得すべく要求を送信し（動作４１９）、この要求に応答して、第三者のデータ発信源４１０から補助データを受け取る（動作４２０）。

光ディスプレイ４０２から取得された、処理された変調光データと、第三者のデータ発信源４１０から取得された任意の補助データとに基づいて、処理システムは、ユーザインタフェースデバイス４０８上への出力のために、イメージデータの更新されたユーザインタフェースを生成するように動作する（動作４２１）。上で説明されるように、このことは、イメージデータへのオーバーレイとして、処理されたコンテンツの拡張現実を含んでよい。シミュレーションコンテンツ、グラフィカルコンテンツ、マルチメディアおよびインタラクティブなコンテンツを含む他のタイプのデータ出力もまた、ユーザインタフェースデバイス４０８によって出力されてよい。

図５は、ユーザ認証技術を用いて光学カメラ通信システムにおいて変調光データを取得および処理する例示的な方法を例示するフローチャート５００である。以下のフローチャートの動作５００は、光学カメラ通信を処理するのに適合した電子処理システム（特別なコンピューティングシステムを含む）によって行われてよい。フローチャート５００の動作は、他のデバイスによってもまた実行されてよく、フローチャート５００の動作のシーケンスおよびタイプは、上に提供された認証の他の例に基づいて変更される可能性があることが理解されるであろう。

フローチャート５００の動作は、カメラのイメージセンサまたは他のオペレーショナルコンポーネントを起動するための選択的な動作（動作５１０）を含む。他の例においては、イメージセンサはすでに起動しているか、別のシステムコンポーネントによって起動されている。カメラシステムは、カメラによってシーンのイメージデータを撮像するように動作し（動作５２０）、このイメージデータは変調光データの撮像を含む。変調光データがイメージデータから検出され（動作５３０）、イメージデータにおける変調光データの位置（例えば、発信源）が識別される（動作５４０）。

変調光データの位置のそれぞれの指示が生成され（動作５５０）、イメージデータの表示および変調光データの位置の指示が出力される（動作５６０）。変調光データの位置をユーザが選択することによって、ユーザ認証がユーザインタフェースにおいて受け取られてよい（動作５７０）。ユーザ認証に応答して、選択された位置から伝達された、変調光データが、イメージデータの再処理、または変調光データの選択された位置からの再撮像などによって、処理（例えば、解析および解釈）されてよい（動作５８０）。変調光データの処理は、選択された位置の変調光データから提供された追加コンテンツ、情報、または他のデータを取得することで終わってよく、イメージデータの表示および変調光データの位置の指示は、この追加コンテンツ、情報、またはデータを反映するように更新されてよい（動作５９０）。

図６は、自動認証技術を用いた光学カメラ通信システムにおいて、変調光データを取得および処理する例示的な方法を例示するフローチャート６００である。図５と同様に、フローチャート６００の動作が、光学カメラ通信の処理に適合した電子処理システム（特別なコンピューティングシステムを含む）によって行われてよい。フローチャート６００は自動化された動作を描写するが、フローチャート６００の動作は、本明細書に説明された追加のユーザ認証および相互作用動作に基づいて変形されてよいことが理解されるであろう。

フローチャート６００の動作は、カメラによってシーンのイメージデータを撮像する（動作６１０）カメラシステムの使用を含み、このイメージデータは変調光データの撮像を含む。選択的な例において、撮像された領域の仰角に基づいて、狭くされた評価領域が決定される（動作６２０）。この狭くされた評価領域は、例えば、関連する発光発信源を含む可能性がない（または、含むことができない）イメージデータの領域を度外視するように、用いられる。

評価領域内で、イメージデータにおいて変調光データが検出され（動作６３０）、イメージデータにおける変調光データの位置が検出される（動作６４０）。処理システムは、次に、変調光データの１または複数の位置の自動認証を実行するように動作し（動作６５０）、それは、具体的な物体の画像認識、物体のタイプ、または具体的な物体から通信されたデータ信号（例えば、シグネチャ、コマンド）の検出に基づくものなどでよい。１または複数の認証済み位置からの変調光データは、次に処理され（動作６６０）、１または複数の認証済み位置の変調光データから取得された情報が、別の制御サブシステムに通信される（動作６７０）。これは、車両制御サブシステムへの関連データの通信、または、表示システム上への出力のための情報の生成を含んでよい。

図７は、光学カメラ通信を用いて変調光データを処理および認証するための、例示的なシステムにおけるコンポーネントのブロック図を図示する。示されるように、ブロック図は、電子処理システム７１０（例えば、コンピューティングシステム）、外部データシステム７５０、および光発信源システム７４０を描写する。電子処理システム７１０は、光学イメージ撮像システム７２０および認証データ処理コンポーネント７３０と動作可能に連結された回路（以下に説明する）を含む。

ユーザインタフェース７１２（例えば、ユーザインタフェースハードウェアデバイスによって表示を出力するための）を実装する回路、電子処理システム７１０の光学イメージ撮像システム７２０および他のコンポーネントの間でデータを通信するための通信バス７１３、イメージデータ、認証データ、および電子処理システムの動作のための制御命令を格納するデータストレージ７１４、外部ネットワークまたはデバイスと無線で通信するための無線トランシーバ７１５、ならびに、イメージデータ、認証データ、および電子処理システムの動作のための制御命令をホスティングおよび処理するように用いられる処理回路７１６（例えば、ＣＰＵ）およびメモリ７１７（例えば、揮発性または不揮発性メモリ）を含むものとして、電子処理システム７１０が描写される。一例において、認証データ処理コンポーネント７３０は、処理回路７１６およびメモリ７１７に依存せずに動作する特化したハードウェアから提供されてよい。他の例において、認証データ処理コンポーネント７３０は、処理回路７１６およびメモリ７１７の使用によって（例えば、処理回路７１６およびメモリ７１７によって実行される命令によって）実装される、ソフトウェアで構成されたハードウェアであってよい。

電子処理システム７１０において、ユーザインタフェース７１２が、特定のデータ発信源を認証することなどの、認証のためのユーザ入力を選択および受け取るためのコマンドおよび制御インターフェースを出力するために用いられてよい。ユーザインタフェース７１２からのユーザ認証の入力は、認証データ処理コンポーネント７３０によって動作を制御して挙動を開始するように用いられてよい。認証データ処理コンポーネント７３０は、イメージデータの検出および解析を実行するイメージデータ処理７３２、変調光データ発信源およびコンテンツ動作の自動認識を実行する、自動化された認証処理７３４、イメージにおいて識別されたイメージ発信源の手動認証を実行するように、ユーザ制御されたインターフェースおよび入力を生成するユーザ認証処理７３６、および、具体的な物体、物体のタイプ、光発信源および光のタイプ、および同様のものの自動識別を実行する画像認識処理７３８を含むものとして描写される。認証データ処理コンポーネント７３０および電子処理システムは、描写されないが、入力制御コンポーネント（例えば、ボタン、タッチスクリーン入力、外部周辺デバイス）、および出力コンポーネント（例えば、タッチスクリーンディスプレイ画面、ビデオまたはオーディオ出力など）などの、他の形態の認証およびユーザ相互作用動作の実装のための、他のコンポーネントを含んでよい。

光学イメージ撮像システム７２０は、シーンのイメージデータ（シーン内のそれぞれの物体において放出された変調光データを含む）を撮像するイメージセンサ７２２、シーンのイメージデータをバッファおよび格納する格納メモリ７２４、シーンのイメージデータのイメージ処理を実行してシーンの変調光データを識別する処理回路７２６、およびイメージデータを別の位置と通信する通信回路７２８を含むものとして描写される。一例において、光学イメージ撮像システム７２０は、人の可視光を撮像するように適合する。いくつかの例において、光学イメージ撮像システム７２０は、加えて、複数の態様の赤外線および近赤外線光を撮像するように適合する。

光発信源システム７４０は、変調光出力による通信のためのコマンドおよびコンテンツを格納するデータストレージ７４２、変調光出力を制御する処理回路７４４、および変調光出力を生成する発光素子７４６（例えば、ＬＥＤまたはＬＥＤアレー）を含むものとして描写される。

外部データシステム７５０は、電子処理システム７１０によるアクセスのための追加コンテンツをホスティングするデータストレージ７５２、電子処理システム７１０からの要求に応答して、追加コンテンツをホスティングおよび供給するソフトウェア命令を実行するプロセッサ７５４およびメモリ７５６、ならびに電子処理システム７１０からの要求に応答して補助データを送信する通信回路７５８を含むものとして描写される。

図８は、電子処理システム８００の例示的な形態における機械を例示するブロック図であり、その中では、一例としての実施形態による本明細書に説明された手順のうち任意の１つを機械に実行させるように、命令の組またはシーケンスが実行されてよい。機械は、車両の情報または娯楽システム、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（（ＰＤＡ））、携帯電話またはスマートフォン、またはその機械によって撮像される挙動を識別する（シーケンシャルな、あるいはそうでない）命令を実行可能な任意の機械であってよい。さらに、単一の機械のみが図示されているものの、用語"機械"はまた、本明細書に説明された任意の１つまたは複数の手順を実行する命令の組（または複数の組）を個別にまたは共同に実行する、機械の任意の集まりを含むと解釈されるものとする。同様に、用語"プロセッサベースのシステム"は、本明細書に説明された任意の１つまたは複数の手順を実行する命令を個別にまたは共同に実行する、プロセッサ（例えば、コンピュータ）によって制御されるか動作させられる１または複数の機械の任意の組を含むと解釈されるものとする。

例示的な電子処理システム８００は、少なくとも１つのプロセッサ８０２（例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）またはその両者、プロセッサコア、コンピュートノードなど）、メインメモリ８０４、およびスタティックメモリ８０６を含み、それらはインターコネクト８０８（例えば、リンク、バスなど）を介して互いに通信する。電子処理システム８００は、ビデオディスプレイ装置８１０、入力デバイス８１２（例えば、英数字キーボード）、およびユーザインタフェース（ＵＩ）制御デバイス８１４（例えば、マウス、ボタン制御など）をさらに含んでよい。一実施形態において、ビデオディスプレイ装置８１０、入力デバイス８１２およびＵＩナビゲーションデバイス８１４は、タッチスクリーンディスプレイに組み込まれる。電子処理システム８００は、加えて、ストレージデバイス８１６（例えば、ドライブユニット）、信号生成デバイス８１８（例えば、スピーカ）、出力コントローラ８３２（例えば、アクチュエータ、モータ、および同様のものの制御のための）、ネットワークインターフェースデバイス８２０（１または複数のアンテナ８３０、トランシーバ、または他の無線通信ハードウェアを含むかそれらと動作可能に通信してよい）、および、グローバルポジショニングシステム（ＧＰＳ）センサ、コンパス、加速度計、位置センサ、または他のセンサなどの、１または複数のセンサ８２６（例えば、カメラ）を含んでよい。

ストレージデバイス８１６は、データ構造の１または複数の組を格納する機械可読媒体８２２、および、本明細書に説明された任意の１つまたは複数の手順または機能によって具現されまたは利用される命令８２４（例えば、ソフトウェア）を含む。命令８２４はまた、電子処理システム８００によるこれらの実行の最中、メインメモリ８０４内に、スタティックメモリ８０６に、および／または、プロセッサ８０２内に、完全に、または少なくとも部分的に存在してよく、メインメモリ８０４、スタティックメモリ８０６、およびプロセッサ８０２はまた、機械可読媒体を構成する。

機械可読媒体８２２が、１つの媒体である例としての実施形態に図示されているものの、用語"機械可読媒体"は、１または複数の命令８２４を格納する１つの媒体または複数の媒体（例えば、一元化または分散されたデータベース、および／または、関連づけられたキャッシュおよびサーバ）を含んでよい。用語"機械可読媒体"はまた、機械による実施のための命令、および、本開示の任意の１つまたは複数の手順を機械に実行させる命令を、格納、符号化、または搬送可能な、または、そのような命令によって利用されるかそのような命令と関連づけられるデータ構造を、格納、符号化、または搬送可能な、任意の有形媒体を含むと解釈されるものとする。用語"機械可読媒体"は、したがって、限定されるものではないが、ソリッドステートメモリ、光媒体、および磁気媒体を含むと解釈されるものとする。機械可読媒体の特定の例は、半導体メモリデバイス（例えば、電気的プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ））、およびフラッシュメモリデバイスを、それに限定されるものではないが例として含む不揮発性メモリ、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。

命令８２４はさらに、多数のトランスファープロトコルのうち任意の１つ（例えば、ＨＴＴＰ）を使用するネットワークインターフェースデバイス８２０を介した伝送媒体を用いて、通信ネットワーク８２８にわたって送信または受信されてよい。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、携帯電話ネットワーク、プレーンオールドテレフォン（ＰＯＴＳ）ネットワーク、および無線データネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標）、２Ｇ／３Ｇ、および４Ｇ ＬＴＥ／ＬＴＥ－Ａ、またはＷｉＭＡＸネットワーク）を含む。用語"伝送媒体"は、機械による実施のために命令を格納、符号化、または搬送することが可能な任意の無形の媒体を含むと解釈されるものとし、そのようなソフトウェアの通信の助けとなるデジタルまたはアナログ通信信号またはその他の無形の媒体を含む。

本明細書に説明された技術の助けとなりおよび実行するために用いられる実施形態は、ハードウェア、ファームウェアおよびソフトウェアのうち１つか、それらの組み合わせにおいて実装されてよい。実施形態はまた、機械可読ストレージデバイスに格納された命令として実装されてもよく、命令は本明細書に説明された動作を実行するための少なくとも１つのプロセッサによって読み出されて実行されてよい。機械可読ストレージデバイスは、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を格納するための、任意の非一時的な機構を含んでよい。例えば、機械可読ストレージデバイスは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス、およびその他のストレージデバイスおよび媒体を含んでよい。

本明細書に説明された機能ユニットまたは性能は、これらの実装形態の独立をとりわけ強調するように、コンポーネントまたはモジュールと称されていたか分類されていたものでよいことが、理解されるべきである。そのようなコンポーネントは、任意の数のソフトウェアまたはハードウェアの形態によって具現化されてよい。例えば、コンポーネントまたはモジュールは、カスタム超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、またはその他のディスクリート部品などの、市販の半導体を備えるハードウェア回路として実装されてよい。コンポーネントまたはモジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、または同様のものなどの、プログラム可能なハードウェアデバイスにおいて実装されてもよい。コンポーネントまたはモジュールはまた、様々なタイプのプロセッサによって実行するためのソフトウェアにおいて実装されてもよい。実行可能なコードの識別されたコンポーネントまたはモジュールは、例えば、コンピュータ命令の１または複数の物理ブロックまたは論理ブロックを備えてよく、それは、例えば、物体、プロシージャ、または関数として編成される。しかしながら、識別されたコンポーネントまたはモジュールの実行ファイルは、物理的に一緒に置かれる必要はなく、論理的に一緒に結合されるとき、そのコンポーネントまたはモジュールを備え、そのコンポーネントまたはモジュールに関して規定された目的を遂行する、異なる位置に格納された異なる命令を含んでもよい。

確実に、実行可能なコードのコンポーネントまたはモジュールは、単一の命令または多くの命令であってよく、異なるプログラムの中の、およびいくつかのメモリデバイスまたは処理システムにわたる、いくつかの異なるコードセグメントに分散されていてさえもよい。特に、説明された処理のいくつかの態様（コード再書き込みおよびコード解析など）は、そのコードが展開されている処理システム（例えば、センサまたはロボットに埋め込まれたコンピュータにおける）とは異なる処理システム（例えば、データセンタのコンピュータにおける）上で生じてよい。同様に、動作データはコンポーネントまたはモジュール内で本明細書に識別および図示されてよく、任意の適切な形態で具現化されて、任意の適切なタイプのデータ構造体において編成されてよい。動作データは、単一のデータセットとして収集されてよく、異なるストレージデバイスにわたる部分を含む異なる位置にわたって分散されてよく、少なくとも部分的に、システムまたはネットワーク上の単なる電子信号として存在してよい。コンポーネントまたはモジュールは、所望の機能を実行するように動作可能なエージェントを含み、パッシブまたはアクティブであってよい。

ここで説明される方法、システム、およびデバイスの実施形態の追加例は、以下の、限定ではない構成を含む。以下の限定ではないそれぞれの例は、それ自身に基づくか、以下に、または本開示にわたって提供される任意の１つまたは複数の他の例の任意の順列または組み合わせとして結合されてもよい。

例１は、発光物体からの光学カメラ通信の認証を実行するデバイスであり、デバイスは処理回路を備え、処理回路は、イメージデータから、発光物体から放出された変調光データを検出し、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像され、処理回路は、イメージデータから、変調光データの発信源として発光物体を識別し、処理回路は、変調光データの認証済み発信源として発光物体を選択する指示を受け取り、処理回路は、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する。

例２において、例１の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する動作が、有効な変調光データの第１のセットの第１の発信源として認証済み発信源を検出して、有効な変調光データの第２のセットの第２の発信源として別の発信源を検出する動作によって実行されることを備える。

例３において、例２の主題は任意選択的に、変調光データを処理するコマンドを実行する動作が、有効な変調光データの第１のセットを復号して、有効な変調光データの第２のセットを復号しない動作を含むことを備える。

例４において、例３の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の動作によって可能にする処理回路をさらに備え、動作は、グラフィカルユーザインタフェース表示を生成する動作であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、動作と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る動作とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示の生成を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。

例５において、例４の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する処理回路を備え、動作は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する動作と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する動作とである。

例６において、例３から５の任意の１つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源の自動認証を可能にする処理回路を備え、動作は、イメージデータの画像認識を実行する動作であり、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。

例７において、例１から６の任意の１つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データにおいて指示された補助データを取得する処理回路を含み、動作は、認証済み発信源からの、変調光データから取得された情報を復号および解析する動作であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する動作と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する動作とである。

例８において、例７の主題は任意選択的に、識別子がユニフォームリソースロケータ（ＵＲＬ）であることと、別のデータ発信源から補助データを取得する動作が無線通信ネットワークを用いたＵＲＬへのアクセスを含むこととを備える。

例９において、例１から８の任意の１つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージにオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを備える。

例１０において、例９の主題は任意選択的に、以下の動作によってさらに、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する処理回路を備え、動作は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する動作であり、変調光データを検出する動作は、限られた評価領域において実行され、変調光データを識別する動作は、限られた評価領域において実行される。

例１１は、発光物体からの光学カメラ通信の認証を実行するように適合した複数の命令を備える、少なくとも１つの機械可読ストレージ媒体であり、命令は、機械のプロセッサ回路によって実行されるものに応答して、機械に以下の動作を実行させる。動作は、イメージデータから、発光物体から放出された変調光データを検出する動作であって、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像される、動作と、イメージデータから、変調光データの発信源として発光物体を識別する動作と、変調光データの認証済み発信源として、発光物体を選択する指示を受け取る動作と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する動作と、である。

例１２において、例１１の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する動作が、有効な変調光データの第１のセットの第１の発信源として認証済み発信源を検出して、有効な変調光データの第２のセットの第２の発信源として別の発信源を検出する動作によって実行されることを備える。

例１３において、例１２の主題は任意選択的に、変調光データを処理するコマンドを実行する動作が、有効な変調光データの第１のセットを復号して、有効な変調光データの第２のセットを復号しない動作を含むことを備える。

例１４において、例１３の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の動作によってさらに機械に可能にさせる命令を含み、動作は、グラフィカルユーザインタフェース表示を生成する動作であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、動作と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る動作とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示の生成を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。

例１５において、例１４の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源のユーザ認証によって選択されたデータを機械に出力させる命令を備え、動作は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する動作と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する動作とである。

例１６において、例１３から１５の任意の１つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データの認証済み発信源の自動認証を機械に可能にさせる命令を備え、動作は、イメージデータの画像認識を実行する動作であり、発光物体を識別する動作は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。

例１７において、例１１から１６の任意の１つまたは複数の主題は任意選択的に、以下の動作によってさらに、変調光データによって指示された補助データを機械に取得させる命令を含み、動作は、認証済み発信源からの、変調光データから取得された情報を復号および解析する動作であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する動作と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する動作とである。

例１８において、例１７の主題は任意選択的に、識別子がユニフォームリソースロケータ（ＵＲＬ）であることと、別のデータ発信源から補助データを取得する動作が無線通信ネットワークを用いたＵＲＬへのアクセスを含むこととを備える。

例１９において、例１１から１８の任意の１つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージをオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを含む。

例２０において、例１９の主題は任意選択的に、以下の動作によってさらに、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を機械に識別させる命令を備え、動作は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する動作であり、変調光データを検出する動作は、限られた評価領域において実行され、変調光データを識別する動作は、限られた評価領域において実行される。

例２１は、発光物体からの光学カメラ通信の認証を実行する方法であり、方法は、イメージデータから、発光物体から放出された変調光データを検出する段階であって、イメージデータは発光物体を描写し、イメージデータはイメージセンサによって撮像される、段階と、イメージデータから、変調光データの発信源として発光物体を識別する段階と、変調光データの認証済み発信源として発光物体を選択する指示を受け取る段階と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する段階と、を含む電子的動作を備える。

例２２において、例２１の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示すること、複数の発信源が、認証済み発信源および別の発信源を含むこと、および、変調光データの発信源を識別する段階が、有効な変調光データの第１のセットの第１の発信源として認証済み発信源を検出して、有効な変調光データの第２のセットの第２の発信源として別の発信源を検出する段階によって実行されることを備える。

例２３において、例２２の主題は任意選択的に、変調光データを処理するコマンドを実行する段階が、有効な変調光データの第１のセットを復号して、有効な変調光データの第２のセットを復号しない段階を含むことを備える。

例２４において、例２３の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を、以下の段階によって可能にすることをさらに含む電子的動作を備え、段階は、グラフィカルユーザインタフェース表示を生成する段階であって、グラフィカルユーザインタフェース表示は、有効な変調光データの複数の発信源の識別を提供するイメージデータの出力におけるオーバーレイを含む、段階と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る段階とであり、ユーザ入力は、グラフィカルユーザインタフェース表示においてイメージデータの出力のオーバーレイ上で受け取られ、発光物体を識別する段階は、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示を生成する段階を含み、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイとして提供される。

例２５において、例２４の主題は任意選択的に、以下の段階によって、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する段階をさらに含む電子的動作を備え、段階は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する段階と、変調光データからの復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する段階とを含む。

例２６において、例２３から２５の任意の１つまたは複数の主題は任意選択的に、以下の段階によって、変調光データの認証済み発信源の自動認証を可能にする段階をさらに含む電子的動作を備え、段階は、イメージデータの画像認識を実行する段階であり、発光物体を識別する段階は、認証済み発信源および別の発信源を指示するイメージデータの画像認識を含み、認証済み発信源として発光物体を選択する指示は、画像認識技術から提供され、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。

例２７において、例２１から２６の任意の１つまたは複数の主題は任意選択的に、以下の段階によって、変調光データにおいて指示された補助データを取得する段階をさらに含む電子的動作を備え、段階は、認証済み発信源からの、変調光データから取得された情報を復号および解析する段階であって、変調光データから取得された情報が、別のデータ発信源からの補助データの識別子を指示する段階と、補助データの識別子を用いて、別のデータ発信源から補助データを取得する段階とである。

例２８において、例２７の主題は任意選択的に、識別子がユニフォームリソースロケータ（ＵＲＬ）であることと、別のデータ発信源から補助データを取得する段階が無線通信ネットワークを用いたＵＲＬへのアクセスを含むこととを備える。

例２９において、例２１から２８の任意の１つまたは複数の主題は任意選択的に、イメージデータが、自動車から離れる方向のシーンのイメージを撮像するように自動車に置かれるカメラから取得されることと、変調光データが、シーンのイメージをオーバーレイする変調光データから取得された情報の自動化された現実表示を生成するように用いられることとを備える。

例３０において、例２９の主題は任意選択的に、以下の段階によって、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する段階をさらに含む電子的動作を備え、段階は、カメラの位置から撮像されたとき、自動車から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する段階であり、変調光データを検出する段階は、限られた評価領域において実行され、変調光データを識別する段階は、限られた評価領域において実行される。

例３１は、例２１－３０の方法のいずれかを実行するための手段を備える装置である。

例３２は、コンピューティングシステムによって実行されるときに、コンピューティングシステムに例２１－３０の方法のいずれかを実行させる命令を備える、少なくとも１つの機械可読媒体である。

例３３は、光学カメラ通信を用いて変調光データを処理および認証するシステムであり、システムは、光学イメージ撮像システムと、処理回路を有する処理システムとを備え、処理回路は、イメージデータを評価し、イメージデータは光発信源からの変調光データの指示を含み、イメージデータはイメージセンサによって撮像される、イメージデータ処理回路と、イメージデータから、光発信源から放出された変調光データを検出し、イメージデータから、変調光データの発信源として光発信源を識別し、変調光データの認証済み発信源として光発信源を選択する指示を受け取り、変調光データの認証済み発信源として光発信源を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する、認証データ処理回路とである。

例３４において、例３３の主題は任意選択的に、変調光出力によって送信されるデータを格納するデータストレージと、変調光出力によってデータを出力する発光素子と、データストレージおよび発光素子と連結される処理回路であって、発光素子を介した変調光出力によるデータの放出を制御する処理回路とを含む光発信源システムを備える。

例３５において、例３３から３４の任意の１つまたは複数の主題は、任意選択的に、ネットワーク接続を介してアクセス可能な外部データシステムを備え、外部データシステムは、データを格納するデータストレージと、補助データの要求を受け取る通信回路と、補助データを供給する要求を処理して要求に応答して補助データを送信するプロセッサおよびメモリとを含み、補助データの要求は、光発信源からの変調光データの読み出しに応答して処理システムから提供され、変調光データは、補助データの要求の詳細を指示する。

例３６は、イメージデータを撮像する手段と、イメージデータから、発光物体から放出された変調光データを検出する手段と、イメージデータから、変調光データの発信源としての発光物体を識別する手段と、変調光データの認証済み発信源としての発光物体を選択する指示を受け取る手段と、変調光データの認証済み発信源として発光物体を選択する指示に応答して、認証済み発信源からの変調光データを処理するコマンドを実行する手段とを備える装置である。

例３７において、例３６の主題は任意選択的に、イメージデータが、有効な変調光データの複数の発信源を指示することと、複数の発信源が、認証済み発信源および別の発信源を含むこととを備え、装置はさらに、有効な変調光データの第１のセットの第１の発信源として認証済み発信源を検出して、有効な変調光データの第２のセットの第２の発信源として別の発信源を検出する手段を備える。

例３８において、例３７の主題は任意選択的に、有効な変調光データの第１のセットを復号して、有効な変調光データの第２のセットを復号しないことによって、変調光データを処理するコマンドを実行する手段を含む。

例３９において、例３８の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証を可能にする手段を備え、手段は、グラフィカルユーザインタフェース表示を生成する手段であって、グラフィカルユーザインタフェース表示は有効な変調光データの複数の発信源の識別を提供するイメージデータの出力へのオーバーレイを含む、手段と、グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、変調光データの認証済み発信源を選択する指示を受け取る手段であって、ユーザ入力はグラフィカルユーザインタフェース表示におけるイメージデータの出力のオーバーレイ上で受け取られる、手段と、認証済み発信源および別の発信源を指示するグラフィカルユーザインタフェース表示を生成することによって発光物体を識別する手段であって、認証済み発信源および別の発信源の指示は、グラフィカルユーザインタフェース表示のイメージデータの出力のオーバーレイとして提供される、手段とを含む。

例４０において、例３９の主題は任意選択的に、変調光データの認証済み発信源のユーザ認証によって選択されたデータを出力する手段を備え、手段は、認証済み発信源から取得された変調光データからのコンテンツを復号および解釈する手段と、変調光データから復号されて解釈されたコンテンツを出力するようにグラフィカルユーザインタフェース表示を更新する手段とを含む。

例４１において、例３８から４０の任意の１つまたは複数の主題は任意選択的に、変調光データの認証済み発信源の自動認証を可能するための手段を備え、手段は、イメージデータの画像認識を実行する手段と、認証済み発信源および別の発信源を指示するイメージデータの画像認識によって発光物体を識別する手段と、認証済み発信源として発光物体を選択する指示を画像認識技術から取得する手段とを含み、画像認識技術は、イメージデータにおいて変調光データの発信源を表す物体に対して自動的に実行される。

例４２において、例３６から４１の任意の１つまたは複数の主題は任意選択的に、変調光データにおいて指示された補助データを取得する手段を備え、手段は、認証済み発信源からの、変調光データから取得された情報を復号および解析する手段であって、変調光データから取得された情報が別のデータ発信源からの補助データの識別子を指示する、手段と、補助データの識別子を用いて、別のデータ発信源からの補助データを取得する手段とを含む。

例４３において、例４２の主題は任意選択的に、無線通信ネットワークを用いたユニフォームリソースロケータ（ＵＲＬ）へのアクセスによって別のデータ発信源から補助データを取得する手段であって、識別子がＵＲＬを指示する、手段を備える。

例４４において、例３６から４３の任意の１つまたは複数の主題は任意選択的に、装置から離れる方向にシーンのイメージを撮像するようにイメージデータを取得する手段と、変調光データを用いて、シーンのイメージにオーバーレイする変調光データから取得された情報の自動化された現実表示を生成する手段とを備える。

例４５において、例４４の主題は任意選択的に、認証済み発信源を自動的に認証するために、イメージデータからの限られた評価領域を識別する手段を備え、手段は、装置の位置から撮像されるとき、装置から離れる方向のシーンの仰角に基づいて、イメージデータからの限られた評価領域を識別する手段と、限られた評価領域において変調光データを検出する手段であって、変調光データの識別が、限られた評価領域において実行される、手段とを含む。

上記の発明を実施するための形態において、様々な特徴が、本開示を簡素化するように一緒にグループされてよい。しかし、実施形態は、記載された特徴の部分集合である特徴となってよいので、請求項は、本明細書に開示されるあらゆる特徴を説明しなくてもよい。さらに、実施形態は、特定の例において開示されたものより少ない特徴を含んでよい。したがって、以下の請求項は本明細書によって発明を実施するための形態に組み込まれ、請求項は別々の実施形態としてそれ自身で成り立つ。

Claims (26)

1. 発光物体を通信すべき発信源として認証し光学カメラ通信により変調光データを受信するように適合したデバイスであって、前記デバイスは、処理回路を備え、前記処理回路は、
   イメージデータから、前記発光物体から放出された前記変調光データを検出し、前記イメージデータは前記発光物体を描写し、前記イメージデータはイメージセンサによって撮像され、
   前記イメージデータから、前記変調光データの発信源として前記発光物体を識別し、
   前記発光物体を選択する指示を受け取ることで前記選択された発光物体を通信すべき発信源として認証し、
   前記選択された発光物体の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行し、選択されず、認証されていない前記発光物体からの前記変調光データを処理しない、
   デバイス。
2. 前記イメージデータが、有効な変調光データの複数の発信源を示し、前記複数の発信源が、前記認証された発信源および別の発信源を含み、前記変調光データの前記発信源を識別する動作が、有効な変調光データの第１のセットの第１の発信源として前記認証された発信源を検出して、有効な変調光データの第２のセットの第２の発信源として前記別の発信源を検出する動作によって実行される、請求項１に記載のデバイス。
3. 前記変調光データを処理する前記コマンドを実行する動作が、前記有効な変調光データの第１のセットを復号して、前記有効な変調光データの第２のセットを復号しない動作を含む、請求項２に記載のデバイス。
4. 前記処理回路はさらに、前記変調光データの前記通信すべき発信源のユーザ認証を、
   グラフィカルユーザインタフェース表示を生成する動作であって、前記グラフィカルユーザインタフェース表示は、有効な変調光データの前記複数の発信源の識別を提供する前記イメージデータの出力へのオーバーレイを含む、生成する動作と、
   前記グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、前記変調光データの前記通信すべき発信源を選択する前記指示を受け取る動作であって、前記ユーザ入力は前記グラフィカルユーザインタフェース表示における前記イメージデータの前記出力の前記オーバーレイ上で受け取られる、受け取る動作と、によって可能にし、
   前記発光物体を識別する前記動作は、前記生成されたグラフィカルユーザインタフェース表示における前記イメージデータの出力のオーバーレイとして前記認証された発信源および前記別の発信源の表示を提供する、
   請求項２又は３に記載のデバイス。
5. 前記処理回路はさらに、前記変調光データの前記認証された発信源の前記ユーザ認証によって選択されたデータを、
   前記認証された発信源から取得された前記変調光データからのコンテンツを復号および解釈する動作と、
   前記変調光データからの前記復号されて解釈されたコンテンツを出力するように前記グラフィカルユーザインタフェース表示を更新する動作と、によって出力する、
   請求項４に記載のデバイス。
6. 前記処理回路はさらに、前記変調光データの前記通信すべき発信源の自動認証を、
   前記イメージデータの画像認識を実行する動作によって可能にし、
   前記発光物体を識別する前記動作は、前記通信すべき発信源および前記別の発信源を示すための前記イメージデータの画像認識を含み、
   前記通信すべき発信源として前記発光物体を選択する前記指示は画像認識アルゴリズムにより実行され、前記画像認識アルゴリズムは、前記イメージデータにおいて前記変調光データの前記発信源を表す物体に対して自動的に実行される、
   請求項２又は３に記載のデバイス。
7. 前記処理回路は、前記変調光データにおいて指示される補助データを、前記認証された発信源からの前記変調光データから取得された情報を復号および解析する動作であって、前記変調光データから取得された前記情報は、別のデータ発信源からの前記補助データの識別子を含む、復号および解析する動作と、
   前記補助データの前記識別子を用いて、前記別のデータ発信源から前記補助データを取得する動作と、によってさらに取得する、
   請求項１から６のいずれか一項に記載のデバイス。
8. 前記識別子がユニフォームリソースロケータ（ＵＲＬ）であり、前記別のデータ発信源から前記補助データを取得する動作が、無線通信ネットワークを用いた前記ＵＲＬへのアクセスを含む、
   請求項７に記載のデバイス。
9. 前記イメージデータが、自動車に前記自動車から離れる方向のシーンのイメージを撮像するように置かれるカメラから取得され、前記変調光データが、前記シーンの前記イメージをオーバーレイする前記変調光データから取得された情報の拡張現実表示を生成するように用いられる、
   請求項１から３又は６のいずれか一項に記載のデバイス。
10. 前記処理回路はさらに、前記通信すべき発信源を自動的に認証すべく前記イメージデータからの限られた評価領域を、
    前記カメラの位置から撮像されたときの、自動車から離れる前記方向の前記シーンの仰角に基づいて、前記イメージデータの前記限られた評価領域を識別する動作によって識別し、
    前記変調光データを検出する動作は前記限られた評価領域に対して実行され、前記変調光データの発信源を識別する動作は、前記限られた評価領域に対して実行される、
    請求項９に記載のデバイス。
11. 発光物体を通信すべき発信源として認証し光学カメラ通信により変調光データを受信する方法であって、
    イメージデータから、前記発光物体から放出された変調光データを検出する段階であって、前記イメージデータは前記発光物体を描写し、前記イメージデータはイメージセンサによって撮像される、段階と、
    前記イメージデータから、前記変調光データの発信源として前記発光物体を識別する段階と、
    前記発光物体を選択する指示を受け取ることで前記選択された発光物体を通信すべき発信源として認証する段階と、
    前記選択された発光物体の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行し、選択されず、認証されていない前記発光物体からの前記変調光データを処理しない段階と
    を含む電子的動作を備える、方法。
12. 前記イメージデータが、有効な変調光データの複数の発信源を示し、前記複数の発信源が、前記認証された発信源および別の発信源を含み、前記変調光データの発信源を識別する段階が、有効な変調光データの第１のセットの第１の発信源として前記認証された発信源を検出して、有効な変調光データの第２のセットの第２の発信源として前記別の発信源を検出することによって実行される、請求項１１に記載の方法。
13. 前記変調光データを処理する前記コマンドを実行する段階が、前記有効な変調光データの第１のセットを復号して、前記有効な変調光データの第２のセットを復号しない段階を含む、請求項１２に記載の方法。
14. 前記電子的動作がさらに、前記変調光データの前記通信すべき発信源のユーザ認証を、
    グラフィカルユーザインタフェース表示を生成することであって、前記グラフィカルユーザインタフェース表示は、有効な変調光データの前記複数の発信源の識別を提供する前記イメージデータの出力へのオーバーレイを含む、生成することと、
    前記グラフィカルユーザインタフェース表示において受け取られたユーザ入力から、前記変調光データの前記通信すべき発信源を選択する前記指示を受け取ることであって、前記ユーザ入力は前記グラフィカルユーザインタフェース表示における前記イメージデータの前記出力の前記オーバーレイ上で受け取られる、受け取ることとによって可能にする段階を含み、
    前記発光物体を識別する前記段階は、前記生成されたグラフィカルユーザインタフェース表示における前記イメージデータの出力のオーバーレイとして前記認証された発信源および前記別の発信源の表示を提供する、
    請求項１２又は１３に記載の方法。
15. 前記電子的動作はさらに、前記変調光データの前記認証された発信源の前記ユーザ認証によって選択されたデータを、
    前記認証された発信源から取得された前記変調光データからのコンテンツを復号および解釈することと、
    前記変調光データからの復号されて解釈された前記コンテンツを出力するように前記グラフィカルユーザインタフェース表示を更新することと
    によって出力する段階を備える、請求項１４に記載の方法。
16. 前記電子的動作はさらに、前記変調光データの前記通信すべき発信源の自動認証を、
    前記イメージデータの画像認識を実行することによって可能にする段階を含み、
    前記発光物体を識別する前記段階が、前記通信すべき発信源および前記別の発信源を示すための前記イメージデータの画像認識を含み、
    前記通信すべき発信源として前記発光物体を選択する前記指示は、画像認識アルゴリズムにより実行され、前記画像認識アルゴリズムは、前記イメージデータにおいて前記変調光データの前記発信源を表す物体に対して自動的に実行される、
    請求項１２又は１３に記載の方法。
17. 前記電子的動作はさらに、前記変調光データにおいて指示される補助データを、
    前記認証された発信源からの、前記変調光データから取得された情報を復号および解析することであって、前記変調光データから取得された前記情報が、別のデータ発信源からの前記補助データの識別子を含む、ことと、
    前記補助データの前記識別子を用いて、前記別のデータ発信源から前記補助データを取得することと
    によって取得する段階を含む、
    請求項１１から１６のいずれか一項に記載の方法。
18. 前記識別子がユニフォームリソースロケータ（ＵＲＬ）であり、前記別のデータ発信源から前記補助データを取得することが、無線通信ネットワークを用いた前記ＵＲＬへのアクセスを含む、請求項１７に記載の方法。
19. 前記イメージデータが、自動車に前記自動車から離れる方向のシーンのイメージを撮像するように置かれるカメラから取得され、前記変調光データが、前記シーンの前記イメージをオーバーレイする前記変調光データから取得された情報の拡張現実表示を生成するように用いられる、請求項１１から１３又は１６のいずれか一項に記載の方法。
20. 前記電子的動作がさらに、前記通信すべき発信源を自動的に認証するための前記イメージデータからの限られた評価領域を、
    前記カメラの位置から撮像されたときの、前記自動車から離れる前記方向の前記シーンの仰角に基づいて、前記イメージデータの前記限られた評価領域を識別することによって識別する段階を含み、
    前記変調光データを検出する段階は、前記限られた評価領域に対して実行され、前記変調光データの発信源を識別する段階は、前記限られた評価領域に対して実行される、
    請求項１９に記載の方法。
21. 請求項１１から２０のいずれか一項に記載の方法を実行する手段を備える装置。
22. コンピューティングシステムによって実行されたとき、前記コンピューティングシステムに請求項１１から２０のいずれか一項に記載の方法を実行させるためのプログラム。
23. 発光源を通信すべき発信源として認証して、光学カメラ通信を用いて、変調光データを受信するシステムであって、
    光学イメージ撮像システムと、
    処理システムと、を備え、
    前記処理システムは、
    処理回路と、
    イメージデータを評価するイメージデータ処理回路であって、前記イメージデータは光発信源を示し、前記イメージデータはイメージセンサによって撮像される、イメージデータ処理回路と、
    イメージデータから、前記光発信源から放出された変調光データを検出し、
    前記イメージデータから、前記光発信源を前記変調光データの発信源として識別し、
    前記光発信源を選択するための指示を受け取ることで前記選択された光発信源を通信すべき発信源として認証し、
    前記選択された光発信源の認証に応答して、前記認証された発信源からの前記変調光データを処理するコマンドを実行し、選択されず、認証されていない前記光発信源からの前記変調光データを処理しない、
    認証データ処理回路とを含む、
    システム。
24. 変調光出力によって送信されるデータを格納するデータストレージと、
    前記変調光出力によって前記データを出力する発光素子と、
    前記データストレージと前記発光素子とに連結される処理回路であって、前記発光素子を介した前記変調光出力による前記データの放出を制御する処理回路と、
    を有する光発信源システムをさらに備える、
    請求項２３に記載のシステム。
25. ネットワーク接続を介してアクセス可能な外部データシステムであって、前記外部データシステムは、
    データを格納するデータストレージと、
    補助データに対する要求を受け取る通信回路と、
    前記補助データを供給する旨の前記要求を処理し、前記要求に応答して前記補助データを送信する、プロセッサおよびメモリと、
    を有し、前記補助データに対する前記要求は、前記光発信源からの前記変調光データの読み出しに応答して、前記処理システムから提供され、前記変調光データは、前記補助データの前記要求の詳細を含む、
    外部データシステムをさらに備える、
    請求項２３又は２４に記載のシステム。
26. 請求項２２に記載のプログラムを格納する、少なくとも１つの機械可読可能媒体。

Images