JP7760497B2 - 無線機を使用して信号をキャプチャすることによって現実を拡張すること - Google Patents

無線機を使用して信号をキャプチャすることによって現実を拡張すること

Info

Publication number
JP7760497B2
JP7760497B2 JP2022518667A JP2022518667A JP7760497B2 JP 7760497 B2 JP7760497 B2 JP 7760497B2 JP 2022518667 A JP2022518667 A JP 2022518667A JP 2022518667 A JP2022518667 A JP 2022518667A JP 7760497 B2 JP7760497 B2 JP 7760497B2
Authority
JP
Japan
Prior art keywords
environment
wireless signal
data
augmented
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022518667A
Other languages
English (en)
Other versions
JP2022549439A (ja
Inventor
ミヒャ アンテナー ベノリエル,
ギャレット エドワード キンズマン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noodle Technology Inc
Original Assignee
Noodle Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noodle Technology Inc filed Critical Noodle Technology Inc
Publication of JP2022549439A publication Critical patent/JP2022549439A/ja
Application granted granted Critical
Publication of JP7760497B2 publication Critical patent/JP7760497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、一般に、現実を拡張することに関する。特に、本開示は、無線機を使用して信号をキャプチャすることによって現実を拡張するためのシステムおよび方法について説明する。
拡張現実(AR)および仮想現実(VR)は、現実世界を拡張すること、または、現実世界を、シミュレートされた要素またはシミュレートされた世界全体と置き換えることの実施を含む。さらに、ARおよびVRは、追加のグラフィック、テキスト、音、ビデオなどにより、ユーザの知覚される現実を向上させるために使用され得る。たとえば、ARおよび/またはVRは、シミュレートされた世界に、ゲームキャラクターを追加し、他のユーザのアバターなどを追加し得る。したがって、本開示は、無線機を使用して信号をキャプチャすることによってデバイスを識別することによって現実を拡張することに関する。
請求される主題は、上記で説明されたような、欠点を解決するかまたは環境においてのみ動作する、実施形態に限定されない。この背景技術は、本開示が利用され得る例を示すために提供されるにすぎない。
本開示は、一般に、現実を拡張することに関する。特に、本開示は、無線機を使用して信号をキャプチャすることによってデバイスを識別することによって現実を拡張するためのシステムおよび方法について説明する。
一例では、方法が、デバイスから無線信号を受信することを含み得る。デバイスは環境内にあり得る。本方法は、デバイスを識別することをも含み得る。デバイスは、無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて識別され得る。さらに、本方法は、環境内のデバイスのロケーションを決定することを含み得る。環境内のデバイスのロケーションは、無線信号中に含まれるデータに基づいて決定され得る。さらに、本方法は、環境を表す拡張環境(augmented environment)と拡張環境内のデバイスを表すシンボルとを表示することを含み得る。シンボルは、環境内のデバイスのロケーションに対応する拡張環境内のロケーション中に表示され得る。
別の例では、方法が、第1のデバイスから第1の無線信号を受信することを含み得る。第1のデバイスは環境内にあり得る。本方法は、第2のデバイスから第2の無線信号を受信することをも含み得る。第2のデバイスも環境内にあり得る。さらに、本方法は、第1のデバイスを識別することを含み得る。第1のデバイスは、第1の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて識別され得る。さらに、本方法は、第2のデバイスを識別することを含み得る。第2のデバイスは、第2の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて識別され得る。本方法は、環境内の第1のデバイスおよび第2のデバイスのロケーションを決定することを含み得る。第1のデバイスおよび第2のデバイスのロケーションは、第1の無線信号および第2の無線信号に基づいて決定され得る。本方法は、拡張環境を表示することをも含み得る。拡張環境は、環境を表し得、第1のデバイスおよび第2のデバイスを表すシンボルを含み得る。シンボルは、環境内の第1のデバイスおよび第2のデバイスのロケーションに対応する拡張環境内のロケーション中に表示され得る。
本発明の概要は、発明を実施するための形態において以下でさらに説明される概念の選択を簡略化された形で紹介する。本発明の概要は、請求される主題の主要な特徴または不可欠な特性を識別するものではなく、請求される主題の範囲を決定する際の助けとして使用されるものでもない。
例示的なネットワークアーキテクチャを示す図である。 無線機を使用して信号をキャプチャすることによって現実を拡張するための例示的な環境を示す図である。 無線機を使用して信号をキャプチャすることによって現実を拡張するための例示的な方法の流れ図である。 本明細書で説明される方法のうちのいずれか1つまたは複数をその機械に実施させるための命令のセットが実行され得る、コンピューティングデバイスの例示的な形態の機械の図式表現を示す図である。
本開示の様々な態様について説明するために、図面の参照が行われ、特定の言い回しが使用される。このようにして図面および説明を使用することが、本開示の範囲を限定するものとして解釈されるべきではない。追加の態様が、特許請求の範囲を含む本開示に照らして明らかになり得るか、または実践によって学習され得る。
規格化された通信プロトコル(たとえば、Bluetooth(登録商標))を使用する無線デバイスの数が増加し、無線デバイスを製造するコストが減少するにつれて、これらのデバイスによって送信および受信される無線信号を使用して現実を拡張する可能性も増加する。さらに、無線デバイスの数が増加するにつれて、これらのデバイスに関連するセキュリティおよびプライバシー問題も、特に、たとえば、商業および工業適用例において無線デバイス(たとえば、IoTデバイス)がますます拡大する環境として、増加する。
本開示中に含まれる説明は、概して、拡張環境の例を使用して行われる。拡張環境が、追加情報および/またはビジュアルにより(概して本開示では「環境」と呼ばれる)現実環境を向上させることを含む、拡張現実(AR)に適用され、現実環境のビューを、シミュレートされた環境と置き換えることを含む、仮想現実(VR)に適用され得ることを理解されたい。
いくつかの実施形態では、拡張環境を生成するために、環境内のデバイス(たとえば、コンピューティングデバイスおよび/またはセンサー)が、識別情報(identifying information)を含む無線信号を送信し得る。たとえば、無線信号中に含まれるデータが、識別情報(identification information)、ロケーション情報、デバイス/オブジェクト特性記述子、または任意の他の適切なタイプのデータを含み得る。スマートデバイスが、様々なデバイスから無線信号を受信し得る。スマートデバイスは、スマートフォン、コンピューティングデバイス、テレビジョン、デジタルビデオディスク(DVD)プレーヤ、VRヘッドセット、セルフォン、タブレット、パーソナルコンピュータ、または任意の他の適切なデバイスを含み得る。
スマートデバイスは、無線信号を使用して環境内のデバイスのうちの1つまたは複数を識別し得る。いくつかの実施形態では、識別プロセスは、無線信号を送信するデバイスの各々のタイプを決定することを含み得る。さらに、いくつかの実施形態では、デバイスのうちの1つまたは複数は、無線信号を送信するように構成されないオブジェクトに物理的に取り付けられたセンサーを含み得る。たとえば、センサーが、住宅建築物の部屋内に位置するソファーに物理的に取り付けられ得る。センサーは、対応するオブジェクトに関係するデータを含む無線信号を送信し得る。たとえば、データは、オブジェクトがソファーであることと、ソファーの対応する寸法とを示し得る。これらおよび他の実施形態では、識別プロセスは、センサーに関連するオブジェクトの各々のタイプを決定することを含み得る。
少なくとも1つの実施形態では、データは、オブジェクトについての購入情報を示し得る。たとえば、データは、ソファーの場合、ソファーに関連する、価格、入手可能性、配送時間、サービスなどを示し得る。さらなる例では、ホテルの部屋が、対応するオブジェクトに関係するデータを含む無線信号を各々送信する、いくつかのオブジェクトを含み得る。たとえば、ホテルの部屋は、テレビジョン、ソファー、マットレス、ヘアドライヤー、椅子、机などを含み得る。それらのアイテムの各々が、対応する製品に関する任意のタイプの情報のデータを含む無線信号を送信し得る。さらに、データは、オブジェクトのいずれかまたはすべてについての購入情報を含み得る。一例では、ユーザが、ユーザデバイスを使用して、ホテルの部屋の中のオブジェクトに関するデータを受信し、閲覧し得る。ユーザは、たとえば、ホテルの部屋の中のマットレスと同じモデルである新しいマットレスなど、アイテムを購入し得る。ユーザは、ユーザの家における、マットレスの配送を選択し得、そのマットレスは、配送され、ユーザがホテルから自宅に戻ったとき、ユーザのために準備ができていることがある。またさらなる例では、ユーザは、オブジェクト自体またはオブジェクトについてのサービスを購入し得、そのサービスは任意のサービスを含み得る。たとえば、ユーザは、オブジェクトについての設置サービスまたは保証プランを購入し得る。
スマートデバイスはまた、環境内のデバイスおよび/またはオブジェクトのうちの1つまたは複数のロケーションを決定し得る。いくつかの実施形態では、無線信号のうちの少なくともいくつかが、環境内の対応するデバイスまたはオブジェクトの物理的ロケーションを示すデータを含み得る。これらおよび他の実施形態では、スマートデバイスは、対応する無線信号の信号特性に基づいてデバイスまたはオブジェクトのうちの1つまたは複数のロケーションを決定するように構成され得る。いくつかの実施形態では、スマートデバイスは、デバイスのうちの1つまたは複数の、互いに対する物理的ロケーションを決定し得る。これらおよび他の実施形態では、スマートデバイスは、デバイスのうちの1つまたは複数の、スマートデバイスの物理的ロケーションに対する物理的ロケーションを決定し得る。追加または代替として、スマートデバイスは、デバイスのうちの1つまたは複数の、環境の外部境界に対する(たとえば、壁、建築物、水域、ペイントされたライン、または境界を作成することができる任意の他のオブジェクトなど、物理的境界に対する)物理的ロケーションを決定し得る。
スマートデバイスはディスプレイを含み得る。スマートデバイスは、ディスプレイを介して、拡張環境を表示し得る。環境を表す拡張環境が表示され得る。さらに、スマートデバイスは、拡張環境内のデバイスおよび/またはオブジェクトのうちの1つまたは複数を表すシンボルをも表示し得る。たとえば、スマートデバイスは、ソファー、パーソナルコンピュータ、テレビジョン、スマートフォン、DVDプレーヤ、店頭、建築物、車両、人々、ツール、医療デバイス、公園ベンチ、ランドマーク、カメラ、あるいは任意の他の適切なデバイスまたはオブジェクトのシンボルを表示し得る。いくつかの実施形態では、スマートデバイスは、環境内のデバイスのロケーションに対応する拡張環境内のロケーション中にシンボルを表示し得る。さらに、スマートデバイスは、デバイスおよび/またはオブジェクトに関する追加情報を表示し得る。拡張環境において可視である追加情報は、環境において可視である情報と比較して、より多くなり得る。たとえば、追加情報は、重さ、高さ、年齢、医療履歴、出席履歴、現在の販売(sales)、販売説明、提供される商品(goods)および/またはサービス、商品説明、サービス説明、製造の年、製造形式、製造モデル、あるいはデバイスおよび/またはオブジェクトに対応する任意の他の適切な情報など、デバイスおよび/またはオブジェクトの特性を含み得る。拡張環境中に追加情報を含めることは、スマートデバイスのユーザのエクスペリエンスを改善し得る。
したがって、本開示は、現実を拡張するためのシステムおよび方法について説明する。特に、本開示は、無線機を使用して信号をキャプチャすることによって現実を拡張するためのシステムおよび方法について説明する。
図1は、本開示の実施形態が実装され得る例示的なネットワークアーキテクチャ100を示す。ネットワークアーキテクチャ100は、1つまたは複数のエンドポイントデバイス105と、1つまたは複数の中間デバイス115と、1つまたは複数のリレーサーバ125と、1つまたは複数のエンドポイントマネージャサーバ135とを含み得る。いくつかの実施形態では、ネットワークアーキテクチャ100は、ネットワーククライアントとして機能し得るクラウドソース中間デバイス115と、1つまたは複数のリレーサーバ125とを介して、1つまたは複数のエンドポイントデバイス105と様々なエンドポイントマネージャサーバ135との間でデータを移動することが可能であり得る。
エンドポイントデバイス105は、1つまたは複数の無線デバイス(たとえば、IoTデバイス)を含み得る。エンドポイントデバイス105は、電源と、データ収集デバイス(たとえば、センサー)と、ネットワークデバイスとを含み得る。電源は、バッテリー、または電力グリッドへの接続を含み得る。追加または代替として、電源は、ソーラーパネル、太陽電池、太陽光発電、電磁など、エネルギーハーベスティング装置を含み得る。少なくともいくつかの実施形態では、エンドポイントデバイス105は、電源を含まないことがあり、代わりに、周囲後方散乱技法を使用し得る。エンドポイントデバイス105は、1つまたは複数のセンサーをも含み得る。1つまたは複数のセンサーは、任意のタイプの状態を検出し、検出された状態に基づいて電子データを生成するように構成され得る。たとえば、エンドポイントデバイス105は、心拍数モニタによって収集された心拍数状態を使用して心拍数データを生成するように構成された心拍数モニタをもつスマートウォッチを含み得る。いくつかの実施形態では、エンドポイントデバイス105は、インターネットを介して通信する能力を有せず、近くの中間デバイス115など、近くのデバイスと通信することが可能なハードウェアおよび/またはソフトウェアのみを含む(たとえば、センサーのみを含む)。他の実施形態では、エンドポイントデバイス105は、インターネットを介して通信するためのハードウェアおよび/またはソフトウェアを含み得る。少なくとも1つの実施形態では、エンドポイントデバイス105は、アプリケーションをセキュアにホストすることと、機密データおよび暗号データを記憶することとが可能であるハードウェアセキュア要素(SE)を含み得る。
エンドポイントデバイス105のネットワークデバイスは、無線ネットワークを介して別のデバイスと通信することが可能である任意のハードウェア、ソフトウェア、またはそれらの組合せを含み得る。少なくとも1つの実施形態では、ネットワークデバイスは、Bluetooth(登録商標)などの短距離ネットワークまたは任意の他の短距離ネットワークを介して通信するように構成された任意のネットワークコントローラを含み得る。少なくとも1つの実施形態では、ネットワークデバイスは、低電力ネットワークを介して通信するように構成された任意のネットワークコントローラを含み得る。例示的なエンドポイントデバイス105は、限定はしないが、工業デバイス、住宅器具、商業機器、インベントリトラッカー、スマートウォッチ、ウェアラブル、心拍数モニタ、ロジスティックストラッカー、環境センサー、キャッシュレジスター、クレジットカードリーダー、ポイントオブセール(POS)、自転車、電気スクーター、電気スケートボード、車両、車、電気自動車、衛星、スマートデバイス、または任意のデバイス(無線インターフェースを含むモバイルおよび非モバイル)を含む。ネットワークアーキテクチャ100は、任意の数のエンドポイントデバイス105を含み得、ネットワークアーキテクチャ100中のエンドポイントデバイス105は、任意のタイプのネットワーク対応デバイスを含む、任意のタイプのエンドポイントデバイス105であり得る。いくつかの実施形態では、エンドポイントデバイス105は、POS、汚染センサー、静止したオブジェクトに取り付けられたセンサー、またはパーソナルコンピュータなど、ネットワークアーキテクチャ100中で固定であるか、または相対的に静止していることがある。追加または代替として、エンドポイントデバイス105は、スマートウォッチ、スマートフォン、ラップトップ、タブレット、あるいは任意の車または車両など、モバイルであり得る。
1つまたは複数のエンドポイントデバイス105は、少なくとも1つの無線ネットワーク110を介して他のデバイスと通信するように構成され得る。たとえば、第1のエンドポイントデバイス105aが、無線ネットワーク110aを介して第1の中間デバイス115aと電子通信していることがある。1つまたは複数の中間デバイス115は、無線ネットワーク110を介してエンドポイントデバイス105と通信し、第2のネットワーク120を介してリレーサーバ125と通信することが可能な任意のタイプのデバイスを含み得る。少なくとも1つの実施形態では、中間デバイス115が、2つのネットワークコントローラ、すなわち、無線ネットワーク110を介して通信するための第1のネットワークコントローラと、第2のネットワーク120を介して通信するための第2のネットワークコントローラとを含み得る。例示的な中間デバイス115は、モバイルデバイス、パーソナルコンピュータ(PC)、ラップトップ、スマートフォン、ネットブック、電子リーダー、携帯情報端末(PDA)、セルラーフォン、モバイルフォン、タブレット、車両、ドローン、車、トラック、ウェアラブルデバイス、メガネ、ルータ、テレビジョン、またはセットトップボックスなどを含む。
示されているように、第1のエンドポイントデバイス105aは、無線ネットワーク110a(たとえば、短距離ネットワーク)を介して第1の中間デバイス115aと電子通信していることがある。さらに、第2のエンドポイントデバイス105bが、別の無線ネットワーク110b(たとえば、低電力ネットワーク)を介して第2の中間デバイス115bと電子通信していることがある。第3のエンドポイントデバイス105cが、別の無線ネットワーク110cを介して第3の中間デバイス115cと電子通信していることがある。第4のエンドポイントデバイス105dが、別の無線ネットワーク110dを介して第4の中間デバイス115dと電子通信していることがある。
いくつかの実施形態では、無線ネットワーク110は、比較的低い電力量を使用する任意のネットワークであり得る。例示的な無線ネットワーク110は、任意のBluetooth(登録商標)ネットワークタイプ(たとえば、Bluetooth低エネルギー(BLE)、Bluetooth 4.0、Bluetooth 5.0、Bluetooth Long Range)、NB-IoT、LTE Direct、LTE-M、LTE M2M、5G、Wi-Fi、Wi-Fi Aware、mmWave、または任意の他のタイプのネットワークを含み得る。1つまたは複数のエンドポイントデバイス105は、異なるタイプの無線ネットワーク110を使用して様々な中間デバイス115に接続し得る。たとえば、第1のエンドポイントデバイス105aは、第1の短距離無線ネットワーク110aを介して第1の中間デバイス115aと電子通信していることがあり、第2のエンドポイントデバイス105bは、第2の短距離無線ネットワーク110bを介して第2の中間デバイス115bと電子通信していることがある。
エンドポイントデバイス105、中間デバイス115、またはそれらの両方は、固定であるか、相対的に静止しているか、または可動であり得る。エンドポイントデバイス105と中間デバイス115とが互いの無線範囲に入ったとき、エンドポイントデバイス105と中間デバイス115とは、エンドポイントデバイス105と中間デバイス115との間のデータ交換を始動するためにハンドシェイクおよび/または認証を実施し得る。
いくつかの実施形態では、エンドポイントデバイス105は、無線ネットワーク110を介して、データを含むビーコン(たとえば、無線信号)を周期的に送り得る。エンドポイントデバイス105は、エンドポイントデバイス105上で稼働し得る様々なサービスを含み得る。たとえば、スマートウォッチは、クロックサービス、心拍数モニタサービス、動き検出サービス、音楽サービスなどを含み得る。これらのサービスの各々についてビーコンが生成され得るか、またはそれらのサービスの一部または全部についてのデータを含めるために単一のビーコンが生成され得る。
中間デバイス115は、エンドポイントデバイスからそのようなビーコンをリッスンし得る。ビーコンを受信したことに応答して、中間デバイス115は、第2のネットワーク120を介してリレーサーバ125にビーコンを送り得る。少なくとも1つの実施形態では、無線ネットワーク110と第2のネットワーク120とは、異なるタイプのネットワークである。たとえば、無線ネットワーク110は、Bluetooth(登録商標)ネットワークであり得、第2のネットワーク120は、セルラーネットワーク、Wi-Fi、またはインターネットであり得る。ビーコンを受信したことに応答して、中間デバイス115はまた、中間デバイス115における表示のための拡張現実要素または仮想現実要素を生成し得る。たとえば、接続されたスケートボードデバイス105からビーコンを受信したことに応答して、メガネ115が、ディスプレイを介して、スケートボードに関する情報を提示し得る。たとえば、メガネ115を装着しているユーザが外を歩いていることがあり、別のユーザが、接続されたスケートボード105上で、そばを通った。メガネ115は、1つまたは複数の拡張現実要素などを介して、スケートボード115に関する情報を提供し得る。その情報を提供する前に、メガネ115は、メガネ115の装着者によってアクティブ化されたとき、メガネ115にその情報を提供させる、通知を提示し得る。その情報は、メガネ115の装着者がスケートボード115を購入し、その装着者の選定するロケーションにスケートボード115を出荷させることができるような、購入情報を含み得る。
第2のネットワーク120は、パブリックネットワーク(たとえば、インターネット)、プライベートネットワーク(たとえば、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN))、ワイヤードネットワーク(たとえば、イーサネットネットワーク)、無線ネットワーク(たとえば、802.xxネットワークまたはWi-Fiネットワーク)、セルラーネットワーク(たとえば、ロングタームエボリューション(LTE)またはLTEアドバンストネットワーク、1G、2G、3G、4G、5G、6Gなど)、ルータ、ハブ、スイッチ、サーバコンピュータ、および/またはそれらの組合せを含み得る。
リレーサーバ125は、第3のネットワーク130を介してエンドポイントマネージャサーバ135に、ビーコン、またはビーコンに関係する情報を送り得る。第3のネットワーク130は、パブリックネットワーク(たとえば、インターネット)、プライベートネットワーク(たとえば、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN))、ワイヤードネットワーク(たとえば、イーサネットネットワーク)、無線ネットワーク(たとえば、802.xxネットワークまたはWi-Fiネットワーク)、セルラーネットワーク(たとえば、ロングタームエボリューション(LTE)またはLTEアドバンストネットワーク、1G、2G、3G、4G、5G、6Gなど)、ルータ、ハブ、スイッチ、サーバコンピュータ、および/またはそれらの組合せを含み得る。少なくとも1つの実施形態では、第2のネットワーク120と第3のネットワーク130とは、同じネットワークであるか、または少なくともいくつかの重複する構成要素を含む。
1つまたは複数のリレーサーバ125は、ラックマウント(rackmount)サーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、スマートフォン、車、ドローン、ロボット、オペレーティングシステムを有する任意のモビリティデバイスなど)、データストア(たとえば、ハードディスク、メモリ、データベース)、ネットワーク、ソフトウェア構成要素、および/またはハードウェア構成要素など、1つまたは複数のコンピューティングデバイスを含み得る。1つまたは複数のリレーサーバ125は、中間デバイス115からビーコンを受信するように構成され得る。1つまたは複数のリレーサーバ125は、エンドポイントマネージャサーバ135に、ビーコン、あるいはビーコンに関係するまたはビーコンに関連するデータを送り得る。1つまたは複数のリレーサーバ125は、エンドポイントマネージャサーバ135からメッセージを受信し得、いくつかの実施形態では、エンドポイントマネージャサーバ135から中間デバイス115にメッセージを送り得る。少なくともいくつかの実施形態では、中間デバイス115は、エンドポイントマネージャサーバ135からメッセージを受信したことに応答して、1つまたは複数の動作を実施し得る。それらの動作は、中間デバイス115にローカルな動作、および/またはエンドポイントマネージャサーバ135からエンドポイントデバイス105にメッセージを送ることを含む。
エンドポイントマネージャサーバ135は、ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、スマートフォン、車、ドローン、ロボット、オペレーティングシステムを有する任意のモビリティデバイスなど)、データストア(たとえば、ハードディスク、メモリ、データベース)、ネットワーク、ソフトウェア構成要素、および/またはハードウェア構成要素など、1つまたは複数のコンピューティングデバイスを含み得る。エンドポイントマネージャサーバ135は、1つまたは複数のエンドポイントデバイス105に関連し得る。たとえば、特定の会社、人、または製造業者が、エンドポイントデバイス105を販売し得、エンドポイントデバイス105と通信するために、エンドポイントデバイス105を制御するために、またはエンドポイントデバイス105に関係するデータを記憶するために、エンドポイントマネージャサーバ135を使用し得る。
エンドポイントマネージャサーバ135は、特定のエンドポイントデバイス105、またはエンドポイントデバイス105のセットに関連するメッセージを送り得る。たとえば、エンドポイントマネージャサーバ135は、特定のエンドポイントデバイス105、またはエンドポイントデバイス105のセットの、特性または特徴について説明する情報を送り得る。さらに、いくつかの実施形態では、エンドポイントマネージャサーバ135は、エンドポイントデバイス105に、特定のエンドポイントデバイス105によって生成されたビーコンからの要求に対する応答など、他の通信を送り得る。
各リレーサーバ125は、メッセージマネージャ140を含み得る。メッセージマネージャ140は、プロセッサ、(たとえば、1つまたは複数の動作を実施するためのまたはその実施を制御するための)マイクロプロセッサ、FPGA、またはASICを含む、ハードウェアを使用して実装され得る。いくつかの他の事例では、メッセージマネージャ140は、ハードウェアとソフトウェアとの組合せを使用して実装され得る。ソフトウェアでの実装は、コンピューティングシステム(たとえば、リレーサーバ125)のハードウェア中に含まれ得るような、1つまたは複数のトランジスタまたはトランジスタ要素の迅速なアクティブ化および非アクティブ化を含み得る。さらに、ソフトウェア定義命令が、トランジスタ要素内の情報に関して動作し得る。ソフトウェア命令の実装は、少なくとも一時的に電子経路を再構成し、コンピューティングハードウェアを変換し得る。
各リレーサーバ125は、データストレージ145を含み得る。データストレージ145は、任意のメモリまたはデータストレージを含み得る。いくつかの実施形態では、データストレージ145は、その上に記憶されたコンピュータ実行可能命令またはデータ構造を搬送または有するためのコンピュータ可読記憶媒体を含み得る。コンピュータ可読記憶媒体は、プロセッサなど、汎用または専用コンピュータによってアクセスされ得る任意の利用可能な媒体を含み得る。たとえば、データストレージ145は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、コンパクトディスク読取り専用メモリ(CD-ROM)または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、フラッシュメモリデバイス(たとえば、固体メモリデバイス)を含む有形または非一時的コンピュータ可読記憶媒体、あるいはコンピュータ実行可能命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、汎用または専用コンピュータによってアクセスされ得る、任意の他の記憶媒体であり得る、コンピュータ可読記憶媒体を含み得る。上記の組合せが、データストレージ145中に含まれ得る。図示された実施形態では、データストレージ145は、リレーサーバ125の一部である。いくつかの実施形態では、データストレージ145は、リレーサーバ125とは別個であり得、ネットワークを介してデータストレージ145にアクセスし得る。少なくとも1つの実施形態では、データストレージ145は、複数のデータストレージを含み得る。
データストレージ145は、エンドポイントデバイス105と中間デバイス115とエンドポイントマネージャサーバ135とに関係のあるデータと、エンドポイントデバイス105と中間デバイス115とエンドポイントマネージャサーバ135との間の関係とを含み得る。たとえば、データストレージ145は、特定のエンドポイントマネージャサーバ135に関連するエンドポイントデバイスのテーブルまたはリストを含み得る。データストレージ145は、ビーコンの受信のタイムスタンプ、ビーコンの作成に関連するタイムスタンプ、ビーコンに関連するおよび/あるいはビーコンを作成または送信したエンドポイントデバイス105に関連するジオロケーション、エンドポイントデバイス105に関連するセンサーデータ、エンドポイントマネージャサーバ135とエンドポイントデバイス105との間のデータをどのようにおよび/またはどこに送るべきかについてのルーティング情報、中間デバイス115とエンドポイントデバイス105との間の接続強度、中間デバイス115へのエンドポイントデバイス105の近接度、中間デバイス115をエンドポイントデバイス105と接続する無線ネットワーク110のタイプ、中間デバイス115とエンドポイントデバイス105との間の接続のコスト、中間デバイスの現在のバッテリーレベル、中間デバイスのタイプなど、エンドポイントデバイスから受信されたビーコンに関係のあるデータを含み得る。
メッセージマネージャ140は、エンドポイントデバイス105と中間デバイス115と(1つまたは複数の)エンドポイントマネージャサーバ135との間の通信を処理し得る。一例では、メッセージマネージャ140は、第2のネットワーク120を介して第1の中間デバイス115aからビーコンを受信し得る。ビーコンは、エンドポイントデバイス105aによって無線ネットワーク110aを介して第1の中間デバイス115aに送られていることがある。ビーコンは、エンドポイントデバイス105aの識別子(たとえば、MACアドレス、一意のID)、エンドポイントデバイス105aの地理的ロケーション、およびそのエンドポイントデバイス105aがサポートするサービスのUUIDの広告などを含む、エンドポイントデバイス105aに関する特性を含んでいることがある。メッセージマネージャ140は、ビーコンに関係のある情報を識別するためにビーコンを分析することによってなど、ビーコンの特性を識別し得る。メッセージマネージャ140は、ビーコンの特性に基づいて、ビーコンに関連するエンドポイントマネージャサーバ135を識別するために、データストレージ145にアクセスし得る。たとえば、エンドポイントデバイスの識別子は、特定のエンドポイントマネージャサーバ135を操作する特定の製造業者に関連し得る。メッセージマネージャ140は、データストレージ145中のこの特定のエンドポイントマネージャサーバ135と、エンドポイントマネージャサーバ135に達するためにビーコンを送るためのアドレスおよび/または経路とを識別し得る。少なくともいくつかの実施形態では、メッセージマネージャ140は、第3のネットワーク130を介してエンドポイントマネージャサーバ135にビーコンまたはビーコンメッセージを送り得る。ビーコンメッセージは、ビーコンを含み得るか、ビーコンを含まないことがあるか、またはビーコンに関係のある情報を含み得る。
少なくとも1つの実施形態では、ビーコンは、エンドポイントデバイス105に関連する複数のサービスからのデータを含み得る。追加または代替として、単一のエンドポイントデバイス105からの複数のビーコンが、無線ネットワーク110を介して生成およびブロードキャストされ得る。これらの複数のビーコンの各々が、たとえば、エンドポイントデバイス105に関連する異なるサービスに関連し得る。代替的に、これらの複数のビーコンの各々が、たとえば、無線ネットワーク110の異なるネットワークタイプに関連し得る。メッセージマネージャ140は、サービスおよび/またはネットワークタイプを識別し、サービスについての情報に基づいて、ビーコンメッセージを受信するべきである適切なエンドポイントマネージャサーバ135を識別し得る。
エンドポイントマネージャサーバ135は、リレーサーバ125からメッセージを受信し得る。エンドポイントマネージャサーバ135は、メッセージを記憶し、メッセージを処理し、メッセージに基づいて報告を生成し得、メッセージに基づく通知または応答、または任意の他のアクションを生成し得る。たとえば、エンドポイントマネージャサーバ135は、ビーコンメッセージに関係のある応答メッセージを生成し得る。応答メッセージは、リレーサーバ125、中間デバイス115、ビーコンを生成したエンドポイントデバイス105、またはビーコンを生成しなかった別のエンドポイントデバイス105のうちの1つまたは複数を対象とするメッセージを含み得る。エンドポイントマネージャサーバ135は、エンドポイントマネージャサーバ135にビーコンメッセージを送った同じリレーサーバ125(たとえば、リレーサーバ125a)に、またはエンドポイントマネージャサーバ135にビーコンメッセージを送らなかった異なるリレーサーバ125(たとえば、リレーサーバ125b)に応答メッセージを送り得る。
リレーサーバ125は、エンドポイントマネージャサーバ135から、ビーコンメッセージに関係のある応答メッセージを受信し得る。リレーサーバ125は、リレーサーバ125において動作を実施すること、別のデバイス(たとえば、ユーザデバイス)にデータを送ること、エンドポイントデバイス105にデータを送ることによってなど、応答メッセージを処理し得る。
いくつかの実施形態では、ネットワークアーキテクチャ100は、インターネットを介したネットワークベース通信が可能な任意のデバイス間のデータを交換するために使用され得る。一例では、ネットワークアーキテクチャ100は、遅延耐性接続性を作成するために既存のスマートフォンインフラストラクチャを活用し得る。ネットワークアーキテクチャ100は、ファームウェア更新、ステータス更新、ログファイル記憶、およびマイクロペイメントなど、多くのタイプの無線通信(たとえば、IoT通信)のために有用であり得る、初期に遅延耐性の方式でクラウドにデータを移動することができる。中間デバイス115は、工業デバイス、スマートウォッチ、ウェアラブル、ロジスティックストラッカー、および環境センサーのような、他のデバイス(たとえば、エンドポイントデバイス105)を周期的に走査するためにスマートフォン上で稼働するソフトウェアを含み得る。これらのエンドポイントデバイス105は、クラウドにおよびクラウド内でデータを移動するための大規模な、広いエリアのネットワークを作成するために、スマートフォン上で稼働しているソフトウェアクライアントと接続し得る。
さらに、人口母集団の95%が何らかのセルラーサービスによってカバーされると推定されている。ネットワークアーキテクチャ100は、世界中のどこにでも展開され得、より低い接続性の地域がそれらの接続性を増加させることを可能にする。その上、ネットワークアーキテクチャ100は、たとえば、Bluetooth(登録商標)対応スマートフォン上で稼働するソフトウェアを使用することによって、従来のセルラーネットワークの範囲を越えてカバレージを提供することができる。ユーザは、限定されたセルラー接続性のまたはセルラー接続性のないエリアに行くことがあるが、依然として、無線ネットワーク110を介してエンドポイントデバイス105からビーコンを受信し得る。ネットワークアーキテクチャ100を使用して、中間デバイス115またはエンドポイントデバイス105のユーザは、今や、本開示で説明される拡張環境を容易に生成することができる。
本開示の範囲から逸脱することなく、ネットワークアーキテクチャ100に対して修正、追加、または省略が行われ得る。本開示は、より一般的には、1つまたは複数のエンドポイントデバイス105、1つまたは複数の無線ネットワーク、1つまたは複数の中間デバイス115、1つまたは複数の第2のネットワーク120、1つまたは複数のリレーサーバ125、1つまたは複数の第3のネットワーク130、および1つまたは複数のエンドポイントマネージャサーバ135またはそれらの任意の組合せを含む、ネットワークアーキテクチャ100に適用される。
その上、本明細書で説明される実施形態における様々な構成要素の分離は、その分離がすべての実施形態において行われることを示すものではない。さらに、本開示の利益とともに、説明される構成要素は、単一の構成要素において互いに統合されるかまたは複数の構成要素に分離され得ることが理解され得る。
図2は、無線機を使用して信号をキャプチャすることによって現実を拡張するための例示的な環境200を示す。環境200は、コンピューティングデバイス250および/またはセンサー255と無線通信するように構成されたスマートデバイス240を含み得る。スマートデバイス240、コンピューティングデバイス250、およびセンサー255は、図1の中間デバイス115および/またはエンドポイントデバイス105に対応し得る。
いくつかの実施形態では、スマートデバイス240と、コンピューティングデバイス250と、センサー255とは、ネットワーク245上で通信するように構成され得る。ネットワーク245は、パブリックネットワーク(たとえば、インターネット)、プライベートネットワーク(たとえば、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN))、ワイヤードネットワーク(たとえば、イーサネットネットワーク)、無線ネットワーク(たとえば、802.xxネットワークまたはWi-Fiネットワーク)、セルラーネットワーク(たとえば、ロングタームエボリューション(LTE)またはLTEアドバンストネットワーク、1G、2G、3G、4G、5Gなど)、ルータ、ハブ、スイッチ、サーバコンピュータ、および/またはそれらの組合せを含み得る。いくつかの実施形態では、スマートデバイス240と、コンピューティングデバイス250と、センサー255とは、無線ネットワーク110上で互いと通信するように構成され得る。少なくとも1つの実施形態では、無線ネットワーク110とネットワーク245とは、同じネットワークであるか、または少なくともいくつかの重複する構成要素を含む。
いくつかの実施形態では、センサー255は、無線通信のために構成されないオブジェクト(たとえば、非コンピューティングデバイス、または無線カードを含まないコンピューティングデバイス)に物理的に取り付けられるように構成されたデバイスを含み得る。たとえば、センサー255は、家具、棚ユニット、写真、絵画、PC、または任意の他のオブジェクトに取り付けられ得る。センサー255は、オブジェクトに対応するデータを含む無線信号を送信するように構成され得る。たとえば、センサー255が家具に取り付けられた場合、センサー255は、環境200内のそれらの家具の寸法、重さ、および/または物理的ロケーションを含む、無線信号を送信し得る。少なくとも1つの実施形態では、センサー255は、ハードウェアセキュア要素を含み得る。
いくつかの実施形態では、コンピューティングデバイス250は、無線通信のために構成されたデバイスを含み得る。たとえば、コンピューティングデバイス250は、タブレット、スマートフォン、モバイルデバイス、スマートテレビジョン、スマートDVDプレーヤ、または任意の他の適切なデバイスを含み得る。コンピューティングデバイス250は、コンピューティングデバイス250に対応するデータを含む無線信号を送信し得る。たとえば、コンピューティングデバイス250によって送信される無線信号は、コンピューティングデバイスのデバイス識別子、デバイス記述子、物理的ロケーション、または、任意の他の適切なデータを含み得る。
スマートデバイス240は、コンピューティングデバイス250およびセンサー255から無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、無線ネットワーク110を介して無線信号を受信し得る。他の実施形態では、スマートデバイス240は、ネットワーク245を介して無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、無線ネットワーク110を介して無線信号の一部分を受信し、ネットワーク245を介して無線信号の別の部分を受信し得る。
スマートデバイス240は、無線信号に基づいてコンピューティングデバイス250および/またはセンサーを識別し得る。いくつかの実施形態では、無線信号は、無線信号の信号のタイプに対応するメタデータを含み得る。たとえば、メタデータは、無線信号が、Bluetooth、Wi-Fi、または別のタイプの通信プロトコルを含む通信プロトコルを使用して送られることを示し得る。別の例として、メタデータは、無線信号の周波数帯域(たとえば、無線信号のタイプ)を示し得る。これらおよび他の実施形態では、スマートデバイス240は、メタデータに基づいてコンピューティングデバイス250および/またはセンサー255を識別し得る。
いくつかの実施形態では、無線信号は、コンピューティングデバイス250、および/または、センサー255が取り付けられたオブジェクトに対応する、データを含み得る。たとえば、無線信号中に含まれるデータは、コンピューティングデバイス250、および/または、センサー255が取り付けられたオブジェクトの、デバイス識別子、特性説明、コンピューティングデバイス250の発行されたMACアドレス、あるいは任意の他の適切なデータを含み得る。これらおよび他の実施形態では、スマートデバイス240は、無線信号中に含まれるデータに基づいてコンピューティングデバイス250および/またはセンサー255を識別し得る。たとえば、スマートデバイス240は、拡張環境中に含まれるべきコンピューティングデバイス250の発行されたMACアドレスを決定し得る。
いくつかの実施形態では、スマートデバイス240は、コンピューティングデバイス250、および/または、センサー255が取り付けられたオブジェクトについての追加情報が、(図2に示されていない)リレーサーバ125および/またはエンドポイントマネージャサーバ135において入手可能であり得ると決定し得る。これらおよび他の実施形態では、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255のうちの1つまたは複数に関連する、リレーサーバ125またはエンドポイントマネージャサーバ135に要求メッセージ(たとえば、ビーコン)を送信し得る。これらおよび他の実施形態では、要求メッセージは、無線信号がそこから受信された、特定のコンピューティングデバイス250および/またはセンサー255を識別し得る。さらに、要求メッセージは、無線信号がそこから受信された、コンピューティングデバイス250および/またはセンサー255に関する追加情報を要求し得る。
スマートデバイス240は、環境200内のコンピューティングデバイス250およびセンサー255のロケーションを決定し得る。環境200内の、コンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトのロケーションは、無線信号に基づいて決定され得る。いくつかの実施形態では、無線信号は、対応するコンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトのロケーション情報を含み得る。他の実施形態では、対応するコンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトのロケーションは、無線信号の特性に基づいて決定され得る。たとえば、無線信号の信号強度が使用され得る。
いくつかの実施形態では、スマートデバイス240は、対応するコンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトの、互いに対する物理的ロケーションを決定し得る。これらおよび他の実施形態では、スマートデバイス240は、対応するコンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトの、スマートデバイス240の物理的ロケーションに対する物理的ロケーションを決定し得る。追加または代替として、スマートデバイス240は、対応するコンピューティングデバイス250、およびセンサー255/センサー255が取り付けられたオブジェクトの、環境200の外部境界に対する物理的ロケーションを決定し得る。
スマートデバイス240はディスプレイ260を含み得る。スマートデバイス240は、ディスプレイ260を介して、拡張環境を表示し得る。いくつかの実施形態では、拡張環境は、環境200と、環境200内に位置する異なるコンピューティングデバイス250および/またはオブジェクトとを表すために、表示され得る。たとえば、拡張環境は、スマートデバイス240、コンピューティングデバイス250のうちの1つまたは複数、および/または、センサー255が取り付けられたオブジェクトのうちの1つまたは複数を表す、シンボルを含み得る。いくつかの実施形態では、スマートデバイス240は、少なくとも環境200内で移動するように構成されたモバイルデバイスまたはウェアラブルデバイスを含み得る。他の実施形態では、スマートデバイス240は、環境200内で静止しているように構成された静止したデバイスを含み得る。
拡張環境は、表示されているシンボルが、環境200内の対応するコンピューティングデバイス250およびオブジェクトのロケーションに対応する、拡張環境内のロケーション中に表示されるように、表示され得る。いくつかの実施形態では、拡張環境は、環境200の3次元表現を含み得る。たとえば、拡張環境は、環境200内の、部屋のシミュレートされた壁、コンピューティングデバイス250またはオブジェクトの高さ、棚、あるいは任意の他の適切なデバイスおよび/またはオブジェクトを含み得る。別の例として、部屋の中の各家具が、対応するセンサー255に取り付けられ得る。対応するセンサー255は、家具の寸法、重さ、形状、材料、または製造業者などの物理的特性を含むための無線信号を送信し得る。スマートデバイス240は、これらの無線信号を受信し、拡張環境を、3次元表現であり、部屋内の各家具の3次元表現を含むように、構築し得る。
本開示の例示的な一実装形態は、環境200が暗い(たとえば、光を含まない)が、環境200内で動き回る人々(たとえば、軍隊、警察、緊急事態または自然災害に応答する最初の応答者または他の人々)が、環境200にわたって安全に動くことができるように、どんなオブジェクトが環境200内にあるかを知る必要がある、状況を含み得る。たとえば、ユーザは、スマートデバイス240を使用して、地震の後の倒壊した建築物の瓦礫によって閉じ込められた人々がいるかどうかを検出することができる。別の例として、ユーザは、スマートデバイス240を使用して、緊急事態中に、建築物の中に閉じ込められた人々および/または動物がいるかどうかを検出することができる。
特定の例示的な環境200では、スマートデバイス240は、倉庫および倉庫内のアセットを表す拡張環境を生成し得る(たとえば、アセットは、センサー255が、たとえば、アセットのパッケージングに取り付けられたオブジェクトであり得る)。スマートデバイス240のユーザは、モバイルアプリケーションまたはウェブサイトを使用することによってなど、特定のアセットが紛失した(lost)ことを示し得る。たとえば、特定のアセットの紛失ステータス(lost status)が、エンドポイントマネージャサーバ135にまたはリレーサーバ125に提供され得る。第1の実施形態では、エンドポイントマネージャサーバ135は、特定のアセットが紛失したというメッセージをスマートデバイス240に送り得る。そのメッセージは、紛失したアセットの識別子を含み得る。スマートデバイス240またはスマートデバイス240に通信可能に結合されたドングル(たとえば、パーソナルコンピュータ自体が倉庫内にある必要がないように、無線信号を受信するように構成された、パーソナルコンピュータに取り付けられたドングル)が、倉庫内に置かれ得る。いくつかの実施形態では、スマートデバイス240は、アセットがオブジェクトであるので、センサー255からの無線信号のみを受信し得る。他の実施形態では、スマートデバイス240は、センサー255とコンピューティングデバイス250の両方からの無線信号を受信し得るが、コンピューティングデバイス250から受信された無線信号をフィルタで除去し得る。スマートデバイス240は、紛失したアセットでないオブジェクトに対応する情報をフィルタで除去し得る。スマートデバイス240は、ディスプレイ260を介して、倉庫を表す拡張環境を表示し得る。さらに、スマートデバイス240は、拡張環境内の紛失したアセットを表すシンボルを表示し得る。さらに、いくつかの実施形態では、紛失したアセットに関する追加情報が拡張環境中に表示され得る。たとえば、その追加情報は、倉庫内の紛失したアセットの物理的ロケーションを示し得る。
ユーザは、拡張環境中のシンボルのロケーションおよび/または追加情報に基づいて、倉庫内の紛失したアセットの物理的ロケーションまたは最新の知られている物理的ロケーションを決定することが可能であり得る。たとえば、拡張環境は、倉庫内の実際の棚を表すシミュレートされた棚を含み得、紛失したアセットを表すシンボルは、シミュレートされた棚のうちの1つ上にあるものとして表示され得る。したがって、ユーザは、どの実際の棚が拡張環境中のシミュレートされた棚に対応するかを決定し得る。
別の特定の例では、環境200は、ショッピングエリア(たとえば、ショッピングモール、ストリートショップなど)を含み得る。コンピューティングデバイス250および/またはセンサー255は、ショッピングエリアにおいて、店舗内に位置するかまたは店頭に取り付けられ得る。スマートデバイス240のユーザは、ショッピングエリアに入り得、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255から無線信号を受信し得る。スマートデバイス240は、ディスプレイ260を介して、ショッピングエリアを表す拡張環境を表示し得る。さらに、スマートデバイス240は、コンピューティングデバイス250およびセンサー255から無線信号が受信された、ショッピングエリア内の店舗の各々を表すシンボルを、拡張環境内に表示し得る。さらに、いくつかの実施形態では、店舗に関する追加情報が拡張環境中に表示され得る。たとえば、追加情報は、店舗における、現在のまたは今度の販売、入手可能な商品またはサービス、あるいは現在のまたは今度のイベントを示し得る。さらに、いくつかの実施形態では、スマートデバイス240は、ユーザによって作成された仮想ウィッシュリスト中に含まれる商品またはサービスを、無線信号中で示された商品およびサービスと比較し得る。これらおよび他の実施形態では、拡張環境は、店舗中にあるどの商品またはサービスが同じく仮想ウィッシュリスト中に含まれるかを示す、追加情報を含み得る。
また別の特定の例では、環境200は、食料雑貨店、または別のタイプのフードベンダーを含み得る。コンピューティングデバイス250および/またはセンサー255は、食料雑貨店において入手可能な食品(food goods)のそばに位置するかまたはそれらの食品に取り付けられ得る。スマートデバイス240のユーザは、食料雑貨店に入り得、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255から無線信号を受信し得る。スマートデバイス240は、ディスプレイ260を介して、食料雑貨店を表す拡張環境を表示し得る。さらに、スマートデバイス240は、コンピューティングデバイス250またはセンサー255から無線信号が受信された、食品の各々について表す1つまたは複数のシンボルを、拡張環境内に表示し得る。たとえば、コンピューティングデバイス250は、特定の棚または棚ユニット上の各食品に対応する無線信号を送信し得る。さらに、いくつかの実施形態では、食品に関する追加情報が拡張環境中に表示され得る。たとえば、追加情報は、食品の栄養価、成分、健康評価、グルテンステータス(たとえば、グルテンフリーか否か)、脂肪ステータス(たえば、低脂肪か否か)、繊維ステータス(たとえば、繊維が多いか否か)のうちの少なくとも1つを示し得る。さらに、いくつかの実施形態では、スマートデバイス240は、ユーザによって示された特定の栄養設定を満たさない、コンピューティングデバイス250および/またはセンサー255に対応するシンボルをフィルタで除去し得る。たとえば、脂肪が多いまたはグルテンを含む食品に対応する各シンボルが、フィルタで除去され、拡張環境中に表示されないことがある。
特定の例では、環境200は、道路システム(たとえば、地上道路の街路、ハイウェイ、および/または高速道路)を含み得る。道路システムを使用する1つまたは複数の車両が、コンピューティングデバイス250および/またはセンサー255を含み得る。さらに、スマートデバイス240は、別の車両(たとえば、パトカー、ハイウェイパトロールカーなど)に対応し得る。いくつかの実施形態では、車両が、たとえば、適正な保険をもっていないこと、現在の登録証をもっていないこと、またはスピード違反によって、法律に従っていないことがある。スマートデバイス240のユーザ(たとえば、警察官)は、法律に従っていないので、その車両を道路わきに寄せることを決定し得る。道路わきに寄せられると、スマートデバイス240は、車両中のコンピューティングデバイス250、またはその車両に取り付けられたセンサー255から、1つまたは複数の無線信号を受信し得る。スマートデバイス240は、ディスプレイ260を介して、道路システムおよび/または車両を表す拡張環境を表示し得る。さらに、スマートデバイス240は、拡張環境中に、車両、運転者、乗客、またはそれらの何らかの組合せに関する追加情報を表示し得る。たとえば、追加情報は、車両履歴、運転者履歴(たとえば、運転記録または未解決の令状)、乗客履歴(たとえば、未解決の令状)、あるいは車両、運転者、または乗客に対応する任意の他の情報を示し得る。
別の特定の例では、環境200は、医療施設(たとえば、病院の特定の部屋、または建築物全体)を含み得る。コンピューティングデバイス250および/またはセンサー255は、メスなどのツールに取り付けられるか、患者の衣料物品(clothing article)(たとえば、リストバンド)を介して患者に取り付けられるか、または追加の医療デバイスに取り付けられ得る。スマートデバイス240のユーザは、医療施設に入り得、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255から無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、ディスプレイ260を介して、医療施設内のツールおよび/または医療デバイスの各々を表すシンボルを含む拡張環境を表示し得る。さらに、いくつかの実施形態では、拡張環境は、医療施設内のツールおよび/または医療デバイスの各々のリストとともに表示され得る。これらおよび他の実施形態では、環境200内の各ツールまたは医療デバイスのリストを含む追加情報は、各ツールおよび/または医療デバイスが処置中にまたはその後に厳密にトラッキングされることを可能にし得る。さらに、ツールおよび医療デバイスを表す拡張環境中のシンボルの表示は、ユーザが、問題を引き起こす障害なしに、各ツールおよび医療デバイスのロケーションを確認することを可能にし得る。たとえば、ユーザは、タオルを移動する必要なしに、メスがそのタオルの下にあることを確認し得る。これらおよび他の実施形態では、追加情報は、患者を識別する情報(たとえば、識別情報)、患者の医療履歴、患者によって摂取される薬剤、または任意の他の適切な情報を含み得る。
また別の特定の例では、環境200は、教育施設(たとえば、特定の教室、または建築物全体)を含み得る。コンピューティングデバイス250および/またはセンサー255は、学生のコンピューティングデバイスに対応するか、あるいは学生のリストバンドまたは学生のバックパックに取り付けられ得る。たとえば、コンピューティングデバイス250は、学生に関連する、タブレット、スマートフォン、ラップトップ、または別のコンピューティングデバイスを含み得る。スマートデバイス240のユーザ(たとえば、教師、校長、助手、または他の学校職員)は、教育施設に入り得、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255から無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、ディスプレイ260を介して、いる各学生を表すシンボルを含む拡張環境を表示し得る。他の実施形態では、拡張環境は、いない学生のシンボルのみを含むように表示され得る。たとえば、スマートデバイス240は、クラスに登録されたすべての学生のリストを含み得る。スマートデバイス240は、無線信号を受信し、いない学生を表すシンボル(たとえば、アバター)のみが表示されるように、いる各学生をフィルタで除去し得る。これらおよび他の実施形態では、追加情報は、学生を識別する情報、学生の教育履歴、学生についての医療考慮事項、または任意の他の適切な情報を含み得る。
別の特定の例では、環境200は、近隣、都市、州、または他の地理的環境を含み得る。コンピューティングデバイス250および/またはセンサー255は、環境200内のオブジェクトおよび/またはランドマークに取り付けられ得る。たとえば、センサー255は、都市内の公園ベンチに取り付けられ得る。スマートデバイス240のユーザは、環境200に入り(たとえば、公園ベンチに座り)得、スマートデバイス240は無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、ディスプレイ260を介して、オブジェクトの周囲のランドマークを表すシンボルを含む拡張環境を表示し得る。たとえば、拡張環境は、環境200内のスマートデバイス240に対する、プレイハウス、ビューイングエリア、公共アトラクション、または他のランドマークのロケーションを表示し得る。さらに、いくつかの実施形態では、拡張環境は、ランドマークについて説明する情報、ショーまたは列についての待ち時間、ユーザのロケーションからランドマークまでの距離、あるいはランドマークの歴史的情報のリストとともに表示され得る。
また別の特定の例では、環境200は、一般に開放された建築物、構造物、または他の場所に対応し得る。コンピューティングデバイス250および/またはセンサー255は、他の人々に対応するか、または他の人々に取り付けられ得る。スマートデバイス240のユーザは、環境200に入り得、スマートデバイス240は、コンピューティングデバイス250および/またはセンサー255から無線信号を受信し得る。いくつかの実施形態では、スマートデバイス240は、ユーザの連絡先または友人(たとえば、ソーシャルメディア上の友人)のリストを含み得る。スマートデバイス240は、連絡先または友人のリスト中に含まれない人々に対応する無線信号をフィルタで除去し得る。さらに、スマートデバイス240は、ディスプレイ260を介して、環境200内におり、ユーザの連絡先または友人のリスト中に含まれる、各人を表すシンボル(たとえば、アバター)を含む拡張環境を表示し得る。
さらに、コンピューティングデバイス250およびセンサー255によって送信される無線信号は、無線信号中に含まれるデータのセキュア送信を保証するために暗号化され得る。無線信号は、任意の適切な暗号化技法に従って暗号化され得る。たとえば、ベンダー固有であるか、ユーザ固有であるか、回転されたもしくは回転されないか、または共有情報(たとえば、デバイスのmacアドレス)から導出され得る、共有鍵を伴う対称暗号化アルゴリズム(たとえば、高度暗号化規格(AES))、あるいは、限定はしないが、ECDSAなどの非対称暗号化アルゴリズム。
本開示の範囲から逸脱することなく、環境200に対して修正、追加、または省略が行われ得る。本開示は、より一般的には、スマートデバイス240、1つまたは複数のコンピューティングデバイス250、1つまたは複数の無線ネットワーク110、ネットワーク245、1つまたは複数のセンサー255、またはそれらの任意の組合せを含む、環境200に適用される。さらに、本開示は、スマートデバイス240と、1つまたは複数の無線ネットワーク110と、ネットワーク245と、1つまたは複数のコンピューティングデバイス250と、0個のセンサー255とを含む、環境200にも適用され得る。さらに、本開示は、スマートデバイス240と、1つまたは複数の無線ネットワーク110と、ネットワーク245と、1つまたは複数のセンサー255と、0個のコンピューティングデバイス250とを含む、環境200にも適用され得る。
その上、本明細書で説明される実施形態における様々な構成要素の分離は、その分離がすべての実施形態において行われることを示すものではない。さらに、本開示の利益とともに、説明される構成要素は、単一の構成要素において互いに統合されるかまたは複数の構成要素に分離され得ることが理解され得る。
図3は、無線機を使用して信号をキャプチャすることによって現実を拡張するための例示的な方法の流れ図である。たとえば、方法300は、拡張環境を生成するために、図2のスマートデバイス240によって実施され得る。方法300は、環境内のコンピューティングデバイスおよび/またはオブジェクトを表すシンボルを含む環境を表す拡張環境を生成するために実施され得る。たとえば、方法は、図2のコンピューティングデバイス250および/またはセンサー255を表すシンボルを含む環境200を表す拡張環境を生成および表示するために実施され得る。
方法はブロック305において開始し得、無線信号が、環境内のデバイスから受信され得る。たとえば、無線信号は、図2のコンピューティングデバイス250および/またはセンサー255からスマートデバイス240によって受信され得る。
ブロック310において、デバイスが識別され得る。いくつかの実施形態では、デバイスは、無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて識別され得る。データは、デバイスを識別する情報、環境内のデバイスのロケーション、デバイスのタイプ、または任意の他の適切な情報を含み得る。ブロック315において、環境内のデバイスのロケーションが決定され得る。環境内のデバイスのロケーションは、無線信号中に含まれるデータに基づいて決定され得る。
ブロック320において、拡張環境が表示され得る。拡張環境は環境を表し得る。さらに、デバイスを表すシンボルが拡張環境内に表示され得る。いくつかの実施形態では、シンボルは、環境内のデバイスのロケーションに対応する拡張環境内のロケーション中に表示され得る。拡張環境は、画像、アイコン、テキスト、グラフィックなど、任意のタイプのデータを含み得る。データは、デバイスまたは同様のデバイス、および/あるいはデバイスに関連するサービスをどのように購入すべきかに関する情報を含む、デバイスに関する情報を含み得る。
図4は、機械に本明細書で説明される方法のうちのいずれか1つまたは複数を実施させるための命令のセットが実行され得る、コンピューティングデバイス400の例示的な形態の機械の図式表現を示す。コンピューティングデバイス400は、機械に本明細書で説明される方法のうちのいずれか1つまたは複数を実施させるための命令のセットが実行され得る、モバイルフォン、スマートフォン、ネットブックコンピュータ、ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータなどを含み得る。代替実施形態では、機械は、LAN、イントラネット、エクストラネット、またはインターネット中で他の機械に接続され(たとえば、ネットワーク化され)得る。機械は、クライアントサーバネットワーク環境においてサーバ機械の容量において動作し得る。機械は、パーソナルコンピュータ(PC)、セットトップボックス(STB)、サーバ、ネットワークルータ、スイッチまたはブリッジ、あるいはその機械によってとられるべきアクションを指定する命令のセット(連続またはそれ以外)を実行することが可能な任意の機械を含み得る。さらに、単一の機械のみが示されているが、「機械」という用語は、本明細書で説明される方法のうちのいずれか1つまたは複数を実施するために命令のセット(または複数のセット)を個々にまたは一緒に実行する、機械の任意の集合をも含み得る。
例示的なコンピューティングデバイス400は、バス408を介して互いと通信する、処理デバイス(たとえば、プロセッサ)402と、メインメモリ404(たとえば、読取り専用メモリ(ROM)、フラッシュメモリ、同期DRAM(SDRAM)などのダイナミックランダムアクセスメモリ(DRAM))と、スタティックメモリ406(たとえば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM))と、データストレージデバイス416とを含む。
処理デバイス402は、マイクロプロセッサ、中央処理ユニットなど、1つまたは複数の汎用処理デバイスを表す。より詳細には、処理デバイス402は、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサまたは命令セットの組合せを実装するプロセッサを含み得る。処理デバイス402は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサなど、1つまたは複数の専用処理デバイスをも含み得る。処理デバイス402は、本明細書で説明される動作およびステップを実施するための命令426を実行するように構成される。
コンピューティングデバイス400は、ネットワーク418と通信し得るネットワークインターフェースデバイス422をさらに含み得る。コンピューティングデバイス400は、ディスプレイデバイス410(たとえば、液晶ディスプレイ(LCD)または陰極線管(CRT))と、英数字入力デバイス412(たとえば、キーボード)と、カーソル制御デバイス414(たとえば、マウス)と、信号生成デバイス420(たとえば、スピーカー)とをも含み得る。少なくとも1つの実施形態では、ディスプレイデバイス410と、英数字入力デバイス412と、カーソル制御デバイス414とは、単一の構成要素またはデバイス(たとえば、LCDタッチスクリーン)に組み合わせられ得る。
データストレージデバイス416は、本明細書で説明される方法または機能のうちのいずれか1つまたは複数を具現する命令426の1つまたは複数のセットが記憶されたコンピュータ可読記憶媒体424を含み得る。命令426はまた、コンピューティングデバイス400による命令426の実行中に、メインメモリ404内におよび/または処理デバイス402内に完全にまたは少なくとも部分的に存在し得、メインメモリ404および処理デバイス402は、コンピュータ可読媒体をも構成する。命令は、さらに、ネットワークインターフェースデバイス422を介してネットワーク418上で送信または受信され得る。
コンピュータ可読記憶媒体424は、例示的な一実施形態において単一の媒体であることが示されているが、「コンピュータ可読記憶媒体」という用語は、命令の1つまたは複数のセットを記憶する単一の媒体または複数の媒体(たとえば、集中型または分散型データベースならびに/または関連するキャッシュおよびサーバ)を含み得る。「コンピュータ可読記憶媒体」という用語は、機械による実行のための命令のセットを記憶、符号化または搬送することが可能であり、機械に本開示の方法のうちのいずれか1つまたは複数を実施させる、任意の媒体をも含み得る。「コンピュータ可読記憶媒体」という用語は、したがって、限定はしないが、固体メモリと、光媒体と、磁気媒体とを含むと解釈され得る。
本技術は、たとえば、以下で説明される様々な態様に従って示される。本技術の態様の様々な例が、便宜上、番号を付けられた例(1、2、3、第1の、第2の、第3のなど)として説明される。これらは、例として提供され、本技術を限定しない。本明細書で説明される様々な実装形態の態様は、コンテキストが別段に規定しない限り、省略されるか、他の実装形態の態様と置換されるか、または他の実装形態の態様と組み合わせられ得る。たとえば、以下の例1の1つまたは複数の態様が、省略されるか、別の1つまたは複数の例(たとえば、例2)の1つまたは複数の態様と置換されるか、または別の例の態様と組み合わせられ得る。以下は、本明細書で提示されるいくつかの例示的な実装形態の非限定的な概要である。
環境内のデバイスから無線信号を受信することと、無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、デバイスを識別することと、無線信号中に含まれるデータに基づいて環境内のデバイスのロケーションを決定することと、環境を表す拡張環境と拡張環境内のデバイスを表すシンボルとを表示することであって、シンボルが、環境内のデバイスのロケーションに対応する拡張環境内のロケーション中に表示される、環境を表す拡張環境と拡張環境内のデバイスを表すシンボルとを表示することとを含む、第1の例の方法。
無線信号中に含まれるメタデータが、無線信号についての信号のタイプと、無線信号についての通信プロトコルとを含む、第1の例に記載の方法。
無線信号中に含まれるデータがデバイス識別子を含む、第1の例に記載の方法。
無線信号中に含まれるデータがデバイスの特性説明を含む、第1の例に記載の方法。
無線信号中に含まれるデータが、デバイスを購入することに関係のある情報またはデバイスに関係するサービスを含む、第1の例に記載の方法。
方法が、少なくとも環境内で移動するように構成されたモバイルデバイスによって実施される、第1の例に記載の方法。
環境を表す拡張環境を表示することが、デバイスを含む、拡張環境における環境の3次元表現を構築することを含む、第1の例に記載の方法。
環境がショッピングエリアを含み、デバイスが店頭に組み込まれ、無線信号中に含まれるデータが、店頭に対応する店舗において入手可能な販売説明、商品説明、およびサービス説明のうちの少なくとも1つを含む、第1の例に記載の方法。
環境がショッピングエリアを含み、デバイスが、食品を格納する棚中に組み込まれ、無線信号中に含まれるデータが、食品の栄養価、成分、および健康評価のうちの少なくとも1つを含む、第1の例に記載の方法。
環境が道路システムを含み、デバイスが、道路システムを使用する車両中に組み込まれ、無線信号中に含まれるデータが、運転者の履歴、識別情報、および車両の識別情報のうちの少なくとも1つを含む、第1の例に記載の方法。
環境が医療施設を含み、デバイスが、患者に関連する衣料物品中に組み込まれ、無線信号中に含まれるデータが、患者の識別情報、医療履歴、および患者によって摂取される薬剤のうちの少なくとも1つを含む、第1の例に記載の方法。
環境が医療施設を含み、デバイスが医療デバイス中に組み込まれ、デバイスを表すシンボルは、医療デバイスをトラッキングすることと、医療デバイスが置き忘れられないことを保証することとを行うために、拡張環境中に表示される、第1の例に記載の方法。
環境が教育施設を含み、デバイスが、学生に関連するオブジェクト中に組み込まれ、方法が、無線信号に基づいて、学生がいることをマーキングすることをさらに含む、第1の例に記載の方法。
無線信号中に含まれるデータが、デバイスの発行されたMACアドレスを含み、方法が、デバイスの発行されたMACアドレスを決定することをさらに含む、第1の例に記載の方法。
環境が住宅建築物を含み、デバイスが、非コンピューティングデバイスに物理的に取り付けられたセンサーを含む、第1の例に記載の方法。
環境内の第1のデバイスから第1の無線信号を受信することと、環境内の第2のデバイスから第2の無線信号を受信することと、第1の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、第1のデバイスを識別することと、第2の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、第2のデバイスを識別することと、第1の無線信号および第2の無線信号に基づいて、環境内の第1のデバイスおよび第2のデバイスのロケーションを決定することと、環境を表す拡張環境と、拡張環境内の第1のデバイスおよび第2のデバイスを表すシンボルとを表示することであって、シンボルが同時に、環境内の第1のデバイスおよび第2のデバイスのロケーションに対応する拡張環境内のロケーション中に表示される、環境を表す拡張環境と、拡張環境内の第1のデバイスおよび第2のデバイスを表すシンボルとを表示することとを含む、第2の例の方法。
第1の無線信号中に含まれるデータが第1のデバイスの特性説明を含み、第1のデバイスを表す第1のシンボルが、第1のデバイスの特性説明の少なくとも一部分を含む、第2の例に記載の方法。
環境内のデバイスから無線信号を受信することと、無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、デバイスを識別することと、無線信号中に含まれるデータに基づいて環境内のデバイスの情報を決定することと、デバイスの情報を示す拡張現実要素を表示することであって、拡張現実要素が、拡張環境内のデバイスのロケーションに対応する拡張環境内のロケーション中に表示される、拡張現実要素を表示することとを含む、第3の例の方法。
拡張現実要素が、拡張環境中のデバイスのグラフィカル表現を含む、第3の例に記載の方法。
拡張現実要素が、デバイスまたはデバイスに関連するサービスをどのように購入すべきかに関する情報を含む、第3の例に記載の方法。
本明細書で、および特に添付の特許請求の範囲(たとえば、添付の特許請求の範囲の本文)において使用される用語は、概して、「オープン」な用語として意図される(たとえば、「含む(including)」という用語は、「限定はしないが、含む(including, but not limited to)」として解釈され得、「有する(having)」という用語は、「少なくとも有する(having at least)」として解釈され得、「含む(includes)」という用語は、「限定はしないが、含む(includes, but is not limited to)」として解釈され得るなど)。
さらに、導入されたクレーム記載(claim recitation)の特定の数が意図される場合、そのような意図は、特許請求の範囲において明示的に記載され、そのような記載がない場合、そのような意図は存在しない。たとえば、理解の助けとして、以下の添付の特許請求の範囲が、クレーム記載を導入するための「少なくとも1つ」および「1つまたは複数」という導入句の使用を含んでいることがある。しかしながら、そのような句の使用は、同じクレームが「1つまたは複数」または「少なくとも1つ」という導入句および「a」または「an」などの不定冠詞を含むときでも、不定冠詞「a」または「an」によるクレーム記載の導入が、そのような導入されたクレーム記載を含んでいる特定のクレームを、1つのそのような記載のみを含んでいる実施形態に限定することを暗示すると解釈されないことがあり(たとえば、「a」および/または「an」は、「少なくとも1つ」または「1つまたは複数」を意味すると解釈され得)、同じことが、クレーム記載を導入するために使用される定冠詞の使用について成り立つ。
さらに、導入されたクレーム記載の特定の数が明示的に記載される場合でも、当業者は、そのような記載が、少なくとも記載された数を意味する(たとえば、他の修飾語句のない「2つの記載」のありのままの記載が、少なくとも2つの記載、または2つまたはそれ以上の記載を意味する)と解釈され得ることを認識されよう。さらに、「A、B、およびCなどのうちの少なくとも1つ」または「A、B、およびCなどのうちの1つまたは複数」に類似する表記法が使用される事例では、概して、そのような構成は、Aのみ、Bのみ、Cのみ、AとBを一緒に、AとCを一緒に、BとCを一緒に、またはAとBとCを一緒に、などを含むものとする。たとえば、「および/または」という用語の使用は、このようにして解釈されるものとする。
さらに、2つまたはそれ以上の代替用語を提示する任意の離接語または句が、明細書中にあるのか、特許請求の範囲中にあるのか、図面中にあるのかにかかわらず、それらの用語のうちの1つ、用語のいずれか、または両方の用語を含む可能性を企図すると理解され得る。たとえば、「AまたはB」という句は、「A」または「B」または「AおよびB」の可能性を含むと理解され得る。
本明細書で説明される実施形態は、その上に記憶されたコンピュータ実行可能命令またはデータ構造を搬送または有するためのコンピュータ可読媒体を使用して実装され得る。そのようなコンピュータ可読媒体は、汎用または専用コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、コンパクトディスク読取り専用メモリ(CD-ROM)または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、フラッシュメモリデバイス(たとえば、固体メモリデバイス)を含む非一時的コンピュータ可読記憶媒体、あるいはコンピュータ実行可能命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、汎用または専用コンピュータによってアクセスされ得る、任意の他の記憶媒体を含み得る。上記の組合せも、コンピュータ可読媒体の範囲内に含まれ得る。
コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータ、または専用処理デバイス(たとえば、1つまたは複数のプロセッサ)に、ある機能または機能のグループを実施させる命令およびデータを含み得る。主題は、構造的特徴および/または方法論的行為に固有の言語で説明されたが、添付の特許請求の範囲において定義されている主題が、必ずしも、上記で説明された、特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明された特定の特徴および行為は、特許請求の範囲を実装することの例示的な形態として開示される。
本明細書で使用される、「モジュール」または「構成要素」という用語は、コンピューティングシステムの汎用ハードウェア(たとえば、コンピュータ可読媒体、処理デバイスなど)に記憶され、および/または汎用ハードウェアによって実行され得る、モジュールまたは構成要素および/あるいはソフトウェアオブジェクトまたはソフトウェアルーチンの動作を実施するように構成された特定のハードウェア実装を指し得る。いくつかの実施形態では、本明細書で説明される異なる構成要素、モジュール、エンジン、およびサービスが、コンピューティングシステム上で実行するオブジェクトまたはプロセスとして(たとえば、別個のスレッドとして)実装され得る。本明細書で説明されるシステムおよび方法のうちのいくつかが、概して、(汎用ハードウェアに記憶され、および/または汎用ハードウェアによって実行される)ソフトウェアで実装されるものとして説明されるが、特定のハードウェア実装、またはソフトウェアと特定のハードウェア実装との組合せも可能であり、企図される。本明細書では、「コンピューティングエンティティ」は、本明細書で前に定義されたような任意のコンピューティングシステム、あるいはコンピューティングシステム上で稼働する任意のモジュールまたはモジュールの任意の組合せであり得る。
開示されるプロセスおよび/または方法について、プロセスおよび方法において実施される機能は、コンテキストによって示され得るような異なる順序で実装され得る。さらに、概説されたステップおよび動作は、例として提供されるにすぎず、ステップおよび動作のうちのいくつかが、随意であるか、より少数のステップおよび動作に組み合わせられるか、または追加のステップおよび動作に拡大され得る。
本開示は、時々、異なる他の構成要素内に含まれているか、または異なる他の構成要素と接続された、異なる構成要素を示し得る。そのような図示されたアーキテクチャは例にすぎず、同じまたは同様の機能性を達成する多くの他のアーキテクチャが実装され得る。
本開示の態様は、その趣旨または本質的特性から逸脱することなく他の形態で具現され得る。説明された態様は、あらゆる点で、限定的ではなく例示的であると見なされるべきである。請求される主題は、上記の説明によってではなく添付の特許請求の範囲によって示される。特許請求の範囲の等価の意味および範囲内に入るすべての変更は、特許請求の範囲内に包含されるべきである。

Claims (10)

  1. 環境内のデバイスから無線信号を受信することと、
    前記無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、前記デバイスを識別することと、
    前記環境内の少なくとも2つの他のデバイスとの相対的な前記デバイスのロケーションを決定することと、
    前記環境を表す拡張環境と前記拡張環境内の前記デバイスを表すシンボルとを表示することであって、前記シンボルが、前記環境内の前記デバイスの前記ロケーションに対応する前記拡張環境内のロケーション中に表示される、前記環境を表す拡張環境と前記拡張環境内の前記デバイスを表すシンボルとを表示することと
    を含み、
    前記無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つと設定条件を比較し、前記無線信号をフィルタで除去し、前記設定条件に対応するシンボルのみを表示
    前記環境がショッピングエリアを含み、前記デバイスが店頭に組み込まれ、前記無線信号中に含まれる前記データが、前記店頭に対応する店舗において入手可能な販売説明、商品説明、およびサービス説明のうちの少なくとも1つを含む、または
    前記環境がショッピングエリアを含み、前記デバイスが、食品を格納する棚中に組み込まれ、前記無線信号中に含まれる前記データが、前記食品の栄養価、成分、および健康評価のうちの少なくとも1つを含む、または
    前記環境が道路システムを含み、前記デバイスが、前記道路システムを使用する車両中に組み込まれ、前記無線信号中に含まれる前記データが、運転者の履歴、識別情報、および前記車両の識別情報のうちの少なくとも1つを含む、または
    前記環境が医療施設を含み、前記デバイスが、患者に関連する衣料物品中に組み込まれ、前記無線信号中に含まれる前記データが、前記患者の識別情報、医療履歴、および前記患者によって摂取される薬剤のうちの少なくとも1つを含む、または
    前記環境が医療施設を含み、前記デバイスが医療デバイス中に組み込まれ、前記デバイスを表す前記シンボルは、前記医療デバイスをトラッキングすることと、前記医療デバイスが置き忘れられないことを保証することとを行うために、前記拡張環境中に表示される、または
    前記環境が教育施設を含み、前記デバイスが、学生に関連するオブジェクト中に組み込まれ、前記無線信号に基づいて、前記学生がいることをマーキングすることを含む、方法。
  2. 前記無線信号中に含まれる前記メタデータが、
    前記無線信号についての信号のタイプと、
    前記無線信号についての通信プロトコルと
    を含む、請求項1に記載の方法。
  3. 前記無線信号中に含まれる前記データがデバイス識別子を含む、請求項1に記載の方法。
  4. 前記無線信号中に含まれる前記データが前記デバイスの特性説明を含む、請求項1に記載の方法。
  5. 前記無線信号中に含まれる前記データが、前記デバイスを購入することに関係のある情報または前記デバイスに関係するサービスを含む、請求項1に記載の方法。
  6. 前記方法が、少なくとも前記環境内で移動するように構成されたモバイルデバイスによって実施される、請求項1に記載の方法。
  7. 前記環境を表す前記拡張環境を表示することが、前記デバイスを含む、前記拡張環境における前記環境の3次元表現を構築することを含む、請求項1に記載の方法。
  8. 前記無線信号中に含まれる前記データが、前記デバイスの発行されたMACアドレスを含み、前記方法が、前記デバイスの前記発行されたMACアドレスを決定することをさらに含む、請求項1に記載の方法。
  9. 環境内の第1のデバイスから第1の無線信号を受信することと、
    前記環境内の第2のデバイスから第2の無線信号を受信することと、
    前記第1の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、前記第1のデバイスを識別することと、
    前記第2の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つに基づいて、前記第2のデバイスを識別することと、
    前記環境内における前記第1のデバイスおよび前記第2のデバイスの、互いに対する相対的なロケーションを決定することと、
    前記環境を表す拡張環境と、前記拡張環境内の前記第1のデバイスおよび前記第2のデバイスを表すシンボルとを表示することであって、前記シンボルが同時に、前記環境内の前記第1のデバイスおよび前記第2のデバイスの前記ロケーションに対応する前記拡張環境内のロケーション中に表示される、前記環境を表す拡張環境と、前記拡張環境内の前記第1のデバイスおよび前記第2のデバイスを表すシンボルとを表示することと
    を含み、
    前記第1の無線信号および前記第2の無線信号中に含まれるデータおよびメタデータのうちの少なくとも1つと設定条件を比較し、前記第1の無線信号および前記第2の無線信号をフィルタで除去し、前記設定条件に対応するシンボルのみを表示
    前記環境がショッピングエリアを含み、前記第1のデバイスおよび前記第2のデバイスが店頭に組み込まれ、前記無線信号中に含まれる前記データが、前記店頭に対応する店舗において入手可能な販売説明、商品説明、およびサービス説明のうちの少なくとも1つを含む、または
    前記環境がショッピングエリアを含み、前記第1のデバイスおよび前記第2のデバイスが、食品を格納する棚中に組み込まれ、前記無線信号中に含まれる前記データが、前記食品の栄養価、成分、および健康評価のうちの少なくとも1つを含む、または
    前記環境が道路システムを含み、前記第1のデバイスおよび前記第2のデバイスが、前記道路システムを使用する車両中に組み込まれ、前記無線信号中に含まれる前記データが、運転者の履歴、識別情報、および前記車両の識別情報のうちの少なくとも1つを含む、または
    前記環境が医療施設を含み、前記第1のデバイスおよび前記第2のデバイスが、患者に関連する衣料物品中に組み込まれ、前記無線信号中に含まれる前記データが、前記患者の識別情報、医療履歴、および前記患者によって摂取される薬剤のうちの少なくとも1つを含む、または
    前記環境が医療施設を含み、前記第1のデバイスおよび前記第2のデバイスが医療デバイス中に組み込まれ、前記デバイスを表す前記シンボルは、前記医療デバイスをトラッキングすることと、前記医療デバイスが置き忘れられないことを保証することとを行うために、前記拡張環境中に表示される、または
    前記環境が教育施設を含み、前記第1のデバイスおよび前記第2のデバイスが、学生に関連するオブジェクト中に組み込まれ、前記無線信号に基づいて、前記学生がいることをマーキングすることを含む、方法。
  10. 前記第1の無線信号中に含まれる前記データが前記第1のデバイスの特性説明を含み、前記第1のデバイスを表す第1のシンボルが、前記第1のデバイスの前記特性説明の少なくとも一部分を含む、請求項に記載の方法。
JP2022518667A 2019-09-25 2020-09-25 無線機を使用して信号をキャプチャすることによって現実を拡張すること Active JP7760497B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962905914P 2019-09-25 2019-09-25
US62/905,914 2019-09-25
PCT/US2020/052904 WO2021062293A1 (en) 2019-09-25 2020-09-25 Augmenting reality by capturing signals using wireless radios

Publications (2)

Publication Number Publication Date
JP2022549439A JP2022549439A (ja) 2022-11-25
JP7760497B2 true JP7760497B2 (ja) 2025-10-27

Family

ID=75166863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518667A Active JP7760497B2 (ja) 2019-09-25 2020-09-25 無線機を使用して信号をキャプチャすることによって現実を拡張すること

Country Status (8)

Country Link
US (2) US12125152B2 (ja)
EP (1) EP4035017B1 (ja)
JP (1) JP7760497B2 (ja)
KR (2) KR20240056623A (ja)
CN (1) CN114730304A (ja)
AU (1) AU2020356625A1 (ja)
BR (1) BR112022005275A2 (ja)
WO (1) WO2021062293A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7760497B2 (ja) 2019-09-25 2025-10-27 ヌードル テクノロジー インコーポレイテッド 無線機を使用して信号をキャプチャすることによって現実を拡張すること
GB2590718A (en) * 2019-12-31 2021-07-07 Nokia Technologies Oy Mediated reality
US12183077B2 (en) * 2022-08-17 2024-12-31 Honeywell International Inc. System gateway analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029220A1 (en) 2013-07-25 2015-01-29 Fluke Corporation Detecting and visualizing wireless network devices in communication networks
JP2018521433A (ja) 2015-05-21 2018-08-02 クラウドトラク エルエルシー 識別及び位置特定及び認証システムと方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035897B1 (en) * 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US7023356B2 (en) * 2001-11-26 2006-04-04 Aero-Vision Technologies, Inc. System and method for monitoring individuals and objects associated with wireless identification tags
US6982640B2 (en) * 2002-11-21 2006-01-03 Kimberly-Clark Worldwide, Inc. RFID system and method for tracking food freshness
JP2005267355A (ja) * 2004-03-19 2005-09-29 Takaya Corp 出席管理システム
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
JP5148504B2 (ja) * 2005-12-09 2013-02-20 テゴ,インコーポレイテッド 多重無線周波数ネットワークノードrfidタグ
US7518502B2 (en) * 2007-05-24 2009-04-14 Smith & Nephew, Inc. System and method for tracking surgical assets
US20110196571A1 (en) 2010-02-09 2011-08-11 At&T Mobility Ii Llc System And Method For The Collection And Monitoring Of Vehicle Data
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
US8743145B1 (en) 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US20130109929A1 (en) * 2011-10-28 2013-05-02 Mindray Ds Usa, Inc. Systems and methods for patient monitors to automatically identify patients
US9572026B2 (en) * 2012-10-16 2017-02-14 Cisco Technology, Inc. Location services for a wireless device
EP4206870A1 (en) 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
JP2016192118A (ja) * 2015-03-31 2016-11-10 株式会社リコー 情報処理システム、情報処理装置、および情報処理プログラム並びに情報処理方法
JP6810748B2 (ja) 2016-02-04 2021-01-06 アップル インコーポレイテッドApple Inc. 無線測距に基づいた電子デバイスの制御及び情報の表示
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
JP7760497B2 (ja) 2019-09-25 2025-10-27 ヌードル テクノロジー インコーポレイテッド 無線機を使用して信号をキャプチャすることによって現実を拡張すること

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150029220A1 (en) 2013-07-25 2015-01-29 Fluke Corporation Detecting and visualizing wireless network devices in communication networks
JP2018521433A (ja) 2015-05-21 2018-08-02 クラウドトラク エルエルシー 識別及び位置特定及び認証システムと方法

Also Published As

Publication number Publication date
EP4035017A1 (en) 2022-08-03
EP4035017A4 (en) 2023-02-08
KR102659324B1 (ko) 2024-04-22
US12125152B2 (en) 2024-10-22
WO2021062293A1 (en) 2021-04-01
AU2020356625A1 (en) 2022-04-28
KR20220071231A (ko) 2022-05-31
US20220375176A1 (en) 2022-11-24
EP4035017B1 (en) 2026-05-06
JP2022549439A (ja) 2022-11-25
CN114730304A (zh) 2022-07-08
US20250118032A1 (en) 2025-04-10
KR20240056623A (ko) 2024-04-30
BR112022005275A2 (pt) 2022-06-14

Similar Documents

Publication Publication Date Title
US20220392178A1 (en) System and method for selecting targets in an augmented reality environment
US20250118032A1 (en) Augmenting reality by capturing signals using wireless radios
US11398088B2 (en) Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
Sohaib et al. Internet of Things (IoT) in E-commerce: For people with disabilities
Brown Sensor-based entrepreneurship: A framework for developing new products and services
US20130036043A1 (en) Image-based product mapping
US10963938B2 (en) Systems and methods for providing an interactive virtual environment
WO2017048616A1 (en) Techniques for dynamic geographic fencing
KR20160106289A (ko) 컨텐츠 제공 시스템 및 전자 장치의 컨텐츠 제공 방법
Raj et al. Intelligent Cities: Enabling tools and technology
US20180234796A1 (en) Digital Content Output Control in a Physical Environment Based on a User Profile
Mirri et al. Social location awareness: A prototype of altruistic iot
Suciu et al. A new concept of smart shopping platform based on IoT solutions
Qureshi et al. Fully integrated data communication framework by using visualization augmented reality for internet of things networks
US20150039434A1 (en) Establishing communication with a computing device based on the proximity of the computing device to a location
Nicholas et al. Failed hybrids: The death and life of Bluetooth proximity marketing
US20210241362A1 (en) System and method for augmented reality-enabled gift cards using an artificial intelligence-based product database
US20220366455A1 (en) Managing interactions of products and mobile devices
Tauseef et al. IoT Enabled Smart Advertisements Recommender for Shopping Marts
US20240078509A1 (en) Area based delivery order notification and management
KR20240059059A (ko) 수요자 유형에 따라 위치기반 맞춤형 쿠폰(일종의 마일리지)을 제공하는 방법 및 시스템
Lakshmi et al. Customer’s activity recognition in smart retail environment using AltBeacon
KR101662796B1 (ko) 시장 유통 재화 기반의 sns 시스템 및 방법
WO2024050213A1 (en) Area based delivery order notification and management
KR20220055163A (ko) 해외 직구 쇼핑몰을 사용자에게 제공하는 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240509

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251015

R150 Certificate of patent or registration of utility model

Ref document number: 7760497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150