JP2016028331A - 動的テンプレート追跡 - Google Patents

動的テンプレート追跡 Download PDF

Info

Publication number
JP2016028331A
JP2016028331A JP2015180786A JP2015180786A JP2016028331A JP 2016028331 A JP2016028331 A JP 2016028331A JP 2015180786 A JP2015180786 A JP 2015180786A JP 2015180786 A JP2015180786 A JP 2015180786A JP 2016028331 A JP2016028331 A JP 2016028331A
Authority
JP
Japan
Prior art keywords
image
target
tracking
processor
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015180786A
Other languages
English (en)
Other versions
JP6151323B2 (ja
Inventor
チャールズ・ウェーラー・スウィート・ザ・サード
Wheeler Sweet Charles Iii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016028331A publication Critical patent/JP2016028331A/ja
Application granted granted Critical
Publication of JP6151323B2 publication Critical patent/JP6151323B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ターゲットの位置がシフトしたときおよび/またはターゲットのカメラのパースペクティブが変化したときにターゲットを追跡する方法を提供する。【解決手段】一連の画像内のターゲットを追跡するために、第1の画像内のターゲットが、そのターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて検出される。ターゲットを追跡するための追跡テンプレートが、第1の画像を使用して作成される。第2の画像内のターゲットの位置が、追跡テンプレートを使用して特定される。【選択図】図8

Description

相互参照
本特許協力条約出願は、「Dynamic Template Tracking」と題する、2011年3月4日に出願された米国仮出願第61/449,500号、代理人整理番号第111018P1号、および「Dynamic Template Tracking」と題する、2011年12月2日に出願された米国非仮出願第13/310,529号、代理人整理番号第111018号の優先権を主張する。これらの出願は、すべての目的のために全文が参照により組み込まれる。
画像のセット内のターゲットの検出および追跡は、拡張現実(augmented reality)など、様々な目的のために有用であり得る。たとえば、ターゲットを検出し、追跡することは、現実世界の状況を追加情報で拡張するために使用され得る。画像キャプチャデバイスによってキャプチャされた画像は、画像キャプチャデバイスの視野中のエンティティに関係するグラフィックまたは音など、追加の感覚入力(sensory input)をユーザに与える情報で拡張され得る。拡張現実のいくつかの形態は、ユーザが追加の感覚入力で拡張することを望むエンティティに向けられているカメラを有するデバイスを伴う。拡張現実のこの形態を実行することは、第1に、画像内のエンティティを検出すること、第2に、後続の画像中でエンティティを追跡すること、および第3に、画像を追加情報で拡張することの少なくとも3つの段階を伴うことがある。画像内のターゲットを検出することに続いて、後続の画像中で、ターゲットの位置がシフトしたときおよび/またはターゲットのカメラのパースペクティブが変化したときにターゲットを追跡することは、信頼できないことがあり、および/またはプロセッサ集約的であり得る。
一連の画像内のターゲットを追跡するためのシステム、方法、デバイス、コンピュータプログラム、および装置について説明する。一連の画像内のターゲットを追跡するための方法の一例が提示され得る。本方法は、モバイルデバイスによって、第1の画像をキャプチャすることを含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本方法は、モバイルデバイスによって、第1の画像を使用して作成された追跡テンプレートを使用して、第2の画像内のターゲットの位置を特定することを含み得る。
そのような方法の実施形態は、以下のうちの1つまたは複数を含み得る。本方法は、モバイルデバイスによって、第1の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを含み得る。本方法は、モバイルデバイスによって、第1の画像の少なくとも一部分をリモートサーバに送信することを含み得る。本方法は、モバイルデバイスによって、リモートサーバから第1の画像を使用して作成された追跡テンプレートを受信することを含み得る。本方法は、モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することを含み得る。モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することは、モバイルデバイスによって、第1の画像の少なくとも一部分をリモートサーバに送信することと、モバイルデバイスによって、リモートサーバから記憶された基準テンプレートを受信することとを備え得る。モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することは、モバイルデバイスによって、第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信することと、モバイルデバイスによって、リモートサーバから記憶された基準テンプレートを受信することとを備え得る。モバイルデバイスによって、記憶された基準テンプレートに対応する第1の画像内のターゲットを検出することは、モバイルデバイスによって、第1の画像の少なくとも1つの記述子を、記憶された基準テンプレートの少なくとも1つの記述子と比較することを備え得る。本方法は、モバイルデバイスによって、第1の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信することを含み得る。
そのような方法の実施形態はまた、以下のうちの1つまたは複数を含み得る。本方法は、モバイルデバイスによって、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することを含み得る。モバイルデバイスによって、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することは、第2の画像を提示することと同時に、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することを備え得る。第2の画像を提示することと同時に、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することは、拡張現実ディスプレイの使用と、拡張現実ディスプレイ上の、記憶された基準テンプレートにリンクされたデータの少なくとも一部分のディスプレイのロケーションが、第2の画像中のターゲットのロケーションによって影響を及ぼされることとを備え得る。本方法は、追跡テンプレートを使用して、第2の画像内のターゲットの位置を特定することに続いて、モバイルデバイスによって、追跡テンプレートを使用して、一連の画像の追加画像の各画像内のターゲットの位置を特定することを含み得る。本方法は、モバイルデバイスによって、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを含み得る。本方法は、モバイルデバイスによって、姿勢情報を使用して第1の画像を修正することを含み得る。本方法は、モバイルデバイスによって、追跡テンプレートを作成するために第1の画像をクロップすることを含み得る。
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムの一例が提示され得る。本コンピュータプログラムは、プロセッサに、第1の画像をキャプチャさせることを行わせるように構成されたプロセッサ可読命令を備え得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第2の画像をキャプチャさせることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第1の画像を使用して作成された追跡テンプレートを使用して、第2の画像内のターゲットの位置を特定することを行わせるように構成され得る。
そのようなコンピュータプログラムの実施形態は、以下のうちの1つまたは複数を含み得る。プロセッサ可読命令は、プロセッサに、第1の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第1の画像の少なくとも一部分をリモートサーバに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、リモートサーバから第1の画像を使用して作成された追跡テンプレートを受信することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することを行わせるように構成され得る。プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、第1の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備え得る。プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える。
そのようなコンピュータプログラムの実施形態はまた、以下のうちの1つまたは複数を含み得る。プロセッサに、記憶された基準テンプレートに対応する第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第1の画像の少なくとも1つの記述子を、記憶された基準テンプレートの少なくとも1つの記述子と比較することを行わせるように構成されたプロセッサ可読命令を備える。プロセッサ可読命令は、プロセッサに、第1の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成され得る。プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第2の画像が提示されることと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、第2の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、拡張現実ディスプレイを使用することと、第2の画像中のターゲットのロケーションに基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報のディスプレイのロケーションを調整することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートを使用して、第2の画像内のターゲットの位置を特定することに続いて、追跡テンプレートを使用して、一連の画像の各画像内のターゲットの位置を特定することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、姿勢情報を使用して第1の画像を修正することと、追跡テンプレートを作成するために第1の画像をクロップすることとを行わせるように構成され得る。
一連の画像内のターゲットを追跡するためのデバイスの一例が提示され得る。本デバイスは画像キャプチャデバイスを含み得る。本デバイスはプロセッサを含み得る。本デバイスは、プロセッサに通信可能に結合され、プロセッサによって読取り可能なメモリであって、プロセッサによって実行されたとき、プロセッサに、画像キャプチャデバイスによって第1の画像をキャプチャさせることを行わせる一連のプロセッサ可読命令を記憶したメモリを含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサによって実行されたとき、第2の画像をキャプチャさせることを行うように構成され得る。プロセッサ可読命令は、プロセッサによって実行されたとき、第1の画像を使用して作成された追跡テンプレートを使用して、第2の画像内のターゲットの位置を特定することを行うように構成され得る。
そのような方法の実施形態は、以下のうちの1つまたは複数を含み得る。プロセッサ可読命令は、プロセッサによって実行されたとき、プロセッサに、第1の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを行わせるように構成され得る。本デバイスは、プロセッサに、第1の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから第1の画像を使用して作成された追跡テンプレートを受信することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、記憶された基準テンプレートに対応する第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第1の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、記憶された基準テンプレートに対応する第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、記憶された基準テンプレートに対応する第1の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第1の画像の少なくとも1つの記述子を、記憶された基準テンプレートの少なくとも1つの記述子と比較することを行わせるように構成されたプロセッサ可読命令を備え得る。
そのような方法の実施形態はまた、以下のうちの1つまたは複数を含み得る。本デバイスは、プロセッサに、第1の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信させることと、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第2の画像が提示されることと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、第2の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、拡張現実ディスプレイを使用することと、第2の画像中のターゲットのロケーションに基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分のディスプレイのロケーションを調整することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、追跡テンプレートを使用して、画像キャプチャデバイスによってキャプチャされた第2の画像内のターゲットの位置を特定することに続いて、追跡テンプレートを使用して、画像キャプチャデバイスによってキャプチャされた一連の画像の各画像内のターゲットの位置を特定することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、追跡テンプレートを作成するために第1の画像を修正し、クロップすることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択され得る。
一連の画像内のターゲットを追跡するための装置の一例が提示され得る。本装置は、第1の画像をキャプチャするための手段を含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本装置は、第1の画像を使用して作成された追跡テンプレートを使用して、第1の画像をキャプチャするための手段によってキャプチャされた第2の画像内のターゲットの位置を特定するための手段を含み得る。
そのような装置の実施形態は、以下のうちの1つまたは複数を含み得る。本装置は、第1の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成するための手段を含み得る。本装置は、第1の画像の少なくとも一部分をリモートサーバに送信するための手段を含み得る。本装置は、リモートサーバから第1の画像を使用して作成された追跡テンプレートを受信するための手段を含み得る。本装置は、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第1の画像内のターゲットを検出するための手段を含み得る。記憶された基準テンプレートに対応する第1の画像内のターゲットを検出するための手段は、第1の画像をリモートサーバに送信するための手段と、記憶された基準テンプレートを受信するための手段とを備え得る。記憶された基準テンプレートに対応する第1の画像内のターゲットを検出するための手段は、第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信するための手段と、記憶された基準テンプレートを受信するための手段とを備え得る。記憶された基準テンプレートに対応する第1の画像内のターゲットを検出するための手段は、第1の画像の少なくとも1つの記述子を、記憶された基準テンプレートの少なくとも1つの記述子と比較するための手段を備え得る。本装置は、第1の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信するための手段を含み得る。本装置は、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段を含み得る。
そのような装置の実施形態はまた、以下のうちの1つまたは複数を含み得る。データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段は、第2の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段を備え得る。第2の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段は、拡張現実ディスプレイを使用するための手段と、第2の画像中のターゲットのロケーションに少なくとも部分的に基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分のディスプレイのロケーションを調整するための手段とを備え得る。本装置は、追跡テンプレートを使用して、第1の画像をキャプチャするための手段によってキャプチャされた一連の画像の各追加画像内のターゲットの位置を特定するための手段を含み得る。本装置は、第1の画像を使用して姿勢情報を生成するための手段であって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成するための手段を含み得る。本装置は、姿勢情報を使用して第1の画像を修正するための手段を含み得る。本装置は、追跡テンプレートを作成するために第1の画像をクロップするための手段を含み得る。
一連の画像内のターゲットを追跡するための方法の一例が提示され得る。本方法は、コンピュータシステムによって、モバイルデバイスから第1の画像を受信することを含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本方法は、コンピュータシステムによって、第1の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを含み得る。本方法は、コンピュータシステムによって、追跡テンプレートをモバイルデバイスに送信することを含み得る。
そのような方法の実施形態は、以下のうちの1つまたは複数を含み得る。本方法は、コンピュータシステムによって、第1の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを含み得る。本方法は、コンピュータシステムによって、記憶された基準テンプレートをモバイルデバイスに送信することを含み得る。本方法は、コンピュータシステムによって、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信することを含み得る。本方法は、コンピュータシステムによって、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを含み得る。追跡テンプレートを作成することは、コンピュータシステムによって、姿勢情報を使用して第1の画像を修正することを備え得る。追跡テンプレートを作成することは、コンピュータシステムによって、修正された第1の画像をクロップすることをさらに備え得る。
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムの一例が提示され得る。本コンピュータプログラムは、プロセッサに、モバイルデバイスから第1の画像を受信することを行わせるように構成されたプロセッサ可読命令を備え得る。第1の画像はターゲットであり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第1の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートをモバイルデバイスに送信させることを行わせるように構成され得る。
そのようなコンピュータプログラムの実施形態は、以下のうちの1つまたは複数を含み得る。プロセッサ可読命令は、プロセッサに、第1の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、記憶された基準テンプレートをモバイルデバイスに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成され得る。プロセッサに、第1の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、姿勢情報を使用して第1の画像を修正することを行うように構成されたプロセッサ可読命令を備え得る。プロセッサに、第1の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、修正された第1の画像をクロップすることを行うように構成されたプロセッサ可読命令を備え得る。
一連の画像内のターゲットを追跡するためのデバイスの一例が提示され得る。本デバイスはプロセッサを含み得る。本デバイスは、プロセッサに通信可能に結合され、プロセッサによって読取り可能なメモリであって、プロセッサによって実行されたとき、プロセッサに、モバイルデバイスから第1の画像を受信することを行わせる一連のプロセッサ可読命令を記憶したメモリを含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第1の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを行わせるようにさらに構成され得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートをモバイルデバイスに送信させることを行わせるようにさらに構成され得る。
そのようなデバイスの実施形態は、以下のうちの1つまたは複数を含み得る。一連のプロセッサ可読命令は、プロセッサに、第1の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、記憶された基準テンプレートをモバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、第1の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、第1の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、姿勢情報を使用して第1の画像を修正することを行うように構成されたプロセッサ可読命令を備え得る。プロセッサに、第1の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、修正された第1の画像をクロップすることを行うように構成されたプロセッサ可読命令を備え得る。
一連の画像内のターゲットを追跡するための装置の一例が提示され得る。本装置は、モバイルデバイスから第1の画像を受信するための手段を含み得る。ターゲットが第1の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本装置は、第1の画像に基づいて追跡テンプレートを作成するための手段であって、追跡テンプレートが、一連の画像中でターゲットを追跡するために使用される、作成するための手段を含み得る。本装置は、追跡テンプレートをモバイルデバイスに送信するための手段を含み得る。
そのような装置の実施形態は、以下のうちの1つまたは複数を含み得る。本装置は、第1の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別するための手段を含み得る。本装置は、記憶された基準テンプレートをモバイルデバイスに送信するための手段を含み得る。本装置は、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信するための手段を含み得る。本装置は、第1の画像を使用して姿勢情報を生成するための手段であって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成するための手段を含み得る。追跡テンプレートを作成するための手段は、姿勢情報を使用して第1の画像を修正するための手段を備え得る。追跡テンプレートを作成するための手段は、修正された第1の画像をクロップするための手段をさらに備え得る。
以下の図面を参照すれば、本発明の性質および利点のさらなる理解が得られ得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第2のラベルとを続けることによって区別され得る。第1の参照ラベルのみが明細書において使用される場合、その説明は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のうちのいずれか1つに適用可能である。
エンティティを検出し、追跡するように構成されたモバイルデバイスの一実施形態を示す図。 動的テンプレート追跡のために構成されたシステムの一実施形態を示す図。 キャプチャされた画像の一実施形態を示す図。 図3のキャプチャされた画像中のターゲットを表す基準テンプレートの一実施形態を示す図。 キャプチャされた画像の別の実施形態を示す図。 修正された、図5のキャプチャされた画像の一実施形態を示す図。 クロップされた、図6の修正された画像の一実施形態を示す図。 動的テンプレート追跡のための方法の一実施形態を示す図。 モバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す図。 リモートサーバと通信しているモバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す図。 リモートサーバと通信しているモバイルデバイスによって実行される動的テンプレート追跡のための方法の別の実施形態を示す図。 コンピュータシステムの一実施形態を示す図。
画像のセット内のターゲットを検出し、追跡することは、拡張現実など、様々な目的のために有用であり得る。ターゲットと呼ばれる、追跡されることが望まれるエンティティが検出されると、後続の画像内のターゲットのロケーションが追跡され得る。たとえば、ユーザが、セルラーフォンなどのモバイルデバイスのカメラをエンティティの概略的な方向に向けている場合、エンティティは、最初にターゲットとして検出され、次いで、後続の画像中で追跡され得る。後続の画像内のエンティティのロケーションは、モバイルデバイスを保持するユーザの動きおよび/または追跡されているターゲットの動きにより変化し得る。
拡張現実の様々な形態は、画像内のエンティティが検出され、後続の画像中で追跡されることに依拠し得る。追加情報を含んでいるそのような画像がユーザに表示され得る(すなわち、追加情報で画像を拡張する)。ユーザに提示される追加情報は、どのエンティティが画像中に存在するかに少なくとも部分的に基づき得る。そのようなエンティティは、ターゲットとして検出され、後続のキャプチャされた画像中で追跡され得る。追加情報は、ターゲットと同時にユーザに提示され得る。したがって、ターゲットが後続の画像中で追跡されているとき、ユーザに提示される追加情報のロケーションは、後続の画像内のターゲットのロケーションによって影響を及ぼされ得る。
一例として、ムービーレンタルストアを訪問している間、ユーザは、セルラーフォンなどのモバイルデバイスのカメラをDVDケースに向け得る。DVDケースに向けられている間、モバイルデバイスは、(DVDケースが、記憶された基準テンプレートに十分類似するので)DVDケースをターゲットとして検出し、その特定のDVDケースのムービーにリンクされた情報を検索し得る。この例では、情報はDVDのためのムービートレーラである。セルフォンのカメラによってキャプチャされた後続の画像中でDVDケースが可視である間、ムービーのトレーラの再生が、その後キャプチャされた画像の上に重ねられ、トレーラのサウンドトラックが、場合によっては、セルフォンのオーディオシステムによって音声として再生される。したがって、後続の画像がモバイルデバイスのディスプレイスクリーンを介してユーザに表示されるとき、ユーザは、DVDケースの上に重なったムービーのトレーラを見ることができる。ユーザがモバイルデバイスおよびそれのカメラを移動したとき、ターゲットとして識別されたDVDケースは、後続のキャプチャされた画像中で追跡され続ける。ディスプレイスクリーン上に提示されたトレーラの配置および/またはパースペクティブは、後続の画像内のDVDケースのロケーションが変化したとき、トレーラがDVDケース上に直接表示されるように見えるように調整される。ユーザが、モバイルデバイスのカメラによってキャプチャされた画像中に第2のDVDケースが存在するようにセルフォンを移動した場合、第2のDVDケースに関連するムービーに関連するトレーラが、第2のDVDケースの上に重ねられ得る。
上記の例は、拡張現実とともに使用する、エンティティの検出および追跡の1つの可能な適用例を表す。より一般的には、拡張現実は、現実世界のエンティティを追加情報で補足するために使用され得る。そのような現実世界のエンティティはほぼ無限である。バーコード、消費者製品、ポスター、広告、星座、建築物、ランドマーク、人々、テキスト、および記号はすべて、ビデオ、テキスト、および/またはオーディオなどの追加情報で拡張され得るエンティティであり得る。拡張現実のほかに、本明細書で説明するエンティティの検出および追跡のための構成は、追加の用途を有し得る。
カメラが画像をキャプチャし、その画像の上に追加情報が重ねられる場合、検出および追跡は、追加情報に関連するターゲットを追跡するために実行され得る。検出では、コンピュータデバイスが、画像中に存在する1つまたは複数のエンティティを識別することを試みる。(「ターゲット」と呼ばれる)エンティティが画像中で認識されると、追跡が実行され得る。ターゲットは、1つまたは複数のその後キャプチャされた画像中で追跡され得る。一般に、ターゲットの追跡は、ターゲットの検出よりも少ない処理を使用する。
検出のいくつかの形態では、カメラによってキャプチャされた画像からの情報(たとえば、キーポイント、記述子)は、記憶された基準テンプレートにリンクされた情報(たとえば、キーポイント、記述子)と比較される。記憶された基準テンプレートが一致である(たとえば、ある量の許容差内で類似する)ことがわかった場合、記憶された基準テンプレートは、カメラによってキャプチャされた後続の画像中での追跡のために使用され得る。しかしながら、追跡のための記憶された基準テンプレートの使用は、良好な追跡のためには有効でないことがある。たとえば、記憶された基準テンプレートは、カメラによってキャプチャされた画像中に存在するターゲットに類似し得、「一致」と見なされ得るが、記憶された基準テンプレートとターゲットとの間の差異が、後続の画像中での追跡に悪影響を及ぼし得る。
したがって、記憶された基準テンプレートが、画像中に現れるターゲットに一致させられた後、追跡のために記憶された基準テンプレートを使用するのではなく、追跡テンプレートが画像から作成され得る。したがって、追跡テンプレートは、実際のターゲットの画像を使用して作成されたので、追跡テンプレートは、ターゲットに極めてぴったり一致することが予想され得る。したがって、使用されている追跡テンプレートが基準テンプレートよりもターゲットに類似するので、追跡はより良好になり得、および/またはあまりプロセッサ集約的にならないことがある。基準テンプレートおよび/または基準テンプレートに関連する情報は、検索され、場合によっては拡張現実ディスプレイの一部として、ユーザに提示され得る。
図1に、動的テンプレート追跡を使用して、エンティティを検出し、追跡するように構成されたモバイルデバイス110−1を含むシステム100の一実施形態を示す。システム100は、1つまたは複数のエンティティを検出し、追跡する(たとえば、複数の画像中で位置を特定する)ように構成された例示的な構成である。図示の実施形態では、エンティティは、エンティティに関係する追加情報が拡張現実ディスプレイを介してユーザに提示され得るように、識別され、追跡される。
モバイルデバイス110−1はユーザ130によって保持されている(簡単のために、図1ではユーザの手のみを示す)。モバイルデバイス110−1は、スマートフォンなどのセルラーフォンであり得る。モバイルデバイス110−1はまた、ポータブル音楽プレーヤ、ハンドヘルドゲームデバイス、タブレットコンピュータ、ラップトップコンピュータ、またはPDAなど、画像をキャプチャすることとユーザ130に画像を表示することとが可能な何らかの他のタイプのポータブル電子デバイスであり得る。モバイルデバイス110−1は画像キャプチャデバイス120を含む。画像キャプチャデバイス120は、静止画像および/またはビデオをキャプチャするように構成され得る。いくつかの実施形態では、画像キャプチャデバイス120は、毎秒約30個の画像をキャプチャすることが可能である。画像キャプチャデバイス120の視野は、想像線170−1および170−2によって示されている。
システム100では、モバイルデバイス110−1の画像キャプチャデバイス120は、DVDケース140を含む1つまたは複数の画像(たとえば、ビデオまたは一連の静止画像であり得る、一連の画像)をキャプチャしている。画像の一部または全部は、モバイルデバイス110−1のディスプレイスクリーンを介してユーザ130に提示され得る。DVDケース140は、DVDタイトル160とグラフィックデザイン150とを表示する。DVDタイトル160およびグラフィックデザイン150は、(「ビデオコンテンツ」と総称される)特定のムービーまたはTVショーに固有であり得る。したがって、DVDケース140の、画像キャプチャデバイス120によってキャプチャされた画像は、(たとえば、DVDケース140に固有のデータを指定するようにユーザ130に要求することなしに)DVDケース140に関連するビデオコンテンツを識別するのに十分な情報を含んでいることがある。モバイルデバイス110−1のディスプレイ(図示せず)は、(DVDタイトル160とグラフィックデザイン150とを含む)DVDケース140を含む画像キャプチャデバイス120の視野をユーザ130に表示し得る。図2のシステム200などのシステムが、1)DVDケース140など、モバイルデバイス110−1の視野中のエンティティを識別するため、2)DVDケース140の前の画像のために作成された追跡テンプレートを使用して、画像キャプチャデバイス120によってキャプチャされた後続の画像中でDVDケース140を追跡するため、3)DVDケース140に関連する、ビデオコンテンツなどの追加データを識別するため、および4)モバイルデバイス110−1の拡張現実ディスプレイを介してなど、ユーザに追加データを提示するために使用され得る。追加情報がムービートレーラである場合、ムービートレーラは、モバイルデバイス110−1のディスプレイスクリーン上のDVDケース140の一部または全部の上に重ねられ得る。たとえば、DVDトレーラはグラフィックデザイン150の上に重なり得る(したがって、少なくとも部分的にグラフィックデザイン150を隠し得る)。DVDタイトル160は、ユーザ130にとってモバイルデバイス110−1のディスプレイ上で可視のままになり得る。ユーザ130の手がモバイルデバイス110−1を移動したとき、画像キャプチャデバイス120によってキャプチャされた画像内のDVDケース140の位置は変化し得る。したがって、モバイルデバイス110−1を介して表示されるトレーラの配置およびパースペクティブは調整され得る。
図1のシステム100は、動的テンプレート追跡を実行するモバイルデバイスの可能な適用例を表す。ただし、システム100は一例にすぎないことを理解されたい。DVDカバーの拡張現実のほかに、多くの他の適用例が可能であり得る。たとえば、バーコード、テキスト、製品、人々、広告、建築物、ランドマーク、および/または記号の画像は、動的テンプレート追跡および/または拡張現実のための他の実施形態において使用され得る他のエンティティであり得る。
モバイルデバイス110−1によってキャプチャされた画像内のターゲットを検出するために、画像から導出された情報が、記憶された基準情報と比較され得る。たとえば、モバイルデバイス110−1によってキャプチャされた画像内の様々なキーポイントは、キーポイントの一部または全部の近傍におけるルミネセンスの階調度(gradient)を詳述する記述子の作成とともに、代表的な記憶された基準テンプレートを識別するために使用され得る。キャプチャされた画像からの1つまたは複数のキーポイントおよび/または記述子は、1つまたは複数の記憶された基準テンプレートからの1つまたは複数のキーポイントおよび/または記述子と比較され得る。モバイルデバイス110−1によってキャプチャされた画像のキーポイントおよび/または記述子と基準テンプレートのキーポイントおよび/または記述子との間の比較は、モバイルデバイス110−1によってキャプチャされた画像中に存在するターゲットを表す可能性のある基準テンプレートが識別されることを可能にし得る。モバイルデバイス110−1によってキャプチャされた画像中のエンティティを「表す」基準テンプレートは、基準テンプレートとキャプチャされた画像中のエンティティとが追加情報の同じセットにリンクされることが予想されるのに十分、キャプチャされた画像中のエンティティに類似する基準テンプレートであり得る。これの一例として、同じムービーのためのDVDケースとムービーポスターの記憶された基準テンプレートとについて考える。ケース上の情報の構成と基準テンプレート上の情報の構成とは異なり得るが(たとえば、異なるロケーション、わずかに異なるグラフィック)、DVDケースと基準テンプレートの両方は、基準テンプレートにリンクされた追加情報であり得る同じムービートレーラに関係する。したがって、基準テンプレートはDVDケースとの差異を有するが、両方は、同じ基礎をなす情報(同じムービー)に関係し、基準テンプレートにリンクされたトレーラはDVDケースに関係する。
図2に、動的テンプレート追跡のために構成されたシステム200の一実施形態を示す。システム200は、モバイルデバイス110、ワイヤレスネットワーク210、ネットワーク220、リモートサーバ230、および基準データベース240などの構成要素を含み得る。
モバイルデバイス110は、ワイヤレスネットワーク210とワイヤレス通信することができる。ワイヤレスネットワーク210はセルラーネットワークを表し得る。いくつかの実施形態では、モバイルデバイス110の一部または全部は、家庭用Wi−Fi(登録商標)ネットワークなどのローカルワイヤレスネットワークと通信し得る。ワイヤレスネットワークの他の実施形態も可能である。ワイヤレスネットワーク210は、ネットワーク220を介してリモートサーバ230と通信し得る。ネットワーク220は、(インターネットなどの)公衆ネットワーク、(企業内イントラネットなどの)プライベートネットワーク、またはそれらの何らかの組合せを表し得る。
リモートサーバ230は、モバイルデバイス110が、動的テンプレート追跡を実行するときにそれと通信するように構成されたコンピュータシステムを表し得る。リモートサーバ230は、ローカルで記憶された、記憶された基準テンプレートを有し得るか、または記憶された基準テンプレートへのリモートアクセスを有し得る。基準テンプレートは基準データベース240−1に記憶され得る。基準テンプレートは、モバイルデバイス110によってキャプチャされた画像中のターゲットであり得るエンティティの画像(またはキーポイントおよび記述子)のセットであり得る。たとえば、様々なエンティティの数十個、数百個、数千個、さらには数十万個の画像(またはキーポイントおよび記述子)が基準テンプレートとして記憶され得る。これらの基準テンプレートの一部または全部が追加情報にリンクされ得る。多数の基準テンプレートが存在する場合、基準データベース240−1は著しく大きい記憶容量を必要とし得る。各基準テンプレートは、それに関連する(100個のキーポイントなどの)様々なキーポイントと、それらのキーポイントの一部または全部に関連する記述子とを有し得る。これらのキーポイントおよび記述子は、基準テンプレートが、ある量の許容差内で、モバイルデバイス110−1によってキャプチャされた画像中に存在するエンティティを表すかどうかを判断するために使用され得る。いくつかの実施形態では、基準テンプレートは、エンティティをターゲットとして識別するのに十分な情報を含んでおり、基準テンプレートが表すエンティティの画像を含んでいない。
いくつかの実施形態では、基準データベース240−1が、リモートサーバ230と通信し、ワイヤレスネットワーク210およびネットワーク220を介してモバイルデバイス110によってアクセス可能であるのではなく、基準テンプレートがモバイルデバイスによってローカルで記憶され得る。モバイルデバイス110−1を参照すると、基準データベース240−2はローカルで記憶され得る。基準データベース240−2は、基準データベース240−1と同様のデータを含み得る。いくつかの実施形態では、基準データベース240−2は、代表的な基準テンプレートについて最初に探索され得、何も見つからなかった場合、基準データベース240−1が探索され得る。基準データベース240−2のみが使用される場合、リモートサーバ230との通信は必要でないことがある。基準データベース240−2にローカルで記憶された基準テンプレートは、モバイルデバイス110−1において利用可能な記憶空間の量により、基準データベース240−1に記憶された基準テンプレートよりも数が少ないことがある。基準データベース240はまた、各基準テンプレートにリンクされた追加データを記憶し得る。いくつかの実施形態では、そのようなデータは、別個のストレージ構成に記憶される。
モバイルデバイス110は、図示のように3つのモバイルデバイスを含み得る。モバイルデバイス110のこの数は例示のためのものにすぎず、より多いまたはより少ないモバイルデバイスが存在し得る。モバイルデバイス110−1は、追加の構成要素を有するものとして示されている。他のモバイルデバイスも、これらまたは同様の構成要素を有し得る。モバイルデバイス110−1は、プロセッサ212と、画像キャプチャデバイス120と、ディスプレイ214と、基準データベース240−2とを含んでいる。プロセッサ212は、キーポイントおよび/または記述子を識別するためになど、画像キャプチャデバイス120によってキャプチャされた画像を処理するために使用され得る。画像キャプチャデバイス120は、静止画像および/またはビデオ(たとえば、前の画像のすぐ後にキャプチャされた一連の画像)をキャプチャし得る。ディスプレイ214は、画像キャプチャデバイス120によってキャプチャされた画像の一部または全部をユーザに提示するために使用され得る。ディスプレイ214は、リモートサーバ230から検索されたデータがその上に重ねられた、画像キャプチャデバイス120によってキャプチャされた画像など、拡張現実ディスプレイをユーザに提示するために使用され得る。ディスプレイ214は、モバイルデバイスのディスプレイスクリーンであり得る。いくつかの実施形態では、ディスプレイは、ユーザによって着用される眼鏡など、何らかの形態のヘッドマウントディスプレイであり得る。そのような実施形態では、画像キャプチャデバイスは、眼鏡に取り付けられ、および/または(画像キャプチャデバイス120が、ユーザが見ている可能性のあるものと同様のシーンを含んでいる画像をキャプチャするように)眼鏡が面する方向に向けられ得る。基準データベース240−2は、画像キャプチャデバイス120によってキャプチャされた画像中のターゲットを識別するための基準テンプレートを記憶するために使用され得る。
いくつかの実施形態では、モバイルデバイス110−1によってキャプチャされた画像の処理は、モバイルデバイス110−1によって実行される。他の実施形態では、画像処理の一部または全部は、リモートサーバ230によってなど、リモートで実行され得る。そのような実施形態では、モバイルデバイス110−1は、処理のために、キャプチャされた画像をリモートサーバ230に送信し得る。リモートサーバ230による処理に続いて、追跡がモバイルデバイス110−1によってローカルで実行され得る。
図3に、モバイルデバイスによってキャプチャされた画像300の一実施形態を示す。この実施形態では、ユーザは、図1のモバイルデバイス110−1などのモバイルデバイスを使用して、ムービーポスター310の画像をキャプチャした。図示の実施形態では、ムービーポスター310は、「スーパーアクションムービー:復讐」と呼ばれるムービーのものである。ムービーポスター310上には、ムービーに関連するグラフィックがある。画像をキャプチャするために使用されるモバイルデバイスを操作するユーザが、ポスターに対して斜めから画像をキャプチャしたので、ムービーポスター310は歪んだように見える。ムービーポスター310に加えて、他のエンティティが、キャプチャされた画像中に存在し得る。一例として、2つのライト320が示されている。
モバイルデバイスによってキャプチャされたこの画像から、(モバイルデバイスによってローカルで、または図2のリモートサーバ230などのリモートサーバによって)キーポイントおよび/または記述子が識別され得る。キーポイントおよび/または記述子は、ローカルまたはリモートのいずれかで記憶された基準テンプレートを識別するために使用され得る。基準テンプレートは、それぞれ基準データベース240−2または基準データベース240−1など、モバイルデバイスまたはリモートストレージデバイスのいずれかによって複数の基準テンプレートの中で記憶され得る。
図4に、基準テンプレート400の一実施形態を示す。基準テンプレート400は、ムービー「スーパーアクションムービー:復讐」のための、突出したDVDをもつDVDケースの画像である。基準テンプレート400は、図3の画像300にリンクされたキーポイントおよび/または記述子と、図4の基準テンプレート400にリンクされたキーポイントおよび/または記述子との類似度に基づいて、複数の基準テンプレートから選択されていることがある。したがって、図4の識別された基準テンプレート400は、図3の画像300のDVDカバーに正しく関係する。ムービーポスター310と基準テンプレート400のDVDケースとは異なるエンティティであるが、両方は、同じ基礎をなす情報、すなわちムービー「スーパーアクションムービー:復讐」に関係する。したがって、ムービーのためのトレーラなど、基準テンプレート400に関係する情報は、ムービーポスターに関係する可能性がある。
図3のターゲット(ムービーポスター310)と図4の基準テンプレート400との間の差異が存在する。たとえば、基準テンプレート400と画像300のターゲットとの間の1つの主要な差異は、基準テンプレート400では、DVDケースからDVDが部分的に突出していることである。さらに、ムービーのタイトルが、基準テンプレート400では画像300のムービーポスター310とは異なる位置にある。基準テンプレート400の下部の「スタジオ27プロダクション」という文言など、他の差異も存在する。そのような差異は、検出が依然として正確に実行され得るのに十分わずかであり得る。しかしながら、そのような差異は、基準テンプレート400が、モバイルデバイスによってキャプチャされた後続の画像中で画像300のターゲットを追跡するために使用される場合、追跡に悪影響を及ぼし得る。
したがって、追跡のために基準テンプレートを使用するのではなく、動的テンプレート追跡は、追跡テンプレートが、追跡されるべきターゲットのキャプチャされた画像から作成されることを可能にする。画像中のターゲットが基準テンプレートを使用して検出された後、モバイルデバイスによってキャプチャされた画像は、モバイルデバイスによってキャプチャされた後続の画像中での追跡のために使用される追跡テンプレートを作成するために様々な処理を受け得る。図3および図4の例を参照すると、基準テンプレート400は、画像300中のムービーポスター310のターゲットを検出するために使用され得る。しかしながら、ターゲットを追跡するために、追跡テンプレートが画像300から作成され得る。
図6および図7に、図5のキャプチャされた画像に基づいて作成され得る画像を示す。図6および7図では、図5の画像500のキーポイントおよび/または記述子と基準テンプレートのキーポイントおよび記述子との比較を通して識別されたチェッカーボードがターゲットとして識別された。
図5は、図1のモバイルデバイス110−1などのモバイルデバイスによってキャプチャされた画像500の一実施形態を示している。画像500のキーポイントおよび/または記述子と、1つまたは複数の基準テンプレートのキーポイントおよび/または記述子との間の比較に基づいて、特定の基準テンプレートが、画像500内のターゲットを表すものとして識別され得る。この基準テンプレートは、チェッカーボードがターゲットであることを示し得る。したがって、追跡のために、追跡テンプレートが画像500から作成され得る。図6は、画像500を使用して作成された修正された画像の一実施形態を示している。修正された画像600は、画像を標準座標系に変換することによって、(チェッカーボードに対して斜めに保持されているモバイルデバイスが画像500をキャプチャしたことなどによる)画像ひずみを補正する。修正は、アフィンワーピング(Affine warping)または透視ワーピング(perspective warping)などの方法を使用して実行され得る。修正により、修正された画像600のチェッカーボードは、近似的に正面から見られているようになり得る。図7は、修正された画像600を使用して作成されたクロップされた画像の一実施形態を示している。画像700は、画像700中にターゲット(およびターゲット上の物体)のみが実質的に存在するようにクロップされ得る。したがって、画像700は、画像500をキャプチャしたモバイルデバイスによってキャプチャされた後続の画像中でチェッカーボードを追跡するための追跡テンプレートとして使用され得る。
モバイルデバイス110−1などのモバイルデバイスは、システム200、または動的テンプレート追跡のために構成された何らかの他のシステムとともに、動的テンプレート追跡のための様々な方法を実行するために使用され得る。図8に、モバイルデバイスを使用して実行される動的テンプレート追跡のための方法800の一実施形態を示す。方法800の各段階は、モバイルデバイス110−1などのモバイルデバイスによって実行され得る。代替的に、方法800の各段階は、リモートサーバ230などのコンピュータシステムによって実行され得る。
段階810において、基準追跡テンプレートの記憶されたセットを使用して、第1の画像内のターゲットを検出する。ターゲットである第1の画像内のエンティティを検出するために、第1の画像のための1つまたは複数のキーポイントおよび/または記述子が識別され得る。これらのキーポイントおよび記述子は、1つまたは複数の基準テンプレートのためのキーポイントおよび/または記述子と比較され得る。基準テンプレートのうちの1つのためのキーポイントおよび/または記述子が、第1の画像のためのキーポイントおよび/または記述子に十分近い(たとえば、所定の量の許容差内である)場合、基準テンプレートは、第1の画像内のターゲットを表すと見なされ得る。このターゲットが基準テンプレートに一致するので、このターゲットは追跡され得る。
段階820において、第1の画像内で検出されたターゲットのための追跡テンプレートを作成する。追跡テンプレートは、第1の画像を使用して作成され得る。第1の画像は、追跡されるべきターゲットのみを実質的に含んでいる画像を作成するために修正および/またはクロップされ得る。したがって、追跡テンプレートは、基準テンプレートとの比較のために使用された第1の画像から作成され得る。いくつかの実施形態では、追跡テンプレートは、ターゲットの第1の画像がキャプチャされる前またはキャプチャされた後にキャプチャされた何らかの他の画像によって作成され得る。
段階830において、追跡テンプレートを使用して、第2の画像中のターゲットの位置を特定する。第2の画像は、第1の画像の後にキャプチャされ得る。第1の画像がキャプチャされたときと第2の画像がキャプチャされたときとの間に1つまたは複数の他の画像がキャプチャされ得ることを理解されたい。たとえば、画像キャプチャデバイスは、ビデオの形態で画像を継続的にキャプチャし得る。第2の画像の後にキャプチャされた画像中のターゲットの位置も、追跡テンプレートを使用して特定され得る。したがって、追跡テンプレートは、ビデオなど、一連のキャプチャされた画像中でターゲットを追跡するために使用され得る。追跡されている実際のターゲットの画像を使用して作成された追跡テンプレートを使用してターゲットを追跡することは、基準テンプレートを使用する追跡よりも有効であり得る(たとえば、ターゲットを正しく追いかける可能性が高いことがあり、および/またはあまりプロセッサ集約的でないことがある)。
図9に、モバイルデバイスによって実行される動的テンプレート追跡のための方法900の一実施形態を示す。方法900の実施形態では、基準テンプレートは、モバイルデバイスによってローカルで記憶される。方法900は、システム200、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図2のシステム200を参照すると、モバイルデバイス110−1は、基準データベース240−2に記憶された基準テンプレートを使用し得る。
段階910において、モバイルデバイスによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、有形(たとえば、非一時的)コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階920において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、複数の基準テンプレート中に存在する基準テンプレートの数は、10など、小さいことがある。他の実施形態では、記憶された基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、データベースを使用してモバイルデバイス上に記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。たとえば、各基準テンプレートはムービーに関連し得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、対応する画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、モバイルデバイスによってローカルで記憶された追加情報、またはリモートサーバにおいてなど、リモートで記憶された追加情報のいずれかにリンクされ得る。
段階920において、モバイルデバイスは画像をキャプチャする。図2のモバイルデバイス110−1を参照すると、画像キャプチャデバイス120が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階930において、モバイルデバイスによって、この画像内の様々なキーポイントおよび/または記述子を識別する。いくつかの実施形態では、段階920においてキャプチャされた画像中の約100個のキーポイントが識別される。キーポイントの一部または全部について、(対応するキーポイントの近傍におけるルミネセンスの階調度を表す)記述子が作成され得る。
段階940において、基準テンプレートを記憶するコンピュータ可読記憶媒体にアクセスし、キャプチャされた画像内のエンティティを表す基準テンプレートを検索する。段階930において、キャプチャされた第1の画像について識別されたキーポイントおよび記述子を使用して、段階940において、記憶された基準テンプレートを探索する。探索は、(ある量の許容差内で)類似するキーポイントおよび/または記述子を有する基準テンプレートを識別する試みであり得る。基準テンプレートが、ある量の許容差内で第1の画像に類似するキーポイントおよび/または記述子を有しない場合、これは、追跡されるべきターゲットが画像内に存在しない(または、少なくとも、うまく識別され得なかった)ことを意味し得る。類似するキーポイントと記述子とを有する基準テンプレートが見つかった場合、この基準テンプレートは、段階920においてキャプチャされた画像中のターゲットであるエンティティを表すと判断され得る。一例として、画像300は、図4の基準テンプレート400と同じムービーに関係するポスターのターゲットを含んでいる。類似するが、画像300のムービーポスターと基準テンプレート400とは同等ではなく、ただし、基準テンプレートがターゲットを表すと見なされるのに十分類似し得る。
段階950において、モバイルデバイスによって姿勢情報を生成する。ホモグラフィなどの技法が、段階940において検索された基準テンプレートと段階920においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。たとえば、この姿勢情報は、(図3の画像300のムービーポスター310などの)斜めにキャプチャされた画像中のターゲットと(図4の基準テンプレート400などの)基準テンプレートとの間の関係を記述するのに役立ち得る。
段階960において、ターゲットを含んでいるキャプチャされた画像を修正する。段階920においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、(ターゲットに対して斜めに保持されているモバイルデバイスが画像500をキャプチャしたことによって生じた画像ひずみなどの)画像ひずみを補正することができる。これは、第1の画像に基づいて新しい画像を作成すること、または第1の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が使用され得る。したがって、段階960の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
段階970において、段階960の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階970の後に、ターゲットの修正されクロップされた画像がモバイルデバイスによって作成されていることがある。前の3つの段階は様々な画像処理機能を指すが、コントラスト調整、画像回転、輝度調整、カラー調整など、他の画像処理も実行され得ることを理解されたい。
段階980において、段階970において作成された、修正されクロップされた画像は、第1の画像のキャプチャの後にモバイルデバイスによってキャプチャされた画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた各(または少なくともいくつかの)後続の画像中のターゲットの位置を特定することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されているターゲットの実際の画像から作成されるので、効率的な追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表すと判断された基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
段階990において、段階940において検索された基準テンプレートにリンクされたユーザ識別可能情報(またはデータ)をユーザに提示する。このユーザ識別可能データは、モバイルデバイスによってローカルで記憶され得るか、またはリモートサーバによってなどリモートで記憶され得る。リモートで記憶された場合、モバイルデバイスは、選択された基準テンプレートに基づくデータを最初に要求し得る。ユーザ識別可能データの一部または全部がユーザに提示され得る。たとえば、図3および図4の例を参照すると、図4の基準テンプレート400に関連するデータは、DVD上のムービーのためのトレーラであり得る。このトレーラが、モバイルデバイスによってユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータは、拡張現実ディスプレイを介してユーザに提示される。再びムービートレーラの例を参照すると、トレーラは、モバイルデバイスのスクリーン上でユーザに提示され得る。スクリーンは、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた一連の画像(たとえば、ビデオストリーム)を示し得る。ターゲットは、この一連の画像中で追跡され続け得る。トレーラは、一連の画像の上に重なり得る。たとえば、トレーラは、場合によっては、段階950において生成された姿勢情報を使用して、モバイルデバイスの視野中に存在するムービーポスター上で再生しているように見えるように表示され得る。画像キャプチャデバイスが移動され、したがって、画像キャプチャデバイスの視野中のムービーポスターターゲットが移動した場合、依然として、トレーラがムービーポスター上で再生されているように見えるように、トレーラを表示するために使用されるスクリーンの部分が変化し得る。これが行われている間、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた画像は、キーポイントおよび記述子を識別し、そのようなキーポイントおよび記述子を記憶された基準テンプレートと比較することによって、追加のターゲットについて探索され得る。
図10に、リモートサーバと通信するモバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す。方法1000の実施形態では、基準テンプレートは、画像をキャプチャするために使用されるモバイルデバイスからリモートで記憶される。方法1000は、システム200、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図2のシステム200を参照すると、モバイルデバイス110−1は、システム200のリモートサーバ230などのリモートサーバから基準テンプレートが検索される間、画像をキャプチャし得る。
段階1005において、リモートコンピュータシステムによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、有形(たとえば、非一時的)コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階1010において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、基準テンプレートの数は、10など、小さいことがある。他の実施形態では、複数の基準テンプレート中の基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、リモートサーバによってデータベースに記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。たとえば、各基準テンプレートはムービーに関連し得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、実際の画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、モバイルデバイスによってローカルで記憶された追加情報、またはリモートサーバにおいてなど、リモートで記憶された追加情報のいずれかにリンクされ得る。
段階1010において、モバイルデバイスは画像をキャプチャする。図2のモバイルデバイス110−1を参照すると、画像キャプチャデバイス120が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階1020において、モバイルデバイスによって、この画像内の様々なキーポイントおよび/または記述子を識別する。いくつかの実施形態では、段階1010においてキャプチャされた画像中の約100個のキーポイントが識別される。キーポイントの一部または全部について、(対応するキーポイントの近傍におけるルミネセンスの階調度を表す)記述子が作成され得る。
段階1030において、1つまたは複数のネットワークを使用して、モバイルデバイスによってキーポイントおよび/または記述子をリモートサーバに送信する。段階1032において、リモートサーバによってキーポイントおよび/または記述子を受信する。いくつかの実施形態では、キーポイントのみが使用され、いくつかの実施形態では、キーポイントと記述子とが使用され得る。記述子のみを使用することも可能であり得る。
段階1034において、キーポイントおよび/または記述子に基づいて、リモートサーバは、有形(たとえば、非一時的な製造された)コンピュータ可読媒体から(ある量の許容差内で)類似するキーポイントおよび/または記述子にリンクされた基準テンプレートを検索する。たとえば、リモートサーバは、基準テンプレートを探索するために、コンピュータ可読媒体に記憶された、図2の基準データベース240−2などのデータベースにアクセスし得る。検索される基準テンプレートは、リモートサーバによって記憶された、数百個、数千個、または数十万個の基準テンプレートの中から選択され得る。段階1036において、リモートサーバによって検索された、第1の画像中のターゲットを表すと判断された基準テンプレートをモバイルデバイスに送信する。第1の画像中のターゲットを表す基準テンプレートがないと判断された場合、そのように指示する応答がモバイルデバイスに送信され得る。段階1040において、モバイルデバイスによって、もしあれば、基準テンプレートを受信する。
段階1050において、モバイルデバイスによって、リモートサーバから受信した基準テンプレートを使用する再検出を実行する。再検出は、段階1010においてキャプチャされた画像よりも最近キャプチャされた画像内のターゲットを再検出することを伴い得る。たとえば、いくつかの実施形態では、モバイルデバイスは、毎秒数回など、定期的に画像をキャプチャしていることがある。段階1010と段階1040との間に経過した時間中に、ユーザは、ターゲットが、異なる角度から見られているようにおよび/または画像キャプチャデバイスの視野内の異なる位置にあるように、モバイルデバイスを移動していることがある。この時間中に、モバイルデバイスは、画像をキャプチャし続けていることがある。したがって、再検出は、基準テンプレートとターゲットとの間の(より)正確な関係を考慮に入れるために、より最近のキャプチャされた画像が、姿勢情報を生成するために使用されることを可能にし得る。したがって、段階1050は、再検出のために使用されるべき、ターゲットの1つまたは複数の追加画像のキャプチャを伴い得る。段階1050の再検出は、より最近キャプチャされた画像内に存在するキーポイントおよび/または記述子を識別することを伴い得る。
段階1060において、モバイルデバイスによって姿勢情報を生成する。ホモグラフィなどの技法が、段階1040において受信された基準テンプレートと段階1010または段階1050においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。
段階1070において、ターゲットを含んでいるキャプチャされた画像を修正する。段階1010においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、(ターゲットに対して斜めに保持されているモバイルデバイスが画像500をキャプチャしたことによって生じた画像ひずみなどの)画像ひずみを補正することができる。これは、第1の画像に基づいて新しい画像を作成すること、または第1の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が使用され得る。したがって、段階1070の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
段階1080において、段階1070の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階1080の後に、ターゲットの修正されクロップされた画像がモバイルデバイスによって作成されていることがある。
段階1090において、第2の画像をキャプチャする。1つまたは複数の追加画像が、段階1050においてなど、段階1010と段階1090との間に、モバイルデバイスの画像キャプチャデバイスによってキャプチャされていることがある。
段階1095において、段階1080において作成された、修正されクロップされた画像は、段階1090においてキャプチャされた第2の画像など、第1の画像のキャプチャの後にモバイルデバイスによってキャプチャされた画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた各(または少なくともいくつかの)後続の画像中のターゲットを識別することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されるべきターゲットの実際の画像から作成されるので、効率的な追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表す基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
段階1095と同時に、段階1040において受信された基準テンプレートにリンクされたデータをユーザに提示する。このデータはリモートサーバから検索され得る。リモートサーバは、段階1034において基準テンプレートを検索したことに応答して、このデータを送信し得る。データの一部または全部がユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータ(および/または基準テンプレートの画像)は、拡張現実ディスプレイを介してユーザに提示される。
図11に、リモートサーバと通信するモバイルデバイスによって実行される動的テンプレート追跡のための方法1100の別の実施形態を示す。方法1100の実施形態では、基準テンプレートは、画像をキャプチャするために使用されるモバイルデバイスからリモートで記憶される。さらに、モバイルデバイスによってキャプチャされた画像の処理がリモートサーバによって実行される。方法1100は、システム200、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図2のシステム200を参照すると、モバイルデバイス110−1は、システム200のリモートサーバ230などのリモートサーバによって処理が実行される間、画像をキャプチャし得る。
段階1105において、リモートコンピュータシステムによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階1110において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、複数の基準テンプレート中に存在する基準テンプレートの数は、10など、小さいことがある。他の実施形態では、基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、リモートサーバによってデータベースに記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、実際の画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、リモートサーバにおいてなど、モバイルデバイスからリモートで記憶された追加情報にリンクされ得る。
段階1110において、モバイルデバイスは画像をキャプチャする。図2のモバイルデバイス110−1を参照すると、画像キャプチャデバイス120が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階1115において、1つまたは複数のネットワークを介して、モバイルデバイスによってキャプチャされた第1の画像をリモートサーバに送信する。段階1120において、リモートサーバは第1の画像を受信する。
段階1125において、リモートサーバによって、この画像内の様々なキーポイントおよび/または記述子を識別する。いくつかの実施形態では、段階1110においてキャプチャされた画像中の約100個のキーポイントが識別される。キーポイントの一部または全部について、(対応するキーポイントの近傍におけるルミネセンスの階調度を表す)記述子が作成され得る。
キーポイントおよび/または記述子に基づいて、リモートサーバは、段階1130において、コンピュータ可読媒体から(ある量の許容差内で)類似するキーポイントおよび/または記述子にリンクされた基準テンプレートを検索する。たとえば、リモートサーバは、基準テンプレートを探索するために、コンピュータ可読媒体に記憶された、図2の基準データベース240−2などのデータベースにアクセスし得る。検索される基準テンプレートは、リモートサーバによって記憶された、数百個、数千個、または数十万個の基準テンプレートの中から選択され得る。ターゲットを表す基準テンプレートが、キャプチャされた画像中に見つからないと判断された場合、そのように指示する応答がモバイルデバイスに送信され得る。
段階1135において、リモートサーバによって姿勢情報を生成する。ホモグラフィなどの技法が、段階1130において検索された基準テンプレートと段階1110においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。
段階1140において、ターゲットを含んでいるキャプチャされた画像を修正する。段階1110においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、(ターゲットに対して斜めに保持されているモバイルデバイスが画像500をキャプチャしたことによって生じた画像ひずみなどの)画像ひずみを補正することができる。これは、第1の画像に基づいて新しい画像を作成すること、または第1の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が、段階1135において生成された姿勢を使用して画像をワーピングするために使用され得る。したがって、段階1140の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
段階1145において、段階1140の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階1145の後に、追跡テンプレートとして使用されるべき、ターゲットの修正されクロップされた画像が、リモートサーバによって作成されていることがある。モバイルデバイスではなく、リモートサーバにおける追跡テンプレートのそのような作成は、リモートサーバにおいて増加した処理能力が利用可能であること、および/または(たとえば、モバイルデバイスによってバッテリーが使用されている場合)電力消費に対する懸念がより少ないことにより、より効率的であり得る。段階1150において、追跡テンプレートをモバイルデバイスに送信する。段階1155において、モバイルデバイスによって追跡テンプレートを受信する。段階1160において、モバイルデバイスは、メモリなどのローカルコンピュータ可読媒体を使用して追跡テンプレートを記憶する。
段階1165において、モバイルデバイスによって、リモートサーバから受信した基準テンプレートを使用する再検出を実行する。再検出は、段階1110においてキャプチャされた画像よりも最近キャプチャされた画像内のターゲットを再検出することを伴い得る。たとえば、いくつかの実施形態では、モバイルデバイスは、毎秒数回など、定期的に画像をキャプチャしていることがある。段階1110と段階1165との間に経過した時間中に、ユーザは、ターゲットが、異なる角度から見られているようにおよび/または画像キャプチャデバイスの視野内の異なる位置にあるように、モバイルデバイスを移動していることがある。この時間中に、モバイルデバイスは、画像をキャプチャし続けていることがある。したがって、再検出は、基準テンプレートとターゲットとの間の(より)正確な関係を考慮に入れるために、より最近のキャプチャされた画像が、姿勢情報を生成するために使用されることを可能にし得る。したがって、段階1165は、再検出のために使用されるべき1つまたは複数の追加画像のキャプチャを伴い得る。段階1165の再検出は、より最近キャプチャされた画像内に存在するキーポイントと記述子とを識別することを伴い得る。
段階1170において、第2の画像をキャプチャする。明快のために、1つまたは複数の追加画像が、段階1165においてなど、段階1110と段階1170との間に、モバイルデバイスの画像キャプチャデバイスによってキャプチャされていることがある。
段階1175において、段階1155においてモバイルデバイスによって受信された、修正されクロップされた画像は、モバイルデバイスによってキャプチャされた第2の画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、第2の画像中のターゲットを識別することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されているターゲットの実際の画像から作成されるので、有効な(たとえば、より正確な)追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表す基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
画像は、モバイルデバイスによってキャプチャされ続け得る。段階1180において、第2の画像中のターゲットの位置を特定するために使用された追跡テンプレートを使用して、これらのその後キャプチャされた画像中で画像を追跡する。追跡テンプレートは、ターゲットが、もはや画像キャプチャデバイスの視野中になくなるまで、または、もはや追跡されることを望まれなくなるまで、その後キャプチャされた画像中のターゲットの位置を特定し続けるために使用され得る。モバイルデバイスの画像キャプチャデバイスによってキャプチャされた画像の一部または全部が、場合によっては、データがその上に重ねられた拡張ディスプレイの形態でユーザに提示され得る。その後キャプチャされた画像中のターゲットの位置を特定するために追跡テンプレートを使用する際に、前にキャプチャされた画像からの追加情報(たとえば、前の画像中のターゲットのロケーション)も使用され得る。
段階1170以降と同時に、段階1130において検索された基準テンプレートにリンクされたデータをユーザに提示する。このデータはリモートサーバから検索され得る。リモートサーバは、段階1130において基準テンプレートを検索したことに応答して、このデータを送信し得る。データの一部または全部がユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータ(および/または基準テンプレートの画像)は、拡張現実ディスプレイを介してユーザに提示される。
モバイルデバイス110−1を含むモバイルデバイス110など、前に詳述したモバイルデバイスはコンピュータ化され得る。図12に、コンピュータシステムの一実施形態を示す。コンピュータシステム1200は、モバイルデバイスの構成要素のいくつかを表し得、図2のリモートサーバ230など、説明したリモートサーバを表し得る。図12は、本明細書で説明する、様々な他の実施形態によって提供される方法を実行することができ、ならびに/あるいはホストコンピュータシステムおよび/またはモバイルデバイスとして機能することができる、コンピュータシステム1200の一実施形態の概略図を与えている。図12は、様々な構成要素の一般化された図を与えるものにすぎず、それらの構成要素のいずれかまたはすべては適宜に利用され得る。図12は、したがって、個々のシステム要素が、比較的分離された方法または比較的より統合された方法で、どのように実装され得るかを概括的に示している。
バス1205を介して電気的に結合され得る(または、適宜に、他の方法で通信していることがある)ハードウェア要素を備えるコンピュータシステム1200が示されている。ハードウェア要素は、限定はしないが、(デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなどの)1つまたは複数の汎用プロセッサおよび/または1つまたは複数の専用プロセッサを含む、1つまたは複数のプロセッサ1210と、限定はしないが、マウス、キーボードなどを含むことができる1つまたは複数の入力装置1215と、限定はしないが、ディスプレイデバイス、プリンタなどを含むことができる1つまたは複数の出力デバイス1220とを含み得る。そのようなディスプレイデバイスは、眼鏡など、何らかの形態のヘッドマウントディスプレイであり得る。
コンピュータシステム1200は、限定はしないが、ローカルストレージおよび/またはネットワークアクセス可能ストレージを備えることができ、ならびに/あるいは、限定はしないが、ディスクドライブ、ドライブアレイ、光ストレージデバイス、プログラム可能でフラッシュアップデート可能なランダムアクセスメモリ(「RAM」)および/または読取り専用メモリ(「ROM」)などのソリッドステートストレージデバイスなどを含むことができる、1つまたは複数のストレージデバイス1225をさらに含み得る(および/または、それらと通信していることがある)。そのようなストレージデバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成され得る。
コンピュータシステム1200はまた、限定はしないが、モデム、ネットワークカード(ワイヤレスまたはワイヤード)、赤外線通信デバイス、(Bluetooth(登録商標)デバイス、802.11デバイス、WiFi(登録商標)デバイス、WiMaxデバイス、セルラー通信ファシリティなどの)ワイヤレス通信デバイスおよび/またはチップセットなどを含むことができる、通信サブシステム1230を含み得る。通信サブシステム1230は、データが、(一例を挙げると、以下で説明するネットワークなどの)ネットワーク、他のコンピュータシステム、および/または本明細書で説明する他のデバイスと交換されることを可能にし得る。多くの実施形態では、コンピュータシステム1200は、上記で説明したように、RAMまたはROMデバイスを含むことができる作業メモリ1235をさらに備える。
コンピュータシステム1200はまた、オペレーティングシステム1240、デバイスドライバ、実行可能ライブラリ、および/または1つまたは複数のアプリケーションプログラム1245などの他のコードを含む、作業メモリ1235内に現在位置するものとして示されている、ソフトウェア要素を備えることができ、1つまたは複数のアプリケーションプログラム1245は、様々な実施形態によって提供されるコンピュータプログラムを備え得、ならびに/あるいは、本明細書で説明する、他の実施形態によって提供される方法を実装するようにおよび/またはシステムを構成するように設計され得る。単に例として、上記で説明した(1つまたは複数の)方法に関して説明した1つまたは複数のプロシージャは、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装され得、一態様では、次いで、そのようなコードおよび/または命令は、説明した方法に従って1つまたは複数の動作を実行するように汎用コンピュータ(または他のデバイス)を構成するためおよび/または適応させるために使用され得る。また、プロセッサ可読命令は、そのような様々な命令を実行するように構成された専用ハードウェアを指し得る。たとえば、そのようなプロセッサ可読命令は、特定用途向け集積回路(ASIC)によって実行され得る。
これらの命令またはコードのセットは、上記で説明した(1つまたは複数の)ストレージデバイス1225などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピュータシステム1200などのコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムとは別個(たとえば、コンパクトディスクなどの取外し可能媒体)であり得、ならびに/あるいは、記憶媒体が、その上に記憶された命令/コードで汎用コンピュータをプログラムし、構成し、および/または適応させるために使用され得るようなインストールパッケージで提供され得る。これらの命令は、コンピュータシステム1200によって実行可能である実行可能コードの形態をとり得、ならびに/あるいは、(たとえば、様々な一般に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム1200上でコンパイルおよび/またはインストールしたときに実行可能コードの形態をとる、ソースコードおよび/またはインストール可能コードの形態をとり得る。
実質的な変形形態が、特定の要件に従って製作され得ることが当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも使用され得、ならびに/あるいは、特定の要素が、ハードウェア、(アプレットなどのポータブルソフトウェアを含む)ソフトウェア、または両方で実装され得る。さらに、ネットワーク入力/出力デバイスなど、他のコンピューティングデバイスへの接続が採用され得る。
上述のように、一態様では、いくつかの実施形態は、本発明の様々な実施形態による方法を実行するための(コンピュータシステム1200などの)コンピュータシステムを採用し得る。実施形態のセットによれば、そのような方法のプロシージャの一部または全部は、プロセッサ1210が、作業メモリ1235中に含まれている(オペレーティングシステム1240、および/またはアプリケーションプログラム1245などの他のコードに組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行したことに応答して、コンピュータシステム1200によって実行される。そのような命令は、(1つまたは複数の)ストレージデバイス1225のうちの1つまたは複数など、別のコンピュータ可読媒体から作業メモリ1235に読み込まれ得る。単に例として、作業メモリ1235中に含まれている命令のシーケンスの実行は、(1つまたは複数の)プロセッサ1210に、本明細書で説明した方法の1つまたは複数のプロシージャを実行させ得る。
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム1200を使用して実装される一実施形態では、様々なコンピュータ可読媒体は、実行のために(1つまたは複数の)プロセッサ1210に命令/コードを与えることに関与し得、ならびに/あるいはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装形態では、コンピュータ可読媒体は、物理および/または有形記憶媒体である。そのような媒体は、不揮発性メディアまたは揮発性メディアの形態をとり得る。不揮発性媒体は、たとえば、(1つまたは複数の)ストレージデバイス1225などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、作業メモリ1235などのダイナミックメモリを含む。
物理および/または有形コンピュータ可読媒体の共通形態は、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD−ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンをもつ任意の他の物理媒体、RAM、PROM、EPROM、FLASH−EPROM、任意の他のメモリチップまたはカートリッジ、あるいはコンピュータが命令および/またはコードを読み取ることができる任意の他の媒体を含む。
コンピュータ可読媒体の様々な形態は、実行のために1つまたは複数の命令の1つまたは複数のシーケンスを(1つまたは複数の)プロセッサ1210に搬送することに関与し得る。単に例として、命令は、初めに、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送され得る。リモートコンピュータは、命令をそれのダイナミックメモリにロードし、それらの命令を、伝送媒体上で、コンピュータシステム1200によって受信および/または実行されるべき信号として送り得る。
通信サブシステム1230(および/またはそれの構成要素)が、概して信号を受信し、次いで、バス1205が、信号(および/またはその信号によって搬送されるデータ、命令など)を作業メモリ1235に搬送し得、(1つまたは複数の)プロセッサ1210が、作業メモリ1235から命令を検索し、実行する。作業メモリ1235によって受信された命令は、場合によっては、(1つまたは複数の)プロセッサ1210による実行の前または後のいずれかにストレージデバイス1225に記憶され得る。
上記で説明した方法、システム、およびデバイスは例である。様々な構成は、適宜に様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、代替構成では、本方法は、説明した順序とは異なる順序で実行され得、ならびに/あるいは様々な段階が追加、省略、および/または組み合わせられ得る。また、いくつかの構成に関して説明した特徴は、様々な他の構成において組み合わせられ得る。構成の異なる態様および要素が、同様にして組み合わせられ得る。また、技術は発展し、したがって、要素の多くは例であり、本開示または特許請求の範囲を限定しない。
説明では、(実装形態を含む)例示的な構成の完全な理解が得られるように具体的な詳細を与えた。ただし、構成は、これらの具体的な詳細なしに実施され得る。たとえば、構成を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法を不要な詳細なしに示した。この説明は、例示的な構成を与えるにすぎず、特許請求の範囲の範囲、適用性、または構成を限定しない。そうではなく、構成の上記の説明は、説明した技法を実装することを可能にする説明を当業者に与えるものである。本開示の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、図中に含まれない追加のステップを有し得る。さらに、本方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装した場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、有形でありおよび/または製造され得る記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは、説明したタスクを実行し得る。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他のルールが、本発明の適用よりも優先するかまたは他の方法で本発明の適用を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのステップが行われ得る。したがって、上記の説明は特許請求の範囲を限定しない。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他のルールが、本発明の適用よりも優先するかまたは他の方法で本発明の適用を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのステップが行われ得る。したがって、上記の説明は特許請求の範囲を限定しない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 一連の画像内のターゲットを追跡するための方法であって、
モバイルデバイスによって、第1の画像をキャプチャすることであって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャすることと、
前記モバイルデバイスによって、前記第1の画像を使用して作成された追跡テンプレートを使用して、第2の画像内の前記ターゲットの位置を特定することと
を備える、方法。
[C2] 前記モバイルデバイスによって、前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
をさらに備える、C1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C3] 前記モバイルデバイスによって、前記第1の画像の少なくとも一部分をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
をさらに備える、C1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C4] 前記モバイルデバイスによって、前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
をさらに備える、C1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C5] 前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第1の画像の少なくとも一部分をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、C4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C6] 前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、C4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C7] 前記モバイルデバイスによって、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
を備える、C4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C8] 前記モバイルデバイスによって、前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信することと、
前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することと
をさらに備える、C4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C9] 前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することが、前記第2の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することを備える、C8に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C10] 前記第2の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することが、
拡張現実ディスプレイの使用と、
前記拡張現実ディスプレイ上の、前記記憶された基準テンプレートにリンクされた前記データの前記少なくとも前記一部分のディスプレイのロケーションが、前記第2の画像中の前記ターゲットのロケーションによって影響を及ぼされることと
を備える、C9に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C11] 前記追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記モバイルデバイスによって、前記追跡テンプレートを使用して、前記一連の画像の追加画像の各画像内の前記ターゲットの位置を特定すること
をさらに備える、C1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C12] 前記モバイルデバイスによって、前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
をさらに備える、C4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C13] 前記モバイルデバイスによって、前記姿勢情報を使用して前記第1の画像を修正することと、
前記モバイルデバイスによって、前記追跡テンプレートを作成するために前記第1の画像をクロップすることと
をさらに備える、C12に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C14] 非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
第1の画像をキャプチャさせることであって、
ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
第2の画像をキャプチャさせることと、
前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
[C15] 前記プロセッサに、
前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C14に記載のコンピュータプログラム。
[C16] 前記プロセッサに、
前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C14に記載のコンピュータプログラム。
[C17] 前記プロセッサに、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C14に記載のコンピュータプログラム。
[C18] 前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
のためのプロセッサ可読命令を備える、C17に記載のコンピュータプログラム。
[C19] 前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
のためのプロセッサ可読命令を備える、C17に記載のコンピュータプログラム。
[C20] 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、C17に記載のコンピュータプログラム。
[C21] 前記プロセッサに、
前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C17に記載のコンピュータプログラム。
[C22] 前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第2の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、C21に記載のコンピュータプログラム。
[C23] 前記プロセッサに、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第2の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C22に記載のコンピュータプログラム。
[C24] 前記プロセッサに、
前記追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C14に記載のコンピュータプログラム。
[C25] 前記プロセッサに、
前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C17に記載のコンピュータプログラム。
[C26] 前記プロセッサに、
前記姿勢情報を使用して前記第1の画像を修正することと、
前記追跡テンプレートを作成するために前記第1の画像をクロップすることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C25に記載のコンピュータプログラム。
[C27] 一連の画像内のターゲットを追跡するためのデバイスであって、
画像キャプチャデバイスと、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
前記画像キャプチャデバイスによって第1の画像をキャプチャさせることであって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
第2の画像をキャプチャさせることと、
前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
[C28] 前記プロセッサに、
前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C29] 前記プロセッサに、
前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C30] 前記プロセッサに、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C31] 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
を行わせるように構成されたプロセッサ可読命令を備える、C30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C32] 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
を行わせるように構成されたプロセッサ可読命令を備える、C30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C33] 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、C30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C34] 前記プロセッサに、
前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C35] 前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第2の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、C34に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C36] 前記プロセッサに、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第2の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、C35に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C37] 前記プロセッサに、
前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C38] 前記プロセッサに、
前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C39] 前記プロセッサに、
前記追跡テンプレートを作成するために前記第1の画像を修正し、クロップすること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C38に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C40] 前記デバイスが、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択される、C27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C41] 一連の画像内のターゲットを追跡するための装置であって、
第1の画像をキャプチャするための手段であって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャするための手段と、
前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第1の画像をキャプチャするための前記手段によってキャプチャされた第2の画像内の前記ターゲットの位置を特定するための手段と
を備える、装置。
[C42] 前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成するための手段
をさらに備える、C41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C43] 前記第1の画像の少なくとも一部分をリモートサーバに送信するための手段と、
前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信するための手段と
をさらに備える、C41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C44] 前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出するための手段
をさらに備える、C41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C45] 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
前記第1の画像をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、C44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C46] 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、C44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C47] 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較するための手段
を備える、C44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C48] 前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信するための手段と、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段と
をさらに備える、C44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C49] 前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための前記手段が、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための手段を備える、C48に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C50] 前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための前記手段が、
拡張現実ディスプレイを使用するための手段と、
前記第2の画像中の前記ターゲットのロケーションに少なくとも部分的に基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整するための手段と
を備える、C49に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C51] 前記追跡テンプレートを使用して、前記第1の画像をキャプチャするための前記手段によってキャプチャされた前記一連の画像の各追加画像内の前記ターゲットの位置を特定するための手段
をさらに備える、C41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C52] 前記第1の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
をさらに備える、C44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C53] 前記姿勢情報を使用して前記第1の画像を修正するための手段と、
前記追跡テンプレートを作成するために前記第1の画像をクロップするための手段と
をさらに備える、C52に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C54] 一連の画像内のターゲットを追跡するための方法であって、
コンピュータシステムによって、モバイルデバイスから第1の画像を受信することであって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記コンピュータシステムによって、前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記コンピュータシステムによって、前記追跡テンプレートを前記モバイルデバイスに送信することと
を備える、方法。
[C55] 前記コンピュータシステムによって、前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
をさらに備える、C54に記載の方法。
[C56] 前記コンピュータシステムによって、前記記憶された基準テンプレートを前記モバイルデバイスに送信すること
をさらに備える、C55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C57] 前記コンピュータシステムによって、前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信すること
をさらに備える、C55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C58] 前記コンピュータシステムによって、前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
をさらに備える、C55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C59] 前記追跡テンプレートを作成することが、
前記コンピュータシステムによって、前記姿勢情報を使用して前記第1の画像を修正すること
を備える、C58に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C60] 前記追跡テンプレートを作成することが、
前記コンピュータシステムによって、前記修正された第1の画像をクロップすること
をさらに備える、C59に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
[C61] 非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
モバイルデバイスから第1の画像を受信することであって、
ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
[C62] 前記プロセッサに、
前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C61に記載のコンピュータプログラム。
[C63] 前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C62に記載のコンピュータプログラム。
[C64] 前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C62に記載のコンピュータプログラム。
[C65] 前記プロセッサに、
前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C62に記載のコンピュータプログラム。
[C66] 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記姿勢情報を使用して前記第1の画像を修正すること
を行うように構成されたプロセッサ可読命令を備える、C65に記載のコンピュータプログラム。
[C67] 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記修正された第1の画像をクロップすること
を行うように構成されたプロセッサ可読命令を備える、C66に記載のコンピュータプログラム。
[C68] 一連の画像内のターゲットを追跡するためのデバイスであって、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
モバイルデバイスから第1の画像を受信することであって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
[C69] 前記一連のプロセッサ可読命令が、前記プロセッサに、
前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C68に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C70] 前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C71] 前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C72] 前記一連のプロセッサ可読命令が、前記プロセッサに、
前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、C69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C73] 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記姿勢情報を使用して前記第1の画像を修正すること
を行うように構成されたプロセッサ可読命令を備える、C72に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C74] 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記修正された第1の画像をクロップすること
を行うように構成されたプロセッサ可読命令を備える、C73に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
[C75] 一連の画像内のターゲットを追跡するための装置であって、
モバイルデバイスから第1の画像を受信するための手段であって、
前記ターゲットが前記第1の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信するための手段と、
前記第1の画像に基づいて追跡テンプレートを作成するための手段であって、前記追跡テンプレートが、前記一連の画像中で前記ターゲットを追跡するために使用される、作成するための手段と、
前記追跡テンプレートを前記モバイルデバイスに送信するための手段と
を備える、装置。
[C76] 前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別するための手段
をさらに備える、C75に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C77] 前記記憶された基準テンプレートを前記モバイルデバイスに送信するための手段
をさらに備える、C76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C78] 前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信するための手段
をさらに備える、C76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C79] 前記第1の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
をさらに備える、C76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C80] 前記追跡テンプレートを作成するための前記手段が、
前記姿勢情報を使用して前記第1の画像を修正するための手段
を備える、C79に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
[C81] 前記追跡テンプレートを作成するための前記手段が、
前記修正された第1の画像をクロップするための手段
をさらに備える、C80に記載の前記一連の画像内の前記ターゲットを追跡するための装置。

Claims (81)

  1. 一連の画像内のターゲットを追跡するための方法であって、
    モバイルデバイスによって、第1の画像をキャプチャすることであって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、キャプチャすることと、
    前記モバイルデバイスによって、前記第1の画像を使用して作成された追跡テンプレートを使用して、第2の画像内の前記ターゲットの位置を特定することと
    を備える、方法。
  2. 前記モバイルデバイスによって、前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
    をさらに備える、請求項1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  3. 前記モバイルデバイスによって、前記第1の画像の少なくとも一部分をリモートサーバに送信することと、
    前記モバイルデバイスによって、前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
    をさらに備える、請求項1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  4. 前記モバイルデバイスによって、前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
    をさらに備える、請求項1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  5. 前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することが、
    前記モバイルデバイスによって、前記第1の画像の少なくとも一部分をリモートサーバに送信することと、
    前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
    を備える、請求項4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  6. 前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することが、
    前記モバイルデバイスによって、前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信することと、
    前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
    を備える、請求項4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  7. 前記モバイルデバイスによって、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することが、
    前記モバイルデバイスによって、前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
    を備える、請求項4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  8. 前記モバイルデバイスによって、前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信することと、
    前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することと
    をさらに備える、請求項4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  9. 前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することが、前記第2の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することを備える、請求項8に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  10. 前記第2の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することが、
    拡張現実ディスプレイの使用と、
    前記拡張現実ディスプレイ上の、前記記憶された基準テンプレートにリンクされた前記データの前記少なくとも前記一部分のディスプレイのロケーションが、前記第2の画像中の前記ターゲットのロケーションによって影響を及ぼされることと
    を備える、請求項9に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  11. 前記追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記モバイルデバイスによって、前記追跡テンプレートを使用して、前記一連の画像の追加画像の各画像内の前記ターゲットの位置を特定すること
    をさらに備える、請求項1に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  12. 前記モバイルデバイスによって、前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    をさらに備える、請求項4に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  13. 前記モバイルデバイスによって、前記姿勢情報を使用して前記第1の画像を修正することと、
    前記モバイルデバイスによって、前記追跡テンプレートを作成するために前記第1の画像をクロップすることと
    をさらに備える、請求項12に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  14. 非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
    第1の画像をキャプチャさせることであって、
    ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
    第2の画像をキャプチャさせることと、
    前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することと
    を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
  15. 前記プロセッサに、
    前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項14に記載のコンピュータプログラム。
  16. 前記プロセッサに、
    前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
    前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項14に記載のコンピュータプログラム。
  17. 前記プロセッサに、
    前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項14に記載のコンピュータプログラム。
  18. 前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
    前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
    前記リモートサーバから前記記憶された基準テンプレートを受信させることと
    のためのプロセッサ可読命令を備える、請求項17に記載のコンピュータプログラム。
  19. 前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
    前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、
    前記リモートサーバから前記記憶された基準テンプレートを受信させることと
    のためのプロセッサ可読命令を備える、請求項17に記載のコンピュータプログラム。
  20. 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
    を行わせるように構成されたプロセッサ可読命令を備える、請求項17に記載のコンピュータプログラム。
  21. 前記プロセッサに、
    前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
    前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項17に記載のコンピュータプログラム。
  22. 前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第2の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、請求項21に記載のコンピュータプログラム。
  23. 前記プロセッサに、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    拡張現実ディスプレイを使用することと、
    前記第2の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報のディスプレイのロケーションを調整することと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項22に記載のコンピュータプログラム。
  24. 前記プロセッサに、
    前記追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、一連の画像の各画像内の前記ターゲットの位置を特定すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項14に記載のコンピュータプログラム。
  25. 前記プロセッサに、
    前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項17に記載のコンピュータプログラム。
  26. 前記プロセッサに、
    前記姿勢情報を使用して前記第1の画像を修正することと、
    前記追跡テンプレートを作成するために前記第1の画像をクロップすることと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項25に記載のコンピュータプログラム。
  27. 一連の画像内のターゲットを追跡するためのデバイスであって、
    画像キャプチャデバイスと、
    プロセッサと、
    前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
    前記画像キャプチャデバイスによって第1の画像をキャプチャさせることであって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
    第2の画像をキャプチャさせることと、
    前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第2の画像内の前記ターゲットの位置を特定することと
    を行わせる一連のプロセッサ可読命令を記憶したメモリと
    を備える、デバイス。
  28. 前記プロセッサに、
    前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  29. 前記プロセッサに、
    前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
    前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信することと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  30. 前記プロセッサに、
    前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  31. 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    前記第1の画像の少なくとも一部分をリモートサーバに送信させることと、
    前記リモートサーバから前記記憶された基準テンプレートを受信させることと
    を行わせるように構成されたプロセッサ可読命令を備える、請求項30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  32. 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信させることと、
    前記リモートサーバから前記記憶された基準テンプレートを受信させることと
    を行わせるように構成されたプロセッサ可読命令を備える、請求項30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  33. 前記プロセッサに、前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較すること
    を行わせるように構成されたプロセッサ可読命令を備える、請求項30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  34. 前記プロセッサに、
    前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
    前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  35. 前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第2の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、請求項34に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  36. 前記プロセッサに、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
    拡張現実ディスプレイを使用することと、
    前記第2の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整することと
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項35に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  37. 前記プロセッサに、
    前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記第2の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記一連の画像の各画像内の前記ターゲットの位置を特定すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  38. 前記プロセッサに、
    前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項30に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  39. 前記プロセッサに、
    前記追跡テンプレートを作成するために前記第1の画像を修正し、クロップすること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項38に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  40. 前記デバイスが、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択される、請求項27に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  41. 一連の画像内のターゲットを追跡するための装置であって、
    第1の画像をキャプチャするための手段であって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、キャプチャするための手段と、
    前記第1の画像を使用して作成された追跡テンプレートを使用して、前記第1の画像をキャプチャするための前記手段によってキャプチャされた第2の画像内の前記ターゲットの位置を特定するための手段と
    を備える、装置。
  42. 前記第1の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成するための手段
    をさらに備える、請求項41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  43. 前記第1の画像の少なくとも一部分をリモートサーバに送信するための手段と、
    前記リモートサーバから前記第1の画像を使用して作成された前記追跡テンプレートを受信するための手段と
    をさらに備える、請求項41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  44. 前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第1の画像内の前記ターゲットを検出するための手段
    をさらに備える、請求項41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  45. 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
    前記第1の画像をリモートサーバに送信するための手段と、
    前記記憶された基準テンプレートを受信するための手段と
    を備える、請求項44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  46. 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
    前記第1の画像に基づく少なくとも1つの記述子をリモートサーバに送信するための手段と、
    前記記憶された基準テンプレートを受信するための手段と
    を備える、請求項44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  47. 前記記憶された基準テンプレートに対応する前記第1の画像内の前記ターゲットを検出するための前記手段が、
    前記第1の画像の少なくとも1つの記述子を、前記記憶された基準テンプレートの少なくとも1つの記述子と比較するための手段
    を備える、請求項44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  48. 前記第1の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信するための手段と、
    前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段と
    をさらに備える、請求項44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  49. 前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための前記手段が、前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための手段を備える、請求項48に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  50. 前記第2の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための前記手段が、
    拡張現実ディスプレイを使用するための手段と、
    前記第2の画像中の前記ターゲットのロケーションに少なくとも部分的に基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整するための手段と
    を備える、請求項49に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  51. 前記追跡テンプレートを使用して、前記第1の画像をキャプチャするための前記手段によってキャプチャされた前記一連の画像の各追加画像内の前記ターゲットの位置を特定するための手段
    をさらに備える、請求項41に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  52. 前記第1の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
    をさらに備える、請求項44に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  53. 前記姿勢情報を使用して前記第1の画像を修正するための手段と、
    前記追跡テンプレートを作成するために前記第1の画像をクロップするための手段と
    をさらに備える、請求項52に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  54. 一連の画像内のターゲットを追跡するための方法であって、
    コンピュータシステムによって、モバイルデバイスから第1の画像を受信することであって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、受信することと、
    前記コンピュータシステムによって、前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
    前記コンピュータシステムによって、前記追跡テンプレートを前記モバイルデバイスに送信することと
    を備える、方法。
  55. 前記コンピュータシステムによって、前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
    をさらに備える、請求項54に記載の方法。
  56. 前記コンピュータシステムによって、前記記憶された基準テンプレートを前記モバイルデバイスに送信すること
    をさらに備える、請求項55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  57. 前記コンピュータシステムによって、前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信すること
    をさらに備える、請求項55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  58. 前記コンピュータシステムによって、前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    をさらに備える、請求項55に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  59. 前記追跡テンプレートを作成することが、
    前記コンピュータシステムによって、前記姿勢情報を使用して前記第1の画像を修正すること
    を備える、請求項58に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  60. 前記追跡テンプレートを作成することが、
    前記コンピュータシステムによって、前記修正された第1の画像をクロップすること
    をさらに備える、請求項59に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
  61. 非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
    モバイルデバイスから第1の画像を受信することであって、
    ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、受信することと、
    前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
    前記追跡テンプレートを前記モバイルデバイスに送信させることと
    を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
  62. 前記プロセッサに、
    前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項61に記載のコンピュータプログラム。
  63. 前記プロセッサに、
    前記記憶された基準テンプレートを前記モバイルデバイスに送信させること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項62に記載のコンピュータプログラム。
  64. 前記プロセッサに、
    前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項62に記載のコンピュータプログラム。
  65. 前記プロセッサに、
    前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項62に記載のコンピュータプログラム。
  66. 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
    前記姿勢情報を使用して前記第1の画像を修正すること
    を行うように構成されたプロセッサ可読命令を備える、請求項65に記載のコンピュータプログラム。
  67. 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
    前記修正された第1の画像をクロップすること
    を行うように構成されたプロセッサ可読命令を備える、請求項66に記載のコンピュータプログラム。
  68. 一連の画像内のターゲットを追跡するためのデバイスであって、
    プロセッサと、
    前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
    モバイルデバイスから第1の画像を受信することであって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、受信することと、
    前記第1の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
    前記追跡テンプレートを前記モバイルデバイスに送信させることと
    を行わせる一連のプロセッサ可読命令を記憶したメモリと
    を備える、デバイス。
  69. 前記一連のプロセッサ可読命令が、前記プロセッサに、
    前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項68に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  70. 前記一連のプロセッサ可読命令が、前記プロセッサに、
    前記記憶された基準テンプレートを前記モバイルデバイスに送信させること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  71. 前記一連のプロセッサ可読命令が、前記プロセッサに、
    前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  72. 前記一連のプロセッサ可読命令が、前記プロセッサに、
    前記第1の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
    を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項69に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  73. 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
    前記姿勢情報を使用して前記第1の画像を修正すること
    を行うように構成されたプロセッサ可読命令を備える、請求項72に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  74. 前記プロセッサに、前記第1の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
    前記修正された第1の画像をクロップすること
    を行うように構成されたプロセッサ可読命令を備える、請求項73に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
  75. 一連の画像内のターゲットを追跡するための装置であって、
    モバイルデバイスから第1の画像を受信するための手段であって、
    前記ターゲットが前記第1の画像内にあり、
    前記ターゲットが、追跡されるべきエンティティである、受信するための手段と、
    前記第1の画像に基づいて追跡テンプレートを作成するための手段であって、前記追跡テンプレートが、前記一連の画像中で前記ターゲットを追跡するために使用される、作成するための手段と、
    前記追跡テンプレートを前記モバイルデバイスに送信するための手段と
    を備える、装置。
  76. 前記第1の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別するための手段
    をさらに備える、請求項75に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  77. 前記記憶された基準テンプレートを前記モバイルデバイスに送信するための手段
    をさらに備える、請求項76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  78. 前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信するための手段
    をさらに備える、請求項76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  79. 前記第1の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
    をさらに備える、請求項76に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  80. 前記追跡テンプレートを作成するための前記手段が、
    前記姿勢情報を使用して前記第1の画像を修正するための手段
    を備える、請求項79に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
  81. 前記追跡テンプレートを作成するための前記手段が、
    前記修正された第1の画像をクロップするための手段
    をさらに備える、請求項80に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
JP2015180786A 2011-03-04 2015-09-14 動的テンプレート追跡 Expired - Fee Related JP6151323B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161449500P 2011-03-04 2011-03-04
US61/449,500 2011-03-04
US13/310,529 US10133950B2 (en) 2011-03-04 2011-12-02 Dynamic template tracking
US13/310,529 2011-12-02

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013556884A Division JP5864622B2 (ja) 2011-03-04 2012-03-02 動的テンプレート追跡

Publications (2)

Publication Number Publication Date
JP2016028331A true JP2016028331A (ja) 2016-02-25
JP6151323B2 JP6151323B2 (ja) 2017-06-21

Family

ID=46753067

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013556884A Expired - Fee Related JP5864622B2 (ja) 2011-03-04 2012-03-02 動的テンプレート追跡
JP2015180786A Expired - Fee Related JP6151323B2 (ja) 2011-03-04 2015-09-14 動的テンプレート追跡

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013556884A Expired - Fee Related JP5864622B2 (ja) 2011-03-04 2012-03-02 動的テンプレート追跡

Country Status (6)

Country Link
US (1) US10133950B2 (ja)
EP (1) EP2681718A1 (ja)
JP (2) JP5864622B2 (ja)
KR (2) KR20160028496A (ja)
CN (1) CN103403736B (ja)
WO (1) WO2012122008A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US9526156B2 (en) * 2010-05-18 2016-12-20 Disney Enterprises, Inc. System and method for theatrical followspot control interface
US9213920B2 (en) * 2010-05-28 2015-12-15 Zazzle.Com, Inc. Using infrared imaging to create digital images for use in product customization
US8560933B2 (en) * 2011-10-20 2013-10-15 Microsoft Corporation Merging and fragmenting graphical objects
US8855366B2 (en) * 2011-11-29 2014-10-07 Qualcomm Incorporated Tracking three-dimensional objects
US11729458B2 (en) 2012-02-21 2023-08-15 Roku, Inc. Media content identification on mobile devices
JP2014106490A (ja) * 2012-11-29 2014-06-09 Buffalo Inc 符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラム
JPWO2014097706A1 (ja) * 2012-12-21 2017-01-12 ソニー株式会社 表示制御装置および記録媒体
CN103065131B (zh) * 2012-12-28 2016-01-20 中国航天时代电子公司 一种复杂场景下自动目标识别跟踪方法及系统
US9058683B2 (en) 2013-02-21 2015-06-16 Qualcomm Incorporated Automatic image rectification for visual search
US9152874B2 (en) * 2013-03-13 2015-10-06 Qualcomm Incorporated Motion blur aware visual pose tracking
US20140297687A1 (en) * 2013-03-26 2014-10-02 International Business Machines Corporation System and method for declaring contents of mobile devices as records
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP5786900B2 (ja) * 2013-06-13 2015-09-30 横河電機株式会社 情報表示装置及び情報表示方法
US11265444B2 (en) * 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
US9687059B2 (en) * 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US9497144B2 (en) 2014-03-27 2016-11-15 International Business Machines Corporation Context-based storage of a conversation of one or more instant messages as a record
EP3140783A4 (en) * 2014-05-09 2017-12-13 Fio Corporation Discrete edge binning template matching system, method and computer readable medium
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
CN106839881B (zh) * 2016-12-23 2019-03-19 成都赫尔墨斯科技股份有限公司 一种基于动态图像识别的反无人机方法
US10262464B2 (en) * 2016-12-30 2019-04-16 Intel Corporation Dynamic, local augmented reality landmarks
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
GB2569803B (en) * 2017-12-22 2021-11-24 Novarum Dx Ltd Analysis of a captured image to determine a test outcome
CN108510525B (zh) 2018-03-30 2019-03-12 百度在线网络技术(北京)有限公司 模板追踪方法、装置、增强现实系统及存储介质
CN109819400B (zh) * 2019-03-20 2021-05-04 百度在线网络技术(北京)有限公司 用户位置的查找方法、装置、设备及介质
TWI700644B (zh) * 2019-04-02 2020-08-01 精英電腦股份有限公司 板件構件的即時定位裝置與方法
KR102887358B1 (ko) * 2019-10-25 2025-11-14 에스케이텔레콤 주식회사 포즈 정보를 제공하는 서버 및 포즈 정보를 제공하는 서버에서 전자 장치의 포즈를 결정하는 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
US11521339B2 (en) 2020-06-10 2022-12-06 Snap Inc. Machine learning in augmented reality content items
US11554324B2 (en) * 2020-06-25 2023-01-17 Sony Interactive Entertainment LLC Selection of video template based on computer simulation metadata
CN112887793B (zh) * 2021-01-25 2023-06-13 脸萌有限公司 视频处理方法、显示设备和存储介质
CN114820701B (zh) * 2022-04-12 2025-04-08 彩虹无人机科技有限公司 一种基于多模板的红外成像导引头捕获跟踪目标方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182350A (ja) * 2003-12-18 2005-07-07 Olympus Corp 情報呈示システム、情報呈示装置、及びサーバ
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて3次元シーンにおける表面の追跡
JP2010517129A (ja) * 2007-01-22 2010-05-20 トタル イメルシオン ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526156B1 (en) 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
US6687386B1 (en) 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
JP4961965B2 (ja) * 2006-11-15 2012-06-27 株式会社ニコン 被写体追跡プログラム、被写体追跡装置、およびカメラ
US8253799B2 (en) 2007-07-27 2012-08-28 Sportvision, Inc. Detecting an object in an image using camera registration data indexed to location or camera sensors
CN101448142A (zh) 2007-11-27 2009-06-03 鸿富锦精密工业(深圳)有限公司 影像追踪装置及其影像追踪方法
CN101465033B (zh) 2008-05-28 2011-01-26 丁国锋 一种自动追踪识别系统及方法
US20090300100A1 (en) 2008-05-30 2009-12-03 Carl Johan Freer Augmented reality platform and method using logo recognition
JP2010063001A (ja) * 2008-09-05 2010-03-18 Mitsubishi Electric Corp 人物追跡装置および人物追跡プログラム
JP5219795B2 (ja) 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US9001252B2 (en) 2009-11-02 2015-04-07 Empire Technology Development Llc Image matching to augment reality
TWI433530B (zh) * 2010-11-01 2014-04-01 Ind Tech Res Inst 具有立體影像攝影引導的攝影系統與方法及自動調整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507722A (ja) * 2002-10-22 2006-03-02 アートゥールワークス 表面の生来の視覚的特徴を用いて3次元シーンにおける表面の追跡
JP2005182350A (ja) * 2003-12-18 2005-07-07 Olympus Corp 情報呈示システム、情報呈示装置、及びサーバ
JP2010517129A (ja) * 2007-01-22 2010-05-20 トタル イメルシオン ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置

Also Published As

Publication number Publication date
KR20130129458A (ko) 2013-11-28
US20120224068A1 (en) 2012-09-06
JP6151323B2 (ja) 2017-06-21
US10133950B2 (en) 2018-11-20
KR20160028496A (ko) 2016-03-11
JP2014511538A (ja) 2014-05-15
EP2681718A1 (en) 2014-01-08
CN103403736B (zh) 2017-06-23
JP5864622B2 (ja) 2016-02-17
KR101864912B1 (ko) 2018-07-04
WO2012122008A1 (en) 2012-09-13
CN103403736A (zh) 2013-11-20

Similar Documents

Publication Publication Date Title
JP6151323B2 (ja) 動的テンプレート追跡
US9361730B2 (en) Interactions of tangible and augmented reality objects
US10725533B2 (en) Systems, apparatuses, and methods for gesture recognition and interaction
JP6026474B2 (ja) マスタデバイスとオブジェクトデバイスとの自動インターフェース接続
US10401948B2 (en) Information processing apparatus, and information processing method to operate on virtual object using real object
KR102220443B1 (ko) 깊이 정보를 활용하는 전자 장치 및 방법
CN109145809B (zh) 一种记谱处理方法和装置以及计算机可读存储介质
WO2016073185A1 (en) System and method for augmented reality annotations
JP6493471B2 (ja) ビデオ再生方法、計算処理システム、及びビデオ再生プログラム
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20140002497A1 (en) Augmented reality system
KR20190005082A (ko) 증강 현실을 통한 오프라인 상품의 온라인 판매 정보 제공 방법 및 이를 위한 장치
US10691717B2 (en) Method and apparatus for managing data
CN114286160A (zh) 一种视频播放方法、装置和电子设备
US9547669B2 (en) Performing a visual search using a rectified image
US20180314909A1 (en) Detection and recognition of objects lacking textures
JPWO2018135246A1 (ja) 情報処理システム及び情報処理装置
JP2019057849A (ja) プログラム、情報処理装置、画像処理システム
CN111625101B (zh) 一种展示控制方法及装置
US20250238907A1 (en) Body pose tracking of players from sports broadcast video feed
KR102752514B1 (ko) 사용자 단말의 동영상 촬영 기능을 이용한 홀로그램 제작 방법 및 상기 방법에 의해 제작된 홀로그램 보안 코드를 판독하기 위한 방법
KR102890177B1 (ko) 그림이 프린팅된 제품을 이용한 태권도 관련 ar 컨텐츠 제공 방법 및 장치
JP6857537B2 (ja) 情報処理装置
KR20190069267A (ko) 객체센서를 이용한 객체추적방법 및 시스템
CN121280875A (zh) 改善图像分析的方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170524

R150 Certificate of patent or registration of utility model

Ref document number: 6151323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees