JP2016508252A - ネットワーク内のモバイル装置を起動する方法、ならびに関連する表示装置およびシステム - Google Patents

ネットワーク内のモバイル装置を起動する方法、ならびに関連する表示装置およびシステム Download PDF

Info

Publication number
JP2016508252A
JP2016508252A JP2015547059A JP2015547059A JP2016508252A JP 2016508252 A JP2016508252 A JP 2016508252A JP 2015547059 A JP2015547059 A JP 2015547059A JP 2015547059 A JP2015547059 A JP 2015547059A JP 2016508252 A JP2016508252 A JP 2016508252A
Authority
JP
Japan
Prior art keywords
mobile device
network
display device
display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015547059A
Other languages
English (en)
Other versions
JP2016508252A5 (ja
JP6334557B2 (ja
Inventor
ドレ,ルノー
デムーラン,バンサン
プリソンノー,フレデリツク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2016508252A publication Critical patent/JP2016508252A/ja
Publication of JP2016508252A5 publication Critical patent/JP2016508252A5/ja
Application granted granted Critical
Publication of JP6334557B2 publication Critical patent/JP6334557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0806Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/005Discovery of network devices, e.g. terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本発明の目的は、センサに接続された少なくとも1つの表示装置を含むネットワーク内のモバイル装置を起動する方法である。この方法は、表示装置に接続されたセンサによってモバイル装置を検出するステップと、検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、表示スクリーン上の仮想装置の位置がセンサのキャプチャ・フィールド内のモバイル装置の位置とリンクするように表示装置に表示するステップと、所定のアクションがユーザによってモバイル装置に対して行われたときに、ネットワーク内のモバイル装置を起動するステップとを含むことを特徴とする。本発明の他の目的は、この方法を実施する表示装置およびシステムである。

Description

本発明は、通信ネットワークの技術分野に関する。より詳細には、本発明は、少なくとも1つの表示装置を含むネットワーク内のモバイル装置を起動する方法に関する。
本欄は、以下に述べ、かつ/または特許請求の範囲に記載された本発明の様々な態様に関係する可能性がある様々な技術的特徴を読者に紹介するための欄である。本欄の記述は、本発明の様々な態様のより良い理解を促すための背景情報を、読者に与える助けとなるものと考えられる。従って、これらの記述は、これに照らして読まれるべきものであり、従来技術の自認として解釈されるべきものではないことを理解されたい。
ホーム・ネットワーク、ローカル・エリア・ネットワーク(LAN)、またはより一般的には、通信ネットワークは、ネットワークを介して互いに通信することができる複数の装置を含む。非制限的な例として、ホーム・ネットワークの装置は、パーソナル・コンピュータ、接続されたテレビジョン・セット、アクセス・モデム、ディジタル・デコーダ、携帯電話(場合により「スマートフォン」タイプでもよい)、携帯情報端末(PDA)、電子タブレット、ゲーム・コンソールまたは無線キーボードである。
さらに、スマートフォンなどのモバイル装置が、ホーム・ネットワークにますます盛んに関与してきていることに留意されたい。従って、携帯電話は、テレビジョン・セットまたはデコーダなどのネットワークの装置のための遠隔制御装置として機能し、かつオーディオ・コンテンツおよび/またはビデオ・コンテンツのソースまたは記憶装置として機能することが分かる。ユーザは、携帯電話から、ホーム・ネットワークの特定の装置に対するアクションを開始することができる。例えば、携帯電話からビデオをネットワークのスクリーン上にストリーミングする、電話および/またはネットワークの連絡先リストをスクリーン上に表示する、映画を家庭でサーバ上にダウンロードするなどのアクションである。
このようにホーム・ネットワークに関与するためには、携帯電話は、ホーム・ネットワークに論理的に結合しなければならない。すなわち、ネットワークに組み入れられ、アクセス権を有し、存在しているものとして認識されなければならない。従って、ネットワークの他の装置による自分の携帯電話の認識状況に関する情報を持たないユーザにとっては、いくつかの問題が生じる。最初にネットワークに接続するときに、携帯電話は、その携帯電話がネットワークに組み入れられるために必要な権利を取得するために、識別されなければならない。接続は、一時的または1回限りの接続であってもよく、例えば1回の接続に限定されていてもよい。これは、家の中のゲスト・ユーザの電話に、そのゲスト・ユーザがその家の中のスクリーンに表示したいビデオ・コンテンツが入っている場合などが該当する。最後に、携帯電話がホーム・ネットワークに組み入れられた後、アクションを開始することができるようになるには、ユーザには、単に、ネットワークから見た電話の状態に関する情報が欠けている。すなわち、その電話が存在しているか、あるいはその電話はホーム・ネットワーク上でアクションの準備中であるか、ということである。多くの場合、ネットワーク上の様々なアプリケーションに、電話のメニューからアクセスできる。電話の多数のアプリケーションでは、グラフィカル・インタフェースと、例えばタッチ・スクリーンなどを介した、単純かつユーザから見て直感的な制御コマンドとが使用される。こうした理由から、例えば、携帯電話の多肢選択メニューなどよりも、ジェスチャで指令されるアクションの方が、使い勝手(ユーザ・フレンドリ)の点から好ましい。
さらに、コマンドの入力の待ち時間、すなわちユーザのアクションからその結果までの時間が、しばしば重要になる。例えば、携帯電話がWiFiまたはNFCタイプの無線技術を用いてネットワークと通信する場合に、ユーザがコマンドを入力するために自分の携帯電話をネットワークのスクリーンに近づけたとき、スクリーンによって携帯電話が検出され、その後アクションがスクリーン上で見えるように実行されるまでの時間は、瞬間ではなく、ユーザは戻り信号を待機したままの状態に置かれることが多く、装置は特に使い勝手がよいとは言えない。この問題は、本質的に移動可能である無線装置に固有の問題である。ユーザは、ネットワーク内における装置の状態がどのようなものであるか、例えば装置が存在しているのかいないのかを常に把握しているわけではない。従って、指令からアクションまでの間の時間に、モバイル装置を介してユーザが指令したアクションの進行状況に関する情報が欠如していることは、特に問題が大きい。従って、ネットワーク技術でしばしば生じる問題は、ユーザが自分が行っていることの結果を直ぐに知ることができないことである。ユーザは、自分のアクションの結果を、場合によっては自分のアクションから数十秒後に目にする。すなわち、ユーザには、単に、自分のアクションの進行状況に注意を喚起する中間信号が欠けている。
従って、ユーザに対して自分のアクションの進行状況を通知するシグナリングを含む、ネットワーク内のモバイル装置を起動するという課題に対する解決策があれば望ましい。
従って、本発明の目的は、この状況を改善することであり、より詳細には、モバイル装置によるアクションの導入を、直感的で、かつ使い勝手のよいものにすることである。本発明の重要な考えは、ユーザがモバイル装置に対して行うジェスチャを反映する画像を表示することによって、モバイル装置とネットワーク表示装置との間に単なる視覚的な通信チャネルを設けることである。
この目的のために、本発明は、特に、センサに接続されている少なくとも1つの表示装置を含むネットワーク内のモバイル装置を起動する方法を提案する。この方法は、
表示装置に接続されたセンサによってモバイル装置を検出することと、
検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、表示スクリーン上の仮想装置の位置がセンサのキャプチャ・フィールド内のモバイル装置の位置とリンクするように、表示装置に表示することと、
所定のアクションがユーザによってモバイル装置に対して行われたときに、ネットワーク内のモバイル装置を起動することと、を含むことを特徴とする。
本発明による方法は、個別に、または組み合わせて採用することができる他の特徴を含むことができる。特に、
センサは、少なくとも1つの画像をキャプチャするように構成された少なくとも1つのカメラを含む。
所定の形状がモバイル装置と関連付けられており、モバイル装置を検出することは形状に基づく物体認識を含み、仮想装置による検出されたモバイル装置の表現は所定の形状に基づく。
モバイル装置を検出することは、表示装置に対するモバイル装置の相対位置を測定することを含む。
モバイル装置を検出することは、表示装置に対するモバイル装置の相対向きを測定することを含む。
起動のための所定のアクションは、仮想装置を表示装置上の結合領域に動かすように適応されたモバイル装置の移動を含む。
起動ステップの所定のアクションは、モバイル装置上の所定の領域の押圧である。
起動のための所定のアクションは、ユーザによってモバイル装置に対して行われる所定の動きを含む。
ネットワークは少なくとも1つの第2の装置をさらに含み、起動することは、表示装置上または第2の装置上でのコマンドの入力をさらに含む。
検出は、無線通信フィールド内における予備検出によって開始される。
本発明は、上記項のいずれか1項による方法を実施する表示装置も提案する。
このようなネットワーク表示装置は、例えば、家の壁面に固定された専用スクリーン、接続されたテレビジョン・セット、または有線リンクでネットワークに接続されたサポート装置上の電子タブレットの形態であってもよい。
ネットワーク内のモバイル装置を起動するように構成された表示装置は、
モバイル装置を検出するように構成されたセンサと、
検出されたモバイル装置を認識するように構成された物体認識モジュールと、
表示装置に対する検出されたモバイル装置の相対位置を計算するモジュールと、
前記検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、モバイル装置の相対位置に従って表示装置上の仮想装置の相対位置を再現するように構成された表示装置上に合成するモジュールと、
所定のアクションがユーザによってモバイル装置に対して行われたときに、ネットワーク内のモバイル装置を起動するモジュールと、を含むことを特徴とする。
本発明は、上記項のいずれか1項による方法を実施するシステムも提案する。ネットワーク内のモバイル装置を起動するシステムは、
表示装置と、
モバイル装置と、
表示装置に接続されたセンサと、
検出されたモバイル装置を認識するように構成された物体認識モジュールと、
表示装置に対する検出されたモバイル装置の相対位置を計算するモジュールと、
検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、モバイル装置の相対位置に従って表示装置上の仮想装置の相対位置を再現するように構成された表示装置上に合成するモジュールと、
所定のアクションがユーザによってモバイル装置に対して行われたときに、ネットワーク内のモバイル装置を起動するモジュールと、を含むことを特徴とする。
このようなシステムの物体認識、位置計算、アバター合成、またはモバイル装置の起動のための様々なモジュールは、例えば、表示装置内に実装することもできるし、あるいは通信ネットワーク(または「クラウド」)内に分散させることもできる。
モバイル装置は、例えば、携帯電話、携帯情報端末、無線キーボード、または電子タブレットの形態であってもよい。
本発明のその他の特徴および利点は、以下の詳細な説明および添付の図面を検討することにより明らかになるであろう。
本発明の一実施形態による、モバイル装置と通信するネットワーク表示装置を備えた通信ネットワークを示す機能概略図である。 本発明の一実施形態による、表示装置上の仮想装置および結合領域を示す概略図である。 本発明の一実施形態による、モバイル装置を起動する方法を示す概略図である。
添付の図面は、本発明を完成するだけでなく、必要に応じてその定義に寄与するように使用することもできる。
本発明の目的は、特に、ネットワークRのスクリーンARにリンクされた、例えばカメラなどのセンサCを使用することに基づいて、ネットワークR内のモバイル装置Dを起動する方法を提案することである。起動により、装置は、ネットワークによって認識され(場合により所定の権利を与えられ)、ネットワークにコマンドを入力することができると考えられる。センサCは、仮想装置またはアバターAと呼ばれる携帯電話のグラフィック表現をスクリーン上に合成するために、携帯電話を認識し、位置を特定し、向きを特定するステップを実施することを可能にする。これにより、ユーザが自分の携帯電話Dをスクリーンの前で動かすと、まるでスクリーンが鏡であるかのように、スクリーン上のアバターAが移動するのを見ることができる。こうして、ユーザは、自分の携帯電話が認識されたという情報を受け取る。ユーザは、スクリーン上で見ることができる自分の携帯電話を用いてアクションまたは特定の動きを実行することにより、アクションを開始する。変形例によれば、スクリーンAR上に表される所与の領域ZL上でアバターAを移動させることによって、ユーザは、自分の携帯電話のネットワークへの組み入れを実行する。すなわち、ユーザはネットワークにコマンドを入力することができる。
以下、非制限的な例として、通信ネットワークRは、特にxDSLアクセス・ネットワークによってインターネット・ネットワークに接続されたホーム・ネットワークであるものとする。通信ネットワークRは、ケーブル・タイプまたはファイバ・タイプの有線ネットワークであってもよいし、WLAN(場合によっては802.11(すなわちWiFi)またはWiMAXタイプの無線ローカル・エリア・ネットワーク)無線ローカル・ネットワーク、Bluetooth(登録商標)タイプの超短距離無線ローカル・ネットワーク、あるいはハイブリッド・ネットワークであってもよい。ホーム・ネットワークは、非制限的な例として、パーソナル・コンピュータ、接続されたテレビジョン・セット、アクセス・モデム、ディジタル・デコーダ、携帯電話(場合により「スマートフォン」タイプでもよい)、携帯情報端末(PDA)、電子タブレット、無線キーボードまたはゲーム・コンソールを含むことができる。ただし、本発明は、このタイプのホーム・ネットワークに限定されるわけではない。実際には、本発明は、表示装置を含む、例えば車に搭載されたBluetoothタイプの超短距離無線ローカル・ネットワークであって、運転者が自分の携帯電話を組み入れたいと思う超短距離無線ローカル・ネットワークにも関する。
さらに、以下では、非制限的な例として、モバイル装置Dはスマートフォンであるものとする。ただし、本発明は、このタイプの装置に限定されるわけではない。実際には、本発明は、コマンド入力手段、遠隔ユーザ・インタフェースを用いてモバイル装置およびネットワーク・ディスプレイを介してアクションを導入することができる任意のタイプの無線装置にも関する。従って、本発明は、例えば、「スマートフォン」タイプの携帯電話、携帯情報端末(PDA)、電子タブレット、無線キーボード、遠隔制御装置またはゲーム・コンソールにも関することがある。以下、この装置を「スマートフォン」と呼ぶ。
また、非制限的な例として、表示装置は、モデムまたはデコーダなど、ネットワークのコアにおける通信装置に接続されたスクリーンであるものとする。表示装置および通信装置は、有線(例えばHDMI(登録商標)によるもの)または無線リンクによって直接接続されるか、あるいはホーム・ネットワークを中継して接続される。完全にネットワークのベース装置の専用であり、かつ固定式(タブレットまたはスマートフォンが移動可能であるのに対して)であるので、この固定スクリーンは、ユーザに、本明細書の以下の部分でその利点を明確に理解できる新たな特徴を提供する。以下、このスクリーンを、「ネットワーク・ディスプレイ」ARと呼ぶ。
センサが、ネットワーク・ディスプレイに取り付けられる。以下では、非制限的な例として、このセンサは、例えばスクリーンの上部など、スクリーンに取り付けられた1つまたは複数の(少なくとも2つの)カメラであるものとする。ただし、本発明は、このタイプのセンサに限定されるわけではない。実際には、本発明は、空間中の物体を検出すること、すなわち、様々な変形例によれば、物体の形状(例えばキーまたはスクリーン用の所定の領域を有する平行六面体など)を検出して、ネットワーク・ディスプレイに対する物体の相対距離を測定すること、またはネットワーク・ディスプレイに対する物体の相対向きを測定することを可能にする、任意のタイプのある程度洗練されたセンサにも関する。センサは、非制限的な例として、第2の別のカメラ、Microsoft社製のKinect(登録商標)タイプの追加機器、または単純な距離検出器と関連付けられることによって、奥行きマップを規定することができるカメラとすることもできる。このセンサは、平坦な表面(スマートフォン)を認識し、そのスクリーンまでの距離を測定するように構成された超音波装置、またはモバイル装置に埋め込まれたタグにセンサから電磁波を送信する(かつセンサがタグから電磁波を受信する)電磁式相対位置決め装置であってもよい。最後に、このセンサは、スクリーンをその前に置かれた物体の一種の表面キャプチャ装置にするように画像をキャプチャする、それ自体がスクリーンを構成する特定のセルを含むこともできる。空間中のスマートフォンなどの物体を検出して、物体の認識に必要な情報を検出し、かつその空間座標(最大6つの座標)を計算して、認識された形状からスマートフォンを表現したものをスクリーン上に合成することを可能にする、当業者に既知の任意の技術、特に、(特定の自動車駐車補助装置の場合など)赤外線スペクトル、電磁場または超音波スペクトルの波の放出に基づく技術を考慮することができる。
図1は、本発明の一実施形態による、モバイル装置Dと通信するネットワーク表示装置ARを備えた通信ネットワークRを示す概略図である。センサCは、ネットワーク・ディスプレイARと関連付けられている。ここで、「関連付けられる」とは、(非制限的な意味で示すように)ネットワーク表示装置ARの一体化した一部であるということと、装置に直接接続され、従って通信ネットワークに接続されているということの両方の意味であるものと理解されたい。物体の認識などの特定のタスクは、ローカル・ネットワーク内、またはインターネット(クラウド)内で有利に分散することができる。
図2は、本発明の一実施形態による、表示装置AR上に提示される仮想装置Aおよび結合領域ZLを示す概略図である。自分のスマートフォンDを持っているユーザは、スマートフォンDを空間中で動かし、それにより、スクリーン上で鏡のようにアバターAを見ることができる。変形例では、アバターAならびに表示するコンテンツのスクリーン上の提示または結合領域ZLのスクリーン上の提示は、2次元または3次元であり、特に、表示するこれらの要素の2D提示または3D提示を任意に組み合わせることが可能である。ユーザは、アバターAが結合領域に位置するようにスマートフォンを動かすことにより、スマートフォンのネットワークへの組み入れを開始する。従って、ユーザは、この組み入れの実現を視覚的にモニタリングすることができる。すなわち、最初に、スマートフォンがスクリーン上に現れ、次いで、アバターを結合領域上に配置するユーザの単純なジェスチャによってアクションのコマンドが実行される。ただし、本発明は、この実施形態に限定されるわけではない。実際には、本発明は、ユーザが自分のスマートフォンに対して行うことができる任意のタイプのジェスチャにも関する。非制限的な例として、ジェスチャは、スマートフォン上の専用キーを押すジェスチャであったり、例えば電話を切るジェスチャ(スマートフォンを持っている手でフックをトレースする)、スマートフォンを揺さぶる、またはスマートフォンをネットワークのスクリーンに近づけるといった特定の動きであったりする。従って、結合領域は、表示装置上に表示されている場合も、ない場合もある。
本発明を実施するシステムは、ソフトウェア(またはコンピュータ)モジュールの形態で、またはネットワークの様々な装置に分散した電子回路およびソフトウェア・モジュールの組合せの形態で実現することができる。このシステムは、表示装置と、モバイル装置と、表示装置に関連付けられた、あるいは、(ネットワーク内のCPU集中型物体認識などの特定の機能を分散する場合に)ネットワークの他の装置に含まれる機能構成要素とを含む。
機能構成要素は、以下の通りである。
・スマートフォン近接センサ。このセンサの様々な実施形態については、既に述べた。このセンサは、デフォルトでは待機状態になっていて、スマートフォンの存在がWiFi検出されることによって、またはその他の任意の低消費電力存在検出器によって起動することができることに留意されたい。変形例によれば、センサは、待機状態にあるときには、その前に置かれた移動する物体の奥行きマップの構築だけを行い、物体が例えば3メートル未満など所定のしきい値未満の距離で検出されたときだけ、計算負荷の高い物体認識機能、再構築機能およびモニタリング機能を作動させる。
・モバイル装置とデータベースから得られる物体とが整合した結果が得られる画像認識及び処理モジュール。変形例によれば、この画像処理は、例えば所定のキーを含むものなどスマートフォンの前面の画像のシグネチャ、または、異なるスマートフォン同士を区別するその他の任意の視覚的特徴を使用する。有利なことに、ひとたび物体が認識され、スマートフォンと関連付けられると、仮想装置またはアバターと呼ばれる、そのスマートフォンのグラフィック表現をスクリーンに提示することができ、そのスマートフォンの向きの計算が可能になる。
・スクリーンに対するスマートフォンの空間中の相対位置についての少なくとも3つの座標(X,Y,Z)を計算するモジュールであり、完全なミラー効果を得るために、スクリーンに対するスマートフォンの相対向きによってこの相対位置を補足するときには最大6つの座標(X,Y,Z,ρ,θ,φ)を計算するモジュール。
・2Dまたは3Dのレンダリング・エンジンを用いて、上記の6つの座標を用いてスクリーン上にアバターを再生することが可能な、アバターをリアルタイムに合成するモジュール。種々の変形例によれば、アバターは、元のモバイル装置をアイコンの形態で写実的または象徴的に再現する。有利なことに、スマートフォンの原画像、すなわちカメラから直接得た画像は、スクリーン上にレンダリングされない。実際には、この画像は、特にスマートフォンを持っている手に隠れていてもよい。
・以前にスクリーンに提示されたコンテンツと、アバターと、結合領域が見える場合には結合領域とをリアルタイムにミキシングする、画像をミキシングするモジュール。
・結合領域上のアバターを検出し、スマートフォンをホーム・ネットワークに論理的に結合するアクションを開始するモジュール。
一実施形態によれば、このシステムは、様々なタイプのスマートフォンを区別し、特にスマートフォンのタイプ、より一般的にはモバイル装置のタイプを参照するデータベースを用いて、それらを異なるようにスクリーン上に表現することができる。第1の変形例によれば、スマートフォンのタイプはスマートフォン・ブランドのモデルに対応し、アバターは、そのアバターがそのスマートフォンのように見えるようにアバターのデータベースから有利に選択される。この変形例では、スマートフォンのタイプを知ることで、システムには、例えばDirect WiFi、Bluetooth、カメラを備える装置であるなど(ただしこれらに限定されない)、そのスマートフォンの機能を知らされる。第2の変形例によれば、スマートフォンのタイプは、スマートフォンのスクリーン上の壁紙として使用される画像、またはユーザを識別するコード(QRコード(登録商標)など)として使用される画像に対応する。アバターは、そのアバターがそのスマートフォンを所有するユーザに関連付けられるようにアバターのデータベースから有利に選択される。有利なことに、ユーザ・プロフィルが、データベースにおいて装置およびユーザの識別子とさらに関連付けられる。従って、ネットワーク・スクリーンは、ユーザ・プロフィルに関連付けられた個人的なユーザ環境(デスクトップなど)を表示する。第3の変形例によれば、スマートフォンのタイプは、アルファベットの文字列または所定のパターンに対応し、それにより、ユーザの名前またはその他の任意のスクリーン上に表示される情報もキャプチャすることができる。
他の実施形態によれば、アバターの動きは、スマートフォンの(鏡像の)向きを有する、スクリーン上のスマートフォンのミラー効果の完全な複製である。
他の実施形態によれば、画像認識モジュールは、例えばモバイル装置が発したWiFiフィールドのセンサによる検出などの、無線近接検出などの他の技術によっても起動される。
他の実施形態によれば、スクリーン上に表示される結合領域は、モバイル装置が、例えばサーバ(VODセッションを開始するため)、DLNA対応コンテンツ・レンダリング装置、またはスマートフォンのスクリーンのリモート・スクリーン・アプリケーションのスクリーン自体に合わせて起動することができる、様々な特徴の表示によって決まる。変形例では、視覚的チャネル通信によって起動される特徴に従って、複数の結合領域がネットワーク・スクリーン上に表示される。さらに他の非制限的な例では、スマートフォンは、ウェブ・ブラウザ・アプリケーションを表示しており、そのスマートフォンがネットワーク・スクリーンに対して提示され、スマートフォン・ブラウザによって提示されるURLが(QRコード、そのURLに関連付けられたパターン/ロゴ、URLのアルファベット表現による)視覚的通信チャネルによって認識され、スマートフォンが使用したURLをネットワーク・スクリーン上に表示するようにブラウザ・アプリケーションがホーム・ネットワークによって開始される。この実施形態では、有利なことに、ホーム・ネットワーク上のスマートフォンに権利を委譲せずにリモート・スクリーン・アプリケーションが許可される。
また、上述のタイプのネットワーク表示装置ARによって特に実施することができるモバイル装置を組み込む方法という観点から本発明を考察することができることに留意することも重要である。本発明による方法を実施することによって提供される特徴は、上述の装置Dによって提供される特徴と同一であるので、この方法によって提供される主な特徴の組合せについてのみ、以下で説明する。
図3は、本発明の一実施形態による、モバイル装置を組み込む方法を示す概略図である。
第1のステップE1で、ユーザが、自分のスマートフォンを例えばビデオを表示しているスクリーンに近づけると、センサによってスマートフォンが検出されて認識され、次いで、スクリーンは、アバターの形態のスマートフォンのグラフィック表現と、必要なら結合領域とを表示する。
第2のステップで、ユーザがスマートフォンを動かすと、スクリーン上のスマートフォンに適用されたジェスチャに対応してアバターが動くのが見られる。
ネットワーク内のスマートフォンを起動する、またはスマートフォンを介してネットワーク上の機能を起動する第3のステップE3は、アバターが結合領域内に位置するようにスマートフォンを動かすなどのスマートフォンに対するユーザの所定のアクションによって、スマートフォン上の所定のキー(例えば起動専用のキー)を押すことによって、またはスマートフォン上での所定のアクション(フック)によって、開始される。
有利なことに、いったんコマンドが入力されると、アバターはスクリーンから消え、ユーザは自分のスマートフォンを置くことができる。方法は、初期状態に戻る。
本発明は、有利なことに、アクションが極めて直感的なものであり、かつ可能な限り速やかに、すなわちほとんど同時に視覚的に再現されるので、ユーザが自分のアクションがネットワークによって認識されたという感覚を持つことができるようにする。この視覚的なリンキングは、メニューを必要とせず、変形例によれば、キーも必要としない。つまり、ユーザは、自分のスマートフォンを手で動かしてスクリーンの前に提示するだけでよい。従って、本発明は、ユーザにとって明確に認識できる簡素さを備えている。
また、ネットワークからモバイル装置を取り除くアクションは、本発明に有利に対応していることにも留意されたい。従って、スマートフォンをネットワークから取り除く、または導入したアクションを停止するためには、ユーザは、種々の変形例によれば、スマートフォンをスクリーン上に再度出現させて、それを除去または解除領域に配置する、またはスマートフォンをスクリーンから遠ざければよい。
本発明は、単に非制限的な例として提供された上述のモバイル装置、ネットワーク表示装置およびモバイル装置を組み込む方法の実施形態に制限されるわけではなく、以下の特許請求の範囲の枠組み内で当業者が想定することができる全ての変形例を含む。

Claims (14)

  1. センサ(C)に接続されている少なくとも1つの表示装置(AR)を含むネットワーク(R)内のモバイル装置(D)を起動する方法であって、
    前記表示装置に接続された前記センサによって前記モバイル装置を検出すること(E1)と、
    前記検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、表示スクリーン上の前記仮想装置の位置が前記センサのキャプチャ・フィールド内の前記モバイル装置の位置とリンクするように、前記表示装置上に表示すること(E2)と、
    所定のアクションが前記ユーザによって前記モバイル装置に対して行われたときに、前記ネットワーク内の前記モバイル装置を起動すること(E3)と、
    を含むことを特徴とする、前記方法。
  2. 前記センサ(C)は、少なくとも1つの画像キャプチャ装置を含む、請求項1に記載の方法。
  3. 所定の形状が前記モバイル装置と関連付けられており、前記モバイル装置を検出すること(E1)は形状による物体認識を含み、前記仮想装置による前記検出されたモバイル装置の表現が前記所定の形状に基づく、請求項1または2に記載の方法。
  4. 前記モバイル装置を検出すること(E1)は、前記表示装置に対する前記モバイル装置の相対位置を測定することを含む、請求項1から3のいずれか1項に記載の方法。
  5. 前記モバイル装置を検出すること(E1)は、前記表示装置に対する前記モバイル装置の相対向きを測定することを含む、請求項1から4のいずれか1項に記載の方法。
  6. 前記起動(E3)のための前記所定のアクションは、前記仮想装置を前記表示装置上の結合領域に動かすように適応された前記モバイル装置の移動を含む、請求項1から5のいずれか1項に記載の方法。
  7. 前記起動のための前記所定のアクションは、前記モバイル装置上の所定の領域の押圧を含む、請求項1から5のいずれか1項に記載の方法。
  8. 前記起動のための前記所定のアクションは、前記ユーザによって前記モバイル装置に対して行われる所定の動きを含む、請求項1から5のいずれか1項に記載の方法。
  9. 前記ネットワークは少なくとも1つの第2の装置をさらに含み、起動することは、前記表示装置上または少なくとも1つの第2の装置上でのコマンドの入力をさらに含む、請求項1から8のいずれか1項に記載の方法。
  10. 検出することが、無線通信フィールド内における予備検出によって開始される、請求項1から9のいずれか1項に記載の方法。
  11. ネットワーク(R)内のモバイル装置(D)を起動するように構成された表示装置(AR)であって、
    前記モバイル装置を検出するように構成されたセンサ(C)と、
    前記検出されたモバイル装置を認識するように構成された物体認識モジュールと、
    前記表示装置に対する前記検出されたモバイル装置の相対位置を計算するモジュールと、
    前記検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、前記モバイル装置の前記相対位置に従って前記表示装置上の前記仮想装置の相対位置を再現するように構成された前記表示装置上に合成するモジュールと、
    所定のアクションが前記ユーザによって前記モバイル装置に対して行われたときに、前記ネットワーク内の前記モバイル装置を起動するモジュールと、
    を含むことを特徴とする、前記表示装置。
  12. 前記センサは、少なくとも1つの画像をキャプチャするように構成された少なくとも1つのカメラを含む、請求項11に記載の表示装置。
  13. 前記表示装置上に結合領域を表示するモジュールをさらに含み、前記仮想装置が前記結合領域上に位置決めされることによって前記起動モジュールが起動される、請求項11または12に記載の表示装置。
  14. 表示装置(AR)と、
    モバイル装置(D)と、
    前記表示装置に接続されたセンサ(C)とを含む、ネットワーク内のモバイル装置を起動するシステムであって、
    前記検出されたモバイル装置を認識するように構成された物体認識モジュールと、
    前記表示装置に対する前記検出されたモバイル装置の相対位置を計算するモジュールと、
    前記検出されたモバイル装置を表す、仮想装置と呼ばれる装置を、前記モバイル装置の前記相対位置に従って前記表示装置上の前記仮想装置の相対位置を再現するように構成された前記表示装置上に合成するモジュールと、
    所定のアクションが前記ユーザによって前記モバイル装置に対して行われたときに、前記ネットワーク内の前記モバイル装置を起動するモジュールと、
    をさらに含むことを特徴とする、前記システム。

JP2015547059A 2012-12-17 2013-12-16 ネットワーク内のモバイル装置を起動する方法、ならびに関連する表示装置およびシステム Active JP6334557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1262179A FR2999847A1 (fr) 2012-12-17 2012-12-17 Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
FR1262179 2012-12-17
PCT/EP2013/076660 WO2014095691A2 (en) 2012-12-17 2013-12-16 Method for activating a mobile device in a network, and associated display device and system

Publications (3)

Publication Number Publication Date
JP2016508252A true JP2016508252A (ja) 2016-03-17
JP2016508252A5 JP2016508252A5 (ja) 2016-12-15
JP6334557B2 JP6334557B2 (ja) 2018-05-30

Family

ID=48468408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015547059A Active JP6334557B2 (ja) 2012-12-17 2013-12-16 ネットワーク内のモバイル装置を起動する方法、ならびに関連する表示装置およびシステム

Country Status (9)

Country Link
US (2) US11693538B2 (ja)
EP (1) EP2932356B1 (ja)
JP (1) JP6334557B2 (ja)
KR (1) KR102188363B1 (ja)
CN (1) CN104871115B (ja)
FR (1) FR2999847A1 (ja)
TW (1) TWI654537B (ja)
WO (1) WO2014095691A2 (ja)
ZA (1) ZA201504358B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230139857A1 (en) * 2017-01-16 2023-05-04 Snap Inc. Coded vision system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351682B (zh) * 2015-09-23 2022-06-03 尹特根埃克斯有限公司 实时帮助的系统和方法
GB2580665A (en) * 2019-01-22 2020-07-29 Sony Corp A method, apparatus and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4712804B2 (ja) * 2005-07-29 2011-06-29 パイオニア株式会社 画像表示制御装置及び画像表示装置
US20110314153A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Networked device authentication, pairing and resource sharing
JP2014010833A (ja) * 2012-06-27 2014-01-20 Naver Corp イメージ認証キーを用いたtvとスマートフォンの連動システム、方法およびコンピュータ読み取り可能な記録媒体
JP2014053667A (ja) * 2012-09-05 2014-03-20 Sony Corp 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US7925022B2 (en) 2005-05-23 2011-04-12 The Invention Science Fund I, Llc Device pairing via device to device contact
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
TWI360641B (en) 2006-05-10 2012-03-21 I Jen Chiang A platform and method for location-based service
US8380246B2 (en) * 2007-03-01 2013-02-19 Microsoft Corporation Connecting mobile devices via interactive input medium
US20120314063A1 (en) * 2007-03-14 2012-12-13 Seth Cirker Threat based adaptable network and physical security system
JP4866793B2 (ja) 2007-06-06 2012-02-01 安川情報システム株式会社 物体認識装置および物体認識方法
US8126221B2 (en) * 2008-02-14 2012-02-28 Ecole Polytechnique Federale De Lausanne (Epfl) Interactive device and method for transmitting commands from a user
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US8230075B1 (en) * 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
KR101554958B1 (ko) * 2009-03-06 2015-09-22 삼성전자주식회사 비주얼 코드를 이용한 원격 조작 방법 및 그 방법을 수행하는 장치
TW201037609A (en) 2009-04-03 2010-10-16 Lixing Communation Technology Co Ltd Internet on-line real-time information processing system
US8566713B2 (en) 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
JP2011044040A (ja) 2009-08-21 2011-03-03 Fujitsu Ltd 表示装置、機器連係システム、機器連係制御方法および機器連係制御プログラム
US8699779B1 (en) * 2009-08-28 2014-04-15 United Services Automobile Association (Usaa) Systems and methods for alignment of check during mobile deposit
JP5343773B2 (ja) 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US9207765B2 (en) 2009-12-31 2015-12-08 Microsoft Technology Licensing, Llc Recognizing interactive media input
KR101080532B1 (ko) * 2010-01-29 2011-11-04 주식회사 팬택 통신단말 및 그의 데이터 전송 방법
KR101651191B1 (ko) * 2010-06-14 2016-08-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8738783B2 (en) * 2010-06-22 2014-05-27 Microsoft Corporation System for interaction of paired devices
US8447863B1 (en) * 2011-05-06 2013-05-21 Google Inc. Systems and methods for object recognition
US20130339864A1 (en) * 2012-06-15 2013-12-19 Nokia Corporation Method and apparatus for providing mixed-reality connectivity assistance
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4712804B2 (ja) * 2005-07-29 2011-06-29 パイオニア株式会社 画像表示制御装置及び画像表示装置
US20110314153A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Networked device authentication, pairing and resource sharing
JP2014010833A (ja) * 2012-06-27 2014-01-20 Naver Corp イメージ認証キーを用いたtvとスマートフォンの連動システム、方法およびコンピュータ読み取り可能な記録媒体
JP2014053667A (ja) * 2012-09-05 2014-03-20 Sony Corp 情報処理装置、情報処理システム、情報処理方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230139857A1 (en) * 2017-01-16 2023-05-04 Snap Inc. Coded vision system
US11989809B2 (en) * 2017-01-16 2024-05-21 Snap Inc. Coded vision system
US12387405B2 (en) 2017-01-16 2025-08-12 Snap Inc. Coded vision system

Also Published As

Publication number Publication date
EP2932356A2 (en) 2015-10-21
TWI654537B (zh) 2019-03-21
CN104871115A (zh) 2015-08-26
CN104871115B (zh) 2019-12-10
US11693538B2 (en) 2023-07-04
FR2999847A1 (fr) 2014-06-20
JP6334557B2 (ja) 2018-05-30
US20230289042A1 (en) 2023-09-14
WO2014095691A3 (en) 2015-03-26
KR20150098621A (ko) 2015-08-28
US12277304B2 (en) 2025-04-15
TW201428547A (zh) 2014-07-16
KR102188363B1 (ko) 2020-12-08
WO2014095691A2 (en) 2014-06-26
HK1216198A1 (en) 2016-10-21
EP2932356B1 (en) 2020-07-15
US20150324077A1 (en) 2015-11-12
ZA201504358B (en) 2016-11-30

Similar Documents

Publication Publication Date Title
US11269583B2 (en) Methods and systems for displaying content on multiple networked devices with a simple command
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
US12277304B2 (en) Method for activating a mobile device in a network, and associated display device and system
WO2019062606A1 (zh) 弹幕信息显示方法、提供方法以及设备
KR20140147329A (ko) 락 스크린을 표시하는 전자 장치 및 그 제어 방법
CN111159449A (zh) 一种图像显示方法及电子设备
CN111178306B (zh) 一种显示控制方法及电子设备
CN111093033B (zh) 一种信息处理方法及设备
JP2016508252A5 (ja)
CN113298588A (zh) 提供物品对象信息的方法、装置及电子设备
HK1216198B (en) Method for activating a mobile device in a network, and associated display device and system
CN116112599A (zh) 设备控制方法、装置以及电子设备

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180426

R150 Certificate of patent or registration of utility model

Ref document number: 6334557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250