JP2019149066A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能とする。【解決手段】ユーザと接して使用される情報処理装置は、現実の空間に存在する操作の対象とする物体を対向する位置から操作する場合のユーザの動きであり、物体とは非接触のまま現実の空間で行われるユーザの動きを検知する検知手段と、検知されたユーザの動きに対応する操作の実行を物体に指示する制御手段とを有する。【選択図】図５

Description

本発明は、情報処理装置及びプログラムに関する。

ユーザが操作する携帯機器に内蔵されたカメラで撮像した画像に含まれる機器を認識し、認識された機器に対応する仮想ユーザインタフェースを拡張現実の空間に表示し、この仮想ユーザインタフェースを通じて機器を操作することが提示されている。

特開２０１３−１７２４３２号公報

機器の操作には、ユーザの接触による指示が前提とされる。

本発明は、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能とする。

請求項１に記載の発明は、現実の空間に存在する操作の対象とする物体を対向する位置から操作する場合のユーザの動きであり、当該物体とは非接触のまま現実の空間で行われるユーザの動きを検知する検知手段と、検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段と、を有し、ユーザと接して使用される情報処理装置である。
請求項２に記載の発明は、前記検知手段は、前記物体とユーザの体の一部を同時に撮像した画像からユーザの動きを検知する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記画像の撮像者はユーザである、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、ユーザの体の一部は、前記物体の上に重ねて表示される、請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記制御手段は、前記画像上で、ユーザの体の一部との重なりが検知された前記物体に対し、検知されたユーザの動きを紐付ける、請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記制御手段は、予め定めた体の一部を検知の対象とする、請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記予め定めた体の一部は指又は手である、請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記予め定めた体の一部は足である、請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記検知手段は、前記物体とユーザの体の一部とが同時に撮像されている場合におけるユーザの動きを検知の対象とする、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、ユーザの動きに対応する操作は、前記物体の個別の部位毎に用意されている、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、動きが検知されたユーザが、前記物体の操作が許可されているユーザである場合に限り、当該物体に対して操作の実行を指示する、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、検知されたユーザの動きに対応する操作が前記物体で実行できない場合、ユーザに報知する、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記物体に対する正しい操作の方法を報知する、請求項１２に記載の情報処理装置である。
請求項１４に記載の発明は、前記制御手段は、前記物体に応じ、検知されたユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、前記制御手段は、前記物体との通信を通じて操作が可能な当該物体の機能を取得する、請求項１に記載の情報処理装置である。
請求項１６に記載の発明は、前記制御手段は、前記物体がユーザの体で隠れないように、ユーザの体を透過的に表示する、請求項１に記載の情報処理装置である。
請求項１７に記載の発明は、前記制御手段は、前記物体がユーザの体で隠れないように、ユーザの体の一部分を選択的に表示する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記制御手段は、ユーザの体の部位を示唆する表記を前記物体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、前記制御手段は、ユーザの動きを操作として受け付けたことをユーザに報知する、請求項１に記載の情報処理装置である。
請求項２０に記載の発明は、前記制御手段は、操作として受け付けた体の部位を、受け付け前とは異なる態様で表示する、請求項１９に記載の情報処理装置である。
請求項２１に記載の発明は、前記制御手段は、前記物体の操作に用いる装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項２２に記載の発明は、前記制御手段は、前記物体が存在する環境に応じた装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置である。
請求項２３に記載の発明は、前記検知手段は、前記物体の像を表示する画面とユーザの体の一部を同時に撮像した画像からユーザの体の一部の動きを検知する、請求項１に記載の情報処理装置である。
請求項２４に記載の発明は、前記制御手段は、前記物体を撮像した画像とユーザの体の一部を撮像した画像とを合成した画像からユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置である。
請求項２５に記載の発明は、前記制御手段は、ユーザの動きに対応する操作が前記物体に対する物理的な操作を必要とする場合、可動部を有する別の機器に対して操作の実行を指示する、請求項１に記載の情報処理装置である。
請求項２６に記載の発明は、自装置とは非接触のまま現実の空間で行われるユーザの動きに対応する操作の実行を指示する通信を、ユーザと接して使用される端末から受信した場合、指示された操作の実行を許可する制御手段を有する情報処理装置である。
請求項２７に記載の発明は、前記制御手段は、前記端末からの指示に限り、操作の実行を許可する、請求項２６に記載の情報処理装置である。
請求項２８に記載の発明は、ユーザと接して使用されるコンピュータを、現実の空間に存在する操作の対象とする物体を対向する位置から操作する場合のユーザの動きであり、当該物体とは非接触のまま現実の空間で行われるユーザの動きをユーザの地点から検知する検知手段と、検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段として機能させるプログラムである。

請求項１記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２記載の発明によれば、接触による場合と同じ動きで物体を操作できる。
請求項３記載の発明によれば、接触による場合と同じ動きで物体を操作できる。
請求項４記載の発明によれば、ユーザは画面上で自身の動きと操作の対象とする物体との位置関係を確認できる。
請求項５記載の発明によれば、接触による場合と同じ動きで物体を操作できる。
請求項６記載の発明によれば、誤操作を低減できる。
請求項７記載の発明によれば、誤操作を低減できる。
請求項８記載の発明によれば、誤操作を低減できる。
請求項９記載の発明によれば、誤操作を低減できる。
請求項１０記載の発明によれば、操作を効率化できる。
請求項１１記載の発明によれば、操作者を限定できる。
請求項１２記載の発明によれば、正しくない操作を知らせることができる。
請求項１３記載の発明によれば、正しい操作を促すことができる。
請求項１４記載の発明によれば、物体に応じた操作を指示できる。
請求項１５記載の発明によれば、物体に応じた操作を指示できる。
請求項１６記載の発明によれば、画面上で物体を確認したまま操作できる。
請求項１７記載の発明によれば、画面上で物体を確認したまま操作できる。
請求項１８記載の発明によれば、誤操作を低減できる。
請求項１９記載の発明によれば、操作の確定を確認できる。
請求項２０記載の発明によれば、操作の確定を確認できる。
請求項２１記載の発明によれば、現実感を高めることができる。
請求項２２記載の発明によれば、現実感を高めることができる。
請求項２３記載の発明によれば、操作の対象とする物体がユーザの前に存在しなくても接触による場合と同じ動きで物体を操作できる。
請求項２４記載の発明によれば、操作の対象とする物体がユーザの前に存在しなくても接触による場合と同じ動きで物体を操作できる。
請求項２５記載の発明によれば、物理的な接触が必要とされる操作も実行を指示できる。
請求項２６記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。
請求項２７記載の発明によれば、操作の安全性を高めることができる。
請求項２８記載の発明によれば、ユーザの接触による操作を用いずに現実の空間に存在する物体の操作を可能にできる。

実施の形態１に係るシステムの一例を説明する図である。 画像形成装置のハードウェア構成の一例を説明する図である。 スマートフォンのハードウェア構成の一例を説明する図である。 プログラムの実行を通じて処理回路部が実現する機能構成の一例を説明する図である。 処理回路部において実行される処理動作の一例を説明するフローチャートである。 撮像者であるユーザが自身の人差し指を画像形成装置に重なるように撮像する様子を説明する図である。 画像形成装置に非接触のまま人差し指を空中で押すような動作を撮像する様子を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 操作の受け付けをユーザに報知する他の方法を説明する図である。 人差し指の像を液晶ディスプレイに表示させない手法を説明する図である。 人差し指の像を液晶ディスプレイに表示させない他の手法を説明する図である。 人差し指の像を液晶ディスプレイに表示させない他の手法を説明する図である。 操作の対象が通信の機能を有する電卓である場合を説明する図である。 操作の対象がレバーである場合を説明する図である。 操作の対象がレバーである場合の他の例を説明する図である。 蝶番が取り付けられた部分を軸として開閉する片開き扉を操作の対象とする場合を説明する図である。 ユーザが右手を空中に押し出す動きをスマートフォンで撮像することで片開き扉が少し開いた状態を説明する図である。 ユーザが右手を空中に押し出す動きをスマートフォンで撮像することで片開き扉が大きく開いた状態を説明する図である。 片開き扉にレバー式の取っ手が取り付けられている場合を説明する図である。 照明器具を撮像の対象とする場合を説明する図である。 照明器具の点灯を制御するスイッチを撮像の対象とする場合を説明する図である。 表示装置に表示されている電卓の像を撮像の対象とする場合を説明する図である。 スマートフォンで撮像されるユーザの動きを画面上に表示されている操作子の操作に紐付ける場合を説明する図である。 実施の形態２に係るシステムの一例を説明する図である。 金庫を操作の対象として撮像する場合を説明する図である。 金庫のハードウェア構成の一例を説明する図である。 ＭＰＵで実行される処理動作の一例を説明するフローチャートである。 実施の形態４に係るシステムの一例を説明する図である。 前述した実施の形態で説明したように、スマートフォンでユーザの体の一部の動きを片開き扉の操作として受け付ける場合を示している。 ネットワークを介して複数のユーザが操作の情報を共有する仕組みを説明する図である。 ３台のスマートフォンのうちの１台を使用して片開き扉を押し開く場合を説明する図である。 片開き扉が開かれた状態が３台のスマートフォンで共有される様子を説明する図である。 植木の移動を身振りで指示する場合を説明する図である。 ロボットのハードウェア構成を説明する図である。 ロボットを使用した植木の移動を説明する図である。 画像形成装置に対向する位置の他の例を説明する図である。 身振りによって用紙の収容部を開閉する例を説明する図である。 印刷された用紙に対して穴を開ける処理や綴る処理を加えるための機構（後処理装置）が取り付けられている場合の操作例を説明する図である。 後処理装置の像が人差し指の像で選択した場合に実行される表示部に生じる画面の変化を説明する図である。（Ａ）は人差し指の像による身振りを受け付ける前の表示を示し、（Ｂ）は人差し指の像による身振りを受け付けた後の表示を示し、（Ｃ）は身振りによる操作を受け付けるスマートフォンの画面例を示す。 許容される最大の角度まで片開き扉が開いた後も押し続ける身振りが検知される場合をユーザに報知する機能の一例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム例＞
図１は、実施の形態１に係るシステムの一例を説明する図である。
図１に示すシステムは、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する画像形成装置１００と、画像形成装置１００を撮像するスマートフォン２００とで構成されている。
画像形成装置１００は、現実の空間に存在する物体の一例であるとともに、情報処理装置の一例でもある。

画像形成装置１００は、複製物を生成するコピー機能、原稿の画像を読み取るスキャン機能、他機との間でファックス画像を受け渡しするファックス送受信機能、用紙に画像を記録する印刷機能等を備えている。コピー機能は、スキャン機能と印刷機能とを組み合わせることで実現される。
なお、画像形成装置１００は、コピー機能、スキャン機能、ファックス送受信機能の全てを備える必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、プリンタ（３次元プリンタを含む。）であってもよい。また、画像形成装置１００は、これらの機能の一部を選択的に組み合わせた装置構成を有していてもよい。

画像形成装置１００は、ユーザからの操作の受け付けやユーザに対する各種情報の提示に用いられるユーザインタフェース部１１０と、原稿の画像を読み取る画像読取ユニット１２０と、用紙上に画像を記録する画像形成ユニット１３０と、用紙を収容する収容部１４０とで構成されている。
スマートフォン２００は、携帯型の端末装置であり、後述するように撮像用のカメラ、表示画面、通信機能等を備えている。スマートフォン２００は、情報処理装置の一例である。
図１に示すスマートフォン２００の表示画面には、画像形成装置１００の像１００Ａが表示されている。

＜画像形成装置の構成＞
図２は、画像形成装置１００のハードウェア構成の一例を説明する図である。
図２には、図１との対応部分に対応する符号を付して示している。
ユーザインタフェース部１１０は、操作画面等の表示に使用される表示部１１１と、ユーザの入力操作を受け付ける操作受付部１１２とを備えている。
表示部１１１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネル等で構成されている。
操作受付部１１２は、ユーザによる操作入力を受け付けるボタンやタッチパッド等で構成されている。

画像読取ユニット１２０は、原稿から画像を読み取る画像読取部と、画像読取部に原稿を搬送する原稿搬送部とを有している。画像読取ユニット１２０は、画像形成ユニット１３０の上部に配置される。
画像形成ユニット１３０は、制御部として機能するＭＰＵ（Micro Processing Unit）１３１と、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３を有している。
ＭＰＵ１３１は、ＲＯＭ１３２から読み出したファームウェア等のプログラムを実行し、各種の機能を提供する。ＲＡＭ１３３は、プログラムの作業領域として使用される。

画像形成ユニット１３０には、その他に、画像データ等の記憶に用いられる記憶部１３４、画像データに色補正や階調補正等の画像処理を加える画像処理部１３５、電子写真方式やインクジェット方式で用紙に画像を形成する画像形成部１３６、外部との通信に用いられる通信部１３７等を有している。
記憶部１３４は、ハードディスク装置や半導体メモリ等の不揮発性の記憶媒体を有している。記憶部１３４には、画像読取ユニット１２０で読み取った原稿の画像データや通信部１３７を通じて受信した画像データが記憶される。

画像処理部１３５は、例えば専用のプロセッサや処理ボードによって構成される。
通信部１３７は、ＬＡＮ（Local Area Network）インタフェースやファクシミリ通信網サービスのインタフェースを備えている。前述したスマートフォン２００（図１参照）との通信にはＬＡＮインタフェースが使用される。
なお、ＭＰＵ１３１、ＲＯＭ１３２、ＲＡＭ１３３、記憶部１３４、画像処理部１３５、画像形成部１３６、通信部１３７は、バス１３８を通じて互いに接続されている。また、前述したユーザインタフェース部１１０と画像読取ユニット１２０は、インタフェース１３９を通じてバス１３８に接続されている。

＜スマートフォンの構成＞
図３は、スマートフォン２００のハードウェア構成の一例を説明する図である。
スマートフォン２００は、データを処理する処理回路部２１０と、プログラムやデータを記憶する不揮発性のメモリ２２１と、オーディオ信号を入出力するオーディオ回路２２２と、画像を表示する液晶ディスプレイ（ＬＣＤ）２２３と、電源制御デバイス２２４と、画像を撮像するカメラ２２５と、操作面に対する接触を検知するタッチパッド２２６と、ＷｉＦｉ（登録商標）規格に準拠する無線信号を送受信するＷｉＦｉ（Wireless Fidelity）モジュール２２７と、近距離無線通信規格の１つであるブルートゥース（登録商標）規格に準拠する無線信号を送受信するBluetooth（登録商標）モジュール２２８と、を有している。

本実施の形態の場合、カメラ２２５が設けられる面と液晶ディスプレイ２２３が設けられる面とは、表面と裏面の関係にある。
このため、ユーザは、現実の空間に存在する物体（例えば画像形成装置）と自身の体の一部（例えば指、手、足）をカメラ２２５で撮像しながら、その画像を液晶ディスプレイ２２３で確認することが可能である。
なお、カメラ２２５が複数設けられている場合や液晶ディスプレイ２２３が複数設けられている場合には、少なくとも１組のカメラ２２５と液晶ディスプレイ２２３が表面と裏面の位置に配置されていればよい。
本実施の形態では、液晶ディスプレイ２２３を用いているが、有機ＥＬ（Electro-Luminescence）ディスプレイその他の表示手段を用いてもよい。

処理回路部２１０には、メモリ２２１との間でデータの読み書きを制御するメモリ制御部２１１と、処理を実行する複数のＣＰＵコア（Central Processing Unit Core）２１２と、電源の供給を管理する電源管理部２１３と、組み込みシステムの動作を管理するシステム管理部２１４と、オーディオ信号を処理するオーディオ処理部２１５と、実時間で画像を処理するＧＰＵ（Graphics Processing Unit）２１６と、液晶ディスプレイ２２３に画像を表示するディスプレイ制御部２１７と、外部のモジュールとの接続に使用される外部インタフェース（Ｉ／Ｆ）２１８と、ベースバンド信号を処理するベースバンド回路２１９とが設けられている。

図４は、プログラムの実行を通じて処理回路部２１０が実現する機能構成の一例を説明する図である。
ここでの処理回路部２１０は、検知手段の一例であるとともに制御手段の一例でもある。
処理回路部２１０は、画像データを処理してユーザの身振りを検知する身振り検知部２５１と、操作の対象とする物体を検知する操作対象検知部２５２と、操作の対象とする物体（本実施の形態では画像形成装置１００）から物体が備える機能の情報を取得する対象側機能取得部２５３と、ユーザの身振りを操作として受け付ける操作受付部２５４と、受け付けた操作に対応する指示を対象とする物体に送信する指示送信部２５５と、操作の受け付けをユーザに報知する報知部２５６として機能する。

本実施の形態における身振り検知部２５１は、カメラ２２５で撮像された画像からユーザの体の一部（例えば指、手、足）の動きを身振りとして検知する。動きの意味は、操作の対象として検知される物体（例えば画像形成装置１００）毎に異なる。
本実施の形態における身振りには、例えば押す、引く、回す、握る、蹴る、踏む、クリック、ダブルクリック、ドラッグ、タップ、フリック、スワイプ等が含まれる。
本実施の形態における操作対象検知部２５２は、液晶ディスプレイ２２３（図３参照）に表示される画像を分析して操作の対象となる物体やその操作子等を検知する。
本実施の形態における操作子には、操作の対象となる物理的な構造物（例えばボタン、スイッチ）、ソフトウェア的に再現される画面上の表示（例えばボタン、スイッチ）等が含まれる。

処理に用いる画像は、スマートフォン２００に設けられたカメラ２２５から取得される実時間の画像データに限らず、メモリ２２１や外部から取得される画像データでもよい。
画面内に複数の物体が含まれる場合、操作対象検知部２５２は、例えば液晶ディスプレイ２２３に表示される像が画面の中央により近い物体を対象として検知してもよいし、ユーザの体の一部の像と重なる位置の物体を操作の対象として検知してもよい。
なお、操作対象検知部２５２は、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中からユーザによって選択された機器を操作の対象として検知してもよい。

本実施の形態における対象側機能取得部２５３は、例えば操作対象検知部２５２で検知された物体との通信を通じ、操作が可能な操作子の情報を取得する。例えば無線ＬＡＮを用い、操作子の情報を取得する。
また、対象側機能取得部２５３は、例えば通信可能な機器のそれぞれから操作が可能な操作子の情報を取得してもよい。
なお、操作の対象が通信機能を有しているとは限らない。例えば操作の対象が植物や自然物の場合である。この場合でも、対象側機能取得部２５３は、人の動きを代行可能なロボットその他の機器と通信し、実行が可能な操作の情報を取得してもよい。

本実施の形態における操作受付部２５４は、検知された身振りを操作の対象とする物体の特定の機能に紐付けて操作として受け付ける。
なお、図１に示したように、操作の対象とする物体は、ユーザと対向する位置に存在している。このため、カメラ２２５（図３参照）がユーザの体の一部を撮像する方向と、操作の対象とする物体を撮像する方向とが同じになる。
ここで、対向する位置とは、ユーザと操作の対象とする物体とが、向き合っていればよく、必ずしも正面である必要はない。例えばユーザとの間で何かしらの向き合う部分（例えば物体の側面の部分、背面の部分）が存在すれば、操作の対象とユーザの身振りとの紐付けが可能であり、紐付けられた物体に対して指示を出すことができる。従って、ユーザが物体に対して斜め前に位置する場合も、向き合う場合に含まれる。

本実施の形態における指示送信部２５５は、受け付けた操作に対応する指示の実行を対象とする物体（例えば画像形成装置）に対して送信する。なお、指示送信部２５５は、指示に対する応答（例えば指示の受け付け等）を対象とする物体の側から取得する機能も備えている。
また、指示送信部２２５は、操作の対象とする物体の各部に、それぞれ特有の身振りと機能の指示とが紐付けられている場合には、身振りを通じて受け付けた指示を送信してもよい。この場合、操作画面に対する操作は不要となる。
因みに、操作画面に対する操作を必須とする場合には、操作画面内に配置された複数の選択肢の中から１つを選択する操作や深い階層に位置する選択肢にたどり着く必要がある。しかし、操作の対象とする物体の特定の部位に、それぞれ特定の身振りと特定の機能が割り当てられている場合には、より少ない操作で指示を送信することが可能になる。結果的に、複数の機能を素早く選択的に実行できる。
本実施の形態における報知部２５６は、オーディオ回路２２２や液晶ディスプレイ２２３を通じて、ユーザによる身振りによる操作を補助する各種の報知を実行する。

＜処理回路部による処理動作＞
図５は、処理回路部２１０において実行される処理動作の一例を説明するフローチャートである。図５においては、ステップを記号のＳで示す。
本実施の形態における処理回路部２１０は、液晶ディスプレイ２２３（図３参照）の画面内に映り込んでいる人体の一部（例えば指）を認識する（ステップ１０１）。
次に、処理回路部２１０は、認識された人体の一部の動きを検知する（ステップ１０２）。
以上の処理は、例えば身振り検知部２５１（図４参照）が実行する。

その後、処理回路部２１０は、画面内で人体の一部の像と重なる物体の部位を特定する（ステップ１０３）。この処理は、例えば操作対象検知部２５２（図４参照）が実行する。
なお、処理回路部２１０は、操作の対象である物体の認識も事前に又は並行して行う。操作の対象である物体を特定できない場合、処理回路部２１０は、操作の対象とする物体を特定できないこと、型式等を含む画像を撮像すべきこと等を報知する。この処理は、例えば報知部２５６（図４参照）が実行する。

続いて、処理回路部２１０は、検知された人体の動きを、特定された部位に対する操作として受け付ける（ステップ１０４）。この処理は、例えば操作受付部２５４が実行する。なお、特定された部位に対応付けられている機能が存在しない場合や対応付けられている機能の実行とは関係のない動きの場合、処理回路部２１０は、検知された動きを操作として受け付けないこともある。

次に、処理回路部２１０は、対象とする物体を通信により制御可能か否かを判定する（ステップ１０５）。この処理も、例えば操作受付部２５４が実行する。
ステップ１０５で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を、対象とする物体に送信する（ステップ１０６）。

ステップ１０５で否定結果が得られた場合、処理回路部２１０は、操作の代行が可能な自走装置があるか否かを判定する（ステップ１０７）。
ステップ１０７で肯定結果が得られた場合、処理回路部２１０は、操作の実行を指示する信号を自走装置に送信する（ステップ１０８）。
ステップ１０７で否定結果が得られた場合、処理回路部２１０は、操作できない旨を報知する（ステップ１０９）。

＜操作例＞
以下では、前述した機能を用いて実現される操作例について説明する。
＜操作例１＞
図６は、撮像者であるユーザが自身の人差し指３０１を画像形成装置１００に重なるように撮像する様子を説明する図である。
この撮像の際、ユーザは、左手でスマートフォン２００を保持している。人差し指３０１はユーザの右手であり、画像形成装置１００には触れていない。

図６の場合、スマートフォン２００の液晶ディスプレイ２２３には、ユーザインタフェース部１１０の一部分が拡大された状態で表示されている。
この表示の状態は、画像形成装置１００の像が液晶ディスプレイ２２３に表示されている状態で、液晶ディスプレイ２２３の画面に触れた２本の指の間を広げるように動かすことで得られる。なお、音声認識技術を使用すれば、液晶ディスプレイ２２３に触れなくてもズームアップが可能である。

図６の場合、現実の空間に存在するユーザインタフェース部１１０の一部分を撮像した像２７０（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）と、人差し指の像３０１Ａとが、液晶ディスプレイ２２３に表示されている。
前述したように、現実の空間内における位置関係は、一番奥から順番に、画像形成装置１００、ユーザの人差し指３０１、スマートフォン２００である。
従って、スマートフォン２００で撮像された人差し指の像３０１Ａは、ユーザインタフェース部の像２７０の手前に重なるように表示される。

ところで、人差し指３０１の動きで画像形成装置１００を操作するには、操作の対象として画像形成装置１００が事前に特定されている必要がある。
画像形成装置１００の特定には、例えば画像形成装置１００の画像を処理して機種を特定する技術、画像に含まれる型番等の文字情報を検知する技術、液晶ディスプレイ２２３に表示される候補の中から選択する技術等の使用が可能である。ここでの候補は、例えば無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧として与えられる。
ここでは、操作の対象として画像形成装置１００が既に特定されているものとする。

図６の場合、操作が可能な２つの操作子（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）が液晶ディスプレイ２２３に表示されているが、３つ以上の操作子が表示されていてもよいし、１つの操作子だけが表示されていてもよい。
図６の場合、２つの操作子が液晶ディスプレイ２２３に表示されているので、操作の対象とする操作子と人差し指の像３０１Ａとが重なるように人差し指３０１を空中で移動させる必要がある。

この人差し指３０１の空気中での移動もスマートフォン２００には、ユーザの動きとして検知される。ただし、水平方向への動きは、撮像されている操作子に対する操作の動きに対応付けられていない。
このため、人差し指の像３０１Ａが画面輝度調整用のボタン２７２と重なるまでの動きは、操作子に対する操作としては受け付けられていない。
なお、本実施の形態では、操作の対象がボタン類であるので人差し指の像３０１Ａの動きを検知しているが、検知の対象とする体の一部分は操作の対象に応じて定めてもよい。例えば手、腕、足などの人体の一部を検知の対象としてもよい。検知の対象を特定することで誤操作の回避が可能になる。

図７は、画像形成装置１００に非接触のまま人差し指３０１を空中で押すような動作を撮像する様子を説明する図である。図７には、図６との対応する部分に対応する符号を付して示している。
ここでの押すような動作とは、人差し指３０１がスマートフォン２００から遠ざかる方向への動きである。換言すると、画像形成装置１００の方向への動きである。
具体的には、実空間において、ユーザインタフェース部１１０に表示された操作子を押す場合と同じ動きになる。ユーザの視線の方向とカメラ２２５（図３参照）の撮像の方向とが一致するためである。

図７に示す液晶ディスプレイ２２３では、人差し指の像３０１Ａが画面輝度調整用のボタン２７２と重なっているので、スマートフォン２００は、画面輝度調整用のボタン２７２を押す操作として検知する。
本実施の形態の場合、スマートフォン２００には、操作子と動きとの関係がメモリ２２１（図３参照）に記憶されている。もっとも、メモリ２２１に記憶される関係は、画像形成装置１００に設けられる操作子のうちの一部についてでもよい。
また、画像形成装置１００に設けられる操作子のイメージと操作として認識する動きの関係は、画像形成装置１００に記憶されており、操作の対象とする操作子を特定する処理も画像形成装置１００が実行してもよい。

図７では、画像形成装置１００と通信が可能であるので、スマートフォン２００は、画面輝度調整用のボタン２７２の操作を指示する信号を画像形成装置１００に送信する。
本実施の形態におけるスマートフォン２００には、操作の受け付けをユーザに報知する機能が用意されている。
このため、図７では、画面輝度調整用のボタン２７２の表示の形態を変化させ、操作の受け付けをユーザに報知している。
ここで、表示の形態を変化させる方法には、例えば操作の対象となったボタンが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。
なお、操作の受け付けをユーザに報知する機能は必須ではない。

＜操作例２＞
図８は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図８には、図７との対応部分に対応する符号を付して示している。
図８の場合、画面輝度調整用のボタン２７２の表示には変化がないが、不図示のスピーカから「カチッ」という音が出力されている。
この音の発生により、ユーザは、自身の動きが操作として受け付けられたことの確認が可能である。
なお、音による報知の手法は、「操作を受け付けました」等の言葉として発せられてもよい。

＜操作例３＞
図９は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図９には、図７との対応部分に対応する符号を付して示している。
図９の場合、画面輝度調整用のボタン２７２の表示には変化がないが、操作の受け付けを示す小さい画面２８０が追加的に表示されている。
図９に示す画面２８０には「操作を受け付けました」との文字列が記述されている。勿論、この文字列は一例である。

＜操作例４＞
図１０は、操作の受け付けをユーザに報知する他の方法を説明する図である。
図１０には、図７との対応部分に対応する符号を付して示している。
図１０の場合、画面輝度調整用のボタン２７２の表示には変化がないが、人差し指の像３０１Ａの表示の態様を、操作として受け付ける前の態様から変化させている。
ここで、表示の形態を変化させる方法には、例えば人差し指の像３０１Ａが表示されている領域の輝度を上げる、点滅させる、他の色に変化させる等の手法が用いられる。

＜操作例５＞
図１１は、人差し指の像３０１（図７参照）を液晶ディスプレイ２２３に表示させない手法を説明する図である。
図１１には、図７との対応部分に対応する符号を付して示している。
例えばカメラ２２５（図３参照）の撮像の範囲に侵入した人体の一部を常に表示する手法では、人体の一部によって操作子の大部分が隠れてしまう可能性もある。例えば操作子に記載されている文字が手や腕の像に隠れてしまう可能性がある。

このような場合、ユーザは操作の対象とする操作子を画面上で確認することができず、又は、一部しか確認できないため、操作に支障が生じることがある。
操作子に記載されている文字を確認できないと、どの操作子を操作しているのかわからないだけでなく、誤操作の原因にもなる。
そこで、図１１では、画像処理によって人差し指の像３０１Ａを画面上から消している。この場合、ユーザは、どの操作子を操作の対象とするのかを操作の間中、画面上で確認することが可能である。

＜操作例６＞
一方で、操作例５の場合（図１１参照）、人差し指の像３０１Ａが表示されないことで、操作子と人差し指の像３０１Ａとの位置の関係が分かりにくくなったり、操作が実際に受け付けられたのかが分からなくなったりする可能性もある。
図１２は、人差し指の像３０１（図７参照）を液晶ディスプレイ２２３に表示させない他の手法を説明する図である。
図１２には、図１１との対応部分に対応する符号を付して示している。

図１２では、実際には人差し指の像３０１Ａが重なっている位置の操作子（ここでは、画面輝度調整のボタン２７２）の表示の形態を変化させ、ユーザの確認を支援している。また、図１２では、操作を受け付けたことを文字列で記述する画面２８０も表示している。
この表示により、自身の体の一部によって視認を妨げられずに、特定の操作子を操作することが可能になる。また、操作子の表示の態様を変化させる機能がある場合には、操作の対象と間違えずに済む。さらに、操作の受け付けが報知される場合には、ユーザの操作性を高めることができる。

＜操作例７＞
図１３は、人差し指の像３０１Ａ（図７参照）を液晶ディスプレイ２２３に表示させない他の手法を説明する図である。
図１３には、図１１との対応部分に対応する符号を付して示している。
操作例６では、人差し指の像３０１Ａを全く表示していないが、画面上での位置を確認したいという要望も考えられる。
図１３は、このような要望を考慮した表示の手法であり、人差し指の像３０１Ａが位置する領域の輪郭線を示している。輪郭線が示されることでユーザは、人差し指３０１の位置と操作子との位置の関係を容易に確認することが可能になる。ここでの輪郭線は、ユーザの体の部位を示唆する表記の一例である。

なお、図１３では、人差し指の像３０１Ａの輪郭線を破線で示しているが、画像処理によって透過像に変換した画像を実像に代えて表示してもよい。ここでの透過像も、ユーザの体の部位を示唆する表記の一例である。
また、指先の部分だけを輪郭線や透過像で選択的に表現し、指先以外は実像で表示してもよいし、反対に指先の部分だけを選択的に実像で表示してもよい。人体の一部の像で隠れる面積が減るので、操作の対象である物体の像の確認が容易になる。

＜操作例８＞
図１４は、操作の対象が通信の機能を有する電卓４００である場合を説明する図である。
この例の場合、ユーザは、右手の指先が汚れていても、電卓４００を汚すことなく操作し、演算の結果を確認できる。
図１４の場合、ユーザの人差し指の像３０１Ａは、透過像として電卓の像４００Ａの上に重ねて表示されている。透過像は、輪郭線とは異なり、実像が透けるように表示される。

ただし、電卓４００のように操作子の寸法が小さい場合には、押し間違いの可能性が残る。
そこで、液晶ディスプレイ２２３に表示される体の一部の大きさを選択できるようにしてもよい。例えば実像に比して大きくしたり、小さくしたりできるようにしてもよい。また、段階的に調整できるようにしてもよい。
この機能を用意することにより、操作子の押し間違いの低減が期待される。

＜操作例９＞
図１５は、操作の対象がレバー５００である場合を説明する図である。
本実施の形態におけるレバー５００には、例えば操縦桿、ジョイスティック、シフトレバー、ウインカーレバー、ブレーキレバー、車両のコントローラが含まれる。
図１５の場合、操作の対象はレバー５００であるので、ユーザは、何かを握るように空中に右手３１０を突き出している。この例の場合、右手３１０を前後左右に動かすと、その動きを検知したスマートフォン２００からの指示によりレバー５００が同じ動きをする。
液晶ディスプレイ２２３には、右手の像３１０Ａがレバーの像５００Ａを握ったように表示されている。なお、右手の像３１０Ａは、レバーの像５００Ａの上に単に重ねて表示されてもよい。

もっとも、レバー５００を右手３１０に連動して動かす必要はなく、レバー５００によって制御される対象に右手３１０の動きに応じた制御が現れればよい。
レバー５００は、入力装置であって最終的な制御の対象ではないためである。従って、レバー５００とスマートフォン２００との通信は必須ではない。レバー５００と通信できなくても、スマートフォン２００は、レバー５００の操作によって制御される機器との間で通信が可能であればよい。

この操作例におけるスマートフォン２００には、液晶ディスプレイ２２３に表示されるユーザの体の一部をユーザの属性や使用の環境に応じて装飾する機能が用意されている。
例えば操作例１（図６参照）の場合には、カメラ２２５（図３参照）で撮像された体の一部が実像のまま表示されているが、図１５の例では、薄手の手袋を着用した右手の像３１０Ａが表示されている。ここでの手袋は装備の一例である。

使用する装飾の種類は、事前にユーザが選択してもよいし、レバー５００（又はレバー５００を備える機器）側から通知されてもよいし、スマートフォン２００のメモリ２２１（図３参照）に記憶されていてもよいし、外部のサーバなどから通知されてもよい。
また、装飾に使用する画像データは、スマートフォン２００のメモリ２２１に記憶されていてもよいし、レバー５００を備える機器、外部のサーバ等から与えられてもよい。

なお、液晶ディスプレイ２２３に表示される右手の像３１０Ａの形状や大きさは、撮像の仕方によっても異なる。従って、スマートフォン２００には、右手の像３１０Ａの形状や大きさに応じて装飾する画像を変形する機能も備えている。
本実施の形態の場合、この機能は、スマートフォン２００におけるアプリケーションプログラムの実行を通じて実現される。もっとも、スマートフォン２００の外部に設けられたサーバその他のコンピュータを使用して画像処理を実行し、処理の結果を液晶ディスプレイ２２３の表示に反映してもよい。

図１６は、操作の対象がレバー５００である場合の他の例を説明する図である。
図１６には、図１５との対応部分に対応する符号を付して示している。
図１６の場合、冬場に屋外でレバー５００を操作する場合を想定している。このため、図１６の場合には、厚手の手袋が装飾として右手の像３１０Ａに付加されている。
このように、液晶ディスプレイ２２３に装飾した右手の像３１０Ａが表示されることで、レバー５００を実際に操作する場合と同様の印象をユーザに与えることができ、操作の実感を高めることが可能になる。

＜操作例１０＞
図１７は、蝶番が取り付けられた部分を軸として開閉する片開き扉６００を操作の対象とする場合を説明する図である。
片開き扉６００には、電気的に片開き扉６００を開く又は閉じる機構６１０が取り付けられている。機構６１０は、出入り口が設けられている壁面側に取り付けられている。また、ここでの機構６１０は、無線ＬＡＮ等を通じてスマートフォン２００と直接又は間接的に通信が可能である。
なお、出入り口の近くの壁面には、不図示の照明器具の点灯や消灯に用いられるスイッチ７００が取り付けられている。

このため、スマートフォン２００の液晶ディスプレイ２２３には、片開き扉の像６００Ａとスイッチの像７００Ａが表示されている。
また、現実の空間に存在する片開き扉６００とスマートフォン２００を結ぶ線上にユーザの右手３１０が位置している。右手３１０は、片開き扉６００と非接触である。
このため、液晶ディスプレイ２２３には、片開き扉の像６００Ａと重なるように右手の像３１０Ａが表示されている。図１７の場合、右手の像３１０Ａは実像である。

図１７に示す片開き扉６００は、押すことで奥方向に開き、手前に引くと閉まる。
図１８は、ユーザが右手３１０を空中に押し出す動きをスマートフォン２００で撮像することで片開き扉６００が少し開いた状態を説明する図である。
図１８では、右手３１０の動き方向を矢印で表している。この右手３１０の動きは、スマートフォン２００において、片開き扉６００を開ける操作として検知される。スマートフォン２００は、検知された操作の実行を指示する信号を機構６１０に送信している。

この際、スマートフォン２００は、画像上で検知された右手３１０の動きの速度を機構６１０に送信してもよい。この場合、機構６１０は、与えられた速度に応じて片開き扉６００を開く速度に反映させることが可能になる。すなわち、片開き扉６００を実際に操作する場合と近い感覚で片開き扉６００を開くことが可能になる。

図１９は、ユーザが右手３１０を空中に押し出す動きをスマートフォン２００で撮像することで片開き扉６００が大きく開いた状態を説明する図である。
図１９では、右手３１０の動きが継続しており、機構６１０による駆動も継続している。
なお、片開き扉６００を開く動作が検知された後は、右手３１０の動きが止まっても、片開き扉６００の駆動が継続されるように制御してもよい。スマートフォン２００による撮像中に右手３１０が移動できる範囲は、駆動の対象である片開き扉６００が動く範囲に対して狭いためである。この制御は、スマートフォン２００の機能として実現してもよいし、機構６１０の機能として実現してもよい。
なお、右手３１０を手前に引く動きが検知された場合、スマートフォン２００は、片開き扉６００を閉じる操作として検知する。

図２０は、片開き扉６００にレバー式の取っ手（レバーハンドル）６２０が取り付けられている場合を説明する図である。
この片開き扉６００を開くには、レバー式の取っ手６２０を握って回転し、その後、押し出すような動きが必要になる。
図２０では、片開き扉の像６００Ａと取っ手の像６２０Ａの上に重ねて右手の像３１０Ａが表示されている。

図２０に示すスマートフォン２００は、この２段階の動きが順番に検知された場合に、片開き扉６００を開く操作として検知する。検知後の動作は、図１８及び図１９を用いた説明と同じである。
なお、図１７〜図２０では、片開き扉６００を例示したが、扉の面が弧を描いて開閉する開き戸に限らず、溝やレールに案内されて直線的に開閉する引き戸、開き戸と引き戸を組み合わせたグライドスライドドア、折れ戸、回転扉などでもよい。
また、扉は、片開きに限らず両開きでもよい。

＜操作例１１＞
図２１は、照明器具８００を撮像の対象とする場合を説明する図である。
図２１に示す照明器具８００は、不図示の配線を通じて位置保持型のスイッチ７００に電気的に接続されている。スイッチ７００がオン操作されると照明器具８００は点灯し、スイッチ７００がオフ操作されると照明器具８００は消灯する。
図２１の場合、照明器具８００には、消灯している状態で人差し指３０１が空中に押し出される動作を点灯の操作として受け付け、点灯している状態で人差し指３０１が空中に押し出される動作を消灯の操作として受け付ける機能が設定されている。

従って、スマートフォン２００の液晶ディスプレイ２２３に表示されている照明器具の像８００Ａの上に人差し指の像３０１Ａを重ね、人差し指３０１を空中に押し出す動きをすると、その動きを検知したスマートフォン２００から照明器具８００に対して状態を切り替える信号が出力される。具体的には、照明器具８００が点灯状態であれば消灯を指示する信号が出力され、照明器具８００が消灯状態であれば点灯を指示する信号が出力される。

なお、照明器具８００の状態の切り替えは２段階に限らない。例えば点灯の状態でも明るさが異なる数段階の状態をユーザの動きを通じて切り替えてもよい。また、照明器具８００が照明光の色を切り替えられる場合には、ユーザの動きを通じて色を切り替えてもよい。
また、前述の説明では、人差し指３０１を空中に押し出す動きを操作として検知しているが、指１本を点灯、指２本を消灯として検知してもよいし、指を立てたら点灯、指を横にすると消灯として検知してもよい。すなわち、カメラ２２５（図３参照）で撮像される指の本数や指の向きに特定の操作を関連づけてもよい。
いずれにしても、照明器具８００に直接触れることなく、照明器具８００の動作の状態を操作することができる。

図２２は、照明器具８００の点灯を制御するスイッチ７００を撮像の対象とする場合を説明する図である。
図２２には、図２１との対応部分に対応する符号が付されている。
前述したように、照明器具８００は、スイッチ７００のオン操作によって点灯し、スイッチ７００のオフ操作によって消灯する。
なお、図２２の場合には、人差し指の先端だけを像３０１Ａとして選択的に表示し、その他の部位は表示していない点で図２１と相違する。このように操作に関係する部位だけを表示することで、ユーザによる操作の対象の確認が容易になる。

スイッチ７００にスマートフォン２００と通信する機能が備えられている場合、スイッチの像７００Ａに人差し指の像３０１Ａを重ねた状態で、人差し指３０１を空中に押し出す動きの操作があると、スイッチ７００のオンとオフを切り替える信号をスマートフォン２００が出力する。

なお、スイッチ７００がスマートフォン２００と通信する機能を有していない場合もある。この場合でも、スイッチ７００と照明器具８００との関係がスマートフォン２００に与えられていれば、スイッチの像７００Ａに人差し指の像３０１Ａを重ねた状態での人差し指３０１を空中に押し出す動きを照明器具８００に対する操作として受け付けることができる。
なお、制御の対象は、他に空調機、オーディオ機器、家電製品等でもよい。

＜操作例１２＞
前述の操作例では、現実の空間に存在する物体をスマートフォン２００で撮像しているが、撮像の対象は実在する物体の像であってもよい。
図２３は、表示装置９００に表示されている電卓の像４００Ａを撮像の対象とする場合を説明する図である。
図２３には、図１４との対応部分に対応する符号を付して示している。

表示装置９００は、例えばテレビジョン受像機やモニタである。ここでの電卓の像４００Ａは、実在する電卓４００を撮像した画像データを再生した像である。
ここで、スマートフォン２００の液晶ディスプレイ２２３には、表示装置９００を撮像した電卓の像４００Ｂと人差し指の像３０１Ａとが表示されている。勿論、人差し指３０１は、表示装置９００に触れていない。
この操作例では、スマートフォン２００による撮像の対象が、操作の対象である実在の電卓４００と異なる以外は、図１４を用いて説明した操作例８と同様である。

この場合でも、無線ＬＡＮ等によってスマートフォン２００と接続中の機器の一覧の中から操作の対象とする電卓４００を事前に特定しておけば、操作例８と同様に電卓４００の操作が可能である。
なお、電卓の像４００Ａと実在する電卓４００との関係が不明でも、スマートフォン２００は、画像を認識する技術を通じて撮像の対象が電卓であることを検知できる。この場合、スマートフォン２００が通信可能な実在する電卓４００を指定して、ユーザの動きに対応する操作の実行を指示してもよい。
ただし、スマートフォン２００で検知された操作が通信可能な電卓４００に用意されていない場合には、身振りの撮像によって電卓４００を操作することはできない。

＜操作例１３＞
前述の操作例では、スマートフォン２００に設けられたカメラ２２５（図３参照）によって操作の対象である物体（又はその像）とユーザの体の一部が同時に撮像されている場合を想定しているが、操作の対象とする物体は撮像されなくても構わない。
図２４は、スマートフォン２００で撮像されるユーザの動きを画面上に表示されている操作子の操作に紐付ける場合を説明する図である。
図２４には、図６との対応部分に対応する符号を付して示している。

図２４の場合、操作の対象である画像形成装置１００は、インターネットやＬＡＮ等のネットワーク１０００を介してスマートフォン２００と通信可能に接続されている。
図２４の場合、液晶ディスプレイ２２３には、ユーザインタフェース部１１０の一部分を撮像した像２７０（言語切替用のボタン２７１と画面輝度調整用のボタン２７２）が表示されている。

スマートフォン２００の前方には、画像形成装置１００が存在していないが、液晶ディスプレイ２２３には、カメラ２２５で撮像された人差し指の像３０１Ａと像２７０との合成像が表示されている。
スマートフォン２００は、この合成像を画像処理の対象とし、人差し指３０１の動きを操作として受け付けると、対応する画像形成装置１００に対して操作の実行を指示する信号を送信する。

＜実施の形態２＞
前述の実施の形態１の場合には、スマートフォン２００（図１参照）を用いてユーザの身振りを撮像し、実在する画像形成装置１００（図１参照）の操作に用いているが、ユーザの身振りの撮像はスマートフォン２００に限らない。
図２５は、実施の形態２に係るシステムの一例を説明する図である。
図２５には、図１との対応部分に対応する符号を付して示している。

図２５の場合、ユーザは、メガネ型の端末１０１０を装着している。メガネ型の端末１０１０のハードウェア構成（図３参照）やソフトウェア構成（図４参照）は、スマートフォン２００と同様である。ただし、メガネ型の端末１０１０には、タッチパッド２２６（図３参照）は取り付けられていない。
メガネ型の端末１０１０の場合、ユーザは両手を自由に使うことができる。従って、メガネ型の端末１０１０は、両手を使った操作の入力に用いることができる。例えば人型のロボットに対する操作の指示に用いることができる。このため、スマートフォン２００を用いる場合よりも、入力可能な操作の範囲を広げることが可能になる。
なお、図２５のユーザには、ユーザインタフェース部の像１１０Ａが見えている。

＜実施の形態３＞
前述した実施の形態で操作の対象とする機器（例えば画像処理装置、電卓、レバー、扉、照明）は、物理的な操作と身振りによる操作を区別しない点で共通している。
実施の形態３では、操作の受け付けを身振りによる操作に限定できる機器について説明する。

図２６は、金庫１１００を操作の対象として撮像する場合を説明する図である。
図２６に示す金庫１１００には、前面に配置されたシリンダ１１０１又は押しボタン１１０２が物理的に正しく操作されることを条件に解錠を有効にする機能の他に、これらの物理的な操作を無効化する機能も有している。
物理的な操作が無効化されている場合、解錠が有効化されるには、スマートフォン２００から押しボタン１１０２の操作に対応する信号が受信された場合である。
この実施の形態でも、液晶ディスプレイ２２３には金庫の像１１００Ａと人差し指の像３０１Ａが表示されている。勿論、人差し指の像３０１Ａは、人差し指３０１に対応している。人差し指３０１は、金庫１１００に触れておらず、空中で動かされる。

図２７は、金庫１１００のハードウェア構成の一例を説明する図である。
金庫１１００は、シリンダ１１０１と、操作面に英数文字が印字された複数の押しボタン１１０２と、ＭＰＵ１１１１と、ファームウェア等のデータが記憶されるＲＯＭ１１１２と、プログラムの作業領域として使用されるＲＡＭ１１１３と、スマートフォン２００（図２６参照）等の外部機器との通信に用いられる通信部１１１４と、電気的にシリンダ１１０１を解錠又は施錠する解錠制御部１１１５とを有している。

図２８は、ＭＰＵ１１１１で実行される処理動作の一例を説明するフローチャートである。
まず、ＭＰＵ１１１１は、物理的な操作は無効化されているか否かを判定する（ステップ２０１）。
ステップ２０１で肯定結果が得られた場合、ＭＰＵ１１１１は、スマートフォン２００からの操作だけを受け付ける設定を有効化する（ステップ２０２）。
一方、ステップ２０１で否定結果が得られた場合、ＭＰＵ１１１１は、物理的な操作を受け付ける設定を有効化する（ステップ２０３）。物理的な操作を受け付ける設定が有効である場合、スマートフォン２００からの操作も有効である。

これらの設定の後、ＭＰＵ１１１１は、操作の内容が解錠の条件に合致するか否かを判定する（ステップ２０４）。
ステップ２０４で肯定結果が得られた場合、ＭＰＵ１１１１は、シリンダ１１０１を解錠する（ステップ２０５）。
一方、ステップ２０４で否定結果が得られた場合、ＭＰＵ１１１１は、操作を無効化する（ステップ２０６）。

例えば物理的な操作が無効化されている場合には、正しい鍵がシリンダ１１０１（図２６参照）に挿入されても、押しボタン１１０２（図２６参照）が正しい順番で操作されても施錠状態が維持される。一方で、押しボタン１１０２を正しい順番で操作する指示がスマートフォン２００から与えられた場合には、解錠が許可される。
本実施の形態に係る金庫１１００では、物理的な操作が正しくても解錠できない設定を有効にすることにより、防犯性を高めることが可能になる。また、スマートフォン２００を用いた個人認証の機能を組み合わせることで、金庫１１００を解錠できるユーザが特定の個人（スマートフォン２００を操作できるユーザ）に限定される。

＜実施の形態４＞
ここでは、ウェブカメラ等で撮像された被写体があたかも目の前にあるかのように身振りで操作する方法について説明する。
図２９は、実施の形態４に係るシステムの一例を説明する図である。
図２９に示すシステムでは、ウェブカメラ１２００から出力される画像データがネットワーク１３００経由でスマートフォン２００に送信され、液晶ディスプレイ２２３に表示されている。
図２９に示す液晶ディスプレイ２２３には、片開き扉６００を撮像した像６００Ａが表示されている。

図３０は、前述した実施の形態で説明したように、スマートフォン２００でユーザの体の一部（ここでは右手３１０）の動きを片開き扉６００の操作として受け付ける場合を示している。
図３０には、図２９との対応部分に対応する符号が付されている。
図３０では、片開き扉の像６００Ａにスマートフォン２００で撮像された右手の像３１０Ａが重なっている。
この状態で、右手３１０を空気中で押し出すように動かすと、ネットワーク１３００経由で接続された機構６１０に片開き扉６００の開操作を指示する信号が出力される。

図３１は、ネットワーク１３００を介して複数のユーザが操作の情報を共有する仕組みを説明する図である。図３１には、図３０との対応部分に対応する符号を付している。
図３１では、ウェブカメラ１２００から出力される画像データをサーバ１４００が取得し、その後、３台のスマートフォン２００に配信する場合を表している。なお、サーバ１４００の機能がウェブカメラ１２００に内蔵されていてもよい。
図３１の場合、いずれのスマートフォン２００にも片開き扉の像６００Ａが表示されている。

図３２は、３台のスマートフォン２００のうちの１台を使用して片開き扉６００を押し開く場合を説明する図である。図３２には、図３１との対応部分に対応する符号を付して示している。
図３２の場合、３台のうちの１台のスマートフォン２００を通じて受け付けられた操作は、サーバ１４００を通じて片開き扉６００の機構６１０に送信される。なお、片開き扉６００に対する操作が一度に複数発生した場合、本実施の形態におけるサーバ１４００は、先に到達した操作を優先する。なお、矛盾する操作が一度に到達した場合には実行を保留してもよい。「一度に」とは、予め定めた区間内に到達する意味である。

図３３は、片開き扉６００が開かれた状態が３台のスマートフォン２００で共有される様子を説明する図である。図３３には、図３２との対応部分に対応する符号を付して示している。
この仕組みを用いれば、１つの機器を複数人が各自の身振りによって操作することが可能になる。

＜実施の形態５＞
前述の実施の形態では、スマートフォン２００に表示されている操作の対象が機器である場合について説明したが、ここでは操作の対象に通信の機能が設けられていない場合について説明する。
図３４は、植木１５００の移動を身振りで指示する場合を説明する図である。図３４では、スマートフォン２００の画面に、ユーザの右手の像３１０Ａと植木の像１５００Ａが表示されている。この場合も、実空間にある右手３１０は植木１５００には触れていない。

植木１５００には、通信機能も自走装置も取り付けられていない。このため、前述した実施の形態のように、スマートフォン２００で右手３１０の動きを撮像しても、その動きによって植木１５００を移動させることはできない。
本実施の形態では、身振りによる操作の送信先として自走機能を有するヒト型のロボット１６００を指定する。なお、指示の送信先としてのロボット１６００は、例えばスマートフォン２００との通信が可能な機器の一覧の中から指定すればよい。

図３４に示すロボット１６００は、その外観にヒト型を採用しているが、必要な機能が搭載されていれば外観は任意である。例えば犬やネコなどの動物、花や木などの植物、車（電車を含む）や飛行機等の乗り物を模したものでもよい。
図３４に示すロボット１６００は、胴部１６１１、頭部１６１２、腕１６１３、１６１５、手１６１４、１６１６、足１６１７、１６１８を有している。
胴部１６１１には、信号処理のための電子部品が格納されている。胴部１６１１には、表示デバイスや音響機器が搭載されてもよい。

頭部１６１２は、首の部分に設けられたジョイント機構を介して胴部１６１１に連結されている。本実施の形態の場合、ジョイント機構は、３軸まわりに回転可能である。３軸まわりの回転とは、ヨー（ｚ軸まわりの回転）、ロール（ｘ軸まわりの回転）、ピッチ（ｙ軸まわりの回転）の３つである。ここでのジョイント機構は可動部の一例である。
３軸の全てに対して回転可能である必要はなく、１軸のみ又は２軸について回転可能でもよい。これらの回転は、不図示のモーターによって実現してもよいが、手動で行ってもよい。もっとも、頭部１６１２が胴部１６１１に対して固定される場合を妨げない。
頭部１６１２には目１６１２Ａ、１６１２Ｂが設けられている。目１６１２Ａ及び１６１２Ｂは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部１６１２には可動式の耳が配置されていてもよい。

本実施の形態における腕１６１３及び１６１５は、胴部１６１１とジョイント機構を介して連結されている。腕１６１３及び１６１５の上腕と前腕は、ジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１６１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。もっとも、腕１６１３及び１６１５は、胴部１６１１に固定されていてもよい。ここでのジョイント機構も可動部の一例である。
なお、腕１６１３及び１６１５を予め定めた角度に折り曲げれば、物の運搬に用いることができる。

手１６１４及び１６１６は、手首の部分に設けられたジョイント機構を介して腕１６１３及び１６１５に連結されている。手１６１４及び１６１６の手の平と指は、いずれもジョイント機構を介して連結されている。ここでのジョイント機構は、頭部１６１２と同様に多軸でも単軸でもよい。また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。本実施の形態の場合、手１６１４及び１６１６は、指の開閉により物を掴むことができる。ここでのジョイント機構も可動部の一例である。
手１６１４及び１６１６は、腕１６１３及び１６１５に対して固定でもよい。

足１６１７及び１６１８は、ジョイント機構を介して胴部１６１１に連結されてもよいし、車輪やキャタピラー等の自走装置として胴部１６１１に取り付けられてもよい。
足１６１７及び１６１８がジョイント機構を介して胴部１６１１に連結される場合、ジョイント機構は、頭部１６１２と同じく多軸でも単軸でもよい。
また、軸周りの回転は不図示のモーターにより実現してもよいし、手動で実現してもよい。なお、足１６１７及び１６１８は、胴部１６１１に対して固定でもよい。ここでのジョイント機構も可動部の一例である。

図３５は、ロボット１６００のハードウェア構成を説明する図である。
ロボット１６００は、装置全体の動きを制御する制御部１６２１と、ロボット周辺の画像を撮像するカメラ１６２２と、会話用の音声、楽曲、効果音を再生するスピーカ１６２３と、音の入力又は取得に用いられるマイク１６２４と、ジョイント機構などの可動機構１６２５と、外部装置（例えばスマートフォン）との通信に用いられる通信部１６２６と、画像を表示する表示部１６２７と、装置全体を移動させる移動機構１６２８と、各部に電力を供給する電源１６２９と、各部の状態や周辺情報の収集に使用されるセンサ１６３０と、位置情報の取得に用いられる位置検知部１６３１とを有している。これらの各部は、例えばバス１６３２により互いに接続されている。

言うまでもなく、図３５に示すハードウェア構成は一例である。従って、ロボット１６００は、前述した全ての機能部を搭載する必要はない。
また、ロボット１６００は、不図示の機能部を更に搭載してもよい。例えばロボット１６００は、電源ボタン、記憶装置（ハードディスク装置、半導体メモリ等）、熱源（冷却源を含む。）等を搭載してもよい。

制御部１６２１は、いわゆるコンピュータであり、ＣＰＵ、ＲＯＭ、ＲＡＭを有している。ＲＯＭには、ＣＰＵにより実行されるプログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、ＣＰＵはロボット１６００を構成する各部の動作を制御する。
ここでのプログラムには、人工知能に対応するアルゴリズムの実現に関連するプログラムが含まれる。制御部１６２１を構成するＣＰＵやＲＡＭは、人工知能が使用する計算資源を提供する。

本実施の形態における制御部１６２１は、例えばカメラ１６２２、マイク１６２４、センサ１６３０を通じて取得される情報を人工知能で処理し、ロボット１６００の周辺環境や状態に応じた動作を自律的に決定する。
例えばスピーカ１６２３を通じて音声を出力したり、通信部１６２６を通じてメッセージを送信したり、表示部１６２７を通じて画像を出力してもよい。
これら情報の入出力や可動機構１６２５の動きを通じ、制御部１６２１は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
制御部１６２１は、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて追加の情報を収集し、検索事象との類似度によって解決策を発見する機能も搭載する。

本実施の形態の場合、制御部１６２１が取得する情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ１６２２で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク１６２４で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚（触覚、痛覚、温度覚）、深部覚（圧覚、位置覚、振動覚など）、皮質性感覚（二点識別覚、立体識別能力など）が含まれる。
制御部１６２１は、触覚の違いを分別できる。
触覚、味覚、嗅覚、平衡感覚、温度は、各種のセンサ１６３０による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部１６２１が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部１６２６で受信すればよい。

本実施の形態の場合、カメラ１６２２は、目１６１２Ａ及び１６１２Ｂ（図３４参照）の位置に配置される。
表示部１６２７として投影機が用いられる場合、投影機は、例えば目１６１２Ａ及び１６１２Ｂ（図１参照）のいずれか一方又は両方に配置することができる。なお、投影機は胴部１６１１や頭部１６１２に配置してもよい。

可動機構１６２５は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構１６２５は、腕１６１３、１６１５や手１６１４、１６１６（図３４参照）の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構１６２５は、例えば頭部１６１２、腕１６１３、１６１５、手１６１４、１６１６等（図３４参照）の駆動を通じて、頭を傾げる、見上げる、周囲を見回す（キョロキョロする）、万歳する、指さし等の動作を実行する。

本実施の形態における通信部１６２６は、無線方式によって外部と通信する。
ロボット１６００には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部１６２６が搭載される。通信方式には、例えば赤外線通信、可視光通信、近接無線通信、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、ＲＦＩＤ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＩＥＥＥ８０２．１１ａ（登録商標）、ＭｕｌｔｅＦｉｒｅ、ＬＰＷＡ（Low Power Wide Area）等がある。
無線通信に使用する帯域には、短波長帯（例えば８００ＭＨｚ〜９２０ＭＨｚ）、長波長帯（例えば２．４ＧＨｚ、５ＧＨｚ）等がある。
なお、通信部１６２６と外部装置との接続には通信ケーブルを使用してもよい。

表示部１６２７は、ユーザとの間で視覚的なコミュニケーションを実現するために使用してもよい。例えば表示部１６２７には、文字や図形を表示してもよい。
表示部１６２７が頭部１６１２に配置される場合、表示部１６２７に表情を表示してもよい。

本実施の形態の場合、移動機構１６２８には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット１６００を移動させてもよい。
本実施の形態における電源１６２９には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源１６２９の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。

本実施の形態の場合、ロボット１６００には、位置検知部１６３１が搭載されている。
位置検知部１６３１には、例えばＧＰＳ（Global Positioning System）信号から地点情報を読み取る方式、ＧＰＳと同等の信号を用いて屋内の位置を測位するＩＭＥＳ（Indoor Messaging System）方式、ＷｉＦｉの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するＷｉＦｉ測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、ＬＥＤ（Light Emitting Diode）等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。

図３６は、ロボット１６００を使用した植木１５００の移動を説明する図である。
図３６には、図３４との対応部分に対応する符号を付して示している。
他の実施の形態と同様に、ユーザは、スマートフォン２００の前方の空間で右手３１０を動かし、その動きを撮像する。
右手３１０の動きを操作として受け付けたスマートフォン２００は、その操作の実行を植木１５００への移動が可能なロボット１６００に指示する。ここでの操作は、植木１５００の横方向への移動である。

移動の指示を受信したロボット１６００は、移動の対象である植木１５００の場所まで移動すると、植木１５００を掴んで横方向に移動させる。
このとき、スマートフォン２００には、植木の像１５００Ａを掴んで移動するロボットの像１６００Ａと右手の像３１０Ａが表示される。図３６の場合、ロボットの像１６００Ａの確認が容易になるように、右手の像３１０Ａを透過像として表示している。
図３６の場合には、ユーザの目の前に植木１５００もロボット１６００も実在するので右手の像３１０Ａを透過的に表示する必要性は低いが、スマートフォン２００に表示されている植木の像１５００Ａがユーザの目の前にない場合（例えばスマートフォン２００にはウェブカメラの画像が表示されている場合）には、右手の像３１０Ａが透過的に表示されることで実空間の様子の確認が容易になる。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（１）例えば前述の実施の形態では、現実の空間に存在する物体の操作にスマートフォン２００（図１参照）やメガネ型の端末（図２５参照）を用いているが、撮像用のカメラと、表示部と、通信部を有していれば、ユーザの身振りを操作として受け付ける情報処理装置は、例えばタブレット端末でも、いわゆるデジタルカメラでも、ゲーム機器でも構わない。

（２）前述の実施の形態では、スマートフォン２００で撮像する自身の体の一部の動きを操作として受け付ける処理をスマートフォン２００で実行しているが、スマートフォン２００は体の一部の動きを撮像する手段として使用し、その動きを操作として受け付ける処理は外部の装置（例えばサーバ）で実行してもよい。

（３）前述の実施の形態では、使用の場面に応じてユーザの体の一部を装飾する例として手袋を例示しているが、装飾として衣類の類を付加してもよい。また、画面上では爪にマニキュアが塗られていてもよい。また、足を用いて操作を行う場合には、使用の場面に応じた履物を装飾として付加してもよい。例えばビジネスシューズ、スポーツシューズ、サンダル、長靴などでもよい。

（４）前述の実施の形態では、スマートフォン２００が操作の対象である物体の正面側に位置する場合を対向する位置の例として説明したが、対向する位置は正面に限らない。
図３７は、画像形成装置１００に対向する位置の他の例を説明する図である。
図３７には、画像形成装置１００から見て右斜め前方、右斜め後方、後ろ、左斜め後方、左斜め前方にスマートフォン２００が位置する例を示している。これらのいずれも、画像形成装置１００に対向する位置の一例である。

（５）前述の実施の形態では、画像形成装置１００（図１参照）のユーザインタフェース部１１０（図１参照）に表示されたボタン類を身振りで操作する場合について説明したが、用紙の収容部１４０（図１参照）を身振りによって開閉してもよい。
図３８は、身振りによって用紙の収容部１４０を開閉する例を説明する図である。操作の対象が用紙の収容部１４０であるので、スマートフォン２００の液晶ディスプレイ２２３には、収容部の像１４０Ａとユーザの右手の像３１０Ａが表示されている。図３８では、矢印で示すように、右手３１０が手前方向に引かれている。この例の場合には、ユーザインタフェース部１１０に表示されるボタンを操作しなくても、右手の像３１０Ａとの重なりが検出された用紙の収容部１４０が手前側に引き出されることになる。勿論、前提として、収容部１４０を駆動する不図示のモーターが画像形成装置１００に内蔵されている必要がある。なお、右手３１０を奥方向に動かせば、用紙の収容部１４０を閉じることもできる。

（６）前述の実施の形態では、ユーザインタフェース部１１０（図１参照）を直接操作する場合と同様の操作を身振りによって実現する場合について説明したが、操作の対象である特定の部位が身振りによって指定された場合には、ユーザインタフェース部１１０に表示される内容が指定された部位に関連のあるボタン類を含む表示に切り替わってもよい。
図３９は、印刷された用紙に対して穴を開ける処理や綴る処理を加えるための機構（後処理装置１５０）が取り付けられている場合の操作例を説明する図である。なお、後処理装置１５０には仕分け機構が含まれてもよい。
図３９では、後処理装置の像１５０Ａの上に人差し指の像３０１Ａが重なっている。
本実施の形態の場合、後処理装置の像１５０Ａには、人差し指の像３０１Ａによる選択の操作と後処理装置１５０に関連する設定の頁を開く機能が割り当てられている。

図４０は、後処理装置の像１５０Ａ（図３９参照）が人差し指の像３０１Ａで選択した場合に実行される表示部１１１に生じる画面の変化を説明する図である。（Ａ）は人差し指の像３０１Ａによる身振りを受け付ける前の表示を示し、（Ｂ）は人差し指の像３０１Ａによる身振りを受け付けた後の表示を示し、（Ｃ）は身振りによる操作を受け付けるスマートフォン２００の画面例を示す。

図４０では、スマートフォン２００で表示部１１１を撮像し、身振りによって操作しなくても、綴じ処理を実行するか否かを指定するためのボタン１１０Ｂを含む画面に切り替わっている。このように、特定の部位に特定の操作と特定の機能が割り当てられている場合には、少ない操作で指示を完了できる。すなわち、操作を効率化できる。
勿論、特定の身振りと特定の機能を割り当てる部位は後処理装置１５０に限らない。例えば画像形成装置１００（図１参照）の背面でもよい。背面に配置された接続用の端子や通信線が撮像された状態で身振りによる選択が受け付けられた場合には、接続用の端子の調整や設定に用いられるメニュー画面を表示部１１１に表示させてもよい。

（７）前述の実施の形態では、身振りによる操作の受け付けをスマートフォン２００の液晶ディスプレイ２２３に表示しているが、誤った操作や想定外の操作を受け付けた場合にはユーザに警告する機能を設けてもよい。
図４１は、許容される最大の角度まで片開き扉６００が開いた後も押し続ける身振りが検知される場合をユーザに報知する機能の一例を説明する図である。
図４１には、図１９との対応部分に対応する符号を付して示している。
図４１の場合、液晶ディスプレイ２２３の下部には、「これ以上は開きません！」なる警告文を含む小さい画面２９０が表示されている。
なお、報知は、音声によって行われてもよい。また、報知は、文字と音に限らず、操作の対象として認識されている物体の像を変更する等してもよい。
また、ここでは可動範囲の上限を知らせているが、そもそも可動しない方向への操作の検知を報知してもよい。また、正しい操作の仕方を報知してもよい。
ただし、正しい操作については、常に報知する必要はない。例えば操作の対象が金庫の場合である。金庫は、特定の人以外の解錠が許されないためである。なお、操作の指示を発信しているスマートフォン２００のユーザアカウント等から認証できた操作者(権限を有する者、所有者等)には、正しい操作の仕方を報知してもよい。

１００…画像処理装置、２００…スマートフォン、４００…電卓、５００…レバー、６００…片開き扉、７００…スイッチ、８００…照明器具、９００…表示装置、１０００、１３００…ネットワーク、１０１０…メガネ型の端末、１１００…金庫、１２００…ウェブカメラ、１４００…サーバ、１５００…植木、１６００…ロボット

Claims (28)

1. 現実の空間に存在する操作の対象とする物体を対向する位置から操作する場合のユーザの動きであり、当該物体とは非接触のまま現実の空間で行われるユーザの動きを検知する検知手段と、
   検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段と、
   を有し、ユーザと接して使用される情報処理装置。
2. 前記検知手段は、前記物体とユーザの体の一部を同時に撮像した画像からユーザの動きを検知する、請求項１に記載の情報処理装置。
3. 前記画像の撮像者はユーザである、請求項２に記載の情報処理装置。
4. ユーザの体の一部は、前記物体の上に重ねて表示される、請求項３に記載の情報処理装置。
5. 前記制御手段は、前記画像上で、ユーザの体の一部との重なりが検知された前記物体に対し、検知されたユーザの動きを紐付ける、請求項２に記載の情報処理装置。
6. 前記制御手段は、予め定めた体の一部を検知の対象とする、
   請求項５に記載の情報処理装置。
7. 前記予め定めた体の一部は指又は手である、請求項６に記載の情報処理装置。
8. 前記予め定めた体の一部は足である、請求項６に記載の情報処理装置。
9. 前記検知手段は、前記物体とユーザの体の一部とが同時に撮像されている場合におけるユーザの動きを検知の対象とする、請求項１に記載の情報処理装置。
10. ユーザの動きに対応する操作は、前記物体の個別の部位毎に用意されている、請求項１に記載の情報処理装置。
11. 前記制御手段は、動きが検知されたユーザが、前記物体の操作が許可されているユーザである場合に限り、当該物体に対して操作の実行を指示する、請求項１に記載の情報処理装置。
12. 検知されたユーザの動きに対応する操作が前記物体で実行できない場合、ユーザに報知する、請求項１に記載の情報処理装置。
13. 前記物体に対する正しい操作の方法を報知する、請求項１２に記載の情報処理装置。
14. 前記制御手段は、前記物体に応じ、検知されたユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置。
15. 前記制御手段は、前記物体との通信を通じて操作が可能な当該物体の機能を取得する、請求項１に記載の情報処理装置。
16. 前記制御手段は、前記物体がユーザの体で隠れないように、ユーザの体を透過的に表示する、請求項１に記載の情報処理装置。
17. 前記制御手段は、前記物体がユーザの体で隠れないように、ユーザの体の一部分を選択的に表示する、請求項１に記載の情報処理装置。
18. 前記制御手段は、ユーザの体の部位を示唆する表記を前記物体に重ねて表示する、請求項１に記載の情報処理装置。
19. 前記制御手段は、ユーザの動きを操作として受け付けたことをユーザに報知する、請求項１に記載の情報処理装置。
20. 前記制御手段は、操作として受け付けた体の部位を、受け付け前とは異なる態様で表示する、請求項１９に記載の情報処理装置。
21. 前記制御手段は、前記物体の操作に用いる装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置。
22. 前記制御手段は、前記物体が存在する環境に応じた装備をユーザの体に重ねて表示する、請求項１に記載の情報処理装置。
23. 前記検知手段は、前記物体の像を表示する画面とユーザの体の一部を同時に撮像した画像からユーザの体の一部の動きを検知する、請求項１に記載の情報処理装置。
24. 前記制御手段は、前記物体を撮像した画像とユーザの体の一部を撮像した画像とを合成した画像からユーザの動きに対応する操作の内容を決定する、請求項１に記載の情報処理装置。
25. 前記制御手段は、ユーザの動きに対応する操作が前記物体に対する物理的な操作を必要とする場合、可動部を有する別の機器に対して操作の実行を指示する、請求項１に記載の情報処理装置。
26. 自装置とは非接触のまま現実の空間で行われるユーザの動きに対応する操作の実行を指示する通信を、ユーザと接して使用される端末から受信した場合、指示された操作の実行を許可する制御手段
    を有する情報処理装置。
27. 前記制御手段は、前記端末からの指示に限り、操作の実行を許可する、請求項２６に記載の情報処理装置。
28. ユーザと接して使用されるコンピュータを、
    現実の空間に存在する操作の対象とする物体を対向する位置から操作する場合のユーザの動きであり、当該物体とは非接触のまま現実の空間で行われるユーザの動きをユーザの地点から検知する検知手段と、
    検知されたユーザの動きに対応する操作の実行を前記物体に指示する制御手段
    として機能させるプログラム。