JP5594733B2 - 情報処理装置、情報処理方法、情報記憶媒体及びプログラム - Google Patents

情報処理装置、情報処理方法、情報記憶媒体及びプログラム Download PDF

Info

Publication number
JP5594733B2
JP5594733B2 JP2010531901A JP2010531901A JP5594733B2 JP 5594733 B2 JP5594733 B2 JP 5594733B2 JP 2010531901 A JP2010531901 A JP 2010531901A JP 2010531901 A JP2010531901 A JP 2010531901A JP 5594733 B2 JP5594733 B2 JP 5594733B2
Authority
JP
Japan
Prior art keywords
distance distribution
instruction content
content data
distribution image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010531901A
Other languages
English (en)
Other versions
JPWO2010038822A1 (ja
Inventor
智史 川口
勇二 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2010531901A priority Critical patent/JP5594733B2/ja
Publication of JPWO2010038822A1 publication Critical patent/JPWO2010038822A1/ja
Application granted granted Critical
Publication of JP5594733B2 publication Critical patent/JP5594733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理装置、情報処理方法、情報記憶媒体及びプログラムに関する。
ユーザからの指示を受け付けるユーザインタフェースを備える携帯型の情報処理装置が存在する。ユーザは、例えば、ボタンを押下したり、タッチパッドに触れたりすることで、情報処理装置に対して指示を与えることができる。そして、情報処理装置は、その指示に応じた情報処理を実行する。
しかし、ユーザは、情報処理装置に対して指示を与える際に、ボタンやタッチパッドなどといった操作部材を操作する必要があった。そのため、操作部材に対する操作が困難な状況では、情報処理装置に対して指示を与えることが困難であった。このことは、携帯型の情報処理装置に限らず、情報処理装置一般においてあてはまる。
本発明は、上記課題に鑑みてなされたものであって、ユーザが容易に指示を与えることができるユーザインタフェースを備える情報処理装置、情報処理方法、情報記憶媒体及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明に係る情報処理装置は、ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置であって、所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段と、前記距離分布画像に基づいて、前記指示内容データを生成する指示内容データ生成手段と、前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段と、を含むことを特徴とする。
また、本発明に係る情報処理方法は、ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理方法であって、所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得ステップと、前記距離分布画像に基づいて、前記指示内容データを生成する指示内容データ生成ステップと、前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行ステップと、を含むことを特徴とする。
また、本発明に係る情報記憶媒体は、ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置としてコンピュータを機能させるプログラムが記憶された情報記憶媒体であって、所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段、前記距離分布画像に基づいて、前記指示内容データを生成する指示内容データ生成手段、前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段、として前記コンピュータを機能させることを特徴とするプログラムが記憶された情報記憶媒体である。
また、本発明に係るプログラムは、ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置としてコンピュータを機能させるプログラムであって、所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段、前記距離分布画像に基づいて、前記指示内容データを生成する指示内容データ生成手段、前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段、として前記コンピュータを機能させることを特徴とする。
本発明によると、距離分布測定部による測定結果に基づく情報処理を情報処理装置が実行するので、ユーザは情報処理装置に対して容易に指示を与えることができる。
本発明の一態様では、前記距離分布画像に示されている距離が所定の条件を満たす、前記距離分布画像内の領域を特定する領域特定手段、をさらに含み、前記指示内容データ生成手段が、前記領域特定手段により特定される領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成することを特徴とする。こうすれば、距離分布画像に示されている距離が所定の条件を満たす、距離分布画像内の領域に基づく情報処理を実行することができる。
この態様では、前記領域特定手段が、複数の所定の条件それぞれについて、前記距離分布画像に示されている距離が当該所定の条件を満たす前記距離分布画像内の領域を特定し、前記指示内容データ生成手段が、前記領域特定手段により特定される各領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成してもよい。こうすれば、距離分布画像内の複数の領域に基づく情報処理を情報処理装置が実行することができ、情報処理装置に対してユーザが与えることができるバリエーションを容易に広げることができる。
また、本発明の一態様では、前記距離分布画像取得手段が、前記距離分布を順次測定する前記距離分布手段から順次出力される測定結果に基づいて生成される、前記距離分布画像を順次取得し、前記指示内容データ生成手段が、複数の前記距離分布画像の差分に基づいて、前記指示内容データを生成することを特徴とする。こうすれば、異なるタイミングで測定された距離分布の差分に基づく情報処理を情報処理装置が実行することができ、情報処理装置に対してユーザが与えることができるバリエーションを容易に広げることができる。
本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。 本発明の一実施形態に係る携帯型ゲーム装置のハードウェア構成の一例を示すハードウェア構成図である。 本発明の一実施形態に係る携帯型ゲーム装置の機能ブロック図である。 距離分布画像の一例を示す図である。 距離分布画像内の特定領域の一例を示す図である。 表示部にポインタ画像が表示されている携帯型ゲーム装置の一例を示す図である。 携帯型ゲーム装置の距離分布測定部の前方でユーザが指を動かす様子の一例を示す図である。 携帯型ゲーム装置の表示部内でポインタ画像が表示される位置が変化されている様子の一例を示す図である。 携帯型ゲーム装置の距離分布測定部の前方でユーザが指を動かしている様子の一例を示す図である。 携帯型ゲーム装置の表示部内でポインタ画像及びボール画像が表示される位置が変化されている様子の一例を示す図である。 携帯型ゲーム装置の距離分布測定部の前方でユーザが指を動かしている様子の一例を示す図である。 携帯型ゲーム装置の表示部に衝撃画像が表示されている様子の一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 距離分布画像内の特定領域の別の一例を示す図である。 距離分布画像内の特定領域のさらに別の一例を示す図である。 携帯型ゲーム装置の表示部に家画像が表示されている様子の一例を示す図である。 携帯型ゲーム装置の表示部に家画像及び木画像が表示されている様子の一例を示す図である。 表示部に表示されている画像内において画像内領域が特定された様子の一例を示す図である。 携帯型ゲーム装置の距離分布測定部の前方でユーザが指を動かしている様子の一例を示す図である。 近接領域の一例を示す図である。 選択画面が表示部に表示されている様子の一例を示す図である。 確認画像が表示部に表示されている様子の一例を示す図である。 ゲーム画面が表示部に表示されている様子の一例を示す図である。 メニュー画面が表示部に表示されている様子の一例を示す図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図１は、本実施形態に係る携帯型ゲーム装置１の一例を示す斜視図である。図２は、図１に示す携帯型ゲーム装置１のハードウェア構成の一例を示すハードウェア構成図である。図１及び図２に示すように、本実施形態に係る携帯型ゲーム装置１の筐体１０の形状は、箱形である。そして、本実施形態に係る携帯型ゲーム装置１は、制御部１２、記憶部１４、表示部１６、操作部１８、撮像部２０、距離分布測定部２２、通信部２４を備えている。
制御部１２はＣＰＵ等のプログラム制御デバイスであり、記憶部１４に格納されたプログラム（例えば、ゲームプログラム）に従って動作する。
記憶部１４は、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが格納される。具体的には、例えば、制御部１２によって実行されるゲームプログラムが格納される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。
表示部１６は、例えば液晶ディスプレイ等であり、制御部１２からの指示に従って、画像の表示を行う。本実施形態では、表示部１６は、携帯型ゲーム装置１の筐体１０の正面中央部に設けられている。ここで、制御部１２は、表示部１６に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、制御部１２は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って表示部１６に表示される画像の属性を指示してもよい。
操作部１８は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを制御部１２に対して出力する。制御部１２は、操作部１８から出力される出力データを取得して、この出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、操作部１８は、携帯型ゲーム装置１の表示部１６の左右に設けられている。すなわち、操作部１８は、携帯型ゲーム装置１の筐体１０の正面左側及び正面右側に分かれて配置されている。
撮像部２０は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、撮像部２０は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、撮像部２０は、表示部１６の上側に設けられている。すなわち、撮像部２０は、筐体１０の正面中央付近上側に設けられている。
距離分布測定部２２は、所定視野内の被写体までの距離分布を測定する。本実施形態では、距離分布測定部２２の視野と、撮像部２０の視野とは、互いに対応している。距離分布測定部２２は、例えば、携帯型ゲーム装置１の正面によって形成される平面と、被写体との距離（より具体的には、例えば、被写体から、携帯型ゲーム装置１の正面によって形成される平面に下ろした垂線の長さ）の分布を測定する。本実施形態では、距離分布測定部２２は、撮像部２０により生成される画像に表示されている被写体までの距離分布を、所定時間（例えば１／６０秒）ごとに、測定する。なお、距離分布測定部２２は、撮像部２０が生成する画像に含まれる各領域（あるいは各画素）について、その領域（あるいはその画素）に対応する被写体の表面までの距離分布を測定するようにしてもよい。そして、本実施形態では、距離分布測定部２２は、その測定結果を順次出力する。
距離分布測定部２２は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、被写体と携帯型ゲーム装置１との距離分布を測定する。距離分布測定部２２は、ステレオカメラにはもちろん限定されず、距離分布測定部２２は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、被写体と携帯型ゲーム装置１との距離分布を測定しても構わない。また、距離分布測定部２２が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、被写体に対してピントが合ったレンズに基づいて、被写体と携帯型ゲーム装置１との距離分布を測定しても構わない。なお、本実施形態では、距離分布測定部２２は、撮像部２０と一体的に形成されており、表示部１６の上側に設けられている。すなわち、距離分布測定部２２は、正面中央付近上側に設けられている。
通信部２４は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、制御部１２から入力される指示に従って、他の携帯型ゲーム装置１や、インターネット上のサーバ（図示せず）などへ情報を送信する。また、この通信部２４は、受信される情報を制御部１２に出力する。
次に、本実施形態に係る携帯型ゲーム装置１の制御部１２により実現される機能を説明する。図３は、本実施形態に係る携帯型ゲーム装置１の機能ブロック図である。図３に示すように、本実施形態に係る携帯型ゲーム装置１は、機能的には、距離分布画像生成部３０、距離分布画像取得部３２、領域特定部３４、指示内容データ生成部３６、情報処理実行部３８、を含むものとして機能する。これらの要素は、コンピュータである携帯型ゲーム装置１にインストールされたプログラムを、携帯型ゲーム装置１に含まれるＣＰＵ等の制御部１２で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介して携帯型ゲーム装置１に供給される。
距離分布画像生成部３０は、距離分布測定部２２から出力される測定結果に基づいて、被写体までの距離分布を示す距離分布画像４０を生成する（図４参照）。図４は、距離分布画像４０の一例を示す図である。図４に示す距離分布画像４０では、距離分布測定部２２によって測定される、携帯型ゲーム装置１からユーザの手４２までの距離（ユーザ距離ｄ）の分布が等高線によって表現されている。もちろん、距離分布画像４０の表現方法はこの限りではない。本実施形態では、距離分布測定部２２によって順次出力される距離分布の測定結果に基づいて、距離分布画像生成部３０が、距離分布画像４０を順次生成する。
なお、距離分布画像生成部３０は、撮像部２０によって生成される画像に含まれる各領域（あるいは各画素）に、その領域（あるいは画素）に対応する、被写体上の点と携帯型ゲーム装置１との距離を対応づけた、距離分布画像４０を生成してもよい。
距離分布画像取得部３２は、距離分布画像生成部３０が生成する距離分布画像４０を取得する。本実施形態では、距離分布画像取得部３２は、距離分布画像４０を順次取得する。
領域特定部３４は、距離分布画像４０に示されている距離が所定の条件を満たす、距離分布画像４０内の領域（以下、特定領域４４と呼ぶ。）を特定する（図５参照）。なお、領域特定部３４は、複数の条件について、それぞれの条件を満たす特定領域４４を特定するようにしても構わない。本実施形態では、領域特定部３４は、ユーザ距離ｄがＺ１以下である第１特定領域４４−１、及び、ユーザ距離ｄがＺ２以下である第２特定領域４４−２を特定する（Ｚ１＞Ｚ２）。図５は、図４に示す距離分布画像４０内の第１特定領域４４−１及び第２特定領域４４−２の一例を示す図である。
また、本実施形態では、領域特定部３４は、距離分布画像取得部３２により順次取得される距離分布画像４０内の特定領域４４（第１特定領域４４−１及び第２特定領域４４−２）を順次特定する。そして、領域特定部３４は、その特定領域４４を代表する特定領域代表点４６（具体的には、例えば、第１特定領域４４−１の重心に対応する第１特定領域代表点４６−１、及び、第２特定領域４４−２の重心に対応する第２特定領域代表点４６−２）を順次特定する（図５参照）。なお、特定領域代表点４６は、特定領域４４の重心には限定されない。
また、領域特定部３４は、特定領域代表点４６の距離分布画像４０内における位置を示す特定領域代表点位置データを生成してもよい。本実施形態では、領域特定部３４は、第１特定領域代表点位置データと、第２特定領域代表点位置データとを含む特定領域代表点位置データを生成する。
ここで、例えば、距離分布画像４０内に、所定の条件を満たす領域がない場合、すなわち、領域特定部３４によって特定領域４４が特定されない場合は、領域特定部３４は、特定領域４４が存在しないことを示す特定領域代表点位置データを生成するようにしてもよい。本実施形態では、領域特定部３４は、第１特定領域４４−１（あるいは、第２特定領域４４−２）に該当する領域が距離分布画像４０内に存在しない場合には、第１特定領域４４−１（あるいは、第２特定領域４４−２）が存在しないことを示す第１特定領域代表点位置データ（あるいは、第２特定領域代表点位置データ）を生成する。
指示内容データ生成部３６は、距離分布画像４０内における特定領域４４の位置に基づいて、指示内容データを生成する。ここで、指示内容データは、携帯型ゲーム装置１に与えるユーザの指示内容を示す。本実施形態では、指示内容データ生成部３６は、領域特定部３４が生成する特定領域代表点位置データを取得して、その特定領域代表点位置データに基づいて指示内容データを生成する。より具体的には、例えば、指示内容データ生成部３６は、図６に示すように、第１特定領域代表点４６−１の距離分布画像４０内における位置に対応する、液晶ディスプレイなどの表示部１６内の位置（第１特定領域代表点対応位置）にポインタの画像（ポインタ画像４８）を表示する指示を示す指示内容データを生成する。このように、指示内容データ生成部３６は、特定領域代表点４６の位置に基づいて指示内容データを生成してもよい。図６は、ポインタ画像４８が表示されている携帯型ゲーム装置の一例を示す図である。なお、指示内容データが示すユーザの指示は上述の指示にもちろん限定されない。
また、本実施形態では、指示内容データ生成部３６が、取得した特定領域代表点位置データを記憶部１４に出力する。そして、記憶部１４が、この特定領域代表点位置データを保持する。
情報処理実行部３８は、指示内容データ生成部３６により生成される指示内容データを取得して、この指示内容データに基づく情報処理を実行する。情報処理実行部３８が実行する情報処理は、具体的には、例えば、画像の表示処理や効果音の出力処理などを指す。もちろん、情報処理実行部３８が実行する処理は上述の処理に限定されない。本実施形態では、情報処理実行部３８は、表示部１６内の第１特定領域代表点対応位置に、ポインタ画像４８を表示する。
本実施形態では、例えば、図７に示すように、ユーザ距離ｄがＺ２より大きくＺ１以下である状態に保たれている際に、ユーザが指５０を回すと、図８に示すように、情報処理実行部３８が、ポインタ画像４８が表示部１６内で表示される位置を、軌跡が楕円を描くよう変化させる情報処理を実行する。なお、このとき、本実施形態では、情報処理実行部３８は、表示部１６に表示されたボールの画像（ボール画像５２）の位置を変化させない。
また、本実施形態では、例えば、図９に示すように、ユーザ距離ｄがＺ２以下である状態に保たれている際に、ユーザが指５０を動かすと、図１０に示すように、情報処理実行部３８が、ポインタ画像４８及びボール画像５２が表示部１６内で表示される位置を変化させる情報処理を実行する。図１０に、ポインタ画像４８及びボール画像５２が表示部１６内で表示される位置が変化されている様子の一例を示す。なお、携帯型ゲーム装置１が、スピーカを備えている場合に、情報処理実行部３８が、ボール画像５２の表示位置の変化と連動して効果音を出力するようスピーカに指示してもよい。
上述のように、領域特定部３４が、複数の条件について、それぞれの条件を満たす複数種類の特定領域４４を特定する場合に、指示内容データ生成部３６が、各特定領域４４の距離分布画像４０内における位置に基づいて、指示内容データを生成するようにしてもよい。具体的には、例えば、第１特定領域代表点位置データが、第１特定領域代表点４６−１の位置を示している場合には、指示内容データ生成部３６が、ポインタ画像４８の表示位置を変化させる指示を示す指示内容データを生成するようにしてもよい。そして、第２特定領域代表点位置データが、第２特定領域代表点４６−２の位置を示している場合には、指示内容データ生成部３６が、ボール画像５２が表示部１６内で表示されている位置を変化させる指示を示す指示内容データを生成するようにしてもよい。
なお、上述の情報処理は、例えば、マウスを備える情報処理装置において、ユーザがマウスをドラッグした際に、情報処理装置が実行する情報処理に対応している。このように、指示内容データ生成部３６が、ユーザによる操作部材（例えば、操作部１８に含まれるボタンなど）の操作に対応する指示内容データを生成するようにしてもよい。また、情報処理実行部３８が、ユーザによる操作部材の操作に応じた情報処理を実行するようにしてもよい。なお、指示内容データが示す指示内容が操作部材の操作に対応しなくてもよい。また、情報処理実行部３８が実行する情報処理が操作部材の操作に応じた情報処理ではなくてもよい。
また、本実施形態では、例えば、図１１に示すように、ユーザ距離ｄがＺ２より大きくＺ１以下である状態から、ユーザ距離ｄがＺ２以下である状態に変化した際には、図１２に示すように、情報処理実行部３８が、例えば、ボール画像５２が示すボールに与えられた衝撃を示す衝撃画像５４を表示部１６内に表示する情報処理を実行する。図１２に、衝撃画像５４が表示部１６内に表示されている様子の一例を示す。なお、衝撃画像５４には、所定の映像効果が施されていてもよい。また、携帯型ゲーム装置１が、スピーカを備えている場合に、情報処理実行部３８が、衝撃画像５４の表示と連動して効果音を出力するようスピーカに指示してもよい。
なお、ユーザ距離ｄがＺ２以下にある状態が所定時間継続した際に、情報処理実行部３８が、例えば、衝撃画像５４を表示部１６内に表示する情報処理を実行するようにしてもよい。
このように、指示内容データ生成部３６は、領域特定部３４によって順次特定される特定領域４４の位置の差分に基づいて、指示内容データを生成してもよい。具体的には、例えば、指示内容データ生成部３６が取得した最新の特定領域代表点位置データに含まれる第２特定領域代表点位置データには、第２特定領域代表点４６−２の位置が示されており、指示内容データ生成部３６がその直前に取得した特定領域代表点位置データ（記憶部１４に保持されている特定領域代表点位置データ）に含まれる第２特定領域代表点位置データには、第２特定領域４４−２が存在しないことが示されている場合には、指示内容データ生成部３６が、衝撃画像５４を表示部１６内に表示する指示を示す指示内容データを生成するようにしてもよい。
なお、上述の情報処理は、例えば、マウスを備える情報処理装置において、ユーザがマウスをクリックした際に、情報処理装置が実行する情報処理に対応している。
また、本実施形態では、ユーザ距離ｄがＺ２以下である状態から、Ｚ２より大きくＺ１以下である状態に変化した際には、情報処理実行部３８が、例えば、ボール画像５２が表示部１６内に表示される位置の変化を終了する情報処理を実行する。なお、このとき、情報処理実行部３８が、表示部１６に所定の映像効果が施された画像を表示するようにしてもよい。また、携帯型ゲーム装置１が、スピーカを備えている場合に、情報処理実行部３８が、ボール画像５２の位置の変化の終了と連動して効果音を出力するようスピーカに指示してもよい。
なお、上述の情報処理は、例えば、マウスを備える情報処理装置において、ユーザがマウスをリリースした際に、情報処理装置が実行する情報処理に対応している。
なお、指示内容データ生成部３６は、複数の指示（具体的には、例えば、衝撃画像５４を表示する指示、及び、ボール画像５２の表示位置を変化させる指示）を示す指示内容データを生成しても構わない。また、指示内容データ生成部３６が複数の指示内容データを生成してもよい。
次に、所定時間（例えば１／６０秒）ごとに、距離分布測定部２２から出力される測定結果を距離分布画像生成部３０が取得してから、情報処理実行部３８が、図６に示す表示部１６内の位置にポインタ画像４８を表示するまでの処理の流れの一例を、図１３に示すフロー図を参照しながら説明する。なお、記憶部１４には、予め、特定領域代表点位置データ（旧特定領域代表点位置データ）が保持されている。
まず、距離分布画像生成部３０が、距離分布測定部２２から出力される測定結果を取得する（Ｓ１０１）。そして、距離分布画像生成部３０が、Ｓ１０１に示す処理で取得する測定結果に基づいて、図４に示す距離分布画像４０を生成する（Ｓ１０２）。
距離分布画像取得部３２が、Ｓ１０２に示す処理で生成される、図４に示す距離分布画像４０を取得する（Ｓ１０３）。
そして、領域特定部３４が、図４に示す距離分布画像４０に基づいて、ユーザの手４２までの距離がＺ１以下である第１特定領域４４−１と、ユーザの手４２までの距離がＺ２以下である第２特定領域４４−２を特定する（Ｓ１０４）。なお、もちろんユーザの手４２には、ユーザの指５０が含まれている。そして、領域特定部３４が、第１特定領域代表点位置データ（第１特定領域４４−１の重心を示す第１特定領域代表点４６−１の、距離分布画像４０内における位置を示している）と、第２特定領域代表点位置データ（第２特定領域４４−２の重心である第２特定領域代表点４６−２の、距離分布画像４０内における位置を示している）と、を含む、特定領域代表点位置データ（新特定領域代表点位置データ）を生成する（Ｓ１０５）。
そして、指示内容データ生成部３６が、Ｓ１０５に示す処理で生成された新特定領域代表点位置データ、及び、記憶部１４に保持されている旧特定領域代表点位置データを取得する（Ｓ１０６）。そして、指示内容データ生成部３６が、新特定領域代表点位置データと旧特定領域代表点位置データとに基づいて、指示内容データを生成する。この処理例では、指示内容データ生成部３６は、新特定領域代表点位置データに含まれる第１特定領域代表点４６−１の距離分布画像４０内における位置に対応する、表示部１６内の位置（第１特定領域代表点対応位置）にポインタ画像４８を表示する指示を示す指示内容データを生成する（Ｓ１０７）。そして、指示内容データ生成部３６は、新特定領域代表点位置データを記憶部１４に出力する（Ｓ１０８）。このとき、指示内容データ生成部３６は、旧特定領域代表点位置データを上書きしてもよい。
そして、情報処理実行部３８が、第１特定領域代表点対応位置にポインタ画像４８を表示する情報処理を実行する（Ｓ１０９）。
このようにして、本実施形態では、ユーザは、例えば、距離分布測定部２２の前方で手４２や指５０を動かして、携帯型ゲーム装置１に対して、ポインタ画像４８の表示位置の変化などを容易に指示することができる。また、本実施形態では、ユーザは、携帯型ゲーム装置１に対して、ポインタ画像４８やボール画像５２の表示位置の変化や、衝撃画像５４の表示などの、様々な種類の指示を容易に与えることができる。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、領域特定部３４が、複数の特定領域４４を特定して、指示内容データ生成部３６が、複数の特定領域４４に基づいて、指示内容データを生成してもよい。具体的には、例えば、距離分布測定部２２の前方でユーザが５本の指５０を広げながら、時計回りに回転させる際に（図１４及び図１５参照）、指示内容データ生成部３６が、表示部１６に表示されている家を示す家画像５６や木を示す木画像５８の画像をズームアウトしながら、右回りに回転する指示を示す指示内容データを生成するようにしてもよい（図１６及び図１７参照）。そして、情報処理実行部３８が、この指示内容データに基づいて、家画像５６や木画像５８の表示部１６内における表示位置を変化させるようにしてもよい。
図１４に、情報処理実行部３８による表示位置の変化前における特定領域４４の一例を示す。図１５に、情報処理実行部３８による表示位置の変化後における特定領域４４の一例を示す。このように、ユーザの５本の指５０に対応する特定領域４４が、外側に移動しながら、全体として時計回りに回転している。図１６に、情報処理実行部３８による表示位置の変化前に、携帯型ゲーム装置１の表示部１６に家画像５６が表示されている様子の一例を示す。図１７に、情報処理実行部３８による表示位置の変化後に、携帯型ゲーム装置１の表示部１６に家画像５６及び木画像５８が表示されている様子の一例を示す。
なお、領域特定部３４が、複数の特定領域４４それぞれに対応する特定領域代表点４６を特定してもよい。また、領域特定部３４が、複数の特定領域代表点４６を代表する（例えば、複数の特定領域代表点４６の重心である）統合代表点６０を特定してもよい。
そして、指示内容データ生成部３６が、統合代表点６０の位置に基づいて、例えば、画像のスクロール指示などを示す指示内容データを生成してもよい。また、指示内容データ生成部３６が、統合代表点６０と各特定領域代表点４６との距離（例えば、平均距離）や、統合代表点６０と各特定領域代表点４６との距離の変化などに基づいて、例えば、画像の拡大率や縮小率などを示す指示内容データを生成してもよい。また、指示内容データ生成部３６が、統合代表点６０の位置ベクトルから各特定領域代表点４６への位置ベクトルに向かうベクトルの変化に基づいて、例えば、画像の回転角などを示す指示内容データを生成してもよい。
そして、情報処理実行部３８が、上述の指示内容データに基づく情報処理を実行する。なお、例えば、携帯型ゲーム装置１がモータを備えている場合に、情報処理実行部３８が画像のスクロール処理を実行する際には、情報処理実行部３８は、画像のスクロール方向に応じた回転方向にモータを回転させてもよい。こうすれば、ユーザは慣性力が生じたような感覚を得ることができる。
また、例えば、領域特定部３４が、例えば、パターン認識技術や色判定技術などにより、撮像部２０により生成される撮像画像内の認識特定領域を特定して、この認識特定領域の撮像画像内における位置に基づいて、距離分布画像４０内の特定領域４４を特定するようにしてもよい。具体的には、例えば、領域特定部３４が、ユーザ距離ｄがＺ１以下であり、かつ、撮像画像内の肌色の領域に対応する、距離分布画像４０内の領域を第１特定領域４４−１として特定しても構わない。
なお、このとき、事前に、撮像部２０がユーザの指５０を撮像して、ユーザの指５０が表示されている画像を生成して、予め記憶部１４に出力していてもよい。そして、領域特定部３４が、記憶部１４に記憶されているユーザの指５０が表示されている画像と、撮像画像とを比較して、パターン認識技術などを用いて、ユーザの指が表示されている撮像画像内の領域を特定するようにしても構わない。
携帯型ゲーム装置１が、バイブレータなどの振動子を備えている場合に、情報処理実行部３８が、情報処理の内容に応じた振動をするよう振動子に指示してもよい。こうすれば、ユーザは遠隔力が生じたような感覚を得ることができる。
具体的には、例えば、情報処理実行部３８が、衝撃画像５４が表示される際に振動するよう振動子に指示してもよい。また、このとき、情報処理実行部３８が、時間と共に振幅が減衰するよう振動子に指示してもよい。また、このとき、情報処理実行部３８が、ユーザ距離ｄの値とＺ２の値との差分や、特定領域４４の数に応じた振幅で振動するよう振動子に指示してもよい。
また、例えば、情報処理実行部３８が、ボール画像５２の表示位置が変化している間は、微弱振動を継続するよう振動子に指示するようにしてもよい。情報処理実行部３８は、周期的に振幅を強くするよう振動子に指示するようにしてもよい。また、情報処理実行部３８が、ボール画像５２の表示位置の変化率に応じた周波数で振動するよう振動子に指示するようにしてもよい。
また、例えば、情報処理実行部３８が、ボール画像５２の表示位置の変化が終了する際に振動するよう振動子に指示してもよい。また、このとき、情報処理実行部３８が、振動子の振幅が時間と共に減衰するよう振動子に指示してもよい。
なお、情報処理実行部３８は、ボール画像５２の表示位置が変化する場合は、衝撃画像５４が表示される場合と比較して、エンベロープのアタック及びリリースタイムが短くなるよう振動子に指示してもよい。
なお、指示内容データ生成部３６が、上述の情報処理の実行を指示する指示内容データを生成するようにしてもよい。
また、ユーザにより操作部１８が操作されていることを示す出力データを制御部１２が取得している間（あるいは、表示部１６がタッチパネルディスプレイである場合において、ユーザが表示部１６に触れていることを示す出力データを制御部１２が取得している間）は、制御部１２が上述の情報処理を抑制し、制御部１２が上述の出力データを取得しなくなった際に、上述の情報処理を再開するようにしてもよい。
携帯型ゲーム装置１が加速度センサを備えており、制御部１２が、加速度センサが出力する出力データを取得して、制御部１２が携帯型ゲーム装置１の動きを検出する場合に、制御部１２が検出する携帯型ゲーム装置１の動きに基づいて、制御部１２が上述の情報処理を実行するか否かを判断するようにしてもよい。具体的には、例えば、制御部１２が、携帯型ゲーム装置１が振られている動きを検出した際に、上述の情報処理の実行を開始するようにしてもよい。
例えば、制御部１２が、撮像部２０が生成する画像の輝度に基づいて、撮像部２０がユーザによりふさがれていることを検出できる場合には、制御部１２が、撮像部２０がユーザによりふさがれていることを検出した際に、制御部１２が、上述の情報処理の実行を開始するようにしてもよい。
例えば、制御部１２が、所定の操作部１８から出力データを取得した際や、所定のソフトウェアキーが押下されたことを示すデータを取得した際に、制御部１２が、上述の情報処理の実行を開始するようにしてもよい。
なお、距離分布測定部２２が距離分布画像４０を生成して、距離分布画像取得部３２が、距離分布測定部２２が生成した距離分布画像４０を取得するようにしてもよい。また、携帯型ゲーム装置１以外の情報処理装置一般に対して本発明を適用しても、もちろん構わない。
なお、指示内容データ生成部３６が、複数の特定領域４４それぞれに対応する特定領域代表点４６に基づいて、表示部１６に表示されている画像内の領域を特定して、その領域を表示部１６全体に拡大表示する指示を示す指示内容データを生成するようにしてもよい。具体的には、例えば、指示内容データ生成部３６は、２つの特定領域代表点４６それぞれに対応する、表示部１６に表示されている画像内の代表点（画像内代表点６２）を互いに向かい合う頂点とする矩形の画像内領域６４を特定してもよい（図１８参照）。図１８に、表示部１６に表示されている画像内において画像内領域６４が特定された様子の一例を示す。そして、指示内容データ生成部３６は、ユーザ距離ｄが所定の閾値より小さくなった際に、この画像内領域６４を表示部１６全体に拡大表示する指示を示す指示内容データを生成するようにしてもよい。そして、情報処理実行部２８が、画像内領域６４を表示部１６全体に拡大表示してもよい。もちろん、上述の処理において、指示内容データ生成部３６は、３つ以上の特定領域代表点４６それぞれに対応する画像内代表点６２によって囲まれる画像内領域６４を表示部１６全体に拡大表示する指示を示す指示内容データを生成するようにしてもよい。
なお、上述のユーザ距離ｄが所定の距離よりも短い（あるいは、長い）状態で、所定の時間を経過した場合に、指示内容データ生成部３６が、そのことに対応する指示内容データを生成するようにしてもよい。
また、指示内容データ生成部３６が、距離分布画像生成部３０により順次生成される距離分布画像４０が示す、画像に含まれる各領域（あるいは各画素）に対応する被写体までの距離を連続量として取り扱って、指示内容データを生成するようにしてもよい。例えば、指示内容データ生成部３６が、距離分布画像４０が示す、画像に含まれる各領域（あるいは各画素）に対応する被写体までの距離の最小値をユーザ距離ｄとして扱ってもよい。具体的には、例えば、ユーザ距離ｄと携帯型ゲーム装置１のスピーカから出力されるサウンドの音量とを対応づけるようにしてもよい。そして、情報処理実行部３８が、ユーザ距離ｄの変化に応じて携帯型ゲーム装置１から出力されるサウンドの音量を連続的に変化させるようにしてもよい。また、例えば、ユーザ距離ｄと画像の拡大率（あるいは縮小率）とを対応づけるようにしてもよい。そして、情報処理実行部３８が、ユーザ距離ｄの連続的な変化に応じて、携帯型ゲーム装置１の表示部１６に表示される画像を連続的にズームイン（あるいはズームアウト）させるようにしてもよい。上述の場合において、情報処理実行部３８が、ユーザ距離ｄに応じた強度で振動するよう振動子に指示してもよい。
また、例えば、図１９に示すように、ある時点においてユーザ距離ｄがｄ１であり、その後の別の時点においてユーザ距離ｄがｄ２であった場合に（すなわち、ユーザ距離ｄがｄ１からｄ２に変化した場合に）、ｄ１とｄ２との差分Δｄが所与の閾値よりも大きい際には、指示内容データ生成部３６が、所定の操作を示す指示内容データを生成するようにしてもよい。そして、情報処理実行部３８がその指示内容データが示す処理を実行するようにしてもよい。
また、指示内容データ生成部３６は、例えば、現在のユーザ距離ｄと、直前に測定されたユーザ距離ｄと、の差分Δｄが所与の閾値よりも大きい際に、指示内容データ生成部３６が、所定の操作を示す指示内容データを生成するようにしてもよい。また、指示内容データ生成部３６は、現在までに所定回数測定されたユーザ距離ｄの平均と、現在におけるユーザ距離ｄとの差分Δｄが所与の閾値よりも大きい際に、指示内容データ生成部３６が、所定の操作を示す指示内容データを生成するようにしてもよい。
また、上述の所与の閾値が、直前の測定や現在の測定などにおけるユーザ距離ｄに対応していてもよい。より具体的には、例えば、上述のユーザ距離ｄの値が大きいほど上述の閾値の値が大きくなるようにしてもよい。
また、図２０に示すように、携帯型ゲーム装置１からの距離がＺｃ以下である（あるいはＺｃ未満である）近接領域６６が、指示内容データ生成部３６によってユーザによる指５０の移動に応じた指示内容データが生成されない無反応領域として設定されていてもよい。もちろん、携帯型ゲーム装置１からの距離が所定値以上である（あるいは所定値より大きい）遠隔領域が、上述の無反応領域として設定されていてもよい。なお、近接領域６６に指５０が入った際に、例えば、情報処理実行部３８が、振動するよう振動子に指示してもよい。また、例えば、近接領域６６に指５０が入った際に、情報処理実行部３８が、警告表示を表示部１６に表示出力してもよい。なお、情報処理実行部３８が、ユーザによる操作に応じて上述のＺｃの値を設定してもよい。
また、指示内容データ生成部３６が、近接領域６６と、近接領域６６外の領域と、で互いに異なるアプリケーションプログラムに対する指示内容を示す指示内容データを生成してもよい。例えば、写真などの静止画データビューワと音楽再生プレイヤとを同時に起動した場合に、静止画データビューワを近接領域６６外の領域に、音楽再生プレイヤを近接領域６６に割り当てるようにしてもよい。これによって、ユーザは近接領域６６外で画像データを上述の操作方法などによって操作することが可能となる。そして、指５０が近接領域６６内に入ると音楽再生プレイヤの操作パネルが表示され、ユーザは音楽再生プレイヤを操作することが可能となる。
また、情報処理実行部３８が、ユーザ距離ｄが所定の閾値を超えるたびに、振動するよう振動子に指示してもよい。また、例えば、携帯型ゲーム装置１から一定の距離ごとに上述の閾値を複数設定してもよい。この場合、ユーザは振動の回数により操作内容を知覚することができる。
上述の実施形態の応用例としては、例えば、以下のものが挙げられる。
例えば、図２１に示す、表示部１６に表示出力される選択画面６８において上述の実施形態を応用してもよい。図２１に、選択画面６８が表示部１６に表示されている様子の一例を示す。ユーザ距離ｄがＺ１より大きい状態に保たれている際に、ユーザが指５０を回すと、情報処理実行部３８が、ポインタ画像４８の表示部１６内における位置を変化させる。そして、情報処理実行部３８は、ポインタ画像４８の位置に対応するアイコン７０をポップアップさせる。そして、ユーザ距離ｄがＺ２より大きくＺ１以下である値となった際に、情報処理実行部３８は、ポインタ画像４８によって選択されているアイコン７０（選択アイコン）に対応する処理を実行するか否かを確認する確認画像７２を表示部１６に表示出力する。図２２に、確認画像７２が表示部１６に表示されている様子の一例を示す。確認画像７２は、はいボタン７４といいいえボタン７６を含んでいる。ここで、ユーザが指５０を回すと、情報処理実行部３８は、確認画像７２内におけるポインタ画像４８の位置を変化させる。そして、ユーザ距離ｄがＺ２より小さくなった際に、ポインタ画像４８がはいボタン７４上に配置されている場合は、情報処理実行部３８は、上述の選択アイコンに対応する処理を実行する。ユーザ距離ｄがＺ２より小さくなった際に、ポインタ画像４８がいいいえボタン７６上に配置されている場合は、情報処理実行部３８は、選択アイコンに対応する処理は実行せずに、選択画面６８を表示部１６に表示出力する。
また、ＦＰＳ（First Person Shooting）ゲームや、ＴＰＳ（Third Person Shooting）ゲームなどにおいて、上述の実施形態を応用してもよい。図２３にＴＰＳゲームのゲーム画面７８が表示部１６に表示されている様子の一例を示す。図２３の例では、例えば、情報処理実行部３８が、上述の近接領域６６外におけるユーザによる指５０の移動に応じて、キャラクターを仮想空間内において移動させる。より具体的には、例えば、ユーザが、指５０を携帯型ゲーム装置１に近づけると、情報処理実行部３８は、キャラクターを仮想空間内で前進させる（ユーザから遠ざける）。また、例えば、ユーザが、指５０を携帯型ゲーム装置１から遠ざけると、情報処理実行部３８は、キャラクターを仮想空間内で後進させる（ユーザに近づける）。上述の近接領域６６内に指５０が入った際に、図２４に例示するメニュー画像８０を表示部１６に表示出力してもよい。そして、情報処理実行部３８が、近接領域６６内でのユーザによる指５０の移動に応じて、このメニュー画像８０内におけるポインタ画像４８の表示位置を変化させるようにしてもよい。メニュー画像８０は、例えば、上述のゲームに関するメニューを示してもよいし、携帯型ゲーム装置１の基本機能など、ゲームとは関係しない事項に関するメニューを示してもよい。
本実施形態によれば、携帯型ゲーム装置１のユーザは、例えば、オブジェクトをつまんで床からはなす操作や、オブジェクトを平行移動させる操作や、オブジェクトを床にはなす操作などを直感的に行うことができる。

Claims (5)

  1. ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置であって、
    所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段と、
    前記距離分布画像に示されている距離に関する複数の条件それぞれについて、前記距離分布画像に示されている距離が当該条件を満たす前記距離分布画像内の領域を特定する領域特定手段と、
    前記領域特定手段により特定される領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成する指示内容データ生成手段と、
    前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段と、を含み、
    前記領域特定手段は、前記距離分布画像に示されている距離に関する第１の条件を満たす状態から第２の条件を満たす状態に変化した際の前記第１の条件を満たす前記距離分布画像内の第１の領域、及び、前記距離分布画像に示されている距離に関する前記第２の条件を満たす状態から第３の条件を満たす状態に変化した際の前記第２の条件を満たす前記距離分布画像内の第２の領域を特定し、
    前記指示内容データ生成手段は、前記領域特定手段により特定される前記第１の領域の前記距離分布画像内における位置と、前記領域特定手段により特定される前記第２の領域の前記距離分布画像内における位置と、の組合せに基づいて、前記指示内容データを生成する、
    ことを特徴とする情報処理装置。
  2. 前記距離分布画像取得手段が、前記距離分布を順次測定する前記距離分布手段から順次出力される測定結果に基づいて生成される、前記距離分布画像を順次取得し、
    前記指示内容データ生成手段が、複数の前記距離分布画像の差分に基づいて、前記指示内容データを生成する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理方法であって、
    所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得ステップと、
    前記距離分布画像に示されている距離に関する複数の条件それぞれについて、前記距離分布画像に示されている距離が当該条件を満たす前記距離分布画像内の領域を特定する領域特定ステップと、
    前記領域特定ステップで特定される領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成する指示内容データ生成ステップと、
    前記指示内容データ生成ステップで生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行ステップと、を含み、
    前記領域特定ステップでは、前記距離分布画像に示されている距離に関する第１の条件を満たす状態から第２の条件を満たす状態に変化した際の前記第１の条件を満たす前記距離分布画像内の第１の領域、及び、前記距離分布画像に示されている距離に関する前記第２の条件を満たす状態から第３の条件を満たす状態に変化した際の前記第２の条件を満たす前記距離分布画像内の第２の領域を特定し、
    前記指示内容データ生成ステップでは、前記領域特定ステップで特定される前記第１の領域の前記距離分布画像内における位置と、前記領域特定ステップで特定される前記第２の領域の前記距離分布画像内における位置と、の組合せに基づいて、前記指示内容データを生成する、
    ことを特徴とする情報処理方法。
  4. ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置としてコンピュータを機能させるプログラムが記憶された情報記憶媒体であって、
    所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段、
    前記距離分布画像に示されている距離に関する複数の条件それぞれについて、前記距離分布画像に示されている距離が当該条件を満たす前記距離分布画像内の領域を特定する領域特定手段、
    前記領域特定手段により特定される領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成する指示内容データ生成手段、
    前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段、
    として前記コンピュータを機能させ、
    前記領域特定手段は、前記距離分布画像に示されている距離に関する第１の条件を満たす状態から第２の条件を満たす状態に変化した際の前記第１の条件を満たす前記距離分布画像内の第１の領域、及び、前記距離分布画像に示されている距離に関する前記第２の条件を満たす状態から第３の条件を満たす状態に変化した際の前記第２の条件を満たす前記距離分布画像内の第２の領域を特定し、
    前記指示内容データ生成手段は、前記領域特定手段により特定される前記第１の領域の前記距離分布画像内における位置と、前記領域特定手段により特定される前記第２の領域の前記距離分布画像内における位置と、の組合せに基づいて、前記指示内容データを生成する、
    ことを特徴とするプログラムが記憶された情報記憶媒体。
  5. ユーザの指示内容を示す指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理装置としてコンピュータを機能させるプログラムであって、
    所定視野内の被写体までの距離分布を測定する距離分布測定手段から出力される測定結果に基づいて生成される、前記距離分布を示す距離分布画像を取得する距離分布画像取得手段、
    前記距離分布画像に示されている距離に関する複数の条件それぞれについて、前記距離分布画像に示されている距離が当該条件を満たす前記距離分布画像内の領域を特定する領域特定手段、
    前記領域特定手段により特定される領域の前記距離分布画像内における位置に基づいて、前記指示内容データを生成する指示内容データ生成手段、
    前記指示内容データ生成手段により生成される指示内容データを取得して、当該指示内容データに基づく情報処理を実行する情報処理実行手段、
    として前記コンピュータを機能させ、
    前記領域特定手段は、前記距離分布画像に示されている距離に関する第１の条件を満たす状態から第２の条件を満たす状態に変化した際の前記第１の条件を満たす前記距離分布画像内の第１の領域、及び、前記距離分布画像に示されている距離に関する前記第２の条件を満たす状態から第３の条件を満たす状態に変化した際の前記第２の条件を満たす前記距離分布画像内の第２の領域を特定し、
    前記指示内容データ生成手段は、前記領域特定手段により特定される前記第１の領域の前記距離分布画像内における位置と、前記領域特定手段により特定される前記第２の領域の前記距離分布画像内における位置と、の組合せに基づいて、前記指示内容データを生成する、
    ことを特徴とするプログラム。
JP2010531901A 2008-10-01 2009-10-01 情報処理装置、情報処理方法、情報記憶媒体及びプログラム Active JP5594733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010531901A JP5594733B2 (ja) 2008-10-01 2009-10-01 情報処理装置、情報処理方法、情報記憶媒体及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008256598 2008-10-01
JP2008256598 2008-10-01
JP2010531901A JP5594733B2 (ja) 2008-10-01 2009-10-01 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
PCT/JP2009/067142 WO2010038822A1 (ja) 2008-10-01 2009-10-01 情報処理装置、情報処理方法、情報記憶媒体及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2010038822A1 JPWO2010038822A1 (ja) 2012-03-01
JP5594733B2 true JP5594733B2 (ja) 2014-09-24

Family

ID=42073580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531901A Active JP5594733B2 (ja) 2008-10-01 2009-10-01 情報処理装置、情報処理方法、情報記憶媒体及びプログラム

Country Status (5)

Country Link
US (1) US8884924B2 (ja)
EP (1) EP2352078B1 (ja)
JP (1) JP5594733B2 (ja)
CN (1) CN102171640B (ja)
WO (1) WO2010038822A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5711962B2 (ja) 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US20120169671A1 (en) * 2011-01-03 2012-07-05 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
JP2013041348A (ja) * 2011-08-12 2013-02-28 Kyocera Corp 携帯端末、補助情報表示プログラムおよび補助情報表示方法
JP2013097646A (ja) * 2011-11-02 2013-05-20 Fujitsu Mobile Communications Ltd 情報処理装置及びその方法
WO2013157178A1 (ja) * 2012-04-17 2013-10-24 パナソニック株式会社 携帯電子機器
JP5550124B2 (ja) * 2012-08-17 2014-07-16 Ｎｅｃシステムテクノロジー株式会社 入力装置、機器、入力方法およびプログラム
JP6043544B2 (ja) * 2012-08-23 2016-12-14 ソニー株式会社 入力デバイス、入力システム、電子機器、及び感覚提示方法
US20140085245A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array
FR3000244B1 (fr) * 2012-12-21 2015-02-06 Dav Module d'interface
CN104615230B (zh) * 2013-11-01 2019-04-26 腾讯科技（深圳）有限公司 一种操作识别方法和终端
US9875019B2 (en) * 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
JP2016115121A (ja) * 2014-12-15 2016-06-23 三菱自動車工業株式会社 車両の操作装置
JP6053845B2 (ja) * 2015-03-09 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ジェスチャ操作入力処理装置、３次元ディスプレイ装置およびジェスチャ操作入力処理方法
CN104750416B (zh) * 2015-03-13 2018-07-13 上海雪宝信息科技有限公司 一种用于在触摸终端上执行对象操作的方法与设备
KR20190072837A (ko) * 2017-12-18 2019-06-26 엘지전자 주식회사 카메라 모듈 및 이를 구비하는 이동 단말기
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
JPH0757103A (ja) 1993-08-23 1995-03-03 Toshiba Corp 情報処理装置
JPH07160412A (ja) 1993-12-10 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 指示位置検出方法
JP3544739B2 (ja) * 1994-04-13 2004-07-21 株式会社東芝 情報入力装置
DE69634913T2 (de) * 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP2000163193A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
KR100733201B1 (ko) 2000-02-07 2007-06-27 동경 엘렉트론 주식회사 반도체 제조장치용 석영 부재, 반도체 제조장치용 석영 부재의 제조방법, 열처리 장치, 및 석영 부재중의 금속의 분석 방법
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
EP1579266A4 (en) 2001-06-20 2007-10-03 Citala Ltd LOW THICKNESS PLATFORM SWITCHES AND THEIR APPLICATIONS
JP2003295990A (ja) 2002-04-05 2003-10-17 Sharp Corp 機器の操作装置及び方法
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7525050B1 (en) * 2004-04-23 2009-04-28 Luidia, Inc. Interference removal in pointing device locating systems
US7388585B2 (en) * 2004-09-20 2008-06-17 My Virtual Reality Software Method, system and device for efficient distribution of real time three dimensional computer modeled image scenes over a network
EP1659538B1 (en) 2004-11-19 2008-01-09 Telefonaktiebolaget LM Ericsson (publ) Method and device for rendering three-dimensional graphics
GB0509172D0 (en) 2005-05-04 2005-06-15 Spiral Scratch Ltd Three dimensional effects in an eye toy
CN103778635B (zh) * 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
JP4766340B2 (ja) 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
JP5076534B2 (ja) * 2007-02-13 2012-11-21 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP4793933B2 (ja) 2007-03-12 2011-10-12 任天堂株式会社 画像処理プログラムおよび画像処理装置
JP2008225985A (ja) 2007-03-14 2008-09-25 Namco Bandai Games Inc 画像認識システム
JP2008259612A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp 投影画像生成装置およびそのプログラム
WO2009031155A2 (en) * 2007-09-06 2009-03-12 Yeda Research And Development Co. Ltd. Modelization of objects in images
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
US20110210947A1 (en) 2011-09-01
JPWO2010038822A1 (ja) 2012-03-01
US8884924B2 (en) 2014-11-11
WO2010038822A1 (ja) 2010-04-08
CN102171640A (zh) 2011-08-31
EP2352078A1 (en) 2011-08-03
EP2352078B1 (en) 2022-09-07
CN102171640B (zh) 2015-08-05
EP2352078A4 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5594733B2 (ja) 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8139027B2 (en) Storage medium storing input processing program and input processing apparatus
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN103370678A (zh) 不使用指示器的虚拟触摸装置
WO2002031773A1 (en) Image processing apparatus, image processing method, record medium, computer program, and semiconductor device
CN105229582A (zh) 基于近距离传感器和图像传感器的手势检测
WO2010061661A1 (ja) 画像表示装置、画像表示方法及び情報記憶媒体
JP5971632B2 (ja) 電子機器および合成画像の編集方法
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
JP5671318B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5675309B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
WO2016053320A1 (en) Gesture based manipulation of three-dimensional images
CN111064896A (zh) 设备控制方法及电子设备
CN108509127B (zh) 启动录屏任务的方法、装置及计算机设备
US20130207901A1 (en) Virtual Created Input Object
JP5646532B2 (ja) 操作入力装置、操作入力方法、及び、プログラム
EP4383700B1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
CN113242466B (zh) 视频剪辑方法、装置、终端及存储介质
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
WO2016117417A1 (ja) 情報処理装置、情報処理方法及びプログラム
US8659626B2 (en) Projection control
JP5475163B2 (ja) データ取得装置、データ取得システム、データ取得装置の制御方法、及びプログラム
JP5247907B1 (ja) データ取得装置、データ取得システム、データ取得装置の制御方法、及びプログラム
TWI463481B (zh) 圖像顯示系統及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140730

R150 Certificate of patent or registration of utility model

Ref document number: 5594733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250