WO2010035491A1 - ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 - Google Patents

ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 Download PDF

Info

Publication number
WO2010035491A1
WO2010035491A1 PCT/JP2009/004911 JP2009004911W WO2010035491A1 WO 2010035491 A1 WO2010035491 A1 WO 2010035491A1 JP 2009004911 W JP2009004911 W JP 2009004911W WO 2010035491 A1 WO2010035491 A1 WO 2010035491A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
unaffiliated
user interface
interface device
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/004911
Other languages
English (en)
French (fr)
Inventor
坂田幸太郎
前田茂則
高橋知成
井本浩靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to EP09815911.4A priority Critical patent/EP2330558B1/en
Priority to JP2010503294A priority patent/JP5345129B2/ja
Priority to US12/744,373 priority patent/US8451216B2/en
Priority to CN2009801011706A priority patent/CN101878487B/zh
Publication of WO2010035491A1 publication Critical patent/WO2010035491A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programmes or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to a user interface device for a large screen display operated by a plurality of people.
  • TVs are not only used for viewing broadcast content, but also open to new uses such as simultaneous use of multiple information and lists of large amounts of information. It's getting on.
  • the user can easily input information intended by the user by hand gesture or gesture without holding a device such as a remote controller or wearing a special device.
  • a device see Patent Document 1 that generates a command for stationary or slow movement or rapid movement according to the magnitude of the user's hand movement is known.
  • the touch panel detects that a hand has touched or approached the ball moving in the screen in order to attract the user's interest to the video displayed on the screen, the video associated with the ball is displayed in advance. There is something to do (see Patent Document 2).
  • the conventional technology does not assume a situation in which content delivery is performed in a shared manner, and there is a problem in that a receiving user cannot be well received unless the delivery side specifies the moving direction of the content sufficiently accurately.
  • the present invention solves the above-described conventional problems, and when a user tries to acquire content displayed on a screen, the user interface device controls the movement of the content so that the user can easily acquire the content.
  • the purpose is to provide.
  • the user interface device causes the user to operate an object displayed in the work area assigned to the user.
  • a detection unit that detects the position of the user
  • a display unit that displays the work area
  • a control unit that controls display of an unaffiliated object that does not belong to any user.
  • the said unaffiliated object is located in the facing area
  • the unaffiliated object is moved in a different manner.
  • the unaffiliated object the unaffiliated object that has moved in the work area assigned to the user is stopped.
  • control unit may make the moving speed of the unaffiliated object moving in the facing area slower than when moving outside the facing area.
  • the said control part may enlarge the display size of the said unaffiliated object which moves in the said facing area compared with the case where it moves out of the said facing area. Accordingly, it is possible to determine whether or not the acquisition is necessary by carefully looking at the unaffiliated object.
  • the detection unit detects the user's gesture.
  • the said control part may stop the said unaffiliated object in the said work area allocated to the said user, when the acquisition gesture which shows acquiring the said unaffiliated object is detected by the said detection part.
  • the acquisition gesture may be a gesture for turning the palm toward the screen for a predetermined time.
  • the acquisition gesture may be a gesture in which a fingertip of a thumb and a fingertip of another finger shift from an open state to a closed state.
  • the acquisition gesture may be a gesture of holding a hand while rotating a palm toward the display unit from the state where the palm is directed toward the display unit.
  • control unit may detect the release gesture of the other user indicating that the object is released by the detection unit with respect to an object owned by another user different from the user.
  • the display may be controlled with the object as the unaffiliated object. This eliminates the need for the user to move the object to the work area assigned to the user on the receiver side, thereby simplifying the delivery operation.
  • control unit may bring the display angle of the unaffiliated object moving in the facing area close to the display angle when the other user makes a discharge gesture. Even when the unaffiliated object moves while rotating, it returns to the initial state in front of the user, making it easier for the user to acquire.
  • the display unit is divided into a plurality of work areas assigned to a plurality of users.
  • the user interface device further includes a determination unit that determines a candidate recipient user who is a candidate for receiving the unaffiliated object among the plurality of users.
  • the said control part is when the said unaffiliated object is located in the facing area
  • the unaffiliated object is moved in a different manner depending on the position. Further, when the recipient candidate user acquires the unaffiliated object, the unaffiliated object may be stopped in the work area assigned to the recipient candidate user.
  • the object delivery as a whole becomes efficient.
  • the detection unit detects the user's gesture.
  • the said control part is an acquisition refusal gesture of the said candidate candidate user which shows not acquiring the said unaffiliated object in the state in which the said unaffiliated object is located in the said facing area
  • region which faces any of the said recipient candidate users May be increased when the non-belonging object is moved. This also increases the efficiency of delivery and can alleviate the discomfort of a user who does not intend to acquire.
  • the acquisition refusal gesture may be a gesture of reciprocating a hand from side to side.
  • the acquisition rejection gesture may be a state where the acquisition gesture is not performed.
  • control unit may control display of the unaffiliated object based on the physical characteristics of the user. As a result, finer display control is possible. For example, the following modes can be considered.
  • the physical feature is the age of the user.
  • the said control part may slow down the moving speed of the said unaffiliated object which moves in the said facing area, so that the said user's age is low.
  • the physical feature is a user's dominant arm.
  • the said control part may change the moving speed of the said unaffiliated object which moves within the said facing area
  • the physical feature is the height of the user.
  • the said control part may slow down the moving speed of the said unaffiliated object which moves in the said facing area, so that the said user's height is low.
  • the physical characteristic is the height of the user.
  • the control unit may lower the display height of the unaffiliated object that moves in the facing area as the height of the user is lower.
  • control unit may control the display of the unaffiliated object according to the metadata assigned to the unaffiliated object and the attribute information of the user. For example, the control unit may acquire the attribute information by communicating with a mobile terminal possessed by the user.
  • the object may be a photograph.
  • the object is not limited to a photo, but may be video data, music data, document data, or other various files (may be folder units) that can be handled by a general computer.
  • the control unit may move the unaffiliated object toward the other end when the unaffiliated object reaches one end of the display unit. Thereby, a chance of re-acquisition can be given to a user who has failed to acquire once (or has not been intentionally acquired).
  • control unit may stop the unaffiliated object when the unaffiliated object reaches a position away from the end of the display unit by a predetermined distance. Furthermore, the control unit may hide the unaffiliated object when a predetermined time has elapsed with the unaffiliated object stopped. As a result, an object for which no one indicates an intention to acquire can be deleted from the display unit.
  • a user interface method is a method for causing a user to operate an object displayed in the work area assigned to a user using a display unit that displays the work area. Includes a detection step of detecting the position of the user and a control step of controlling display of an unaffiliated object that does not belong to any user.
  • the unaffiliated object is located in the facing area of the display unit facing the user position detected in the detecting step, and the unaffiliated object is located outside the facing area.
  • the unaffiliated object is moved in a different manner.
  • the unaffiliated object that has moved in the work area assigned to the user is stopped.
  • a computer-readable recording medium records a program that causes a computer to execute the above-described user interface method.
  • the present invention can be realized not only as a user interface device but also as a program for causing a computer to execute the functions of the user interface device. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the user interface device of the present invention when the user intends to acquire the content displayed on the screen, the user can easily receive the object by controlling the movement of the object according to the position of the user. Become.
  • FIG. 1A is a diagram illustrating an example of an appearance of a user interface device and an interface with related devices according to an embodiment of the present invention.
  • FIG. 1B is a functional block diagram showing a configuration of a user interface device according to an embodiment of the present invention.
  • FIG. 2A is a diagram illustrating an installation example of a user interface device according to an embodiment of the present invention.
  • FIG. 2B is a diagram illustrating another installation example of the user interface device according to the embodiment of the present invention.
  • FIG. 2C is a diagram illustrating another installation example of the user interface device according to the embodiment of the present invention.
  • FIG. 3 is a functional block diagram showing the configuration of the user interface device in the preferred embodiment of the present invention.
  • FIG. 4A is a diagram illustrating a user information database according to an embodiment of the present invention.
  • FIG. 4B is a diagram illustrating an example of basic attribute information included in the user information database.
  • FIG. 4C is a diagram illustrating an example of body feature information included in the user information database.
  • FIG. 5A is a diagram illustrating an outline of a user position detection method according to an embodiment of the present invention.
  • FIG. 5B is a diagram for explaining the principle of stereovision, which is an example of a user position detection method.
  • FIG. 6A is a diagram for explaining an outline of a freehand gesture detection method according to an embodiment of the present invention.
  • FIG. 6B is a diagram illustrating a procedure of a freehand gesture detection process according to the embodiment of the present invention.
  • FIG. 7A is a diagram illustrating an example of a suitable use case of the user interface device according to the embodiment of the present invention.
  • FIG. 7B is a diagram illustrating an example of a suitable use case of the user interface device according to the embodiment of the present invention.
  • FIG. 8A is a diagram illustrating an example of a suitable use case of the user interface device according to the embodiment of the present invention.
  • FIG. 8B is a diagram illustrating an example of a suitable use case of the user interface device according to the embodiment of the present invention.
  • FIG. 9 is a diagram showing an operation example (upper stage), an object trajectory (middle stage), and an object moving speed (lower stage) of the user interface device according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing an outline of processing of the user interface device according to the embodiment of the present invention.
  • FIG. 11 is a flowchart showing an outline of processing of the user interface device according to the embodiment of the present invention.
  • a user interface device is a device that divides a video display unit into a plurality of work areas, and controls applications executed in the work areas assigned to each of the plurality of users.
  • FIG. 1A is a diagram illustrating an example of an external appearance of a user interface device according to the present invention and an interface between related devices.
  • the user interface device includes one or more user detection cameras and the like.
  • the display on the video display unit is controlled by the position and movement of the user detected by analyzing the image information captured by the user detection camera.
  • the display on the video display unit may be controlled based on the user's remote control operation such as the movement of the user's hand holding the gesture input remote control or pressing a button arranged on the remote control.
  • the user interface device may accept an input of a touch table provided with an electrostatic touch pad.
  • the user can use various input methods in accordance with the user's situation and the type of application.
  • the user interface device acquires information from a tag (typically, an IC tag) attached to a device possessed by the user, so that the user's name, sex, age, hobby, Information such as preferences can be used for application control.
  • a tag typically, an IC tag
  • the user interface device may be connected to other home appliances such as a digital still camera and a digital camcorder via a wireless network or a router / hub.
  • the user interface device can present the digital information / operation menu received from these devices on the screen, and can transmit user operation information for the menu presented on the screen to these devices.
  • a plurality of users can collaborate such as creating / executing a slide show using a plurality of photos.
  • FIG. 1B is a block diagram of the user interface device 1.
  • the user interface device 1 is a device that assigns a work area to each user and enables the user to operate an object in the work area.
  • the work area is displayed on the display unit 2.
  • the “object” may be, for example, photo data, video data, music data, document data, and various other files (may be folder units) that can be handled by a general computer.
  • object operation refers to creation, browsing, editing, deletion, etc. of the data.
  • a plurality of users display a plurality of pieces of photo data in a work area assigned to each user, and browse and organize the plurality of pieces of photo data. It is also possible to exchange objects between users. For example, a first user releases an object owned by the first user from a work area assigned to the first user. Then, the second user acquires the released object and takes it into the work area assigned to the second user.
  • the present invention will be described in detail by taking such a situation as an example.
  • the display unit 2 is, for example, a large display panel.
  • the display panel any existing display panel such as a liquid crystal display, a plasma display, and an organic EL display can be used.
  • the display unit 2 displays a work area and objects.
  • the display unit 2 may be a large display that displays a plurality of work areas, or may be a combination of a plurality of displays that display one work area.
  • the detection unit 3 detects the position of the user located in front of the display unit 2. Furthermore, a user located in front of the display unit 2 may be identified, each user's gesture may be detected, or the amount of speech of each user may be detected.
  • the detection unit 3 includes, for example, a photographing unit such as a user detection camera and an analysis unit that analyzes an image photographed by the photographing unit and detects a user position and the like. *
  • the control unit 4 controls display on the display unit 2, mainly display of objects.
  • an object that does not belong to any user referred to as “unaffiliated object”
  • the unaffiliated object is generated, for example, when the user selects an object displayed in his / her work area and makes a gesture (referred to as “release gesture”) indicating that the object is released.
  • the user interface device 1 may automatically generate an unaffiliated object.
  • the control unit 4 moves the unaffiliated object in a different manner depending on whether it is located in an area on the display unit 2 facing the user (referred to as “face-to-face area”) or outside the face-to-face area.
  • face-to-face area an area on the display unit 2 facing the user
  • the moving speed of an unaffiliated object that moves within the facing area may be slower than when moving outside the facing area.
  • the display size of the unaffiliated object that moves in the facing area may be larger than that in the case of moving outside the facing area.
  • the display angle of the unaffiliated object that moves within the facing area may be made closer to the display angle at the time when the user made the release gesture.
  • control unit 4 stops the unaffiliated object that has been moved within the work area assigned to the user. Thereafter, the user who has acquired the unaffiliated object can freely operate the object.
  • the user can acquire the unaffiliated object by making a gesture (referred to as “acquisition gesture”) indicating that the unaffiliated object is acquired in front of the display unit 2, for example.
  • acquisition gesture a gesture which turns a palm toward a screen for predetermined time may be sufficient.
  • the acquisition gesture may be a gesture in which a fingertip of a thumb and a fingertip of another finger shift from an open state to a closed state.
  • the acquisition gesture may be a gesture of holding a hand while rotating a palm toward the display unit from the state where the palm is directed toward the display unit.
  • acquisition refusal gesture when the user makes a gesture indicating that an unaffiliated object is not acquired (referred to as “acquisition refusal gesture”), the control unit 4 is out of the facing area even when the unaffiliated object is located in the facing area of the user.
  • the unaffiliated object may be moved in the movement mode at.
  • acquisition refusal gesture is not particularly limited, but may be a gesture of reciprocating the hand left and right, for example. Alternatively, by not performing an acquisition gesture for a predetermined time, it may be determined that there is no intention to acquire.
  • control unit 4 may control the display of the unaffiliated object based on the physical characteristics of the user. For example, the moving speed of the unaffiliated object may be decreased as the user's age is lower. Alternatively, the moving speed may be changed according to the combination of the moving direction of the object and the user's dominant arm. Alternatively, the movement speed of the unaffiliated object may be decreased as the user's height is lower. Furthermore, the display height of the unaffiliated object may be lowered as the user's height is lower.
  • control unit 4 may control the display of the unaffiliated object in consideration of the attribute of the unaffiliated object and the attribute of the user. For example, if the object is content intended for children, the moving speed may be slowest in the child's facing area.
  • the attribute of the unaffiliated object can be acquired from metadata attached to the object.
  • a user's attribute may be acquired by communicating with the portable terminal which a user possesses, and a user's attribute information may be previously hold
  • the control unit 4 may move the unaffiliated object toward the other end. .
  • the unaffiliated object may be stopped, and when the predetermined time has elapsed in the stopped state, the unaffiliated object may be hidden.
  • FIG. 2A to 2C are diagrams for explaining an example of installation of the user interface device of the present invention.
  • the user detection camera is not only installed around the video display unit, but also installed on the wall or ceiling of the space where the video display unit is installed as shown in FIG. 2B. May be. Furthermore, you may use together what was installed in the circumference
  • FIG. 2C if the floor pressure sensor is laid on the floor, the position of the user can be accurately detected from the output of the floor pressure sensor without analyzing the image of the user detection camera.
  • FIG. 3 is a diagram illustrating a configuration example of the user interface device 10 according to a preferred embodiment of the present invention.
  • the user interface device 10 includes a user detection camera 11, a user identification unit 21, a user position detection unit 22, a user motion detection unit 23, a reception-side user determination unit 24, a delivery object display control unit 25, and a video display. Part 31.
  • the user detection camera 11, the user identification unit 21, the user position detection unit 22, and the user action detection unit 23 constitute the detection unit 3 shown in FIG. 1B.
  • the delivery object display control unit 25 corresponds to the control unit 4 shown in FIG. 1B
  • the video display unit 31 corresponds to the display unit 2 shown in FIG. 1B.
  • the receiving-side user discriminating unit 24 is not an essential component of the present invention and can be omitted.
  • 4A to 4C are diagrams for explaining the outline of the data structure of the user information DB (database).
  • the user interface device 10 may include a user information DB that stores basic attribute information, body feature information, and the like.
  • the basic attribute information is, for example, name, sex, age, relationship, etc. as shown in FIG. 4B.
  • the basic attribute information may be referred to when the user identification unit 21 identifies a user located in front of the video display unit 31, for example.
  • the body feature information stored in the user information DB is, for example, as shown in FIG. 4C, height and eye height in a standing position, height and eye height in a sitting position, dominant hand, dominant eye, It includes the body shape according to the posture of the user, such as visual acuity and hearing ability, and viewing ability.
  • This body feature information may be referred to as reference information when the receiving user determining unit 24 determines a candidate recipient user, for example.
  • the user detection camera 11 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) installed around the video display unit 31.
  • the user detection camera 11 captures a user existing in front of the video display unit 31.
  • the user identification unit 21 identifies a user by extracting a face area from the image of the user detection camera 11 and then collating the face image registered in advance with the extracted face image. Output user identification information.
  • the user position detection unit 22 extracts a user area from a plurality of videos captured by the user detection camera 11, and then uses a stereo vision principle based on the correspondence between user areas in the plurality of videos. The relative position between the user and the video display unit 31 is calculated.
  • 5A and 5B are diagrams illustrating a user position calculation method based on the principle of stereo vision in the user position detection unit 22 according to an embodiment of the present invention.
  • a set of two user detection cameras 11 are installed in parallel to the screen of the video display unit 31 with an interval B.
  • the user position detection unit 22 calculates the distance D between the user and the screen of the video display unit 31 based on the shift of the position of the corresponding user area in the image captured by each user detection camera 11.
  • the extraction of the region in which the user is captured in the image captured by each user detection camera 11 is performed, for example, by storing the image captured by each user detection camera 11 in the absence of the user in advance and the user appears. This can be realized by obtaining a difference from the image at the time.
  • the face area of the user can be obtained by detecting the face image and collating the face image, and the face area can be set as the user area.
  • FIG. 5B shows the principle of stereo vision in which the distance D between the user and the installation surface of the user detection camera 11 (the screen of the video display unit 31) is obtained based on the corresponding user areas on the two images.
  • the images are projected onto the two images as shown in FIG. 5B.
  • the shift of the corresponding image on the image is Z
  • the user position in the direction parallel to the screen of the video display unit 31 can be obtained based on the position of the user area in the image and the distance D described above.
  • the user position detection unit 22 outputs the relative position of the user with respect to the video display unit 31 thus obtained.
  • a distance image sensor that outputs distance information based on the principle of light wave distance measurement (Time of Flight) may be used as the user detection camera 11.
  • the user position detection unit 22 can easily calculate the relative position of the user with respect to the video display unit 31 by obtaining the distance image sensor.
  • the user position detection unit 22 may receive the output value of the floor pressure sensor as an input without inputting the information of the user detection camera 11.
  • the relative position of the user with respect to the video display unit 31 can be calculated.
  • the user motion detection unit 23 collates with which shape the hand position and the hand shape match in advance. Hand shape information such as “par”, “right selection” and “left selection” is output.
  • 6A and 6B show a method for detecting the position and shape of the hand in the user motion detector 23 according to an embodiment of the present invention.
  • the user motion detection unit 23 first detects a person position from an image taken by the user detection camera 11, and detects the position and shape of the hand around the person position.
  • a method for estimating the position and shape of the hand for example, it can be estimated by using the following method.
  • a description will be given with reference to FIG. 6B.
  • the user motion detection unit 23 prepares a large number of learning images of the hand to be detected (S501). It is desirable that the conditions such as the illumination environment and direction in the learning image are set so that the conditions are in line with the actual detection environment.
  • an eigenspace that constitutes the principal component of the hand is created from the learning image prepared in S501 using principal component analysis (S502).
  • a hand template image is prepared as a sample of the hand to be detected.
  • the template image may be an average image of prepared hands or images of several hands such as goo and par.
  • the created projection matrix onto the eigenspace and the hand template image are stored in the hand template database (S503).
  • the user detection camera 11 captures a user existing in front of the video display unit 31 (S504).
  • the user operation detection unit 23 detects a face area from the image captured by the user detection camera 11 (S505).
  • the user motion detection unit 23 detects a hand around the area.
  • An area similar to the prepared hand template is scanned around the face area using the hand template stored in the hand template database (S506).
  • the determination of the peripheral area of the face may be a range of a size set in advance based on the face position, or an area having a depth distance close to the face in the peripheral area of the face based on the principle of stereo vision using two user detection cameras 11 May be scanned to reduce the search range.
  • the candidate region image of the cut out hand and the template image of the hand are projected onto the eigenspace using a projection matrix onto the eigenspace prepared in advance. Then, a method of comparing the distances between the two in the eigenspace is performed. By comparing the distances in the space representing the main component of the hand, it is possible to perform detection with reduced influence of noise such as background.
  • the search area an area that satisfies a predetermined threshold and has a distance closest to the hand template is defined as a hand position. Further, the shape of the hand template having the closest distance (for example, goo, par, etc.) is set as the detected hand shape (S507).
  • the detection is terminated as if the hand has not been taken.
  • the template matching technique is used for detecting the position and shape of the hand, but other techniques such as a boosting technique may be used.
  • the application of the user interface device 10 of the present invention associates, for example, a plurality of options with the position and shape of the hand corresponding to each option in advance. Then, it can be determined that the corresponding option has been selected according to the change in the position and shape of the user's hand detected by the user motion detection unit 23.
  • the receiving-side user discriminating unit 24 includes user identification information output from the user identification unit 21, user position output from the user position detection unit 22, and hand position output from the user operation detection unit 23. Then, using the information on the shape and the input information, the user (recipient candidate user) that is estimated to be a user candidate who receives the object is determined.
  • FIG. 7A to 8B are diagrams showing an example of a suitable use case of the user interface device 10 in one embodiment of the present invention.
  • an object passed between users is photo data.
  • FIG. 7A shows a case where user B passes an object.
  • the receiving-side user determination unit 24 determines that the user A located on the left side of the user B is the receiving candidate user.
  • the receiving-side user determination unit 24 determines that the user C located on the right side of the user B is the receiving candidate user.
  • FIG. 7B shows a case where user A passes an object.
  • the receiving-side user discriminating unit 24 can determine that the user B or the user C is about to pass. Is determined as a candidate user. Which of the user B and the user C is received is determined by the gesture of the user B and the user C.
  • FIG. 8A shows a case where user A passes an object.
  • the workspace work area
  • an application for browsing pictures is executed, and the workspace on the screen corresponding to the user C (work space C).
  • the broadcast content (news program) is displayed.
  • the receiving-side user determination unit 24 selects the user B, the user C, and the user D that are located on the right side of the user A. B and user D are identified as candidate users.
  • the receiving-side user discriminating unit 24 does not discriminate the user C from the recipient candidate user because it has little relationship with the content (photograph) to which the application executed in the workspace corresponding to the user C is delivered.
  • FIG. 8B shows a case where user A passes an object.
  • an application for viewing a photograph is executed, and the user C is located in front of the video display unit 31, but executes the application. This is not the case. For example, user C is sleeping.
  • the receiving-side user determination unit 24 will select the user B, the user C, and the user D located on the right side of the user A.
  • the user B and the user D are received and determined as candidate users.
  • the user C is located in front of the video display unit 31, but does not execute the application. Therefore, the receiving-side user determination unit 24 does not determine the user C as a candidate for receiving the user C.
  • the delivery object display control unit 25 includes user identification information output from the user identification unit 21, user position output from the user position detection unit 22, hand position output from the user motion detection unit 23, and The display of the object on the screen is controlled using the shape information as input information. A specific control method will be described in “3 Operation” below.
  • FIG. 9 is a diagram illustrating an operation example of the user interface device 10 according to the embodiment of the present invention.
  • the user interface device 10 As shown in the upper part of FIG. 9, there are three users (user A, user B, and user C) in front of the video display unit 31, and each of the three users uses a photo browsing application on the screen.
  • the flow of processing of the user interface device 10 will be described by taking an example of a situation where a photograph is delivered. In other words, it is a situation in which the content is delivered so as to catch the ball on the screen.
  • Three people are a family, user A is a father, user B is a daughter, user C is a mother, and user A (father) tries to give a picture to user B (daughter) and user C (mother).
  • the scene will be described as an example.
  • FIG. 10 is a flowchart showing an outline of processing of the user interface device 10 according to the embodiment of the present invention.
  • the user identification unit 21 identifies a user by collating the faces of the users A, B, and C detected by the user detection camera 11 with body feature information stored in a user information DB registered in advance ( S801). Then, for each identified user, the user position detector 22 calculates user position information, and the user action detector 23 calculates hand position and shape information (S802).
  • the receiving-side user determination unit 24 determines a candidate recipient user (S804).
  • the delivery object display control unit 25 controls the movement of the delivered object according to the position of the recipient candidate user (S805).
  • the delivery object display control unit 25 decelerates the object if the moving object is within the recipient candidate user's area (YES in S901) (S902).
  • the recipient candidate user area may be defined based on the width of each user's workspace in the x-axis direction, or from the position on the screen in front of the user's standing position. Alternatively, a region having a predetermined size may be used.
  • the delivery object display control part 25 will further decelerate an object, if a recipient candidate user performs the gesture which shows receipt selection (S903 YES) (S904). Furthermore, when the recipient candidate user performs a gesture indicating acceptance (YES in S905), the object is stopped (S906). If the object is interlocked with the movement of the hand before stopping, the receiving user can stop the object at a desired position.
  • the gesture indicating reception selection may be an operation of turning the palm toward the screen for a predetermined time.
  • the gesture indicating confirmation of receipt includes an operation of shifting from a state where the thumb and other fingers are opened to a closed state, or an operation of bringing the hand toward the screen toward the face or chest. Good. These operations correspond to the operation of grabbing an object, and are intuitive operations of grabbing and catching a picture on the screen.
  • the user who is the recipient can easily receive the object by estimating the candidate recipient user of the object and controlling the movement of the object based on the position of the candidate recipient user.
  • the gesture is assumed to be a freehand gesture, and the user's hand position and hand shape are detected from the image of the user detection camera by image analysis, but some or all of the users are shown in FIG. 1A.
  • a gesture on a touch table having an electrostatic touch pad as shown may be performed, and the present invention is also effective in such a use case.
  • the recipient candidate user may select to receive the object to be delivered when the hand approaches the touch table, and confirm the receipt of the object when the user touches the touch table.
  • a photograph is given as an example of content delivered by a plurality of people.
  • content that is suitably delivered by applying the present invention is not limited to a photo.
  • Various types of content displayed on the video display unit 31 are targets of application of the present invention.
  • FIGS. 5A to 9 the user is standing, but the user is not limited to standing.
  • the present invention is effective even when the user is in a sitting position or the like.
  • the delivery object display control unit 25 may control the movement of the delivered object in consideration of the following points.
  • the movement of the object may be controlled based on the physical characteristics of the recipient candidate user.
  • Examples of the user's physical characteristics include the user's age, the user's dominant arm, and the user's height. These can acquire data from the user information DB.
  • the user's height can also be calculated by analyzing the image of the user detection camera.
  • the size of the deceleration of the object may be larger than the predetermined value.
  • usability can be improved by making the magnitude of deceleration greater than a predetermined value for elderly people and children.
  • the amount of deceleration will be greater than the specified amount compared to the right-handed case. Good.
  • the magnitude of deceleration may be larger than a predetermined value when the candidate user is right-handed compared to left-handed. The same effect can be obtained by setting the deceleration start position farther from the user.
  • the arm length is basically positively correlated, if the height of the deceleration is greater than the predetermined value when the height is less than the predetermined value, the arm length is substantially taken into consideration. This is the control that was performed. As shown in “3 Actions” above, considering the user's height, improving the usability by controlling the trajectory of the object so that it passes through the height of the user's eyes or shoulders. Can do.
  • the movement of the object may be controlled based on the attributes of the candidate recipient user.
  • the trajectory and speed of the object may be controlled in view of metadata attached to the object and user attributes.
  • user attributes include information recorded in tags attached to devices owned by the user, such as name, gender, age, hobbies, and preferences.
  • the degree of interest in the object to be delivered is estimated based on the user's hobbies and preferences, and when the interest is estimated to be high, the degree of deceleration of the object in the vicinity of the user is determined in advance. It is better to make it larger.
  • the object may be controlled by the following method.
  • the object should be bounced with a rebound coefficient of 1.
  • the rebound coefficient is not limited to 1.
  • the number of times the object bounces at the edge of the screen may be counted, and the bounce coefficient may be changed according to the number of bounces.
  • the object to be delivered reaches within a predetermined range from the edge of the screen during movement and the movement of the object is stopped, the object may be hidden.
  • the recipient candidate user misses the gesture indicating the willingness of receiving once, it will bounce back, so that the gesture indicating the receiving intention can be performed at that time. Further, when the predetermined time elapses, the content is not displayed, so that it is possible to avoid the content that is not required by the recipient candidate user from being displayed on the screen forever.
  • a user-specific work area is displayed in front of the user.
  • the present invention is not limited to this, and a shared work area that can be shared by a plurality of users may be provided.
  • a shared work area may be displayed at an intermediate point between two users, and an object acquired by the user may be stopped in the shared work area.
  • the user may make an acquisition gesture while facing the direction of the shared work area (that is, facing diagonally).
  • an example is shown in which an object is acquired by a user making an acquisition gesture.
  • the present invention is not limited to this, and the user interface device 10 determines a user who should acquire an unaffiliated object.
  • An unaffiliated object may be stopped in the work area assigned to the user.
  • an unaffiliated object includes content for a child and there is only one child among a plurality of users
  • the user may be made to acquire it without waiting for an acquisition gesture.
  • the user may acquire the user without waiting for the user's acquisition gesture.
  • the delivery object display control unit 25 may perform display control so that a plurality of objects do not overlap each other.
  • the user interface device according to the present invention has been described based on the embodiment.
  • the user interface device can be modified as follows, and the present invention is not limited to the user interface device described in the above embodiment. Of course.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • Each device achieves its function by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • Each device is not limited to a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like, but may be a computer system including a part of them.
  • a part or all of the constituent elements constituting each of the above devices may be constituted by one system LSI (Large Scale Integration).
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part or all of the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). ), Recorded in a semiconductor memory or the like. Further, the present invention may be the computer program or the digital signal recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and is executed by another independent computer system. It is good.
  • the user interface device is useful for application to a large screen display operated by a plurality of people, for example, a large screen television or outdoor electronic advertisement (digital signage).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)

Abstract

　ユーザインターフェース装置（１）は、ユーザの位置を検出する検出部（３）と、作業領域を表示する表示部（２）と、どのユーザにも属していない無所属オブジェクトの表示を制御する制御部（４）とを備える。そして、制御部（４）は、検出部（３）で検出されたユーザの位置に対面する表示部（２）の対面領域内に無所属オブジェクトが位置する場合と、対面領域外に無所属オブジェクトが位置する場合とで、無所属オブジェクトを異なる態様で移動させる。また、ユーザが無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた作業領域内に、移動していた前記無所属オブジェクトを停止させる。

Description

ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
　本発明は、複数人により操作される大画面ディスプレイ向けのユーザインターフェース装置に関する。
　ディスプレイの大画面化・薄型化に伴い、ＴＶは単に放送コンテンツを視聴するために利用されるだけでなく、複数の情報の同時利用、大量の情報の一覧といった新しい利用方法への可能性が広がりつつある。
　従来の番組や映画を視聴するだけでなく、上記のような新しい利用方法を実現するためには、より複雑な機能を簡単に利用できるようにする必要がある。このため、直感的に行える新しい操作方式、及びユーザセンシング情報に基づきユーザの状況や意図を汲み先回りすることで、ユーザの明示的な操作量・負担を軽減する自律動作方式の実現が必要となる。また、リビングルームなどの家族の共有空間に設置されるＴＶの特徴を活かしつつ、受身的に視聴するのみでない使い方に対応するために、複数人による操作を前提とした入力方式、操作体系を採用することが望まれる。
　このような状況下で、新しい操作方式として、ユーザはリモコンなどの機器を保持することなく、また特殊な装置を装着することなく、手振りや身振りで手軽にユーザの意図する情報を入力できる入力装置が開発されている。例えば、ユーザの手の動きの大きさによって静止或いは緩慢移動、快速移動の命令を発生させる装置（特許文献１参照）が知られている。また、ユーザの興味を画面に表示された映像にひきつけるために、画面内を移動するボールに手が接触あるいは接近したことをタッチパネルが検出した場合に、該ボールにあらかじめ対応付けられた映像を表示するもの（特許文献２参照）がある。
特開２００２－１５７０７９号公報 特開２００３－２６３１４５号公報
　デジタルスチルカメラに代表されるデジタルＡＶ機器の普及に伴い、個人が手軽にＡＶコンテンツを記録し、大量のＡＶコンテンツを保有する時代が到来している。また、リビングルームなどの家族の共有空間に設置されるＴＶの特徴を鑑みると、複数のユーザが画面内で大量のコンテンツを手軽に受け渡しできる手段が望まれる。
　しかし、ディスプレイのサイズが大きくなると、コンテンツ受け渡し時のコンテンツの移動の始点と終点との間の距離が長くなる場合が増える。コンテンツ受け渡し時のコンテンツの移動の始点と終点との間の距離が長くなるほど、コンテンツを渡す方のユーザがジェスチャによって終点を指定する負担が大きくなる。
　したがって、コンテンツを渡す方は終点の厳密な位置は指定する必要がなく、受け取る側のユーザが指定できる方式が望まれる。しかしながら、従来の技術はコンテンツの受け渡しを分担して行う状況を想定しておらず、渡す側が十分正確にコンテンツの移動方向を指定しないと受け取り側のユーザがうまく受け取れない問題がある。
　本発明は、前記従来の課題を解決するもので、ユーザが画面に表示されているコンテンツを取得しようとする場合に、当該ユーザが取得しやすいように、当該コンテンツの移動を制御するユーザインターフェース装置を提供することを目的とする。
　本発明の一形態に係るユーザインターフェース装置は、ユーザに割り当てられた作業領域内に表示されているオブジェクトを、当該ユーザに操作させる。具体的には、前記ユーザの位置を検出する検出部と、前記作業領域を表示する表示部と、どのユーザにも属していない無所属オブジェクトの表示を制御する制御部とを備える。そして、前記制御部は、前記検出部で検出された前記ユーザの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させる。また、前記ユーザが前記無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた前記作業領域内に、移動していた前記無所属オブジェクトを停止させる。上記構成とすれば、ユーザの目の前に移動してきた無所属オブジェクトをじっくりと見て、当該無所属オブジェクト取得するか否かを判断することができる。
　例えば、前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの移動速度を、前記対面領域外を移動する場合より遅くしてもよい。または、前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの表示サイズを、前記対面領域外を移動する場合より大きくしてもよい。これにより、無所属オブジェクトをじっくりと見て、取得の要否を判断することができる。
　さらに、前記検出部は、前記ユーザのジェスチャを検出する。そして、前記制御部は、前記無所属オブジェクトを取得することを示す取得ジェスチャが前記検出部によって検出された場合に、当該ユーザに割り当てられた前記作業領域内に前記無所属オブジェクトを停止させてもよい。
　例えば、前記取得ジェスチャは、所定の時間、掌を画面に向けるジェスチャであってもよい。または、前記取得ジェスチャは、親指の指先と他の指の指先とが、開いた状態から閉じた状態に移行するジェスチャであってもよい。または、前記取得ジェスチャは、掌を前記表示部に向けた状態から自分自身に向かって回転させながら、手を握るジェスチャであってもよい。
　また、前記制御部は、前記ユーザと異なる他のユーザが所有しているオブジェクトに対して、当該オブジェクトを手放すことを示す当該他のユーザの放出ジェスチャが前記検出部によって検出された場合に、当該オブジェクトを前記無所属オブジェクトとして、表示を制御してもよい。これにより、ユーザは、受け手側のユーザに割り当てられた作業領域まで、当該オブジェクトを移動させる必要がなくなるので、受け渡しの動作を簡略化することができる。
　また、前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの表示角度を、前記他のユーザが放出ジェスチャをした時点の表示角度に近づけてもよい。無所属オブジェクトが回転しながら移動する場合でも、ユーザの目の前では初期の状態に戻るので、取得するユーザにとって見やすくなる。
　また、前記表示部は、複数のユーザそれぞれに割り当てられた複数の前記作業領域に区分されている。さらに、該ユーザインターフェース装置は、さらに、前記複数のユーザのうち、前記無所属オブジェクトの受け取り候補となる受け手候補ユーザを判別する判別部を備える。そして、前記制御部は、前記検出部で検出された前記受け手候補ユーザそれぞれの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させる。また、前記受け手候補ユーザが前記無所属オブジェクトを取得した場合に、当該受け手候補ユーザに割り当てられた前記作業領域内に前記無所属オブジェクトを停止させてもよい。
　上記構成とすれば、取得の可能性の極めて低いユーザの前で無所属オブジェクトが減速等することがないので、全体としてオブジェクトの受け渡しが効率化される。また、取得の意思がないユーザにとって、無所属オブジェクトが作業領域内を横切るのは不快に感じる場合があるが、上記構成によって、この不快感を緩和することができる。
　さらに、前記検出部は、前記ユーザのジェスチャを検出する。そして、前記制御部は、前記受け手候補ユーザのいずれかに対面する前記対面領域内に前記無所属オブジェクトが位置している状態で、当該無所属オブジェクトを取得しないことを示す当該受け手候補ユーザの取得拒否ジェスチャが前記検出部で検出された場合に、前記無所属オブジェクトの移動速度を速くしてもよい。これによっても、受け渡しが効率化されると共に、取得意思のないユーザの不快感を緩和することができる。
　例えば、前記取得拒否ジェスチャは、手を左右に往復させるジェスチャであってもよい。または、前記取得拒否ジェスチャは、前記取得ジェスチャをせずにいる状態であってもよい。
　さらに、前記制御部は、前記ユーザの身体的特徴に基づいて、前記無所属オブジェクトの表示を制御してもよい。これにより、よりきめ細やかな表示制御が可能となる。例えば、下記に示す態様が考えられる。
　例えば、前記身体的特徴は、前記ユーザの年齢である。そして、前記制御部は、前記ユーザの年齢が低い程、前記対面領域内を移動する前記無所属オブジェクトの移動速度を遅くしてもよい。または、前記身体的特徴は、前記ユーザの利き腕である。そして、前記制御部は、オブジェクトの前記表示面上での移動方向と利き腕との組合せに応じて、前記対面領域内を移動する前記無所属オブジェクトの移動速度を変更してもよい。または、前記身体的特徴は、前記ユーザの身長である。そして、前記制御部は、前記ユーザの身長が低い程、前記対面領域内を移動する前記無所属オブジェクトの移動速度を遅くしてもよい。さらには、前記身体的特徴は、前記ユーザの身長である。そして、前記制御部は、前記ユーザの身長が低い程、前記対面領域内を移動する前記無所属オブジェクトの表示高さを低くしてもよい。
　また、前記制御部は、前記無所属オブジェクトに付与されたメタデータと、前記ユーザの属性情報とに応じて、前記無所属オブジェクトの表示を制御してもよい。例えば、前記制御部は、前記ユーザの所持する携帯端末と通信することによって、前記属性情報を取得してもよい。
　典型例として、前記オブジェクトは、写真であってもよい。オブジェクトは、写真に限らず、映像データ、音楽データ、文書データ、その他、一般的なコンピュータで扱える様々なファイル（フォルダ単位でもよい）であってもよい。
　また、前記制御部は、前記無所属オブジェクトが前記表示部の一方の端に到達した場合、当該無所属オブジェクトを他方の端に向かって移動させてもよい。これにより、一度は取得に失敗した（若しくは、敢えて取得しなかった）ユーザに、再取得のチャンスを与えることができる。
　また、前記制御部は、前記無所属オブジェクトが前記表示部の端から所定の距離離れた位置に到達した場合に、当該無所属オブジェクトを停止させてもよい。さらに、前記制御部は、前記無所属オブジェクトを停止した状態で所定の時間が経過した場合に、当該無所属オブジェクトを非表示にしてもよい。これにより、誰も取得の意思を示さないオブジェクトを、表示部から削除することができる。
　本発明の一形態に係るユーザインターフェース方法は、作業領域を表示する表示部を用いて、ユーザに割り当てられた前記作業領域内に表示されるオブジェクトを、当該ユーザに操作させる方法である、具体的には、前記ユーザの位置を検出する検出ステップと、どのユーザにも属していない無所属オブジェクトの表示を制御する制御ステップとを含む。そして、前記制御ステップでは、前記検出ステップで検出された前記ユーザの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させる。また、前記ユーザが前記無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた前記作業領域内に、移動していた前記無所属オブジェクトを停止させる。
　本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、上記記載のユーザインターフェース方法を、コンピュータに実行させるプログラムを記録している。なお、本発明は、ユーザインターフェース装置として実現できるだけでなく、ユーザインターフェース装置の機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　本発明のユーザインターフェース装置によれば、ユーザが画面に表示されているコンテンツを取得しようとする場合に、ユーザの位置に応じて当該オブジェクトの移動を制御することにより、ユーザが当該オブジェクトを受け取りやすくなる。
図１Ａは、本発明の一実施形態におけるユーザインターフェース装置の外観と関連機器とのインターフェースの一例を説明する図である。 図１Ｂは、本発明の一実施形態におけるユーザインターフェース装置の構成を示す機能ブロック図である。 図２Ａは、本発明の一実施形態におけるユーザインターフェース装置の設置例を説明する図である。 図２Ｂは、本発明の一実施形態におけるユーザインターフェース装置の他の設置例を説明する図である。 図２Ｃは、本発明の一実施形態におけるユーザインターフェース装置の他の設置例を説明する図である。 図３は、本発明の好ましい実施形態におけるユーザインターフェース装置の構成を示す機能ブロック図である。 図４Ａは、本発明の一実施形態におけるユーザ情報データベースを説明する図である。 図４Ｂは、ユーザ情報データベースに含まれる基本属性情報の例を示す図である。 図４Ｃは、ユーザ情報データベースに含まれる身体特徴情報の例を示す図である。 図５Ａは、本発明の一実施形態におけるユーザ位置の検出方法の概略を説明する図である。 図５Ｂは、ユーザ位置の検出方法の一例であるステレオ視の原理を説明する図である。 図６Ａは、本発明の一実施形態におけるフリーハンドジェスチャの検出方法の概略を説明する図である。 図６Ｂは、本発明の一実施形態におけるフリーハンドジェスチャの検出処理の手順を示す図である。 図７Ａは、本発明の一実施形態におけるユーザインターフェース装置の好適なユースケースの一例を示す図である。 図７Ｂは、本発明の一実施形態におけるユーザインターフェース装置の好適なユースケースの一例を示す図である。 図８Ａは、本発明の一実施形態におけるユーザインターフェース装置の好適なユースケースの一例を示す図である。 図８Ｂは、本発明の一実施形態におけるユーザインターフェース装置の好適なユースケースの一例を示す図である。 図９は、本発明の一実施形態におけるユーザインターフェース装置の動作例（上段）、オブジェクトの軌跡（中段）、及びオブジェクトの移動速度（下段）を示す図である。 図１０は、本発明の一実施形態におけるユーザインターフェース装置の処理の概略を示すフローチャートである。 図１１は、本発明の一実施形態におけるユーザインターフェース装置の処理の概略を示すフローチャートである。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　１　概要
　本発明のユーザインターフェース装置は、例えば、映像表示部を複数の作業領域に分割して、複数のユーザが各々に割り当てられた作業領域で実行するアプリケーションの制御を行う装置である。
　２　構成
　図１Ａは、本発明のユーザインターフェース装置の外観と関連機器とのインターフェースの一例を説明する図である。ユーザインターフェース装置は、１以上のユーザ検出カメラなどを含む。ユーザ検出カメラにより撮影された画像情報の解析により検出されるユーザの位置及び動きにより映像表示部上の表示を制御する。
　ジェスチャ入力リモコンを保持したユーザの手の動きや同リモコン上に配置されたボタンの押下といったユーザのリモコン操作に基づき、映像表示部上の表示を制御してもよい。
　また、ユーザインターフェース装置は、静電式のタッチパッドを備えたタッチテーブルの入力を受け付けるようにしてもよい。これにより、ユーザは、さらに多様な入力方式をユーザの状況やアプリケーションの種類に応じて使い分けることができる。
　また、ユーザインターフェース装置は、ユーザの所持する機器に付与されたタグ（典型的には、ＩＣタグ）から情報を取得することにより、当該タグに記録されたユーザの氏名や性別、年齢、趣味、嗜好などの情報をアプリケーションの制御に利用することができる。
　また、ユーザインターフェース装置は、その他の家電機器、例えば、デジタルスチルカメラ、デジタルカムコーダなどと無線、ルータ／ハブなどを介してネットワーク接続されていてもよい。
　ユーザインターフェース装置は、それらの機器から受信したデジタル情報・操作メニューを画面に提示するとともに、画面に提示されたメニューに対するユーザの操作情報をそれらの機器に送信することができる。
　なお、上記のユーザインターフェース装置を用いて、複数のユーザが、複数の写真を用いてスライドショーを作成／実行するといった共同作業をすることができる。
　次に、図１Ｂを参照して、本発明の一実施の形態に係るユーザインターフェース装置１の構成を詳細に説明する。図１Ｂは、ユーザインターフェース装置１のブロック図である。
　このユーザインターフェース装置１は、ユーザそれぞれに作業領域を割り当て、当該作業領域内でユーザにオブジェクトの操作を可能にする装置である。作業領域は、表示部２上に表示される。また、「オブジェクト」とは、例えば、写真データ、映像データ、音楽データ、文書データ、その他、一般的なコンピュータで扱える様々なファイル（フォルダ単位でもよい）であってもよい。さらに、「オブジェクトの操作」とは、上記データの作成、閲覧、編集、削除等を指す。
　ユーザインターフェース装置１の典型例な使用例としては、複数のユーザが、それぞれ自らに割り当てられた作業領域内に複数の写真データを表示させ、当該複数の写真データの閲覧、整理等を行う。また、ユーザ間でオブジェクトを相互に受け渡しすることもできる。例えば、第１のユーザが、自らが所有するオブジェクトを、第１のユーザに割り当てられた作業領域から放出する。そして、第２のユーザが、当該放出されたオブジェクトを取得し、第２のユーザに割り当てられた作業領域内に取り込む。以下、このようなシチュエーションを例にとって、本発明を詳細に説明する。
　表示部２は、例えば、大型の表示パネルである。表示パネルとしては、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等、既存のあらゆる表示パネルを採用することができる。この表示部２には、作業領域及びオブジェクトが表示される。なお、表示部２は、複数の作業領域を表示する大型ディスプレイであってもよいし、１つの作業領域を表示するディスプレイを複数台組み合わせたものであってもよい。
　検出部３は、表示部２の前に位置するユーザの位置を検出する。さらには、表示部２の前に位置するユーザを識別したり、各ユーザのジェスチャを検出したり、各ユーザの発話量を検出したりしてもよい。この検出部３は、例えば、ユーザ検出カメラ等の撮影部と、撮影部で撮影された画像を解析して、ユーザの位置等を検出する解析部とで構成される。　　　
　制御部４は、表示部２上の表示、主に、オブジェクトの表示を制御する。例えば、どのユーザにも属していないオブジェクト（「無所属オブジェクト」という）を、表示部２上で移動させる。無所属オブジェクトは、例えば、ユーザが自らの作業領域に表示されているオブジェクトを選択し、当該オブジェクトを手放すことを示すジェスチャ（「放出ジェスチャ」という）をすることによって生成される。または、ユーザインターフェース装置１が自動的に無所属オブジェクトを生成してもよい。
　制御部４は、当該無所属オブジェクトを、ユーザに対面する表示部２上の領域（「対面領域」という）内に位置する場合と、対面領域外に位置する場合とで異なる態様で移動させる。例えば、対面領域内を移動する無所属オブジェクトの移動速度を、対面領域外を移動する場合より遅くしてもよい。または、対面領域内を移動する無所属オブジェクトの表示サイズを、対面領域外を移動する場合より大きくしてもよい。さらには、対面領域内を移動する無所属オブジェクトの表示角度を、ユーザが放出ジェスチャをした時点の表示角度に近づけてもよい。
　また、制御部４は、ユーザが無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた作業領域内に、移動していた無所属オブジェクトを停止させる。この後、当該無所属オブジェクトを取得したユーザは、当該オブジェクトを自由に操作することが可能となる。
　なお、ユーザは、例えば、表示部２の前で、当該無所属オブジェクトを取得することを示すジェスチャ（「取得ジェスチャ」という）をすることによって、当該無所属オブジェクトを取得することができる。「取得ジェスチャ」の具体例は特に限定されないが、例えば、所定の時間、掌を画面に向けるジェスチャであってもよい。または、前記取得ジェスチャは、親指の指先と他の指の指先とが、開いた状態から閉じた状態に移行するジェスチャであってもよい。または、前記取得ジェスチャは、掌を前記表示部に向けた状態から自分自身に向かって回転させながら、手を握るジェスチャであってもよい。
　一方、ユーザが、無所属オブジェクトを取得しないことを示すジェスチャ（「取得拒否ジェスチャ」という）をした場合、制御部４は、無所属オブジェクトが当該ユーザの対面領域に位置している場合でも、対面領域外での移動態様で当該無所属オブジェクトを移動させてもよい。なお、「取得拒否ジェスチャ」の具体例は特に限定されないが、例えば、手を左右に往復させるジェスチャであってもよい。または、所定の時間、取得ジェスチャをしないことによって、取得する意思がないと判断してもよい。
　また、制御部４は、ユーザの身体的特徴に基づいて、無所属オブジェクトの表示を制御してもよい。例えば、ユーザの年齢が低い程、無所属オブジェクトの移動速度を遅くしてもよい。または、オブジェクトの移動方向とユーザの利き腕との組合せに応じて、移動速度を変更してもよい。または、ユーザの身長が低い程、無所属オブジェクトの移動速度を遅くしてもよい。さらには、ユーザの身長が低い程、無所属オブジェクトの表示高さを低くしてもよい。
　さらに、制御部４は、無所属オブジェクトの属性とユーザの属性とを考慮して、無所属オブジェクトの表示を制御してもよい。例えば、当該オブジェクトが子供向けのコンテンツであれば、子供の対面領域で移動速度が最も遅くなるようにすればよい。なお、無所属オブジェクトの属性は、当該オブジェクトに付与されたメタデータから取得することができる。また、ユーザの属性は、ユーザが所持する携帯端末と通信することによって取得してもよいし、ユーザの属性情報を予めデータベースに保持していてもよい。
　なお、ユーザの誰もが取得する意思を示さないまま、無所属オブジェクトが表示部２の一方の端に到達した場合、制御部４は、当該無所属オブジェクトを他方の端に向かって移動させてもよい。または、無所属オブジェクトが表示部２の端に到達した場合に、当該無所属オブジェクトを停止させ、停止した状態で所定の時間が経過した場合に、当該無所属オブジェクトを非表示にしてもよい。
　図２Ａ～図２Ｃは、本発明のユーザインターフェース装置の設置の一例を説明する図である。ユーザ検出カメラは、図２Ａに示されるように、映像表示部の周囲に設置されたものだけでなく、図２Ｂに示されるように、映像表示部が設置されている空間の壁や天井に設置されてもよい。さらには、映像表示部の周囲に設置されたものと、壁や天井に設置されたものとを併用してもよい。また、図２Ｃに示されるように、床圧力センサを床に敷設すれば、ユーザ検出カメラの画像を解析せずとも、床圧力センサの出力からユーザの位置を精度良く検出することができる。
　図３は、本発明の好ましい実施形態におけるユーザインターフェース装置１０の構成例を示す図である。
　以下、図３の各ブロックの機能を説明する。
　ユーザインターフェース装置１０は、ユーザ検出カメラ１１と、ユーザ識別部２１と、ユーザ位置検出部２２と、ユーザ動作検出部２３と、受け取り側ユーザ判別部２４と、受け渡しオブジェクト表示制御部２５と、映像表示部３１とを備える。
　なお、この実施形態では、ユーザ検出カメラ１１、ユーザ識別部２１、ユーザ位置検出部２２、及びユーザ動作検出部２３で、図１Ｂに示される検出部３を構成する。また、受け渡しオブジェクト表示制御部２５は図１Ｂに示される制御部４に、映像表示部３１は図１Ｂに示される表示部２にそれぞれ対応する。一方、受け取り側ユーザ判別部２４は、本発明に必須の構成要素ではなく、省略することもできる。
　図４Ａ～図４Ｃは、ユーザ情報ＤＢ（データベース）のデータ構成の概略を説明する図である。
　図３には示されていないが、ユーザインターフェース装置１０は、基本属性情報や身体特徴情報などを格納するユーザ情報ＤＢを備えるとよい。
　基本属性情報は、例えば、図４Ｂに示されるように、氏名、性別、年齢、続柄などである。この基本属性情報は、例えば、ユーザ識別部２１が、映像表示部３１の前に位置するユーザを識別する際に参照してもよい。
　また、ユーザ情報ＤＢに格納される身体特徴情報は、例えば、図４Ｃに示されるように、立位での身長と目の高さ、座位での身長と目の高さ、利き手、利き目、視力、聴力など、ユーザの姿勢別の身体形状、および視聴能力などを含む。この身体特徴情報は、例えば、受け取り側ユーザ判別部２４が、受け手候補ユーザを判別する際の参考情報として参照してもよい。
　ユーザ検出カメラ１１は、映像表示部３１の周囲に設置されたＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサである。ユーザ検出カメラ１１は、映像表示部３１の前方に存在するユーザを撮影する。
　２．１　ユーザ識別部
　ユーザ識別部２１は、ユーザ検出カメラ１１の画像から顔領域の抽出を行った後、あらかじめ登録された顔画像と抽出した顔画像の照合を行うことで、ユーザを特定するユーザ識別情報を出力する。
　２．２　ユーザ位置検出部
　ユーザ位置検出部２２は、ユーザ検出カメラ１１で撮影した複数の映像からユーザ領域の抽出を行った後、複数の映像におけるユーザ領域の対応関係からステレオ視の原理により、ユーザと映像表示部３１との相対位置を算出する。
　図５Ａ及び図５Ｂは、本発明の一実施形態におけるユーザ位置検出部２２におけるステレオ視の原理に基づくユーザ位置算出方法を説明する図である。
　図５Ａに示すように、２台一組のユーザ検出カメラ１１を、間隔Ｂをおいて映像表示部３１の画面に対して平行に設置する。ユーザ位置検出部２２は、それぞれのユーザ検出カメラ１１で撮影された画像内の対応するユーザ領域の位置のずれを基に、ユーザと映像表示部３１の画面との距離Ｄを算出する。各ユーザ検出カメラ１１で撮影された画像内のユーザが写っている領域の抽出は、例えば、あらかじめユーザのいない状態でそれぞれのユーザ検出カメラ１１で撮影した画像を保存しておき、ユーザが現れたときの画像との差分を求めることにより実現できる。また、顔画像検出及び顔画像の照合によりユーザの顔領域を求め、顔領域をユーザ領域とすることもできる。
　図５Ｂは、二つの画像上の対応するユーザ領域を基にユーザとユーザ検出カメラ１１の設置面（映像表示部３１の画面）との距離Ｄを求めるステレオ視の原理を示したものである。２台のユーザ検出カメラ１１で撮影された画像それぞれで対応するユーザ領域を位置測定対象とすると、その像は、二つの画像上に図５Ｂに示すように投影される。対応する像の画像上のずれをＺとすると、ユーザ検出カメラ１１の焦点距離ｆとカメラの光軸間の距離Ｂとから、ユーザと映像表示部３１との距離Ｄは、Ｄ＝ｆ×Ｂ／Ｚで求められる。また、映像表示部３１の画面に平行な方向のユーザ位置については、画像中のユーザ領域の位置と上記の距離Ｄとを基に求めることができる。ユーザ位置検出部２２は、このようにして求めた映像表示部３１に対するユーザの相対的な位置を出力する。
　なお、ユーザ検出カメラ１１として光波測距（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）の原理により距離情報を出力する距離画像センサを用いてもよい。ユーザ位置検出部２２は、距離画像センサを得ることにより、容易に映像表示部３１に対するユーザの相対位置を算出することができる。
　また、図２Ｃに示すように、空間に床圧力センサが設置されていれば、ユーザ位置検出部２２は、ユーザ検出カメラ１１の情報を入力とせずとも、床圧力センサの出力値を入力として、映像表示部３１に対するユーザの相対位置を算出することができる。
　２．３　ユーザ動作検出部
　ユーザ動作検出部２３は、ユーザの手領域を抽出した後、手の位置と手の形状があらかじめ規定されたどの形状に合致するか照合して、例えば「グー」「パー」「右選択」「左選択」などの手形状情報を出力する。
　図６Ａ及び図６Ｂは、本発明の一実施形態におけるユーザ動作検出部２３における手の位置及び形状の検出方法を示したものである。
　ユーザ動作検出部２３は、図６Ａに示すように、ユーザ検出カメラ１１で撮影された画像から、まずは人物位置を検出し、人物位置の周辺で手の位置及び形状の検出を行う。手の位置及び形状の推定の方法としては、例えば、以下の方法を用いることで推定できる。以下、図６Ｂを用いて説明する。
　まず、オフライン処理として、ユーザ動作検出部２３は、検出したい手の学習画像を大量に用意する（Ｓ５０１）。学習画像における照明環境、向きなどの条件は、実際に検出する環境になるべく沿った条件のものを揃えるのが望ましい。次に、Ｓ５０１で用意した学習画像から、主成分分析を用いて手の主成分を構成する固有空間を作成する（Ｓ５０２）。また、検出したい手のサンプルとして手のテンプレート画像を用意する。テンプレート画像は、用意した手の平均画像でもよいし、グー、パーなど、いくつかの手の画像を用意してもよい。作成した固有空間への射影行列および、手のテンプレート画像を手テンプレートデータベースに格納する（Ｓ５０３）。
　次に、実際の検出を行うオンライン処理について説明する。
　まず、ユーザ検出カメラ１１が、映像表示部３１の前方に存在するユーザを撮影する(Ｓ５０４)。ユーザ動作検出部２３は、ユーザ検出カメラ１１で撮影された画像から顔領域の検出を行う(Ｓ５０５)。
　ユーザ動作検出部２３は、Ｓ５０５で顔領域が検出されると、その領域の周辺で手の検出を行う。顔領域の周辺において、用意した手のテンプレートに類似した領域を、手テンプレートデータベースに格納した手テンプレートを用いて走査する（Ｓ５０６）。顔の周辺領域の決定は、顔位置を基準としてあらかじめ設定したサイズの範囲でもよいし、ユーザ検出カメラ１１を２つ用いたステレオ視の原理により、顔の周辺領域で顔と奥行き距離が近い領域を走査して探索範囲を削減してもよい。
　マッチングを行うための類似度の計算としては、ここではまず切り出した手の候補領域画像と、手のテンプレート画像とをあらかじめ用意した固有空間への射影行列を使って固有空間に射影する。そして、固有空間上での両者の距離を比較する手法を行う。手の主成分を表す空間上で距離を比較することで、背景などノイズの影響を低減した検出が可能である。探索領域内で、あらかじめ定めた閾値を満たし、かつ最も手テンプレートに近い距離が得られた領域を手位置とする。また最も距離が近い手テンプレートの形状（例えばグー、パー等）を検出手形状とする（Ｓ５０７）。
　一方、探索領域内で閾値を満たす領域が無い場合には、手を出していないものとして検出を終了する。
　この例では、手の位置及び形状の検出にテンプレートマッチングの手法を用いたが、その他の手法、例えば、ブースティング（Ｂｏｏｓｔｉｎｇ）などの手法を用いてもよい。
　本発明のユーザインターフェース装置１０のアプリケーションは、例えば、当該ユーザに複数の選択肢と各選択肢に対応した手の位置及び形状とを予め対応付けておく。そして、ユーザ動作検出部２３によって検出されたユーザの手の位置及び形状の変化に応じて、対応する選択肢が選ばれたことを判断することができる。
　２．４　受け取り側ユーザ判別部
　受け取り側ユーザ判別部２４は、ユーザ識別部２１が出力するユーザ識別情報、ユーザ位置検出部２２が出力するユーザ位置、及びユーザ動作検出部２３が出力する手の位置及び形状の情報を入力情報として、当該オブジェクトを受け取るユーザの候補と推定されるユーザ（受け手候補ユーザ）を判別する。
　図７Ａ～図８Ｂは、本発明の一実施形態におけるユーザインターフェース装置１０の好適なユースケースの一例を示す図である。ここでは、例として、ユーザ間で受け渡しされるオブジェクトは写真データとする。
　図７Ａは、ユーザＢがオブジェクトを渡すケースである。このケースでは、ユーザＢが渡したい写真を選択した状態で、手を左側に動かせば、受け取り側ユーザ判別部２４は、ユーザＢの左側に位置するユーザＡを受け手候補ユーザと判別する。また、ユーザＢが渡したい写真を選択した状態で、手を右側に動かせば、受け取り側ユーザ判別部２４は、ユーザＢの右側に位置するユーザＣを受け手候補ユーザと判別する。
　図７Ｂは、ユーザＡがオブジェクトを渡すケースである。このケースでは、ユーザＡが渡したい写真を選択した状態で、手を右側に動かせば、受け取り側ユーザ判別部２４は、ユーザＢあるいはユーザＣに渡そうとしていると判断でき、ユーザＢとユーザＣとを受け手候補ユーザと判別する。ユーザＢとユーザＣのどちらが受け取るかは、ユーザＢとユーザＣのジェスチャにより確定される。
　図８Ａは、ユーザＡがオブジェクトを渡すケースである。ユーザＡとユーザＢとユーザＤの各々に対応する画面上のワークスペース（作業領域）では、写真を閲覧するアプリケーションが実行されており、ユーザＣに対応する画面上のワークスペース（ワークスペースＣ）では、放送コンテンツ（ニュース番組）が表示されている。
　このケースでは、ユーザＡが渡したい写真を選択した状態で、手を右側に動かせば、受け取り側ユーザ判別部２４は、ユーザＡの右側に位置するユーザＢとユーザＣとユーザＤのうち、ユーザＢとユーザＤとを受け手候補ユーザと判別する。一方、受け取り側ユーザ判別部２４は、ユーザＣに対応するワークスペースで実行されているアプリケーションが受け渡しされるコンテンツ（写真）と関係性が薄いため、ユーザＣを受け手候補ユーザと判別しない。
　図８Ｂは、ユーザＡがオブジェクトを渡すケースである。ユーザＡとユーザＢとユーザＤの各々に対応する画面上のワークスペースでは、写真を閲覧するアプリケーションが実行されており、ユーザＣは映像表示部３１の前には位置するが、アプリケーションを実行していないケースである。例えば、ユーザＣは睡眠中である。
　このケースでは、ユーザＡが渡したい写真を選択した状態で、手を右側に動かせば、受け取り側ユーザ判別部２４は、ユーザＡの右側に位置するユーザＢとユーザＣとユーザＤとのうち、ユーザＢとユーザＤとを受け手候補ユーザと判別する。一方、ユーザＣは、映像表示部３１の前には位置するが、アプリケーションを実行していないので、受け取り側ユーザ判別部２４は、ユーザＣを受け手候補ユーザと判別しない。
　２．５　受け渡しオブジェクト表示制御部
　受け渡しオブジェクト表示制御部２５は、ユーザ識別部２１が出力するユーザ識別情報、ユーザ位置検出部２２が出力するユーザ位置、ユーザ動作検出部２３が出力する手の位置及び形状の情報を入力情報として、画面上のオブジェクトの表示の制御を行う。具体的な制御の方法については、下記の「３ 動作」で説明する。
　３　動作
　図９は、本発明の一実施形態におけるユーザインターフェース装置１０の動作例を説明する図である。
　図９の上段に示すように、映像表示部３１の前方に３人のユーザ（ユーザＡ、ユーザＢ、ユーザＣ）が存在し、３人のユーザがそれぞれ写真閲覧アプリケーションを利用し、画面上で写真を受け渡しする状況を例に、ユーザインターフェース装置１０の処理の流れを説明する。すなわち、画面上でコンテンツをキャッチボールするように受け渡しする状況である。３人は家族であり、ユーザＡは父で、ユーザＢは娘、ユーザＣは母であり、特に、ユーザＡ（父）がユーザＢ（娘）、ユーザＣ（母）に写真を渡そうとしている場面を例に説明する。
　図１０は、本発明の一実施形態におけるユーザインターフェース装置１０の処理の概略を示すフローチャートである。
　まず、ユーザ識別部２１は、ユーザ検出カメラ１１によって検出されたユーザＡ、Ｂ、Ｃの顔とあらかじめ登録されたユーザ情報ＤＢに格納される身体特徴情報との照合により、ユーザの識別を行う（Ｓ８０１）。そして、識別された各ユーザに対して、ユーザ位置検出部２２はユーザ位置情報を、ユーザ動作検出部２３は手の位置及び形状の情報をそれぞれ算出する（Ｓ８０２）。
　そして、ユーザが、画面上のオブジェクトを渡すジェスチャを行うと（Ｓ８０３のＹＥＳ）、受け取り側ユーザ判別部２４は、受け手候補ユーザを判別する（Ｓ８０４）。また、受け渡しオブジェクト表示制御部２５は、受け手候補ユーザの位置に応じて、受け渡しされるオブジェクトの移動を制御する（Ｓ８０５）。
　図９のケースでは、ユーザＡが画面上のオブジェクトを右側に渡すジェスチャを行うと、ユーザＡの右側に位置するユーザＢとユーザＣが受け手候補ユーザと判別される。この判別はユーザＡ、ユーザＢ、ユーザＣが同じ種別のアプリケーションを利用している状況を鑑みた結果である。
　受け渡しされるオブジェクトの移動の制御については、図１１のフローチャートに沿って説明する。
　受け渡しオブジェクト表示制御部２５は、移動中のオブジェクトが受け手候補ユーザの領域内にあれば（Ｓ９０１のＹＥＳ）、オブジェクトを減速させる（Ｓ９０２）。受け手候補ユーザの領域とは、図９の上段のように、各ユーザのワークスペースのｘ軸方向の幅を基に規定してもよいし、ユーザの立ち位置の正面にあたる画面上の位置から左右に所定の大きさをとった領域としてもよい。
　そして、受け渡しオブジェクト表示制御部２５は、受け手候補ユーザが受け取り選択を示すジェスチャを実行すると（Ｓ９０３のＹＥＳ）、オブジェクトをさらに減速させる（Ｓ９０４）。さらに、受け手候補ユーザが受け取り確定を示すジェスチャを実行すると（Ｓ９０５のＹＥＳ）、オブジェクトを停止させる（Ｓ９０６）。停止する前に、オブジェクトを手の動きに連動させるようにすれば、受け取りユーザが所望の位置にオブジェクトを停止させることができる。
　受け取り選択を示すジェスチャは、所定の時間、掌を画面に向ける動作とするとよい。また、受け取り確定を示すジェスチャは、親指と他の指が開いた状態から閉じた状態に移行する動作、または、手を画面に向けた状態から手を自身の顔あるいは胸の方に近づける動作とするとよい。これらの動作は、ものをつかむ動作に対応しており、画面上の写真をつかむ、キャッチするという直感的な操作となる。
　したがって、図９の上段のように、ユーザＡが写真を右側のユーザに渡そうとするケースは、以下のようなユーザの操作の流れが一例として想定される。
　（１）ユーザＡ：渡す写真の選択
　ユーザＡは、渡す写真を選択するために、掌を画面上に向ける。左右上下に手を動かすと、それに連動して写真のフォーカス表示が変化することで、ユーザＡは所望の写真を選択することができる。上記のつかむ動作をユーザが行うことで確定することとしてもよい。
　（２）ユーザＡ：渡すジェスチャの実行
　写真が選択された状態で、ユーザＡが手を右側に所定以上動かすと、ユーザ動作検出部２３がユーザＡの動作を解釈し、写真を右側に渡す（投げる）というコマンドを生成し、当該写真が右方向に移動を開始する。これにより、当該写真が「無所属オブジェクト」となる。渡す（投げる）というコマンドに対応したジェスチャは、写真を移動したい方向に手を所定以上動かす動作とするとよい。
　（３）ユーザＢ：受け取らない
　図９の下段に示すように、ユーザＢの領域にオブジェクトが入ると、当該写真は減速するので、ユーザＢはゆっくりと写真を確認することができる。また、図９の中段に示すように、ユーザの身長を考慮し、ユーザＢの目の高さあるいは、肩の高さを通過するようにオブジェクトの軌道を制御すると、ユーザＢにとって写真をより見やすい、より操作しやすい提示を実現することができる。ユーザの身長は、ユーザ情報ＤＢから取得してもよいし、ユーザ検出カメラ１１の画像から画像解析により概算することも可能である。
　ユーザＢは写真を確認するが、あまり興味がないので受け取らないでおこうと思う。そのため、受け取りの意志を示すジェスチャを行わない。そうすると、図９の下段に示すように、オブジェクトの減速は解除される。
　（４）ユーザＣ：受け取り選択
　図９の中段に示すように、ユーザＣの領域にオブジェクトが入ると、当該写真は再び減速するので、ユーザＣはゆっくりと写真を確認することができる。ユーザＣは写真を確認すると、興味のある写真であったので、受け取り選択を示すジェスチャ、すなわち、掌を画面に向ける動作を行う。そうすると、オブジェクトはさらに減速する。
　（５）ユーザＣ：受け取り確定、停止位置指定
　（４）で掌を画面に向けた状態で所定の時間が経過すると、手の動きに当該写真の位置が連動して動く。そして、所定の時間、手の動きを所定の大きさ以内にとどめると、その位置で写真は停止する。
　かかる構成によれば、オブジェクトの受け手候補ユーザを推定し、当該受け手候補ユーザの位置に基づいて当該オブジェクトの移動を制御することにより、受け手となるユーザがオブジェクトを容易に受け取ることができる。
　なお、本実施の形態において、ジェスチャはフリーハンドジェスチャを想定し、ユーザ検出カメラの画像からユーザの手位置、手形状を画像解析により検出しているが、ユーザの一部または全員が図１Ａに示すような静電式のタッチパッドを備えたタッチテーブル上でのジェスチャを行ってもよく、本願発明はそのようなユースケースでも勿論有効である。受け手候補ユーザが、タッチテーブルに手を近づけると受け渡しされるオブジェクトの受け取り選択、さらにタッチテーブルに手を接触させると当該オブジェクトの受け取り確定とするとよい。
　また、本実施の形態において、複数人で受け渡すコンテンツの例として写真を挙げているが、本願発明が適用されて好適な受け渡しされるコンテンツは、もちろん写真に限られるものではない。映像表示部３１に表示されるさまざまな種類のコンテンツが本願発明の適用の対象となる。
　また、図５Ａ～図９では、ユーザが立位であるが、立位に限られるものではない。本願発明は、ユーザが座位などの姿勢にある場面でも勿論有効である。
　４　変形例
　以下、変形例について説明する。
　４．１　オブジェクトの移動の制御
　受け渡しオブジェクト表示制御部２５は、以下の点を考慮して、受け渡しされるオブジェクトの移動を制御してもよい。
　（受け手候補ユーザの身体的特徴の考慮）
　受け手候補ユーザの身体的特徴に基づいて、オブジェクトの移動を制御させてもよい。ユーザの身体的特徴の例として、ユーザの年齢、ユーザの利き腕、ユーザの身長が挙げられる。これらは、ユーザ情報ＤＢからデータを取得することができる。また、ユーザの身長は、ユーザ検出カメラの画像を解析することからも算出できる。
　ユーザの年齢が所定の範囲の場合にオブジェクトの減速の大きさを所定よりも大きくするとよい。例えば、高齢者や子どもには減速の大きさを所定よりも大きくすることにより、ユーザビリティを高めることができる。
　また、ユーザの利き腕を考慮し、オブジェクトが画面上で右方向に移動している場合は、受け手候補のユーザが左利きの場合には右利きの場合に比べて減速の大きさを所定よりも大きくするとよい。オブジェクトが画面上で左方向に移動している場合は、受け手候補のユーザが右利きの場合には左利きの場合に比べて減速の大きさを所定よりも大きくするとよい。また、減速の開始位置をユーザからより遠くの位置にすることで同様の効果が得られる。
　また、基本的に身長の高さと腕の長さは正の相関があるので、身長が所定の値未満の場合に減速の大きさを所定よりも大きくすると、実質的に腕の長さを考慮した制御を行ったことになる。上記の「３　動作」の中で示したように、ユーザの身長を考慮し、ユーザの目の高さあるいは、肩の高さを通過するようにオブジェクトの軌道を制御することでユーザビリティを高めることができる。
　（受け手候補ユーザの属性の考慮）
　受け手候補ユーザの属性に基づいて、オブジェクトの移動を制御してもよい。
　例えば、オブジェクトに付与されたメタデータとユーザの属性を鑑みて、オブジェクトの軌道と速度を制御させてもよい。ここでいうユーザの属性の例としては、ユーザの所持する機器に付与されたタグに記録された情報があり、氏名や性別、年齢、趣味、嗜好などの情報である。
　例えば、ユーザの趣味、嗜好の情報をもとに、受け渡しされるオブジェクトに対する興味度を推定し、興味が高いと推定された場合には、前記ユーザ付近での当該オブジェクトの減速の大きさを所定よりも大きくするとよい。
　４．２　画面の端での動作
　受け渡しされるオブジェクトが移動して画面の端付近に到達すると、以下の方法によりオブジェクトを制御するとよい。
　（跳ね返らせる）
　受け渡しされるオブジェクトが移動中に画面の端に到達した場合、当該オブジェクトを跳ね返り係数１で跳ね返ることとするとよい。勿論跳ね返り係数は１に限定されるものではない。さらに、オブジェクトが画面の端で跳ね返った回数をカウントし、前記跳ね返り回数により跳ね返り係数を変化させてもよい。
　（停止する）
　また、受け渡しされるオブジェクトが移動中に画面の端から所定の範囲内に到達した場合、当該オブジェクトの移動を停止させることとするとよい。
　（所定の時間で非表示にする）
　さらに、受け渡しされるオブジェクトが移動中に画面の端から所定の範囲内に到達し、当該オブジェクトの移動が停止された状態で所定の時間が経過すると当該オブジェクトを非表示にすることとしてもよい。
　以上のようにすることで、受け手候補ユーザが受け取り意志を示すジェスチャを一度しそこなっても、跳ね返ってくるので、その際に受け取り意志を示すジェスチャを行うことができる。また、所定の時間が経過すると非表示になることで、受け手候補ユーザが必要としていないコンテンツが画面上にいつまでも表示されて邪魔になることが回避できる。
　なお、上記の実施形態においては、ユーザ専用の作業領域が当該ユーザの正面に表示されている例を示したが、これに限ることなく、複数のユーザで共有可能な共有作業領域を設けてもよい。例えば、２人のユーザの中間地点に共有作業領域を表示し、ユーザが取得したオブジェクトを共有作業領域に停止させてもよい。この場合、ユーザは、共有作業領域の方向を向いて（すなわち、斜めを向いて）、取得ジェスチャをすればよい。
　また、上記の実施形態においては、ユーザが取得ジェスチャをしたことによってオブジェクトを取得する例を示したが、これに限ることなく、ユーザインターフェース装置１０が無所属オブジェクトを取得すべきユーザを判別し、当該ユーザに割り当てられた作業領域に無所属オブジェクトを停止させてもよい。
　例えば、無所属オブジェクトが子供用のコンテンツを含み、複数のユーザのうち、子供がただ１人だった場合には、取得ジェスチャを待たずに、当該ユーザに取得させてもよい。または、受け取り側ユーザ判別部２４によって受け手候補ユーザと判別されたユーザが１人だけの場合には、ユーザの取得ジェスチャを待たずに、当該ユーザに取得させてもよい。
　また、上記の実施形態においては、ユーザが放出した１つのオブジェクトを他のユーザが取得する例を示したが、これに限ることなく、複数のオブジェクトを同時に放出することも可能である。このとき、受け渡しオブジェクト表示制御部２５は、複数のオブジェクトが互いに重なり合わないように表示制御してもよい。
　さらに、上記の実施形態においては、ユーザが放出したオブジェクトを他のユーザが取得する例を示したが、これに限ることなく、ユーザインターフェース装置１０が放出したオブジェクトをユーザが取得するようにしてもよい。
　＜補足＞
　以上のように本発明にかかるユーザインターフェース装置について実施の形態に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施の形態で示したユーザインターフェース装置に限られないことは勿論である。
　（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。
　（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
　また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　本発明にかかるユーザインターフェース装置は、複数人による操作される大画面ディスプレイ、例えば大画面テレビや屋外電子広告（デジタル・サイネージ）等に適用するものとして有用である。
　１，１０　ユーザインターフェース装置
　２　　　　表示部
　３　　　　検出部
　４　　　　制御部
　１１　　　ユーザ検出カメラ
　２１　　　ユーザ識別部
　２２　　　ユーザ位置検出部
　２３　　　ユーザ動作検出部
　２４　　　受け取り側ユーザ判別部
　２５　　　受け渡しオブジェクト表示制御部
　３１　　　映像表示部

Claims (26)

  1. 　ユーザに割り当てられた作業領域内に表示されているオブジェクトを、当該ユーザに操作させるユーザインターフェース装置であって、
    　前記ユーザの位置を検出する検出部と、
    　前記作業領域を表示する表示部と、
    　どのユーザにも属していない無所属オブジェクトの表示を制御する制御部とを備え、
    　前記制御部は、
    　前記検出部で検出された前記ユーザの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させ、
    　前記ユーザが前記無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた前記作業領域内に、移動していた前記無所属オブジェクトを停止させる
    　ユーザインターフェース装置。
  2. 　前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの移動速度を、前記対面領域外を移動する場合より遅くする
    　請求項１に記載のユーザインターフェース装置。
  3. 　前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの表示サイズを、前記対面領域外を移動する場合より大きくする
    　請求項１に記載のユーザインターフェース装置。
  4. 　前記検出部は、さらに、前記ユーザのジェスチャを検出し、
    　前記制御部は、前記無所属オブジェクトを取得することを示す取得ジェスチャが前記検出部によって検出された場合に、当該ユーザに割り当てられた前記作業領域内に前記無所属オブジェクトを停止させる
    　請求項１に記載のユーザインターフェース装置。
  5. 　前記取得ジェスチャは、所定の時間、掌を画面に向けるジェスチャである
    　請求項４に記載のユーザインターフェース装置。
  6. 　前記取得ジェスチャは、親指の指先と他の指の指先とが、開いた状態から閉じた状態に移行するジェスチャである
    　請求項４に記載のユーザインターフェース装置。
  7. 　前記取得ジェスチャは、掌を前記表示部に向けた状態から自分自身に向かって回転させながら、手を握るジェスチャである
    　請求項４に記載のユーザインターフェース装置。
  8. 　前記制御部は、前記ユーザと異なる他のユーザが所有しているオブジェクトに対して、当該オブジェクトを手放すことを示す当該他のユーザの放出ジェスチャが前記検出部によって検出された場合に、当該オブジェクトを前記無所属オブジェクトとして、表示を制御する
    　請求項４に記載のユーザインターフェース装置。
  9. 　前記制御部は、前記対面領域内を移動する前記無所属オブジェクトの表示角度を、前記他のユーザが放出ジェスチャをした時点の表示角度に近づける
    　請求項８に記載のユーザインターフェース装置。
  10. 　前記表示部は、複数のユーザそれぞれに割り当てられた複数の前記作業領域に区分されており、
    　該ユーザインターフェース装置は、さらに、前記複数のユーザのうち、前記無所属オブジェクトの受け取り候補となる受け手候補ユーザを判別する判別部を備え、
    　前記制御部は、
    　前記検出部で検出された前記受け手候補ユーザそれぞれの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させ、
    　前記受け手候補ユーザが前記無所属オブジェクトを取得した場合に、当該受け手候補ユーザに割り当てられた前記作業領域内に前記無所属オブジェクトを停止させる
    　請求項１に記載のユーザインターフェース装置。
  11. 　前記検出部は、さらに、前記ユーザのジェスチャを検出し、
    　前記制御部は、前記受け手候補ユーザのいずれかに対面する前記対面領域内に前記無所属オブジェクトが位置している状態で、当該無所属オブジェクトを取得しないことを示す当該受け手候補ユーザの取得拒否ジェスチャが前記検出部で検出された場合に、前記無所属オブジェクトの移動速度を速くする
    　請求項１０に記載のユーザインターフェース装置。
  12. 　前記取得拒否ジェスチャは、手を左右に往復させるジェスチャである
    　請求項１１に記載のユーザインターフェース装置。
  13. 　前記取得拒否ジェスチャは、前記取得ジェスチャをせずにいる状態である
    　請求項１１に記載のユーザインターフェース装置。
  14. 　前記制御部は、さらに、前記ユーザの身体的特徴に基づいて、前記無所属オブジェクトの表示を制御する
    　請求項１に記載のユーザインターフェース装置。
  15. 　前記身体的特徴は、前記ユーザの年齢であり、
    　前記制御部は、前記ユーザの年齢が低い程、前記対面領域内を移動する前記無所属オブジェクトの移動速度を遅くする
    　請求項１４に記載のユーザインターフェース装置。
  16. 　前記身体的特徴は、前記ユーザの利き腕であり、
    　前記制御部は、オブジェクトの前記表示面上での移動方向と利き腕との組合せに応じて、前記対面領域内を移動する前記無所属オブジェクトの移動速度を変更する
    　請求項１４に記載のユーザインターフェース装置。
  17. 　前記身体的特徴は、前記ユーザの身長であり、
    　前記制御部は、前記ユーザの身長が低い程、前記対面領域内を移動する前記無所属オブジェクトの移動速度を遅くする
    　請求項１４に記載のユーザインターフェース装置。
  18. 　前記身体的特徴は、前記ユーザの身長であり、
    　前記制御部は、前記ユーザの身長が低い程、前記対面領域内を移動する前記無所属オブジェクトの表示高さを低くする
    　請求項１４に記載のユーザインターフェース装置。
  19. 　前記制御部は、前記無所属オブジェクトに付与されたメタデータと、前記ユーザの属性情報とに応じて、前記無所属オブジェクトの表示を制御する
    　請求項１に記載のユーザインターフェース装置。
  20. 　前記制御部は、前記ユーザの所持する携帯端末と通信することによって、前記属性情報を取得する
    　請求項１９に記載のユーザインターフェース装置。
  21. 　前記オブジェクトは、写真である
    　請求項１に記載のユーザインターフェース装置。
  22. 　前記制御部は、前記無所属オブジェクトが前記表示部の一方の端に到達した場合、当該無所属オブジェクトを他方の端に向かって移動させる
    　請求項１に記載のユーザインターフェース装置。
  23. 　前記制御部は、前記無所属オブジェクトが前記表示部の端から所定の距離離れた位置に到達した場合に、当該無所属オブジェクトを停止させる
    　請求項１に記載のユーザインターフェース装置。
  24. 　前記制御部は、前記無所属オブジェクトを停止した状態で所定の時間が経過した場合に、当該無所属オブジェクトを非表示にする
    　請求項２３に記載のユーザインターフェース装置。
  25. 　作業領域を表示する表示部を用いて、ユーザに割り当てられた前記作業領域内に表示されるオブジェクトを、当該ユーザに操作させるユーザインターフェース方法であって、
    　前記ユーザの位置を検出する検出ステップと、
    　どのユーザにも属していない無所属オブジェクトの表示を制御する制御ステップとを含み、
    　前記制御ステップでは、
    　前記検出ステップで検出された前記ユーザの位置に対面する前記表示部の対面領域内に前記無所属オブジェクトが位置する場合と、前記対面領域外に前記無所属オブジェクトが位置する場合とで、前記無所属オブジェクトを異なる態様で移動させ、
    　前記ユーザが前記無所属オブジェクトを取得した場合に、当該ユーザに割り当てられた前記作業領域内に、移動していた前記無所属オブジェクトを停止させる
    　ユーザインターフェース方法。
  26. 　請求項２５に記載のユーザインターフェース方法を、コンピュータに実行させるプログラムを記録した
    　コンピュータ読み取り可能な記録媒体。
PCT/JP2009/004911 2008-09-29 2009-09-28 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 Ceased WO2010035491A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09815911.4A EP2330558B1 (en) 2008-09-29 2009-09-28 User interface device, user interface method, and recording medium
JP2010503294A JP5345129B2 (ja) 2008-09-29 2009-09-28 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US12/744,373 US8451216B2 (en) 2008-09-29 2009-09-28 User interface device, user interface method, and recording medium
CN2009801011706A CN101878487B (zh) 2008-09-29 2009-09-28 用户接口装置、用户接口方法、以及记录媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-251044 2008-09-29
JP2008251044 2008-09-29

Publications (1)

Publication Number Publication Date
WO2010035491A1 true WO2010035491A1 (ja) 2010-04-01

Family

ID=42059503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004911 Ceased WO2010035491A1 (ja) 2008-09-29 2009-09-28 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体

Country Status (5)

Country Link
US (1) US8451216B2 (ja)
EP (1) EP2330558B1 (ja)
JP (1) JP5345129B2 (ja)
CN (1) CN101878487B (ja)
WO (1) WO2010035491A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227828A (ja) * 2010-04-22 2011-11-10 Canon Inc 情報処理装置、その処理方法及びプログラム
EP2741203A2 (en) 2012-12-06 2014-06-11 Konica Minolta, Inc. Object operation apparatus and non-transitory computer-readable storage medium
JP2016512632A (ja) * 2013-03-15 2016-04-28 インテル コーポレイション 音声およびジェスチャー・コマンド領域を割り当てるためのシステムおよび方法
JP2016177428A (ja) * 2015-03-19 2016-10-06 富士通株式会社 表示方法、プログラム及び表示制御装置
WO2016157654A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2018005473A (ja) * 2016-06-30 2018-01-11 シャープ株式会社 画像表示装置及びプログラム
JP2020161058A (ja) * 2019-03-28 2020-10-01 シャープ株式会社 情報処理装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5345113B2 (ja) * 2010-09-08 2013-11-20 シャープ株式会社 コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム
JP5807399B2 (ja) * 2011-06-13 2015-11-10 ソニー株式会社 情報処理装置及びプログラム
US20130009875A1 (en) * 2011-07-06 2013-01-10 Fry Walter G Three-dimensional computer interface
US8687023B2 (en) * 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
JP5902444B2 (ja) * 2011-11-24 2016-04-13 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法
WO2013099407A1 (ja) * 2011-12-28 2013-07-04 株式会社ニコン 表示装置及び投影装置
US9690368B2 (en) 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
US10402879B2 (en) 2011-12-30 2019-09-03 Adidas Ag Offering a customized collection of products
US8902198B1 (en) 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
JP5651639B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 情報処理装置、情報表示装置、情報処理方法およびプログラム
CN103838483B (zh) 2012-11-27 2018-02-27 联想(北京)有限公司 一种显示方法及电子设备
US9060162B2 (en) * 2012-12-21 2015-06-16 Ati Technologies Ulc Providing multiple viewer preferences on a display device
US9460453B2 (en) 2013-03-13 2016-10-04 Intel Corporation System and method to provide location-based digital signage services
US9268929B2 (en) * 2013-03-15 2016-02-23 Intelmate Llc Dossier packaging
KR102241074B1 (ko) * 2014-07-22 2021-04-16 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102194923B1 (ko) 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP2016053769A (ja) * 2014-09-02 2016-04-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN105892665B (zh) * 2016-03-31 2019-02-05 联想(北京)有限公司 信息处理方法及电子设备
WO2019130896A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222133A (ja) * 1999-01-28 2000-08-11 Canon Inc 電子情報表示装置及びその表示制御方法並びに記憶媒体
JP2002157079A (ja) 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
JP2003263145A (ja) 2002-03-07 2003-09-19 Pioneer Electronic Corp 情報表示装置
JP2005227487A (ja) * 2004-02-12 2005-08-25 Hitachi Ltd テーブル型情報端末の表示・操作方法
JP2005346353A (ja) * 2004-06-02 2005-12-15 Fuji Photo Film Co Ltd 画像表示制御テーブル、画像の天地制御方法及び画像の天地制御プログラム
JP2006011914A (ja) * 2004-06-28 2006-01-12 Fuji Photo Film Co Ltd 画像表示制御装置及び画像表示制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2068486C (en) 1991-08-30 1998-09-15 Stephen S. Fleming System and graphical method for creating an object
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
JP4725423B2 (ja) * 2006-06-06 2011-07-13 パナソニック株式会社 画像処理装置
EP1895391A1 (en) 2006-08-16 2008-03-05 Siemens Aktiengesellschaft Method and system for displaying a multitude of objects on a display
JP5132131B2 (ja) * 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置
JP2008181248A (ja) * 2007-01-23 2008-08-07 Kyocera Mita Corp 表示制御装置及び表示制御プログラム
US20090106667A1 (en) * 2007-10-19 2009-04-23 International Business Machines Corporation Dividing a surface of a surface-based computing device into private, user-specific areas
WO2009154045A1 (ja) * 2008-06-20 2009-12-23 コニカミノルタホールディングス株式会社 情報処理方法および情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222133A (ja) * 1999-01-28 2000-08-11 Canon Inc 電子情報表示装置及びその表示制御方法並びに記憶媒体
JP2002157079A (ja) 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
JP2003263145A (ja) 2002-03-07 2003-09-19 Pioneer Electronic Corp 情報表示装置
JP2005227487A (ja) * 2004-02-12 2005-08-25 Hitachi Ltd テーブル型情報端末の表示・操作方法
JP2005346353A (ja) * 2004-06-02 2005-12-15 Fuji Photo Film Co Ltd 画像表示制御テーブル、画像の天地制御方法及び画像の天地制御プログラム
JP2006011914A (ja) * 2004-06-28 2006-01-12 Fuji Photo Film Co Ltd 画像表示制御装置及び画像表示制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2330558A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227828A (ja) * 2010-04-22 2011-11-10 Canon Inc 情報処理装置、その処理方法及びプログラム
EP2741203A2 (en) 2012-12-06 2014-06-11 Konica Minolta, Inc. Object operation apparatus and non-transitory computer-readable storage medium
JP2016512632A (ja) * 2013-03-15 2016-04-28 インテル コーポレイション 音声およびジェスチャー・コマンド領域を割り当てるためのシステムおよび方法
JP2016177428A (ja) * 2015-03-19 2016-10-06 富士通株式会社 表示方法、プログラム及び表示制御装置
WO2016157654A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2018005473A (ja) * 2016-06-30 2018-01-11 シャープ株式会社 画像表示装置及びプログラム
JP2020161058A (ja) * 2019-03-28 2020-10-01 シャープ株式会社 情報処理装置
JP7256665B2 (ja) 2019-03-28 2023-04-12 シャープ株式会社 情報処理装置

Also Published As

Publication number Publication date
US20100259473A1 (en) 2010-10-14
EP2330558A1 (en) 2011-06-08
EP2330558B1 (en) 2016-11-02
EP2330558A4 (en) 2014-04-30
US8451216B2 (en) 2013-05-28
JPWO2010035491A1 (ja) 2012-02-16
CN101878487A (zh) 2010-11-03
CN101878487B (zh) 2013-04-10
JP5345129B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
JP5345129B2 (ja) ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP5260643B2 (ja) ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN105320428B (zh) 用于提供图像的方法和设备
US8379098B2 (en) Real time video process control using gestures
US8666115B2 (en) Computer vision gesture based control of a device
KR20250103813A (ko) 생산성을 위한 확장 현실
CN105009025B (zh) 基于观看距离的自适应屏幕接口
US9971491B2 (en) Gesture library for natural user input
US20150293597A1 (en) Method, Apparatus and Computer Program for Enabling a User Input Command to be Performed
CN103797513A (zh) 对内容的基于计算机视觉的双手控制
CN102906671A (zh) 手势输入装置及手势输入方法
JP2012238293A (ja) 入力装置
Chu et al. Hand gesture for taking self portrait
CN121764325A (zh) 基于手势的内容选择和传输

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980101170.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010503294

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09815911

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12744373

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2009815911

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009815911

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE