WO2014073345A1 - 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2014073345A1
WO2014073345A1 PCT/JP2013/078100 JP2013078100W WO2014073345A1 WO 2014073345 A1 WO2014073345 A1 WO 2014073345A1 JP 2013078100 W JP2013078100 W JP 2013078100W WO 2014073345 A1 WO2014073345 A1 WO 2014073345A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
work space
extended
virtual object
information terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/078100
Other languages
English (en)
French (fr)
Inventor
脩 繁田
俊一 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201380057285.6A priority Critical patent/CN104756065B/zh
Priority to US14/440,383 priority patent/US9753534B2/en
Priority to EP20166778.9A priority patent/EP3734426A1/en
Priority to EP13852761.9A priority patent/EP2919103B1/en
Priority to JP2014545627A priority patent/JPWO2014073345A1/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2014073345A1 publication Critical patent/WO2014073345A1/ja
Anticipated expiration legal-status Critical
Priority to US15/612,487 priority patent/US9933848B2/en
Priority to US15/890,717 priority patent/US10209770B2/en
Priority to US16/238,701 priority patent/US10528124B2/en
Priority to US16/695,728 priority patent/US11036286B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a computer-readable recording medium.
  • Acts involving entities that can actually be touched such as writing letters with a pen on paper, cutting ingredients on the kitchen, playing card games, and acts using digital information like a personal computer or smartphone Cannot be done in the same space.
  • entities that can actually be touched such as writing letters with a pen on paper, cutting ingredients on the kitchen, playing card games, and acts using digital information like a personal computer or smartphone
  • a graph is automatically generated by describing a mathematical formula on paper, and a cut line is projected so that ingredients can be appropriately cut according to cooking.
  • Patent Document 1 there is a technique disclosed in Patent Document 1 or the like.
  • an information processing apparatus that controls display of a virtual object displayed in an extended workspace in which an entity and a virtual object can be operated, the position information of an information terminal detected in the extended workspace Based on the analysis result of the input information to the extended workspace analyzed based on the display control trigger information for changing the display of the virtual object, the operation processing for the virtual object displayed in the extended workspace is determined.
  • An information processing apparatus includes an operation determination unit that performs a display control unit that performs a display control process for a virtual object based on the determined operation process.
  • an information processing method including performing a virtual object display control process based on the determined operation process.
  • a computer-readable storage medium that stores a program for causing a computer to function as the information processing apparatus is provided.
  • an information processing apparatus an information processing method, and a computer that enable handling of digital information in an extended work space in which the real world and digital information are fused in a simple and intuitive manner.
  • a readable recording medium can be provided.
  • First embodiment transfer of digital information
  • Configuration example of extended workspace system 1.2.
  • Functional configuration of information recognition display device 1.3.
  • Work in the extended work space Second embodiment (remote collaboration function) 2.1.
  • Remote collaboration function 2.2.
  • Interactive authentication method Hardware configuration example
  • FIG. 1 is an explanatory diagram showing a configuration example of the extended work space system according to the present embodiment.
  • the extended work space system is capable of recognizing real objects existing in the real world, superimposing digital information that is virtual objects on the real world, and creating an extended work space in which the real world and digital information are fused. It is a system to build.
  • the extended work space system includes, for example, a projector that projects digital information onto the extended work space, a camera that captures the extended work space, a sensing device that performs gesture recognition such as touch, pinch in, and pinch out performed in the extended work space, It consists of a wireless communication device.
  • the work surface 2 is a table, and an information recognition display device 100 including a projector, a camera, a wireless communication device, and a sensing device is installed on the table, and digital information is projected onto the work surface 2.
  • the work surface 2 is an information operation surface on which information is manipulated and displayed in the extended work space, and refers to an area that can be projected by a projector and imaged by a camera.
  • the information recognition display apparatus 100 captures a space including the work surface 2 with a camera, and recognizes a user gesture performed on the work surface 2 by a sensing device.
  • digital information is projected onto the work surface 2 by a projector, and the digital information is superimposed on an object existing in the real world.
  • the information recognition display device 100 including a projector is installed on the desktop and the digital information is projected onto the work surface 2, but the projector is a desk light stand installed on the desktop, You may install in ceiling lighting or a wall.
  • a glasses-type device such as an HMD (Head Mount Display) with a built-in camera or a sheath type HMD may be used.
  • the digital information superimposed on the extended work space is superimposed on a glasses-type display worn by the user.
  • a device such as a smartphone with a camera and display built in as an alternative to a projector, digital information may be superimposed on a through image captured by the camera and displayed on the display. .
  • the sensing device for example, an IR camera that detects infrared rays irradiated in parallel to the work surface 2, a stereo camera, a special sensor that can acquire depth information, or the like may be used.
  • the sensing device may be a touch sensor that detects contact with the work surface 2 such as a finger, or a device that can acquire the coordinates of handwriting by a digital pen using ultrasonic waves and infrared rays.
  • the handwriting coordinates may be detected by another sensor such as a camera, without using a digital pen.
  • wireless communication apparatus an apparatus capable of communicating with an external device such as Bluetooth (registered trademark), Wi-fi (registered trademark), NFC (Near Field Communication), or the like is used.
  • Bluetooth registered trademark
  • Wi-fi registered trademark
  • NFC Near Field Communication
  • FIG. 2 is a block diagram showing a functional configuration of the information recognition display device 100 according to the present embodiment.
  • the information recognition display device 100 according to the present embodiment includes a projection unit 110, a detection unit 120, an imaging unit 130, an information processing unit 140, and a communication unit 150.
  • the projection unit 110 is a functional unit that projects digital information onto the extended work space, and is realized by the projector or the like described in FIG. In response to a display instruction from the information processing unit 140 described later, the projection unit 110 displays digital information in the extended work space in which the projection unit 110 is installed.
  • the detection unit 120 detects motion information in the extended work space.
  • the detection unit 120 is realized by, for example, the sensing device described with reference to FIG.
  • the detection unit 120 outputs the detection result to the information processing unit 140 described later.
  • the imaging unit 130 is a functional unit that captures an extended work space, and is realized by the camera described in FIG.
  • the imaging unit 130 outputs the captured image to the information processing unit 140 described later.
  • the information processing unit 140 analyzes the position and movement of an object in the extended workspace, and performs digital information display processing in the extended workspace corresponding to the analysis result. As illustrated in FIG. 2, the information processing unit 140 includes an analysis unit 142, an operation determination unit 144, a display control unit 146, and a setting storage unit 148.
  • the analysis unit 142 analyzes the position and movement of the object in the extended work space based on at least one of the detection result of the detection unit 120 and the image captured by the imaging unit 130. For example, the analysis unit 142 calculates a change in the movement of the user's hand from the detection result by the detection unit 120. Then, the analysis unit 142 refers to the setting storage unit 148, and identifies gestures such as touch, pinch-in, and pinch-out performed by the user in the extended work space from the change in movement of the identified user's hand.
  • the analysis result by the analysis unit 142 is operation input information performed by the user in the extended work space, and digital information is displayed on the virtual work space based on the analysis result.
  • the analysis unit 142 outputs the analysis result to the operation determination unit 146.
  • the operation determination unit 144 determines the operation content of the digital information in the extended work space based on the analysis result of the analysis unit 142.
  • the operation determination unit 144 refers to the setting storage unit 148 and determines the operation content of the digital information corresponding to the user gesture specified by the analysis unit 142, for example. Examples of the operation contents of the digital information include copying the digital information of the information terminal to the work surface 2, moving the digital information of the work surface 2 to the information terminal, and enlarging / reducing the digital information displayed on the work surface 2 , Etc.
  • the operation determining unit 144 outputs the determined operation content to the display control unit 146.
  • the display control unit 146 performs digital information display processing of the extended work space based on the operation content determined by the operation determination unit 144.
  • the display control unit 146 for example, a display process for showing digital information exchange between the information terminal and the work surface 2 or a display change process (enlargement, display of digital information displayed in the extended work space). Reduction, movement, etc.).
  • the display control unit 146 outputs the content of the display process for the digital information to the projection unit 110 and instructs the display of the digital information.
  • the setting storage unit 148 stores information for determining the analysis performed by the information processing unit 140, the operation content of the digital information, and the like.
  • the analysis unit 142 specifies operation input information performed by the user in the extended work space
  • the operation determination unit 144 determines the operation content of the digital information in the extended work space. To do.
  • the communication unit 150 transmits / receives information to / from the information recognition display device 100 in another extended work space. By enabling the communication unit 150 to exchange information with the information recognition and display device 100 in another extended work space, it is possible to reflect the state of the extended work space in each space.
  • the information recognition display device 100 is a device that controls the operation of digital information on an actual object and an information terminal in the extended work space in accordance with operation input information input in the extended work space.
  • the information recognition display device 100 performs control so as to enable easy and intuitive handling of digital information in order to solve the complicated operation and trouble that have conventionally occurred when handling digital information in the extended work space.
  • FIG. 3 is a flowchart showing the process of taking digital information from the information terminal 200 into the extended work space.
  • FIG. 4 is a flowchart showing the removal process of the digital information displayed on the work surface from the extended work space to the information terminal 200.
  • FIG. 5 is an explanatory diagram for explaining a photo exchange process performed between the work surface 2 in the extended work space and the information terminal 200.
  • the information terminal 200 may be a device such as a smartphone, a tablet terminal, or a digital camera.
  • the work surface 2 can be widely secured in the extended work space. Therefore, for example, when editing a plurality of images held by the information terminal 200, the information terminal 200 displays only the editing target due to the limitation of the operation area and edits one by one. Therefore, by capturing the images held by the information terminal 200 on the work surface 2, it is possible to spread the plurality of captured images on the work surface 2 and simultaneously perform editing while viewing other images.
  • a large work space such as when a photograph is viewed and shared by a plurality of people, or when a message is written on the screen, the work of digital information using the extended work space is particularly effective.
  • digital information is assumed to be various information such as contents such as moving images and sounds, information posting services such as twitter (registered trademark), applications such as clocks, news, and games.
  • the digital information designated by the information terminal 200 may be held in the information terminal 200 main body, and held in a server that is communicably connected to the information terminal 200 via a network such as cloud computing. May be.
  • the information recognition display device 100 and the information terminal 200 in the extended work space are previously connected by wireless communication. Pairing of these devices may be performed by a conventional setting method using the setting screen of the operation terminal. Pairing is automatically performed by bringing the information terminal 200 to be paired into contact with the information recognition display device 100. Touch pairing performed manually may be used.
  • the user After selecting the digital information to be captured, the user places the information terminal 200 on the work surface 2 in the extended work space as an operation for instructing the capture of the digital information (S102). In the example on the left side of FIG. 5, the user places the information terminal 200 on the desktop that is the work surface 2.
  • the information recognition display device 100 recognizes that the user has placed the information terminal 200 on the work surface 2, the fact that the information terminal 200 is placed on the work surface 2 becomes display control trigger information, and the digital information to be captured is The surface 2 is taken in (S104).
  • a method for determining that the digital information capturing operation has been performed for example, a method using an image recognition technique or a method using a time stamp can be considered.
  • digital information displayed on the information terminal 200 is photographed by the imaging unit 130 of the information recognition display device 100, and an image of the digital information photographed by the analysis unit 142 is recognized.
  • image recognition for example, a registered image corresponding to the digital information displayed on the information terminal 200 is registered in the information recognition display device 100 in advance, and the image captured by the imaging unit 130 is matched with the registered image. It can be carried out.
  • identifying a two-dimensional barcode such as a QR code (registered trademark) displayed on the information terminal 200 or identifying a time-series lighting pattern on the screen of the information terminal 200, It is also possible to recognize digital information.
  • Information to be acquired in advance for image recognition is recorded in the setting storage unit 148 of the image recognition display device 100.
  • the time stamp at the time when the information terminal 200 in which the motion is detected is stationary (referred to as “stationary determination time point”), and the time stamp at the time of stationary determination acquired by the detection unit 120
  • the capture operation may be determined from the time difference between the two.
  • the internal clocks of the information terminal 200 and the information recognition display device 100 are matched in advance, or the time difference between the internal clocks is measured in advance and one of the time stamps is corrected by the time difference.
  • the analysis unit 142 calculates the normalized cross-correlation between the motion information recognized by the information terminal 200 and the motion information of the information terminal 200 recognized by the information recognition display device 100, and the correlation value is the highest.
  • the execution of the capturing operation may be determined based on a high time difference.
  • the analysis unit 142 determines whether or not the information terminal 200 has touched the work surface 2 from the detection result of the detection unit 120 together with the execution determination of the digital information capturing operation. Then, the operation determining unit 144 determines that the information terminal 200 is in contact with the work surface 2 based on the analysis result of the analyzing unit 142, and when the digital information to be captured is specified by image recognition, the digital information Is started to be taken into the work surface 2 (S106).
  • the digital information to be captured is transmitted from the information terminal 200 to the information recognition display device 100 via the communication unit.
  • the digital information to be imported is not held in the information terminal 200 main body, it may be transmitted to the information recognition display device 100 from a server or the like that holds the digital information.
  • the information recognition display device 100 may not store digital information in the main body of the information recognition display device 100, and may be held in a server that is communicably connected via a network, like the information terminal 200. In this case, the information terminal 200 transmits the digital information to be captured to a server that holds the digital information of the information recognition display device 100.
  • step S106 it is assumed that digital information is captured from the information terminal 200 to the work surface 2 by displaying the digital information to be captured on the work surface 2 of the extended work space.
  • the display control unit 146 receives the start process and acquires the digital information from a device holding the digital information to be captured.
  • the digital information to be captured is held by the information terminal 200 or a server that can communicate via the network, and the operation determining unit 144 is connected to the network via the communication unit 150 and acquires the digital information to be captured. To do.
  • the display control unit 146 causes the projection unit 110 to project the acquired digital information (S108).
  • the digital information of the information terminal 200 can be taken into the extended work space.
  • the image 300 of the photograph 300 displayed on the screen of the information terminal 200 placed on the table is normally recognized and the information terminal 200 is placed on the table.
  • a photograph is transmitted from the information terminal 200 to the information recognition display device 100, and the projection unit 110 projects the photograph on the table. Since the photograph displayed on the information terminal 200 when the user lifts the information terminal 200 from the table is displayed on the table, the user can recognize that the photograph of the information terminal 200 is taken into the extended work space.
  • the digital information from the information terminal 200 to the work surface 2 of the extended work space may be copied from the information terminal 200 to the information recognition display device 100.
  • the digital information of the information terminal 200 is transferred to the information recognition display device 100. It may move.
  • the digital information of the information terminal 200 is moved to the information recognition display device 100, the digital information may be displayed only on the work surface 2, and the digital information may not be displayed on the information terminal 200 side.
  • display information that clearly indicates that the digital information of the information terminal 200 has been moved to the information recognition display device 100 is displayed on the information terminal 200 side. It may be.
  • Such display control on the information terminal 200 side is performed by transmitting information for changing the display on the information terminal 200 side from the information recognition display device 100 to the information terminal 200 side at a timing according to the digital information capturing process. Realized.
  • display processing may be performed in the same manner.
  • the display of the digital information may be erased from the work surface 2 when the digital information is removed to the information terminal 200, and the work surface is also displayed when the digital information is transferred to the information terminal 200. 2, the digital information may be displayed.
  • the digital information captured from the information terminal 200 to the work surface 2 of the extended work space can be freely operated on the work surface 2 such as editing and moving. Specific examples of operation contents that can be performed on the work surface 2 of the extended work space will be described later.
  • FIG. 5 shows an example of an operation in which a photograph is taken as an example of digital information and a photograph of the work surface 2 of the extended work space is removed by the information terminal 200.
  • the user determines digital information to be removed by the information terminal 200 from the digital information displayed on the work surface 2 of the extended work space. Then, as an operation of removing the digital information from the work surface 2, the user places the information terminal 200 on the digital information determined as the removal target (S110). In the example on the right side of FIG. 5, the user adds a character string as the additional object 402 to the photograph 400 displayed on the work surface 2 of the extended workspace, and then places the information terminal 200 on the photograph 400. Yes.
  • the information recognition display device 100 recognizes that the user has placed the information terminal 200 on the work surface 2 (S112), the fact that the information terminal 200 is placed on the work surface 2 becomes display control trigger information and is the digital to be removed. Information is moved from the work surface 2 to the information terminal 200 (S114).
  • the digital information of the content displayed on the work surface 2 at the time when the information terminal 200 is placed is moved to the information terminal 200.
  • the photograph 400 to which the additional object 402 has been added is moved to the information terminal 200.
  • a method for determining that the digital information removal operation has been performed for example, a method using the above-described image recognition technique, a method using a time stamp, or the like can be considered.
  • the operation determination is performed using the time stamp when the information terminal 200 starts to move from the stationary state, contrary to determining the time when the information terminal 200 stops. .
  • the operation determination unit 144 displays the display of the digital information moved to the information terminal 200 on the display control unit 146 from the work surface 2. It is erased (S116). For example, in the example on the right side of FIG. 5, when the user lifts the information terminal 200 placed on the table, the display of the removal target photo 400 displayed at the position where the information terminal 200 on the work surface 2 was placed is erased. . Thereby, the user can visually recognize that the photograph 400 to be removed has been moved to the information terminal 200. Further, the information terminal 200 displays the contents of the edited photo displayed on the work surface 2 before the photo 400 is removed.
  • the digital information removal process has been described above. In the above description, the movement of the information terminal 200 becomes the display control trigger information on the work surface 2 and the digital information is taken in or removed, but the state that the information terminal 200 is placed on the work surface 2 is displayed. Control trigger information may be used.
  • Digital information that can be operated in the extended work space may be synchronized with the digital information of the information terminal 200 from which the digital information is obtained, and can be handled as independent information without synchronization. It may be.
  • the digital information displayed in the extended work space and the digital information of the information terminal 200 are synchronized, for example, the editing content and operation content of the digital information in the extended work space are reflected in real time on the information terminal 200 side.
  • the operation on the information terminal 200 side it is assumed that a slide operation is performed by moving a finger on the surface.
  • the photo 300a displayed on the information terminal 200 is slid and the next photo 300b is displayed on the information terminal 200, and also on the work surface 2, the photo 400a is displayed on the photo 400b corresponding to the photo 300b. Is changed.
  • information recognition display device 100 is information terminal.
  • a real object such as a book, a magazine, or a newspaper may be recognized and digital information corresponding to the recognized actual object may be acquired.
  • a real magazine is placed on the work surface 2 in the extended work space, an image of the magazine photographed by the imaging unit 130 is matched with registration information stored in advance in the setting storage unit 150.
  • the real object may be recognized by using a part such as a cover that can easily identify the real object.
  • the operation determining unit 144 acquires digital information associated with the registration information (that is, digital information of the recognized magazine) via the network. Let The acquired digital information of the magazine is projected onto the work surface 2 by the projection unit 110 via the display control unit 146.
  • the digital information of the magazine displayed on the work surface 2 can be operated by performing a gesture for the user to operate the digital information on the work surface 2, similarly to the operation on the information terminal 200.
  • a gesture for the user to operate the digital information on the work surface 2 similarly to the operation on the information terminal 200.
  • FIG. 8 when the digital information 420 of a magazine is displayed on the work surface 2, when the user slides his / her finger on the area where the digital information 420 is displayed, the digital information is displayed according to the slide direction.
  • the magazine page displayed at 420 is turned. As described above, it is possible to recognize the real thing of the extended work space and display the digital information associated with the recognized information on the work surface 2 of the extended work space, and to operate the digital information.
  • FIG. 9 shows an example of an answer display method for two arithmetic problems.
  • the answer is displayed on the answer sheet 430.
  • the action of sliding a finger is an answer display instruction, and the operation determination unit 144 determines the answer sheet 430 based on the content of the answer sheet 430 recognized by the analysis unit 142 and the user's action in the extended work space.
  • the answer corresponding to the question is displayed on the answer sheet 430.
  • a sheet 500 on which a two-dimensional barcode 502 indicating an answer display instruction is written is placed on the answer sheet 430 on the answer sheet 430 placed on the work surface 2 of the extended work space.
  • the answer may be displayed.
  • the information recognition display device 100 identifies the two-dimensional barcode on the paper 500 and displays the answer to the problem on the paper 500.
  • the two-dimensional barcode 502 of the paper 500 may correspond to each problem or may be common to a plurality of problems.
  • the operation of displaying the digital information associated with the real thing in the extended work space is, for example, recognizing a supermarket advertisement and displaying detailed information of each product, or recognizing the display of a movie trailer and moving images. It can also be used to play.
  • the information terminal 200 is placed on the work surface 2 of the extended work space.
  • the digital information to be captured is displayed on the information recognition display device. 100.
  • the information recognition display device 100 is not displayed for the first time. Start capturing digital information.
  • the digital information to be captured is captured by the information recognition display device 100.
  • the digital information of the information terminal 200 is not captured by the information recognition display device 100. Therefore, the digital information of the information terminal 200 is not displayed on the work surface 2 after the information terminal 200 is lifted.
  • an instruction to exchange digital information performed to prevent an erroneous operation is performed by an explicit operation.
  • an explicit operation For example, by combining gesture recognition and voice recognition, the processing in FIG. 3 or FIG. You may instruct the capture and removal of digital information.
  • FIG. 11 is an explanatory diagram showing a remote collaboration function activation process in the extended workspace system according to this embodiment.
  • FIG. 11 shows a procedure for sharing two extended work spaces.
  • Each extended work space is constructed by the information recognition display devices 100A and 100B installed in the respective spaces.
  • the information recognition display devices 100A and 100B can communicate via a network.
  • reference numeral 100A is a first information recognition display device
  • reference numeral 100B is a second information recognition display device.
  • the information terminal 200 is placed on the work surface 2 of the extended work space where the first information recognition display device 100A is installed and then lifted.
  • the method using the image recognition technique or the method using the time stamp described in the first embodiment can be used.
  • the first information recognition display device 100A recognizes the operation in which the information terminal 200 is placed and then lifted, the first information recognition display device 100A requests the second information recognition display device 100B to start information sharing.
  • the second information recognition display device 100B receives the image of the first extended work space in which the first information recognition device 100A is placed, Display in the extended workspace.
  • the first extended work space is displayed as digital information in the second extended work space.
  • the exchange of digital information is performed between the information terminal 200 and the first terminal by the function described in the first embodiment. This is performed with the information recognition display device 100A.
  • digital information taken from the information terminal 200 for example, a photograph 400A
  • the first extension is provided on the work surface 2B of the second extension work space.
  • the photograph 400A displayed in the work space is displayed in the same manner.
  • the video of the first extended work space is displayed as digital information in the second extended work space
  • the video of the first extended work space is also displayed as digital information in the first extended work space.
  • FIG. 11 when the user B in the second extended work space points to a photograph 400B displayed on the work surface 2B, an image of the hand HB of the user B is displayed from the second information recognition display device 100B. The information is output to the first information recognition display device 100A. Then, the hand of user B is displayed as digital information HB_I in the first extended work space. Thereby, the user A in the first extended work space can recognize that the user B is pointing at the photograph 400B.
  • the remote collaboration function enables the user to recognize the situation of the plurality of extended work spaces and the user's operation, and for example, it is possible to proceed with one work while confirming the intention of the plurality of users. .
  • the digital information 400A, 400B is displayed in each extended work space to share information.
  • an information terminal placed on the work surface 2A of the first extended work space 200 real digital information may be displayed in the second extended work space.
  • the remote collaboration function is started when, for example, the information terminal 200 is placed on the work surface 2A.
  • an image of the information terminal 200 placed on the work surface 2A is displayed as digital information 200_I on the work surface 2B of the second extended work space.
  • the user B in the second extended work space can perform operations such as pointing and touching the digital information with the remote collaboration function.
  • the digital information held by the first information recognition display device 100A may be operable on the second extended work space side.
  • the second information recognition display device 100B also needs to hold the digital information, and is transmitted from the first information recognition display device 100A to the second information recognition display device 100B at a predetermined timing.
  • the predetermined timing may be, for example, when the remote collaboration function is started, or may be a time when consent for information operation is obtained between users.
  • authentication can be performed using the fact that information of a plurality of extended workspaces can be shared.
  • FIG. 13 shows an example of the authentication method according to the present embodiment. In this example, authentication determination is performed based on the overlap of hands in each extended work space.
  • a user (user B) requesting authentication places his hand on the work surface 2B of the extended work space with the palm facing upward as an authentication request operation. Then, the digital information HB_I of the user B's hand is displayed in the extended work space of the user (user A) who has received the authentication request.
  • the user A receives an authentication request from the user B
  • the user A puts the hand HA on the digital information HB_I of the user B's hand displayed on the work surface 2A so as to overlap the palm.
  • the information recognition display device 100A determines whether or not the hand HA of the user A and the hand HB_I of the user B are overlapped by hand shape recognition, and authenticates the request of the user B when it is determined that they are overlapped.
  • the authentication request operation may be an operation of facing the thumb and index finger, for example, as shown in FIG.
  • the user (user A) receiving the authentication request places the hand HA so that the thumb and index finger of the digital information HB_I of the user B's hand are aligned with the thumb and index finger, respectively. Can respond to authentication requests.
  • the authentication operation may be an operation of overlapping fingers in the designated authentication area.
  • the authentication guidance as shown in FIG. 15 is displayed on the work surface 2A of the user A and the work surface 2B of the user B.
  • a message for confirming the approval is displayed, and it is described that an operation of touching the approval area 460 with a finger is performed when the approval is made.
  • a hand for performing the authentication operation is displayed in the partner's extended workspace. Accordingly, the authentication operation can be performed while watching the movement of the other party.
  • the user A can also perform the authentication operation after confirming that the user B has approved.
  • the authentication operation may be an operation in which the same information as that input in a certain extended workspace is input in another extended workspace.
  • the handwriting input in a plurality of extended work spaces can be compared, and if they match, an authentication process can be performed to approve.
  • an authentication process can be performed to approve.
  • FIG. 16 it is assumed that one user (for example, user B) performs input with the pen on the work surface 2B as the authentication request operation.
  • the information recognition display device 100B acquires the handwriting of the pen on the work surface 2B, the information recognition display device 100B outputs the handwriting information together with the authentication request to the information authentication display device 100A on the other user (eg, user A) side.
  • the information authentication display device 100A causes the work surface 2A to display digital information LB_I representing the handwriting of the user B's pen on the work surface 2A.
  • digital information LB_I representing the handwriting of the user B's pen on the work surface 2A.
  • the user A approves, the user A traces the digital information LB_I displayed on the work surface 2A with the pen 4 and inputs the same figure as the digital information LB_I.
  • the information recognition display device 100A determines that the handwriting of the pen 4 of the user A is the same as the digital information LB_I, the information recognition display device 100A notifies the information authentication display device 100B that the user A has approved. Thereby, authentication is established between the user A and the user B.
  • the extended work space system it is possible to perform authentication processing while confirming the authentication operation of each user by utilizing the fact that information of each extended work space can be shared. Therefore, the user can intuitively perform the authentication process, and can proceed with the process while confirming the authentication operation of each user, so that the authentication operation can be performed with peace of mind.
  • the operation performed by the authentication can be performed in various operations such as sharing digital information between users, deleting it, and enabling sharing with a third party. For example, consider a case where the digital information held by the first information recognition display device 100A on the user A side is also removed by the information terminal 200B on the user B side in another extended work space. At this time, as an authentication operation for permitting removal of digital information in the information terminal 200B on the user B side, an operation of overlapping each other's information terminals on the digital information to be removed may be performed.
  • the first information recognition display device 100A on the user A side holds digital information of a photograph 450A. It is assumed that the photograph 450A is also displayed on the work surface 2B on the user B side in another extended work space by the remote collaboration function.
  • the photograph 450A is removed by the information terminal 200B on the user B side, the permission of the user A is required, and as an authentication request operation, the user B places the information terminal 200B on the photograph displayed on the work surface 2B. This operation is displayed on the work surface 2A on the user A side, and the user A sees the operation of the user B displayed on the work surface 2A and recognizes that there is a request to remove the photograph 450A.
  • the user A puts his information terminal 200A on the digital information 200B_I of the information terminal 200B displayed on the work surface 2A.
  • the first information recognition display device 100A determines that the user B approves the photograph 450A to remove the information terminal 200B from the operation of the user A
  • the first information recognition display device 100A notifies the second information authentication display device 100B of the determination result. To do.
  • authentication is established between the user A and the user B, and the photograph 450A is copied to the information terminal 200B.
  • operations that can be performed when authentication between users is established may be displayed in a list.
  • a photograph 450 ⁇ / b> A held by the first information recognition display device 100 ⁇ / b> A on the user A side is displayed on the user B side in another extended work space by the remote collaboration function. It is assumed that it is also displayed on the surface 2B.
  • user B places his finger on the photograph displayed on work surface 2B and user A places his / her finger on user B's finger, authentication is established between user A and user B.
  • the first information recognition display device 100A displays a list 700 of operations that can be executed when authentication between users is established on the work surface 2A. This list 700 is also displayed on the work surface 2B on the user B side.
  • the list 700 includes items such as enabling sharing of digital information (Share) and deleting digital information (Delete).
  • shares enabling sharing of digital information
  • Delete deleting digital information
  • the digital information may be operable at the same time, or only a specific user may be operable.
  • an exclusive process may be performed. For example, an operation from a user who has performed an operation first is validated, and an operation of another user is not performed until the operation of this user is completed. You may make it exclude.
  • a photograph of the user A displayed on the work surface 2A Assume that 400A is touched with a finger.
  • the first information recognition display device 100A instructs the second information recognition display device 100B to exclude the operation on the photograph 400B displayed on the work surface 2B on the user B side.
  • the second information recognition display device 100B receives the exclusion instruction and excludes the operation on the photograph 400B.
  • the user B may be notified that the operation on the photograph 400B is excluded, and as a notification method, for example, masking or sound of the photograph 400B as shown in FIG. 19 can be used.
  • the remote collaboration function of the extended workspace system has been described above. With such a function, it becomes possible to recognize the situation of a plurality of extended work spaces and the user's actions, and it is possible to proceed with one work while confirming the intention among a plurality of users.
  • the processing by the information processing unit 140 of the information recognition display device 100 according to the above-described embodiment can be executed by hardware or can be executed by software.
  • the information processing unit 140 can be configured as shown in FIG.
  • a hardware configuration example of the information processing unit 140 will be described with reference to FIG.
  • the information processing unit 140 can be realized by a processing device such as a computer as described above. As shown in FIG. 20, the information processing unit 140 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a. The information processing unit 140 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device (HDD) 908, a drive 909, a connection port 911, and a communication device. 913.
  • a processing device such as a computer as described above.
  • the information processing unit 140 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing unit 140 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device (HDD) 908, a drive 9
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing unit 140 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b are not necessarily separated from each other, and these functions may be mounted on one bus.
  • the input device 906 includes an input means for inputting information by the user such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. Etc.
  • the output device 907 includes, for example, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device and a display device such as a lamp, and an audio output device such as a speaker.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 908 is an example of a storage unit of the information processing unit 140, and is a device for storing data.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 908 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing unit 140.
  • the drive 909 reads information recorded on a mounted removable recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • the communication device 913 is a communication interface configured by a communication device or the like for connecting to the communication network 10, for example.
  • the communication device 913 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.
  • the information processing unit 140 is provided in the information recognition display device 100.
  • the present technology is not limited to such an example, and only the information processing unit 140 or a part of the functions constituting the information processing unit 140 is connected to a network, for example. It may be provided on a connected server.
  • An information processing apparatus for controlling display of a virtual object displayed in an extended workspace where an entity and a virtual object can be operated, Based on the analysis result of the input information to the extended workspace analyzed based on the position information of the information terminal detected in the extended workspace and the display control trigger information for changing the display of the virtual object
  • An operation determining unit that determines an operation process for a virtual object displayed in the extended work space
  • a display control unit that performs display control processing of the virtual object based on the determined operation processing
  • An information processing apparatus comprising: (2) When the operation determination unit determines that a predetermined operation is performed on the information operation surface in the extended work space by the information terminal based on the display control trigger information, the operation determination unit The information processing apparatus according to (1), wherein display control of the virtual object to be controlled is performed.
  • the operation determination unit determines from the analysis result of the input information that the information terminal is placed on the information operation surface, the operation determination unit places the virtual object to be controlled at the position where the information terminal is placed.
  • the information processing apparatus according to (2) which is displayed in a work space.
  • the operation determination unit enables the operation of the virtual object displayed on the information operation surface in the extended work space by placing the information terminal on the information operation surface.
  • the operation determining unit determines that the information terminal is placed on the information operation surface from the analysis result of the input information, and determines that a predetermined operation is performed on the information terminal.
  • the information processing apparatus according to (3) or (4), wherein the virtual object to be controlled designated by the information terminal is displayed in the virtual work space at a position where the information terminal is placed.
  • the operation determining unit displays the information terminal on the information terminal.
  • the information processing apparatus according to any one of (2) to (5).
  • the operation determination unit determines that the information terminal is placed on the information operation surface in the extended work space from the analysis result of the input information, thereby enabling information communication with another extended work space.
  • the operation determining unit It is determined whether or not the user's operation in one of the extended work spaces corresponds to the user's operation in the other extended work space from the analysis result of the input information, The information processing apparatus according to (7), wherein when it is determined that the user's operation in each of the extended work spaces corresponds, execution of a predetermined process is approved.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする。本開示の情報処理装置は、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理装置であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行う表示制御部と、を備える。

Description

情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
　本開示は、情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体に関する。
　紙の上にペンで文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンやスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフを自動生成する、料理に合わせて食材を適切に切られるようカットラインをプロジェクションすることが考えられる。このような処理を実現するためのＡＲアプリケーションとして、例えば特許文献１等に開示された技術がある。
　実世界の上に仮想オブジェクトであるデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。
特開２０１０－２３８０９８号公報
　拡張作業空間で行われる作業として、例えば天気、ニュース、時計、写真等のデジタル情報を机上や壁面等にプロジェクションして拡張作業空間で取り扱うことが考えられる。このような場合において、スマートフォンやタブレット端末、パソコン等のようにホーム画面からアプリケーションを指定して起動し、所望のデジタル情報をプロジェクションすることで拡張作業空間でのデジタル情報の取り扱いを可能とすることができる。しかし、所望のデジタル情報を拡張作業空間で取り扱うために、その都度ホーム画面に切り替え、アプリケーションを選択するという手間が発生する。他の方法として、例えばスマートフォンから特定のアプリケーションを起動して、別のデバイスに転送する方法が考えられるが、複雑な階層メニュー構造から転送したいデバイスを選択するなどの手間が発生する。
　そこで、本開示では、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする、新規かつ改良された情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提案する。
　本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理装置であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行う表示制御部と、を備える、情報処理装置が提供される。
　本開示によれば、拡張作業空間において、情報端末を用いて所定の動作が行われたとき、情報処理装置と情報端末との間で制御対象とされている仮想オブジェクトの表示制御が行われる。これにより、簡単かつ直感的な方法でユーザが操作を行っているようなユーザインフェースを提供できる。
　また、本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される仮想オブジェクトの表示を制御する情報処理方法であって、拡張作業空間で検出される情報端末の位置情報と、仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、拡張作業空間への入力情報の解析結果に基づいて、拡張作業空間に表示される仮想オブジェクトへの操作処理を決定すること、決定された操作処理に基づいて、仮想オブジェクトの表示制御処理を行うこと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータに上記情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。
　以上説明したように本開示によれば、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にする情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提供することができる。
本開示の第１の実施形態に係る拡張作業空間システムの一構成例を示す説明図である。 同実施形態に係る情報認識表示装置の機能構成を示すブロック図である。 情報端末から拡張作業空間へのデジタル情報の取り込み処理を示すフローチャートである。 拡張作業空間から情報端末へ作業面に表示されたデジタル情報の取り去り処理を示すフローチャートである。 拡張作業空間内の作業面と情報端末との間で行われる写真の授受処理を説明する説明図である。 冷蔵庫の扉を拡張作業空間の作業面として利用した例を示す説明図である。 拡張作業空間内に表示されたデジタル情報と情報端末のデジタル情報とが同期されるときの、同期の一例を示す説明図である。 拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面に表示させる一操作例を示す説明図である。 拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面に表示させる他の操作例を示す説明図である。 デジタル情報の授受の誤操作を防止するための操作を説明する説明図である。 本開示の第２の実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理を示す説明図である。 同実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理の他の例を示す説明図である。 同実施形態に係る認証方法の一例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 同実施形態に係る認証方法の他の例を示す説明図である。 認証成立時に操作可能な処理をリスト表示する例を示す説明図である。 デジタル情報に対する排他処理を説明する説明図である。 情報処理部の一ハードウェア構成を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態（デジタル情報の授受）
　　１．１．拡張作業空間システムの構成例
　　１．２．情報認識表示装置の機能構成
　　１．３．拡張作業空間での作業
　２．第２の実施形態（リモートコラボレーション機能）
　　２．１．リモートコラボレーション機能
　　２．２．インタラクティブな認証方法
　３．ハードウェア構成例
　＜１．第１の実施形態＞
　［１．１．拡張作業空間システムの構成例］
　まず、図１を参照して、本開示の第１の実施形態に係る拡張作業空間システムの構成例について説明する。なお、図１は、本実施形態に係る拡張作業空間システムの一構成例を示す説明図である。
　本実施形態に係る拡張作業空間システムは、実世界に存在する実物を認識可能であるとともに、仮想オブジェクトであるデジタル情報を実世界に重畳し、実世界とデジタル情報とが融合する拡張作業空間を構築するシステムである。拡張作業空間システムは、例えば、デジタル情報を拡張作業空間に投影するプロジェクタや、拡張作業空間を撮影するカメラ、拡張作業空間で行われたタッチやピンチイン、ピンチアウト等のジェスチャ認識を行うセンシングデバイス、無線通信装置から構成される。
　例えば図１に示すように、卓上を作業面２とし、プロジェクタ、カメラ、無線通信装置、センシングデバイスを備えた情報認識表示装置１００を卓上に設置して作業面２にデジタル情報を投影することで、拡張作業空間を構築することができる。作業面２は拡張作業空間で情報の操作や表示が行われる情報操作面であり、プロジェクタで投影可能かつカメラで撮像可能な領域をいう。情報認識表示装置１００は、作業面２を含む空間をカメラで撮影し、作業面２で行われるユーザのジェスチャをセンシングデバイスにより認識する。また、プロジェクタによりデジタル情報を作業面２に投影し、実世界に存在する物体にデジタル情報を重畳する。
　拡張作業空間システムにおいて、図１の例では、卓上にプロジェクタを備える情報認識表示装置１００を設置して作業面２にデジタル情報を投影しているが、プロジェクタは卓上に設置されるデスクライトスタンドや天井照明、あるいは壁等に設置してもよい。また、プロジェクタによりデジタル情報を投影する代わりに、例えば、カメラが内蔵されたＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）やシースル型のＨＭＤ等のようにメガネ型のデバイスを用いてもよい。このとき、拡張作業空間に重畳されるデジタル情報は、ユーザが装着するメガネ型のディスプレイ上に重畳される。また、プロジェクタの代替としてカメラおよびディスプレイが内蔵されたスマートフォン等のデバイスを用いて、ディスプレイに表示された、カメラにより撮影されているスルー画像の上に、デジタル情報を重畳して表示してもよい。
　また、センシングデバイスには、例えば作業面２に対して並行に照射された赤外線を検出するＩＲカメラや、ステレオカメラ、奥行き情報を取得可能な特殊センサ等で用いてもよい。また、センシングデバイスには、指等の作業面２への接触を検出するタッチセンサや、超音波と赤外線とを用いてデジタルペンによる筆跡の座標を取得可能なデバイスを用いてもよい。なお、筆跡の座標は、デジタルペンを用いなくとも、通常のペンの筆跡をカメラ等の別のセンサで検出してもよい。
　無線通信装置には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ‐ｆｉ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の外部デバイスと通信可能な装置が用いられる。
　［１．２．情報認識表示装置の機能構成］
　次に、図２に基づいて、情報認識表示装置１００の機能構成について説明する。なお、図２は、本実施形態に係る情報認識表示装置１００の機能構成を示すブロック図である。本実施形態に係る情報認識表示装置１００は、投影部１１０と、検出部１２０と、撮像部１３０と、情報処理部１４０と、通信部１５０とから構成される。
　投影部１１０は、デジタル情報を拡張作業空間に投影する機能部であり、図１で説明したプロジェクタ等により実現される。投影部１１０は、後述する情報処理部１４０からの表示指示を受けて、投影部１１０が設置されている拡張作業空間にデジタル情報を表示する。
　検出部１２０は、拡張作業空間における動き情報を検出する。検出部１２０は、例えば図１で説明したセンシングデバイス等により実現される。検出部１２０は、検出結果を後述する情報処理部１４０へ出力する。
　撮像部１３０は、拡張作業空間を撮影する機能部であり、図１で説明したカメラ等により実現される。撮像部１３０は、撮像画像を後述する情報処理部１４０へ出力する。
　情報処理部１４０は、拡張作業空間における物体の位置や動きを解析し、解析結果に対応して当該拡張作業空間におけるデジタル情報の表示処理を行う。情報処理部１４０は、図２に示すように、解析部１４２と、操作決定部１４４と、表示制御部１４６と、設定記憶部１４８とを備える。
　解析部１４２は、検出部１２０の検出結果および撮像部１３０による撮像画像のうち少なくともいずれか一方の情報に基づいて、拡張作業空間における物体の位置や動きを解析する。例えば、解析部１４２は、検出部１２０による検出結果よりユーザの手の動きの変化を算出する。そして、解析部１４２は、設定記憶部１４８を参照し、特定したユーザの手の動きの変化から、拡張作業空間においてユーザが行ったタッチやピンチイン、ピンチアウト等のジェスチャを特定する。解析部１４２による解析結果はユーザが拡張作業空間で行った操作入力情報であり、当該解析結果に基づいて仮想作業空間へデジタル情報が表示される。解析部１４２は、解析結果を操作決定部１４６へ出力する。
　操作決定部１４４は、解析部１４２の解析結果に基づいて、拡張作業空間におけるデジタル情報の操作内容を決定する。操作決定部１４４は、設定記憶部１４８を参照して、例えば解析部１４２により特定されたユーザのジェスチャに対応するデジタル情報の操作内容を決定する。デジタル情報の操作内容としては、例えば、情報端末のデジタル情報を作業面２にコピーする、作業面２のデジタル情報を情報端末へ移動する、作業面２に表示されているデジタル情報の拡大・縮小、等がある。操作決定部１４４は、決定した操作内容を表示制御部１４６へ出力する。
　表示制御部１４６は、操作決定部１４４により決定された操作内容に基づいて、拡張作業空間のデジタル情報の表示処理を行う。表示制御部１４６は、例えば、情報端末と作業面２との間でのデジタル情報の授受を行うようにみせるための表示処理や、拡張作業空間に表示されたデジタル情報の表示変更処理（拡大、縮小、移動等）等を行う。表示制御部１４６は、デジタル情報に対する表示処理の内容を投影部１１０へ出力し、デジタル情報の表示指示を行う。
　設定記憶部１４８は、情報処理部１４０にて行われる解析やデジタル情報の操作内容等決定するための情報を記憶する。設定記憶部１４８に記憶された情報を参照して、例えば解析部１４２はユーザが拡張作業空間で行った操作入力情報を特定し、操作決定部１４４は拡張作業空間におけるデジタル情報の操作内容を決定する。
　通信部１５０は、他の拡張作業空間の情報認識表示装置１００と情報を送受信する。通信部１５０により他の拡張作業空間の情報認識表示装置１００との情報のやり取りが可能となることで、互いの拡張作業空間の状況をそれぞれの空間に反映させることができる。
　［１．３．拡張作業空間での作業］
　本実施形態に係る情報認識表示装置１００は、拡張作業空間で入力された操作入力情報に応じて、拡張作業空間内にある実物および情報端末でのデジタル情報の操作を制御する装置である。情報認識表示装置１００は、従来デジタル情報を拡張作業空間で取り扱う際に複雑な操作や手間が生じていたことを解決するため、簡単かつ直観的なデジタル情報の取り扱いを可能にするよう制御する。
　まず、図３～図５に基づいて、情報認識表示装置１００による基本的な処理である、拡張作業空間内の作業面２と情報端末との間で行われるデジタル情報の授受処理を説明する。なお、図３は、情報端末２００から拡張作業空間へのデジタル情報の取り込み処理を示すフローチャートである。図４は、拡張作業空間から情報端末２００へ作業面に表示されたデジタル情報の取り去り処理を示すフローチャートである。図５は、拡張作業空間内の作業面２と情報端末２００との間で行われる写真の授受処理を説明する説明図である。
　拡張作業空間内の作業面２と情報端末２００との間でデジタル情報の授受が可能となると、デジタル情報を操作しやすい場所で編集等の作業を行うことができ、作業完了後には持ち運びしやすい情報端末２００に取り込むことも可能となる。なお、情報端末２００とは、例えばスマートフォンやタブレット端末、デジタルカメラ等のデバイス等が考えられる。
　情報端末２００は操作領域に限りがある一方、拡張作業空間内では作業面２を広く確保することが可能である。したがって、例えば、情報端末２００が保持する複数の画像の編集作業を行う場合には、情報端末２００では操作領域の制限から編集対象のみを表示して１つずつ編集することになる。そこで、情報端末２００の保持する画像を作業面２に取り込むことで、取り込んだ複数の画像を作業面２に広げて、他の画像を見ながら同時に編集作業を行うことが可能になる。その他、写真を複数人で閲覧して共有する場合や、画面にメッセージを書き込む場合等、広い作業空間を必要とする場合において、拡張作業空間を利用したデジタル情報の作業は特に有効である。
　なお、以下において、デジタル情報は、動画、音声のようなコンテンツや、ｔｗｉｔｔｅｒ（登録商標）等の情報投稿サービス、時計、ニュース、ゲームのようなアプリケーション等様々な情報を想定している。また、情報端末２００で指定されるデジタル情報は、情報端末２００本体内に保持されていてもよく、クラウド・コンピューティングのように情報端末２００とネットワークを介して通信可能に接続されたサーバに保持されていてもよい。拡張作業空間の情報認識表示装置１００と情報端末２００とは、予め無線通信接続されているものとする。これらの装置のペアリングは、従来行われている操作端末の設定画面を用いた設定方法で行ってもよく、ペアリングする情報端末２００を情報認識表示装置１００に接触させることでペアリングが自動的に行われるタッチペアリングを用いてもよい。
　（１）デジタル情報取り込み処理
　まず、情報端末２００から拡張作業空間内の作業面２に情報端末２００で指定されたデジタル情報を作業面２に取り込む処理について説明する。図３に示すように、まず、ユーザは、情報端末２００を操作して、作業面２への取り込み対象とするデジタル情報を選択する（Ｓ１００）。取り込み対象とするデジタル情報は１つであっても複数であってもよい。図５左側では、デジタル情報として写真を例にとり、情報端末２００の写真を拡張作業空間の作業面２へ取り込む一操作例を示している。この例では、情報端末２００に取り込み対象の写真３００を画面に表示させることで、取り込み対象を選択する。なお、複数の写真を取り込む場合には、ユーザが取り込み対象を決定する操作（例えば、画面を長押しして取り込み対象決定ボタンを表示させ、当該ボタンを押下する、等）を情報端末２００で行えばよい。
　取り込み対象のデジタル情報を選択した後、ユーザは、デジタル情報の取り込みを指示する動作として、拡張作業空間内の作業面２に情報端末２００を置く（Ｓ１０２）。図５左側の例では、ユーザは情報端末２００を作業面２である卓上に置いている。ユーザが情報端末２００を作業面２に置いたことを情報認識表示装置１００が認識すると、作業面２に情報端末２００が置かれたことが表示制御トリガ情報となって取り込み対象のデジタル情報が作業面２に取り込まれる（Ｓ１０４）。デジタル情報の取り込み動作が行われたことを判定する方法としては、例えば画像認識技術を用いる方法やタイムスタンプを用いる方法等が考えられる。
　画像認識技術を用いる方法では、まず、情報端末２００に表示されたデジタル情報を情報認識表示装置１００の撮像部１３０で撮影し、解析部１４２により撮影されたデジタル情報の画像を画像認識する。画像認識は、例えば、情報端末２００に表示されるデジタル情報に対応する登録画像を情報認識表示装置１００に予め登録しておき、撮像部１３０により撮影された画像と登録画像とをマッチングすることで行うことができる。それ以外にも、例えば情報端末２００に表示されたＱＲコード（登録商標）等の２次元バーコードを識別したり、情報端末２００の画面の時系列点灯パターンを識別したりすることによって、取り込み対象のデジタル情報を認識することもできる。画像認識に際して予め取得しておくべき情報は、画像認識表示装置１００の設定記憶部１４８に記録される。
　一方、タイムスタンプを用いる方法では、動きが検出された情報端末２００が静止した時点（「静止判定時点」とする。）のタイムスタンプと、検出部１２０により取得された静止判定時点のタイムスタンプとの時間差から、取り込み動作を判定してもよい。なお、情報端末２００と情報認識表示装置１００との内部時計は予め一致させておく、あるいは内部時計の時間差を予め計測し当該時間差だけいずれか一方のタイムスタンプを補正するものとする。また、タイムスタンプの比較に加え、解析部１４２により情報端末２００が認識する動き情報と情報認識表示装置１００が認識する情報端末２００の動き情報との正規化相互相関を計算し、相関値が最も高い時刻差に基づき取り込み動作の実行を判定してもよい。
　このようなデジタル情報の取り込み動作の実行判定とともに、解析部１４２は、検出部１２０の検出結果から情報端末２００が作業面２に接触したか否かを判定する。そして、操作決定部１４４は、解析部１４２の解析結果より、情報端末２００が作業面２に接触したと判定され、かつ、画像認識より取り込み対象となるデジタル情報が特定されたとき、当該デジタル情報の作業面２への取り込み処理を開始する（Ｓ１０６）。
　具体的には、取り込み対象のデジタル情報が、通信部を介して、情報端末２００から情報認識表示装置１００へ送信される。情報端末２００本体に取り込み対象のデジタル情報を保持していない場合には、当該デジタル情報を保持するサーバ等から情報認識表示装置１００へ送信してもよい。情報認識表示装置１００も、情報認識表示装置１００本体にデジタル情報を記憶していなくともよく、情報端末２００と同様、ネットワークを介して通信可能に接続されたサーバに保持されていてもよい。この場合、情報端末２００は、情報認識表示装置１００のデジタル情報を保持するサーバへ取り込み対象のデジタル情報を送信する。
　ステップＳ１０６では、拡張作業空間の作業面２に取り込み対象のデジタル情報を表示させることで、情報端末２００から作業面２へデジタル情報が取り込まれたとする。表示制御部１４６は、操作決定部１４４がデジタル情報の取り込み処理を開始すると、開始処理を受けて取り込み対象のデジタル情報を保持している機器から当該デジタル情報を取得する。取り込み対象のデジタル情報は、情報端末２００あるいはネットワークを介して通信可能なサーバ等が保持しており、操作決定部１４４は、通信部１５０を介してネットワークに接続し、取り込み対象のデジタル情報を取得する。
　そして、表示制御部１４６は、取得したデジタル情報を投影部１１０に投影させる（Ｓ１０８）。こうして、情報端末２００のデジタル情報を拡張作業空間に取り込むことができる。例えば、図５左側の例において、卓上に置かれた情報端末２００の画面に表示されている写真３００の画像認識が正常に行われ、かつ、情報端末２００が卓上に置かれたことが認識されたとする。この場合、情報端末２００から情報認識表示装置１００へ写真が送信されて、投影部１１０により当該写真が卓上に投影される。ユーザが情報端末２００を卓上から持ち上げたときに情報端末２００に表示された写真が卓上に表示されていることで、ユーザは情報端末２００の写真が拡張作業空間に取り込まれことを認識できる。
　以上、デジタル情報の取り込み処理について説明した。なお、情報端末２００から拡張作業空間の作業面２へのデジタル情報の取り込みは、情報端末２００を情報認識表示装置１００へコピーするものでもよく、情報端末２００のデジタル情報を情報認識表示装置１００へ移動するものであってもよい。情報端末２００のデジタル情報を情報認識表示装置１００へ移動した場合、作業面２にのみデジタル情報を表示させ、情報端末２００側では当該デジタル情報を表示しないようにしてもよい。また、情報端末２００のデジタル情報を情報認識表示装置１００へ移動した場合、情報端末２００側に、情報端末２００のデジタル情報を情報認識表示装置１００へ移動したことを明示する表示情報を表示させるようにしてもよい。これにより、ユーザはデジタル情報が情報端末２００から移動されたことを直観的に認識することができる。このような情報端末２００側の表示制御は、デジタル情報の取り込み処理に応じたタイミングで情報端末２００側の表示を変化させるための情報を情報認識表示装置１００から情報端末２００側へ送信することにより実現される。作業面２に表示されているデジタル情報を情報端末２００で取り去る場合も同等に表示処理してもよい。図５右側に示すように、情報端末２００へデジタル情報が取り去られたときに作業面２からデジタル情報の表示を消去してもよく、情報端末２００へデジタル情報を移したときにも作業面２に当該デジタル情報を表示させていてもよい。さらに、情報端末２００から拡張作業空間の作業面２へ取り込まれたデジタル情報は、作業面２において編集や移動等、自由に操作可能である。拡張作業空間の作業面２で実施可能な操作内容の具体例は後述する。
　（２）デジタル情報取り去り処理
　次に、図４および図５に基づき、拡張作業空間の作業面２に表示されたデジタル情報を情報端末２００で取り去る処理について説明する。図５右側には、デジタル情報として写真を例にとり、拡張作業空間の作業面２の写真を情報端末２００で取り去る一操作例を示している。
　まず、ユーザは、拡張作業空間の作業面２に表示されたデジタル情報から、情報端末２００で取り去るデジタル情報を決定する。そして、ユーザは、デジタル情報を作業面２から取り去る動作として、取り去り対象として決定したデジタル情報の上に情報端末２００を置く（Ｓ１１０）。図５右側の例では、拡張作業空間の作業面２に表示されている写真４００に対して、ユーザは付加オブジェクト４０２として文字列を追加した後、当該写真４００の上に情報端末２００を置いている。ユーザが情報端末２００を作業面２に置いたことを情報認識表示装置１００が認識すると（Ｓ１１２）、作業面２に情報端末２００が置かれたことが表示制御トリガ情報となって取り去り対象のデジタル情報が作業面２から情報端末２００に移動される（Ｓ１１４）。
　このとき、情報端末２００へは、情報端末２００が置かれた時点での、作業面２に表示されている内容のデジタル情報が移動される。例えば図５右側の例では、付加オブジェクト４０２が追加された写真４００が情報端末２００へ移動される。なお、デジタル情報の取り去り動作が行われたことを判定する方法としては、例えば上述の画像認識技術を用いる方法やタイムスタンプを用いる方法等が考えられる。このとき、タイムスタンプを用いる方法では、上述した情報端末２００が静止した時点を判定するのとは逆に、情報端末２００が静止状態から動き始めた時点のタイムスタンプを用いて動作判定が行われる。
　その後、ユーザにより情報端末２００が作業面２から持ち上げられたことが検出されると、操作決定部１４４は、表示制御部１４６に、情報端末２００へ移動されたデジタル情報の表示を作業面２から消去させる（Ｓ１１６）。例えば図５右側の例では、ユーザが卓上に置いた情報端末２００を持ち上げると、作業面２の情報端末２００が置いてあった位置に表示されていた取り去り対象の写真４００の表示が消去される。これにより、ユーザは取り去り対象の写真４００が情報端末２００に移動されたことを視認することができる。また、情報端末２００には、写真４００を取り去る前に作業面２に表示されていた編集後の写真の内容が表示される。以上、デジタル情報の取り去り処理について説明した。なお、上記説明では作業面２に情報端末２００の動きが表示制御トリガ情報となって、デジタル情報の取り込みや取り去りが行われたが、作業面２に情報端末２００が置いてあるという状態を表示制御トリガ情報としてもよい。
　（３）拡張作業空間におけるデジタル情報の操作
　このように、拡張作業空間のデジタル情報を制御する情報認識表示装置１００と情報端末２００との間でデジタル情報の授受ができるようになると、デジタル情報に対する作業内容や利用状態に応じて、様々な場所でデジタル情報を操作することができる。例えば、図６に示すように、冷蔵庫の扉を拡張作業空間における作業面２として利用することもできる。図６の例では、冷蔵庫の扉に情報認識表示装置１００が設置されている。ニュース等の動画アプリケーションを情報端末２００で起動した状態で当該情報端末２００を冷蔵庫の扉にタッチすると、情報端末２００から情報認識表示装置１００へ動画アプリケーションが取り込まれる。こうしてユーザは冷蔵庫の扉に表示された動画アプリケーションを操作して、ニュースを視聴することができる。
　・デジタル情報の同期
　拡張作業空間での作業が可能となったデジタル情報は、当該デジタル情報の取得元である情報端末２００のデジタル情報と同期させてもよく、同期させず独立した情報として取り扱えるようにしてもよい。拡張作業空間内に表示されたデジタル情報と情報端末２００のデジタル情報とを同期させると、例えば拡張作業空間内のデジタル情報の編集内容や操作内容が情報端末２００側にリアルタイムに反映される。また、図７に示すように、情報端末２００側に写真３００ａが表示され、拡張作業空間内の作業面２に写真３００ａに対応する写真４００ａが投影されている状況で、情報端末２００側の操作面で指を移動させてスライド操作が行われたとする。この操作を受けて、情報端末２００に表示されていた写真３００ａがスライドされて次の写真３００ｂが情報端末２００に表示されるとともに、作業面２でも写真４００ａから写真３００ｂに対応する写真４００ｂに表示が変更される。
　・実物に関連付けられたデジタル情報の利用
　また、上述の説明では、デジタル情報の授受は、情報認識表示装置１００と情報端末２００との間で行われたが、情報認識表示装置１００は、情報端末２００以外にも、本や雑誌、新聞等、実物を認識し、認識された実物に対応するデジタル情報を取得してもよい。例えば、実物の雑誌が拡張作業空間内の作業面２上に置かれると、撮像部１３０により撮影された雑誌の画像が設定記憶部１５０に予め記憶されている登録情報とマッチングされる。このとき、表紙等のように実物を特定しやすい部分を用いて実物を認識するようにしてもよい。解析部１４２は、雑誌の画像がある登録情報と一致すると判定すると、操作決定部１４４に当該登録情報に関連付けられたデジタル情報（すなわち、認識された雑誌のデジタル情報）を、ネットワークを介して取得させる。取得された雑誌のデジタル情報は、表示制御部１４６を経由して、投影部１１０により作業面２に投影される。
　作業面２に表示された雑誌のデジタル情報は、情報端末２００での操作と同様、作業面２に対してユーザがデジタル情報を操作するジェスチャを行うことで操作することができる。例えば図８に示すように、作業面２に雑誌のデジタル情報４２０が表示されているとき、ユーザがデジタル情報４２０の表示されている領域で指をスライドさせると、スライド方向に応じて、デジタル情報４２０で表示されている雑誌のページがめくられる。このように、拡張作業空間の実物を認識し、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面２に表示させることも可能であり、当該デジタル情報を操作することもできる。
　拡張作業空間内の実物を認識して、認識された情報に関連付けられたデジタル情報を拡張作業空間の作業面２に表示させる他の例として、実物に設けられた２次元バーコードの識別によりデジタル情報を表示させてもよい。図９に、２つの算数の問題の回答表示方法の例を示す。図９左側の例では、拡張作業空間の作業面２に置かれた答案用紙４３０の上で指をスライドさせると、答案用紙４３０に回答が表示される。この例では、指をスライドする動作が回答表示指示となっており、解析部１４２により認識された答案用紙４３０の内容と拡張作業空間でのユーザの動作とに基づき操作決定部１４４は答案用紙４３０の問題に対応する回答を答案用紙４３０に表示する。
　あるいは、図９右側の例では、拡張作業空間の作業面２に置かれた答案用紙４３０の上に、回答表示指示を示す２次元バーコード５０２が記載された用紙５００を答案用紙４３０上に置くことで回答表示させてもよい。情報認識表示装置１００は、用紙５００の２次元バーコードを識別し、問題の解答を用紙５００に表示させる。用紙５００の２次元バーコード５０２は、問題毎に対応するものであってもよく、複数の問題に対して共通のものであってもよい。
　このように、実物に関連付けられたデジタル情報を拡張作業空間に表示させる操作は、例えば、スーパーマーケットの広告を認識して各商品の詳細情報を表示させたり、映画のトレーラの表示を認識して動画を再生させたりすることにも利用できる。
　・誤操作防止処理
　情報認識表示装置１００と情報端末２００との間でのデジタル情報の授受は、情報端末２００を作業面２に置いて離すという動作により実行される。ここで、情報端末２００を卓上等に置く動作は頻繁に行われる動作でもあるため、デジタル情報の授受を目的としていない場合にも取り込み動作や取り去り動作が行われたと認識され、意図しないデジタル情報の授受が行われる可能性もある。そこで、デジタル情報の授受を行うことを明示する動作を行うことで、意図しないデジタル情報の授受を防止してもよい。
　例えば図１０に示すように、拡張作業空間の作業面２に情報端末２００が置かれているとする。情報端末２００から情報認識表示装置１００へのデジタル情報の取り込みについて考えると、図３に示したフローチャートでは、作業面２に置かれた情報端末２００を持ち上げると取り込み対象のデジタル情報が情報認識表示装置１００へ取り込まれる。このとき、意図しないデジタル情報の取り込みを防止するために、例えば、作業面２に置かれた情報端末２００を作業面２側に押し込む動作が行われたときに、初めて情報認識表示装置１００へのデジタル情報の取り込みを開始する。情報端末２００への押し込み動作が行われた後当該情報端末２００が持ち上げられたことが認識されると、取り込み対象のデジタル情報が情報認識表示装置１００に取り込まれる。
　一方、作業面２に置かれた情報端末２００への押し込み動作が行われずに当該情報端末２００が持ち上げられると、情報端末２００のデジタル情報は情報認識表示装置１００に取り込まれない。したがって、情報端末２００を持ち上げた後の作業面２には、情報端末２００のデジタル情報は表示されないことになる。
　図１０に示す例では、誤操作防止のために行うデジタル情報授受の指示を明示的な動作により行ったが、例えば、ジェスチャ認識と音声認識とを組み合わせて、図３あるいは図４の処理において音声でデジタル情報の取り込みや取り去りを指示してもよい。
　以上、第１の実施形態に係る拡張作業空間システムの構成と、拡張作業空間で行われるデジタル情報の授受処理について説明した。本実施形態によれば、簡単かつ直観的な方法で実世界とデジタル情報とが融合された拡張作業空間において、デジタル情報の取り扱いを可能にすることができる。
　＜２．第２の実施形態＞
　［２．１．リモートコラボレーション機能］
　次に、図１１を参照して、本開示の第２の実施形態に係る拡張作業空間システムの機能について説明する。本実施形態に係る拡張作業空間システムは、複数の拡張作業空間の情報を相互に共有できる機能（「リモートコラボレーション機能」ともいう。）を実現する。
　拡張作業空間で行われる作業の１つとして、離れた位置にある拡張作業空間同士をネットワークで接続し協調作業することも考えられる。例えば、離れた位置にあるユーザの作業空間の机上の映像を別のユーザの作業空間の上に重畳することで、それぞれのユーザに拡張作業空間を提供し、協調作業を実現できると考える。この際、簡単に協調作業を行う拡張作業空間を構築することができ、また、協調作業空間においては、お互いの状況を確認しながら、より手軽でかつ直感的に協調作業を実現できることが望まれる。そこで、リモートコラボレーション機能により他の拡張作業空間での作業状況を認識しながら、ユーザは自身の作業を行うことができるようにする。なお、図１１は、本実施形態に係る拡張作業空間システムにおけるリモートコラボレーション機能の起動処理を示す説明図である。
　図１１では、２つの拡張作業空間を共有する手順を示している。各拡張作業空間は、それぞれの空間に設置された情報認識表示装置１００Ａ、１００Ｂにより構築される。なお、情報認識表示装置１００Ａ、１００Ｂの機能構成は、図２に示した第１の実施形態に係る情報認識表示装置１００と同様とする。情報認識表示装置１００Ａ、１００Ｂはネットワークを介して通信可能な状態である。なお、以下では、符号１００Ａを第１の情報認識表示装置、符号１００Ｂを第２の情報認識表示装置とする。本実施形態では、ユーザが情報端末２００を拡張作業空間内の作業面２に置いて持ち上げる動作を行ったことが検出されると、他の拡張作業空間の情報共有を開始する。これにより簡単な動作で複数の拡張作業空間の情報を共通させることができる。
　具体的には、第１の情報認識表示装置１００Ａの設置された拡張作業空間の作業面２に、情報端末２００が置かれ、その後持ち上げられたとする。この動作の判定は、例えば第１の実施形態にて説明した、画像認識技術を用いる方法やタイムスタンプを用いる方法等を用いることができる。第１の情報認識表示装置１００Ａは、情報端末２００が置かれ、その後持ち上げられた動作を認識すると、第２の情報認識表示装置１００Ｂに対して情報共有の開始を要求する。第２の情報認識表示装置１００Ｂは、第１の情報認識表示装置１００Ａからの要求を受けて、第１の情報認識装置１００Ａの置かれた第１の拡張作業空間の映像を受信し、第２の拡張作業空間に表示する。こうして、第２の拡張作業空間には、第１の拡張作業空間がデジタル情報として表示される。
　図１１に示す例では、第１の拡張作業空間の作業面２Ａに情報端末２００が置かれたときに、第１の実施形態にて説明した機能によりデジタル情報の授受が情報端末２００と第１の情報認識表示装置１００Ａとの間で行われる。情報端末２００が作業面２Ａから離隔されると、作業面２Ａには情報端末２００から取り込まれたデジタル情報、例えば写真４００Ａが表示される。このとき、第１の情報認識表示装置１００Ａと第２の情報認識表示装置１００Ｂとの間でリモートコラボレーション機能が機能しているので、第２の拡張作業空間の作業面２Ｂに、第１の拡張作業空間に表示されている写真４００Ａが同様に表示される。
　第１の拡張作業空間の映像が第２の拡張作業空間にデジタル情報として表示されると、第１の拡張作業空間の映像も第１の拡張作業空間にデジタル情報として表示されるようになる。例えば図１１に示すように、第２の拡張作業空間のユーザＢが作業面２Ｂに表示されている写真４００Ｂを指差すと、ユーザＢの手ＨＢの映像が第２の情報認識表示装置１００Ｂから第１の情報認識表示装置１００Ａへ出力される。そして、第１の拡張作業空間には、ユーザＢの手がデジタル情報ＨＢ＿Ｉとして表示される。これにより、第１の拡張作業空間のユーザＡは、ユーザＢが写真４００Ｂを指差していることを認識できる。
　このように、リモートコラボレーション機能によって複数の拡張作業空間の状況やユーザの動作を互いに認識することができるようになり、例えば１つの作業を複数のユーザで意思を確認しながら進めることも可能となる。
　なお、図１１の例では、情報共有する各拡張作業空間にデジタル情報４００Ａ、４００Ｂを表示させたが、例えば図１２に示すように、第１の拡張作業空間の作業面２Ａに置いた情報端末２００の実物のデジタル情報を第２の拡張作業空間に表示させてもよい。この場合、リモートコラボレーション機能の開始は、例えば情報端末２００が作業面２Ａに置かれたときとなる。リモートコラボレーション機能が機能すると、作業面２Ａに置かれた情報端末２００の映像が、デジタル情報２００＿Ｉとして第２の拡張作業空間の作業面２Ｂに表示される。
　［２．２．インタラクティブな認証方法］
　例えば、上述した図１１の例において、リモートコラボレーション機能により、第２の拡張作業空間のユーザＢはそのデジタル情報に対して指を指したり触ったりといった動作をすることができる。このとき、第１の情報認識表示装置１００Ａが保持するデジタル情報は、第２の拡張作業空間側で操作可能にしてもよい。この場合、第２の情報認識表示装置１００Ｂでも当該デジタル情報を保持していることが必要であり、所定のタイミングで第１の情報認識表示装置１００Ａから第２の情報認識表示装置１００Ｂへ送信されている。所定のタイミングは、例えばリモートコラボレーション機能が開始したときであってもよく、ユーザ間で情報の操作について同意がとれたときであってもよい。
　ユーザ間の同意は、認証機能を用いて確認することができる。本実施形態に係る拡張作業空間システムでは、複数の拡張作業空間の情報共通が可能であることを利用して認証を行うことができる。図１３に、本実施形態に係る認証方法の一例を示す。この例では、各拡張作業空間の手の重なりに基づき認証判定を行う。
　例えば、認証を要求する側のユーザ（ユーザＢ）が、認証要求動作として手のひらを上に向けて拡張作業空間の作業面２Ｂ上に手を置いたとする。そうすると、認証の要求を受けた側のユーザ（ユーザＡ）の拡張作業空間には、ユーザＢの手のデジタル情報ＨＢ＿Ｉが表示される。ユーザＡは、ユーザＢの認証要求を受ける場合、作業面２Ａに表示されたユーザＢの手のデジタル情報ＨＢ＿Ｉ上に手のひらを重ねるようにして手ＨＡを置く。情報認識表示装置１００Ａは、手形状認識によりユーザＡの手ＨＡとユーザＢの手ＨＢ＿Ｉとが重なり合っているか否かを判定し、重なり合っていると判定した場合にユーザＢの要求を認証する。
　認証要求動作は、例えば図１４に示すように、親指と人差し指とを向い合せる動作であってもよい。この場合、認証の要求を受けた側のユーザ（ユーザＡ）は、ユーザＢの手のデジタル情報ＨＢ＿Ｉの親指と人差し指とにそれぞれ自分の親指と人差し指とを合わせるように手ＨＡを置くことで、認証要求に応えることができる。
　あるいは、認証動作は、指示された認証領域において指を重ね合う動作であってもよい。例えば図１５に示すような、ゲーム内の物品を交換する場合等において、ユーザＡからユーザＢへ品物Ｘを渡すとする。このとき、ユーザＡの作業面２ＡおよびユーザＢの作業面２Ｂには、図１５上に示すような認証案内が表示される。認証案内には、承認を確認するメッセージが表示されており、承認する場合には承認エリア４６０に指をタッチさせる動作を行うことが記載されている。このメッセージを受けてユーザＡおよびユーザＢがそれぞれ認証動作を行うと、相手の拡張作業空間に認証動作を行う手が表示される。これにより、相手の動きを見ながら認証動作を行うことができ、例えば図１５に示すように、ユーザＡはユーザＢが承認したことを確認してから認証動作を行うこともできる。
　更には、認証動作は、ある拡張作業空間にて入力された情報と同一情報を他の拡張作業空間で入力する動作であってもよい。例えばユーザのペンの筆跡を検出可能な場合には、複数の拡張作業空間にて入力された筆跡を比較し、一致する場合には承認するといった認証処理を行うことができる。一例として、図１６に示すように、認証要求動作として、一方のユーザ（例えばユーザＢ）が作業面２Ｂにおいてペンで入力を行ったとする。情報認識表示装置１００Ｂは、作業面２Ｂのペンの筆跡を取得すると、筆跡情報を認証要求とともに他のユーザ（例えばユーザＡ）側の情報認証表示装置１００Ａへ出力する。
　情報認証表示装置１００Ａは、認証要求を受けて、作業面２ＡにユーザＢのペンの筆跡を表すデジタル情報ＬＢ＿Ｉを作業面２Ａに表示させる。ユーザＡは、承認する場合には、作業面２Ａに表示されたデジタル情報ＬＢ＿Ｉをペン４でなぞり、デジタル情報ＬＢ＿Ｉと同一の図形を入力する。情報認識表示装置１００Ａは、ユーザＡのペン４の筆跡がデジタル情報ＬＢ＿Ｉと同一であると判定すると、ユーザＡが承認したとして、情報認証表示装置１００Ｂへ通知する。これにより、ユーザＡおよびユーザＢとの間で認証が成立する。
　このように、本実施形態に係る拡張作業空間システムにおいては、各拡張作業空間の情報を共有可能であることを利用して、各ユーザの認証動作を確認しながら認証処理を行うことができる。このため、ユーザは直観的に認証処理を行うことができ、各ユーザの認証動作を確認しながら処理を進めることができるので安心して認証動作を行うことができる。
　認証によって行われる動作は、例えばユーザ間でデジタル情報を共有したり、削除したり、第三者との共有を可能にする等、多岐の操作を行うことも可能となる。例えば、ユーザＡ側の第１の情報認識表示装置１００Ａにて保持するデジタル情報を、他の拡張作業空間のユーザＢ側の情報端末２００Ｂでも取り去りする場合を考える。このとき、ユーザＢ側の情報端末２００Ｂでのデジタル情報の取り去りを許可するための認証動作として、取り去り対象のデジタル情報の上でお互いの情報端末を重ねる動作を行ってもよい。
　例えば図１７に示すように、ユーザＡ側の第１の情報認識表示装置１００Ａにて写真４５０Ａのデジタル情報を保持しているとする。写真４５０Ａは、リモートコラボレーション機能により、他の拡張作業空間のユーザＢ側の作業面２Ｂにも表示されているとする。ユーザＢ側の情報端末２００Ｂで写真４５０Ａを取り去る場合にはユーザＡの許可が必要であり、認証要求動作として、ユーザＢは作業面２Ｂに表示されている写真の上に情報端末２００Ｂを置く。この動作はユーザＡ側の作業面２Ａに表示され、ユーザＡは、作業面２Ａに表示されたユーザＢの動作を見て、当該写真４５０Ａの取り去り要求があったことを認識する。
　そして、ユーザＢの要求を承認する場合、ユーザＡは自身の情報端末２００Ａを作業面２Ａに表示された情報端末２００Ｂのデジタル情報２００Ｂ＿Ｉの上に重ねる。第１の情報認識表示装置１００Ａは、ユーザＡの動作より、写真４５０Ａに対してユーザＢが情報端末２００Ｂを取り去ることを承認したと判定すると、判定結果を第２の情報認証表示装置１００Ｂへ通知する。これにより、ユーザＡおよびユーザＢとの間で認証が成立し、情報端末２００Ｂに写真４５０Ａがコピーされる。
　また、認証動作によって実行可能な操作が複数ある場合には、例えばユーザ間の認証が成立した際に実行可能な操作をリスト表示してもよい。図１８に示す例では、図１７と同様、ユーザＡ側の第１の情報認識表示装置１００Ａにて保持されている写真４５０Ａが、リモートコラボレーション機能により、他の拡張作業空間のユーザＢ側の作業面２Ｂにも表示されているとする。ユーザＢが作業面２Ｂに表示されている写真の上に指を置き、かつユーザＡもユーザＢの指の上に自身の指を置くと、ユーザＡおよびユーザＢとの間で認証が成立する。このとき、第１の情報認識表示装置１００Ａは、ユーザ間の認証が成立した際に実行可能な操作のリスト７００を作業面２Ａに表示する。このリスト７００は、ユーザＢ側の作業面２Ｂにも表示される。
　リスト７００には、例えばデジタル情報の共有を可能にしたり（Ｓｈｅｒｅ）、デジタル情報を削除したり（Ｄｅｌｅｔｅ）といった項目がある。このリスト７００が表示されると、デジタル情報を保持していない側のユーザ（本例ではユーザＢ）も操作可能となったデジタル情報の共有や削除を行うことができるようになる。
　なお、複数のユーザ間で１つのデジタル情報を操作可能となった場合、当該デジタル情報に対して複数のユーザが同時に操作しようとする可能性もある。デジタル情報は同時に操作可能であってもよく、特定のユーザのみが操作可能であってもよい。特定のユーザのみの操作を可能する方法としては、排他処理を行えばよく、例えば先に操作を行ったユーザからの操作を有効とし、このユーザの操作が終了するまでは他のユーザの操作を排除するようにしてもよい。
　例えば図１９に示すように、第１の情報認識表示装置１００Ａと第２の情報認識表示装置１００Ｂとの間でリモートコラボレーション機能が機能しているとき、ユーザＡが作業面２Ａに表示された写真４００Ａを指で触り操作したとする。このとき、第１の情報認識表示装置１００Ａは、第２の情報認識表示装置１００ＢへユーザＢ側の作業面２Ｂに表示されている写真４００Ｂに対する操作を排除するよう指示する。第２の情報認識表示装置１００Ｂは、排除指示を受けて、写真４００Ｂに対する操作を排除する。このとき、写真４００Ｂに対する操作が排除されることをユーザＢに通知してもよく、通知方法としては例えば図１９のような写真４００Ｂのマスキングや音声等を用いることができる。
　以上、本実施形態に係る拡張作業空間システムのリモートコラボレーション機能について説明した。このような機能によって複数の拡張作業空間の状況やユーザの動作を互いに認識することができるようになり、１つの作業を複数のユーザで意思を確認しながら進めることが可能となる。
　＜３．ハードウェア構成例＞
　上述の実施形態に係る情報認識表示装置１００の情報処理部１４０による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理部１４０は、図２０に示すように構成することもできる。以下、図２０に基づいて、情報処理部１４０の一ハードウェア構成例について説明する。
　情報処理部１４０は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部１４０は、図２０に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理部１４０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部１４０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
　ストレージ装置９０８は、情報処理部１４０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理部１４０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、上記実施形態において、情報処理部１４０は情報認識表示装置１００に設けたが、本技術はかかる例に限定されず、情報処理部１４０あるいはこれを構成する機能の一部のみを例えばネットワークに接続されたサーバ上に設けてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置であって、
　前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
　決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
を備える、情報処理装置。
（２）　前記操作決定部は、前記表示制御トリガ情報に基づき前記情報端末によって前記拡張作業空間内の情報操作面に対して所定の動作が行われたと判定されたとき、前記表示制御部に対して制御対象とされている前記仮想オブジェクトの表示制御を行わせる、前記（１）に記載の情報処理装置。
（３）　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定したとき、前記情報端末が置かれた位置に制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、前記（２）に記載の情報処理装置。
（４）　前記操作決定部は、前記情報操作面に前記情報端末が置かれたことにより、前記拡張作業空間内における、前記情報操作面へ表示された前記仮想オブジェクトの操作を可能とする、前記（３）に記載の情報処理装置。
（５）　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定し、かつ、当該情報端末に対して所定の動作が行われたと判定したとき、前記情報端末が置かれた位置に当該情報端末にて指定された制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、前記（３）または（４）に記載の情報処理装置。
（６）　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に表示されている制御対象の前記仮想オブジェクト上に前記情報端末が置かれたと判定したとき、当該情報端末に表示させる、前記（２）～（５）のいずれか１項に記載の情報処理装置。
（７）　前記操作決定部は、前記入力情報の解析結果より前記拡張作業空間内の情報操作面に前記情報端末が置かれたと判定したことにより、他の拡張作業空間との情報通信を可能とし、
　前記表示制御部は、前記各拡張作業空間内の情報を反映して表示する、前記（２）に記載の情報処理装置。
（８）　前記操作決定部は、
　前記入力情報の解析結果より一の前記拡張作業空間におけるユーザの動作と他の前記拡張作業空間におけるユーザの動作とが対応するか否かを判定し、
　前記各拡張作業空間におけるユーザの動作が対応すると判定したとき、所定の処理の実行を承認する、前記（７）に記載の情報処理装置。
　２　　　　作業面
　１００　　情報認識表示装置
　１１０　　投影部
　１２０　　検出部
　１３０　　撮像部
　１４０　　情報処理部
　１４２　　解析部
　１４４　　操作決定部
　１４６　　表示制御部
　１４８　　設定記憶部
　１５０　　通信部
　２００　　情報端末

Claims (10)

  1. 　実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置であって、
    　前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
    　決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
    を備える、情報処理装置。
  2. 　前記操作決定部は、前記表示制御トリガ情報に基づき前記情報端末によって前記拡張作業空間内の情報操作面に対して所定の動作が行われたと判定されたとき、前記表示制御部に対して制御対象とされている前記仮想オブジェクトの表示制御を行わせる、請求項１に記載の情報処理装置。
  3. 　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定したとき、前記情報端末が置かれた位置に制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、請求項２に記載の情報処理装置。
  4. 　前記操作決定部は、前記情報操作面に前記情報端末が置かれたことにより、前記拡張作業空間内における、前記情報操作面へ表示された前記仮想オブジェクトの操作を可能とする、請求項３に記載の情報処理装置。
  5. 　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に前記情報端末が置かれたと判定し、かつ、当該情報端末に対して所定の動作が行われたと判定したとき、前記情報端末が置かれた位置に当該情報端末にて指定された制御対象の前記仮想オブジェクトを前記仮想作業空間に表示させる、請求項３に記載の情報処理装置。
  6. 　前記操作決定部は、前記入力情報の解析結果より前記情報操作面に表示されている制御対象の前記仮想オブジェクト上に前記情報端末が置かれたと判定したとき、当該情報端末に表示させる、請求項２に記載の情報処理装置。
  7. 　前記操作決定部は、前記入力情報の解析結果より前記拡張作業空間内の情報操作面に前記情報端末が置かれたと判定したことにより、他の拡張作業空間との情報通信を可能とし、
    　前記表示制御部は、前記各拡張作業空間内の情報を反映して表示する、請求項２に記載の情報処理装置。
  8. 　前記操作決定部は、
    　前記入力情報の解析結果より一の前記拡張作業空間におけるユーザの動作と他の前記拡張作業空間におけるユーザの動作とが対応するか否かを判定し、
    　前記各拡張作業空間におけるユーザの動作が対応すると判定したとき、所定の処理の実行を承認する、請求項７に記載の情報処理装置。
  9. 　実体と仮想オブジェクトとを操作可能な拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理方法であって、
    　前記拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定すること、
    　決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行うこと、
    を含む、情報処理方法。
  10. 　コンピュータに、
    　実体と仮想オブジェクトとを操作可能な拡張作業空間で検出される情報端末の位置情報と、前記仮想オブジェクトの表示を変化させるための表示制御トリガ情報とに基づき解析された、前記拡張作業空間への入力情報の解析結果に基づいて、前記拡張作業空間に表示される仮想オブジェクトへの操作処理を決定する操作決定部と、
    　決定された前記操作処理に基づいて、前記仮想オブジェクトの表示制御処理を行う表示制御部と、
    を備える、前記拡張作業空間内に表示される前記仮想オブジェクトの表示を制御する情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
PCT/JP2013/078100 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 Ceased WO2014073345A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201380057285.6A CN104756065B (zh) 2012-11-09 2013-10-16 信息处理装置、信息处理方法以及计算机可读记录介质
US14/440,383 US9753534B2 (en) 2012-11-09 2013-10-16 Information processing apparatus, information processing method, and computer-readable recording medium
EP20166778.9A EP3734426A1 (en) 2012-11-09 2013-10-16 Information processing apparatus, information processing method, and computer-readable recording medium
EP13852761.9A EP2919103B1 (en) 2012-11-09 2013-10-16 Information processing device, information processing method and computer-readable recording medium
JP2014545627A JPWO2014073345A1 (ja) 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US15/612,487 US9933848B2 (en) 2012-11-09 2017-06-02 Information processing apparatus, information processing method for controlling display of virtual object
US15/890,717 US10209770B2 (en) 2012-11-09 2018-02-07 Information processing apparatus and information processing method
US16/238,701 US10528124B2 (en) 2012-11-09 2019-01-03 Information processing apparatus, information processing method, and computer-readable recording medium
US16/695,728 US11036286B2 (en) 2012-11-09 2019-11-26 Information processing apparatus, information processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-247940 2012-11-09
JP2012247940 2012-11-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/440,383 A-371-Of-International US9753534B2 (en) 2012-11-09 2013-10-16 Information processing apparatus, information processing method, and computer-readable recording medium
US15/612,487 Continuation US9933848B2 (en) 2012-11-09 2017-06-02 Information processing apparatus, information processing method for controlling display of virtual object

Publications (1)

Publication Number Publication Date
WO2014073345A1 true WO2014073345A1 (ja) 2014-05-15

Family

ID=50684457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078100 Ceased WO2014073345A1 (ja) 2012-11-09 2013-10-16 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

Country Status (5)

Country Link
US (5) US9753534B2 (ja)
EP (2) EP3734426A1 (ja)
JP (1) JPWO2014073345A1 (ja)
CN (1) CN104756065B (ja)
WO (1) WO2014073345A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206978A (ja) * 2015-04-23 2016-12-08 シャープ株式会社 表示システム、その制御装置、及び、表示方法
WO2018155199A1 (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、プログラム
EP3343338A4 (en) * 2015-08-24 2019-05-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP2024178153A (ja) * 2020-09-25 2024-12-24 アップル インコーポレイテッド 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12535875B2 (en) 2021-01-04 2026-01-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140292636A1 (en) * 2013-03-29 2014-10-02 Plantronics, Inc. Head-Worn Infrared-Based Mobile User-Interface
KR101954749B1 (ko) * 2014-04-01 2019-03-06 삼성전자주식회사 냉장고 및 그 제어방법
TWI506534B (zh) * 2014-12-09 2015-11-01 Awind Inc 具有低資料傳輸量的鏡射顯示系統及其方法
CN104731332B (zh) * 2015-03-24 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP2016194756A (ja) * 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
DE102016124277A1 (de) * 2016-04-19 2017-10-19 Patty's Gmbh Verfahren zum Ermitteln und Anzeigen von Produkten auf einer elektronischen Anzeigeeinrichtung
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
CN106851235A (zh) * 2017-01-25 2017-06-13 触景无限科技（北京）有限公司 台灯的互动展示方法及装置
CN106817574A (zh) * 2017-01-25 2017-06-09 触景无限科技（北京）有限公司 一种台灯的图像处理方法及装置
CN106775361A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 台灯的互动方法、装置及系统
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
CN112698778A (zh) * 2021-03-23 2021-04-23 北京芯海视界三维科技有限公司 设备间目标传输方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675735A (ja) * 1992-08-27 1994-03-18 Matsushita Electric Ind Co Ltd 共有画面制御装置
JPH0749936A (ja) * 1993-08-05 1995-02-21 Mitsubishi Electric Corp 共有画面システム
JPH1165975A (ja) * 1997-08-11 1999-03-09 Fuji Xerox Co Ltd 共同作業支援システム
JP2005031448A (ja) * 2003-07-04 2005-02-03 Fuji Xerox Co Ltd 情報表示システムおよび情報表示方法
JP2008242367A (ja) * 2007-03-29 2008-10-09 Fuji Xerox Co Ltd 表示制御装置、表示装置、表示システム及びプログラム
JP2009534751A (ja) * 2006-04-20 2009-09-24 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． デジタル装置を対話式表示面とインタフェースさせる方法及びシステム
JP2010238098A (ja) 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7152092B2 (en) * 1999-05-05 2006-12-19 Indeliq, Inc. Creating chat rooms with multiple roles for multiple participants
JP2002202941A (ja) * 2000-08-25 2002-07-19 4C Soft Inc マルチメディア電子学習システムおよび学習方法
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US7249123B2 (en) * 2002-10-31 2007-07-24 International Business Machines Corporation System and method for building social networks based on activity around shared virtual objects
US8285785B2 (en) * 2004-11-19 2012-10-09 Nokia Corporation Method, apparatus and computer program product providing graphical user interface that facilitates management of multiple simultaneous communication sessions
US20070100939A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Method for improving attentiveness and participation levels in online collaborative operating environments
US20070100986A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Methods for improving interactive online collaboration using user-defined sensory notification or user-defined wake-ups
US20090046140A1 (en) * 2005-12-06 2009-02-19 Microvision, Inc. Mobile Virtual Reality Projector
JP2007286780A (ja) 2006-04-14 2007-11-01 Fuji Xerox Co Ltd 電子会議システム、電子会議支援プログラム及び方法、電子会議制御装置
US20100082990A1 (en) * 2008-09-29 2010-04-01 Microsoft Corporation Establishment of a relationship between wireless devices
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US20120274550A1 (en) * 2010-03-24 2012-11-01 Robert Campbell Gesture mapping for display device
US8549413B2 (en) * 2010-04-08 2013-10-01 International Business Machines Corporation Discriminating among resources to share
US9235268B2 (en) * 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace
KR101663015B1 (ko) * 2010-04-09 2016-10-07 삼성전자 주식회사 프로젝션 디바이스의 프로젝션 모드 운용 방법 및 장치
US9529523B2 (en) * 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US20140253486A1 (en) * 2010-04-23 2014-09-11 Handscape Inc. Method Using a Finger Above a Touchpad During a Time Window for Controlling a Computerized System
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9178981B2 (en) * 2010-12-22 2015-11-03 Lg Electronics Inc. Mobile terminal and method of sharing information therein
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5732988B2 (ja) * 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9983785B2 (en) * 2011-07-28 2018-05-29 Hewlett-Packard Development Company, L.P. Input mode of a device
BR112014002186B1 (pt) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9544723B2 (en) * 2012-10-15 2017-01-10 Smart Technologies Ulc System and method to display content on an interactive display surface
JP6018509B2 (ja) * 2013-01-16 2016-11-02 アズビル株式会社 情報表示装置、方法、およびプログラム
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
US10104276B2 (en) * 2014-07-31 2018-10-16 Hewlett-Packard Development Company, L.P. Projector as light source for an image capturing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675735A (ja) * 1992-08-27 1994-03-18 Matsushita Electric Ind Co Ltd 共有画面制御装置
JPH0749936A (ja) * 1993-08-05 1995-02-21 Mitsubishi Electric Corp 共有画面システム
JPH1165975A (ja) * 1997-08-11 1999-03-09 Fuji Xerox Co Ltd 共同作業支援システム
JP2005031448A (ja) * 2003-07-04 2005-02-03 Fuji Xerox Co Ltd 情報表示システムおよび情報表示方法
JP2009534751A (ja) * 2006-04-20 2009-09-24 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． デジタル装置を対話式表示面とインタフェースさせる方法及びシステム
JP2008242367A (ja) * 2007-03-29 2008-10-09 Fuji Xerox Co Ltd 表示制御装置、表示装置、表示システム及びプログラム
JP2010238098A (ja) 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2919103A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206978A (ja) * 2015-04-23 2016-12-08 シャープ株式会社 表示システム、その制御装置、及び、表示方法
EP3343338A4 (en) * 2015-08-24 2019-05-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2018155199A1 (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2024178153A (ja) * 2020-09-25 2024-12-24 アップル インコーポレイテッド 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP7763303B2 (ja) 2020-09-25 2025-10-31 アップル インコーポレイテッド 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12567199B2 (en) 2020-09-25 2026-03-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12535875B2 (en) 2021-01-04 2026-01-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Also Published As

Publication number Publication date
US10528124B2 (en) 2020-01-07
US9753534B2 (en) 2017-09-05
US11036286B2 (en) 2021-06-15
EP3734426A1 (en) 2020-11-04
CN104756065A (zh) 2015-07-01
JPWO2014073345A1 (ja) 2016-09-08
EP2919103B1 (en) 2020-04-01
US20170269682A1 (en) 2017-09-21
EP2919103A4 (en) 2016-07-06
US20190138084A1 (en) 2019-05-09
US20180164875A1 (en) 2018-06-14
US20200097074A1 (en) 2020-03-26
CN104756065B (zh) 2018-11-13
US9933848B2 (en) 2018-04-03
US20150338913A1 (en) 2015-11-26
US10209770B2 (en) 2019-02-19
EP2919103A1 (en) 2015-09-16

Similar Documents

Publication Publication Date Title
CN104756065B (zh) 信息处理装置、信息处理方法以及计算机可读记录介质
US9729635B2 (en) Transferring information among devices using sensors
KR102135052B1 (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
KR102319417B1 (ko) 협업 서비스를 제공하는 서버 및 방법, 그리고 협업 서비스를 제공받는 사용자 단말
US9117274B2 (en) System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US20120290943A1 (en) Method and apparatus for distributively managing content between multiple users
WO2014073346A1 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
CN106537326A (zh) 用于辅助显示器的移动设备输入控制器
WO2016099563A1 (en) Collaboration with 3d data visualizations
US20140152543A1 (en) System, data providing method and electronic apparatus
US20170212906A1 (en) Interacting with user interfacr elements representing files
US20120242589A1 (en) Computer Interface Method
CN106293563B (zh) 一种控制方法和电子设备
JP2014110061A (ja) システムおよびデータ提供方法並びに電子機器
US10359975B2 (en) Information processing device and non-transitory computer readable medium
JP6187547B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2024114069A1 (zh) 一种多设备协同控制的方法、显示设备及系统
JP2018109831A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
Cardoso et al. Interaction tasks and controls for public display applications
JP2018072914A (ja) 情報処理装置、情報処理システム、その制御方法、及びプログラム
JPWO2016046902A1 (ja) 手書き情報を共有するためのシステム、方法及びプログラム
WO2025174377A1 (en) Mixed reality annotation on a physical display screen
CN121764325A (zh) 基于手势的内容选择和传输
JP6312044B2 (ja) 情報表示制御装置及びプログラム
TW201430687A (zh) 多媒體檔案分享系統及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852761

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013852761

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014545627

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14440383

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE