WO2021045181A1 - 通信装置、および通信方法 - Google Patents
通信装置、および通信方法 Download PDFInfo
- Publication number
- WO2021045181A1 WO2021045181A1 PCT/JP2020/033555 JP2020033555W WO2021045181A1 WO 2021045181 A1 WO2021045181 A1 WO 2021045181A1 JP 2020033555 W JP2020033555 W JP 2020033555W WO 2021045181 A1 WO2021045181 A1 WO 2021045181A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sensing
- signal
- unit
- information
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/02—Selection of wireless resources by user or terminal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
- H04W72/044—Wireless resource allocation based on the type of the allocated resource
- H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/50—Allocation or scheduling criteria for wireless resources
- H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
Definitions
- This disclosure relates to a communication device and a communication method.
- a method of sensing the surrounding situation for example, a method of detecting ambient light using a camera or the like, or a method of irradiating the surrounding with light, infrared rays, ultrasonic waves, etc. and detecting reflected light, infrared rays, ultrasonic waves, etc. and so on. Further, in recent years, a method of sensing the surrounding situation using radio waves has been proposed.
- the purpose, use, and usage environment for using spatial sensing are diversifying.
- one aspect of the present disclosure provides a communication transmission device and a communication transmission method capable of sensing the surroundings using radio waves. Further, another aspect of the present disclosure provides a communication device and a communication method that operate according to a communication protocol for controlling the time and frequency of performing ambient sensing using radio waves. Another aspect of the present disclosure provides a device, system, method for presenting information to a user according to the result of sensing the surroundings using radio waves, light, infrared rays, ultrasonic waves, or the like. Another aspect of the present disclosure is to control the operation of the device according to the result of sensing the surroundings using any one or a combination of two or more of radio waves, light, infrared rays, ultrasonic waves, and the like. Provides equipment, systems and methods.
- Another aspect of the present disclosure is an apparatus that generates data based on the result of sensing the surroundings using any one or a combination of two or more of radio waves, light, infrared rays, ultrasonic waves, and the like.
- Provide system and method another aspect of the present disclosure is generated based on the result of sensing the surroundings or the result of sensing using any one or a combination of two or more of radio waves, light, infrared rays, ultrasonic waves, and the like.
- another aspect of the present disclosure is to use any one or a combination of two or more of radio waves, light, infrared rays, ultrasonic waves, etc. to perform processing such as control of a device.
- Provided are devices, systems, and methods for acquiring sensing results or data generated based on the sensing results from other devices or servers.
- the communication device is a communication device which is a first device that senses the second device by radio waves, and receives a frame transmitted by the second device by radio waves and uses the received frame.
- the communication unit that senses the second device and the frequency of the radio wave transmitted by the second device are selected from a plurality of predetermined frequencies, the selected frequency is notified to the second device, and the frequency is described. It includes a control unit that controls the communication unit to perform the sensing using a frequency.
- a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. And any combination of recording media may be realized.
- Some of the plurality of aspects included in the present disclosure can promote the realization and popularization of ambient sensing using radio waves.
- the present disclosure can promote the realization and popularization of new services that utilize ambient sensing using any one or a combination of two or more of radio waves, light, infrared rays, ultrasonic waves, and the like.
- one or a plurality of control of device operation, control of information presented to the user, data generation, etc. are performed based on the state, shape, operation, etc. of a person or object in the real space.
- improving user convenience simplifying input operations by users, automating processing, providing new services, detecting events occurring in real space that were previously difficult to detect, etc. Contribution in one or more aspects is expected.
- FIG. 1 is a diagram showing an example of the configuration of the detection device according to the first embodiment.
- FIG. 2 is a diagram showing an example of the configuration of the detection device according to the first embodiment.
- FIG. 3 is a diagram showing an example of the configuration of the detection device according to the first embodiment.
- FIG. 4 is a diagram showing a modified example of the configuration of the detection device according to the first embodiment.
- FIG. 5 is a diagram showing a modified example of the configuration of the detection device according to the first embodiment.
- FIG. 6 is a diagram showing a modified example of the configuration of the detection device according to the first embodiment.
- FIG. 7 is a diagram showing an example of a configuration for separating the detection device according to the first embodiment.
- FIG. 1 is a diagram showing an example of the configuration of the detection device according to the first embodiment.
- FIG. 2 is a diagram showing an example of the configuration of the detection device according to the first embodiment.
- FIG. 3 is a diagram showing an example of the configuration of the detection device according to the
- FIG. 8 is a diagram showing an example of a configuration for separating the detection device according to the first embodiment.
- FIG. 9 is a diagram showing an example of a configuration for separating the detection device according to the first embodiment.
- FIG. 10 is a diagram showing an example of a configuration for separating the detection device according to the first embodiment.
- FIG. 11 is a diagram showing an example of the state of the device according to the second embodiment.
- FIG. 12 is a diagram showing an example of a frame configuration according to the second embodiment.
- FIG. 13 is a diagram showing an example of a frame configuration according to the second embodiment.
- FIG. 14 is a diagram showing an example of the configuration of the device according to the third embodiment.
- FIG. 15 is a diagram showing an example of the configuration of the device according to the third embodiment.
- FIG. 16 is a diagram showing an example of the configuration of the device according to the third embodiment.
- FIG. 17 is a diagram showing an example of the system configuration according to the fourth embodiment.
- FIG. 18 is a diagram showing an example of the configuration of the device according to the fourth embodiment.
- FIG. 19 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 20 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 21 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 22 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 23 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 24 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 24 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 25 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 26 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 27 is a diagram showing an example of the configuration of the frame according to the fourth embodiment.
- FIG. 28 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 29 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 30 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 31 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 32 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 33 is a diagram showing an example of the configuration of the frame according to the fourth embodiment.
- FIG. 34 is a diagram showing an example of the configuration of the frame according to the fourth embodiment.
- FIG. 35 is a diagram showing an example of the configuration of the frame according to the fourth embodiment.
- FIG. 36 is a diagram showing an example of a frame configuration according to the fourth embodiment.
- FIG. 37 is a diagram showing an example of the configuration of the frame according to the fourth embodiment.
- FIG. 38 is a diagram showing an example of the configuration of the control system according to the fifth embodiment.
- FIG. 39 is a diagram showing an example of the configuration of the control system according to the fifth embodiment.
- FIG. 40 is a diagram showing an example of the appearance of the control system according to the fifth embodiment.
- FIG. 41 is a diagram showing an example of processing of the control system according to the fifth embodiment.
- FIG. 42 is a diagram showing an example of the configuration of the transmission device according to the sixth embodiment.
- FIG. 43 is a diagram showing an example of processing of the transmission device according to the sixth embodiment.
- FIG. 44 is a diagram showing an example of the configuration of the device according to the seventh embodiment.
- FIG. 45 is a diagram showing an example of the relationship between the device and the person in the seventh embodiment.
- FIG. 46 is a diagram showing an example of a state of a person, a terminal, and a device in the seventh embodiment.
- FIG. 47 is a diagram showing an example of a state of a person, a terminal, and a device in the seventh embodiment.
- FIG. 48 is a diagram showing an example of the relationship between the device, the terminal, and the person in the seventh embodiment.
- FIG. 49 is a diagram showing an example of the relationship between the device, the terminal, and the person in the seventh embodiment.
- FIG. 50 is a diagram showing an example of the state of each device according to the eighth embodiment.
- FIG. 51 is a flowchart of an operation example when the AP is installed in the house according to the eighth embodiment.
- FIG. 52 is a flowchart of an operation example of the AP in the eighth embodiment.
- FIG. 53 is a flowchart of an operation example of the system according to the eighth embodiment.
- FIG. 54 is a flowchart of an operation example of the AP and the cloud server according to the eighth embodiment.
- FIG. 55 is a diagram showing an example of the state of each device according to the ninth embodiment.
- FIG. 56 is a flowchart of an operation example when the AP is installed in the house according to the ninth embodiment.
- FIG. 57 is a flowchart of an operation example of the AP according to the ninth embodiment.
- FIG. 58 is a flowchart of an operation example of the system according to the ninth embodiment.
- FIG. 59 is a flowchart of an operation example of the AP and the cloud server according to the ninth embodiment.
- FIG. 60 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
- FIG. 61 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
- FIG. 62 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
- FIG. 63 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
- FIG. 64 is a diagram showing a sensing method in each embodiment.
- FIG. 65 is a diagram showing a sensing method in each embodiment.
- FIG. 66 is a diagram showing an example of the configuration of the system according to the eleventh embodiment.
- FIG. 67 is a diagram showing an example of the configuration of the system according to the eleventh embodiment.
- FIG. 68 is a diagram showing an example of the configuration of the first device according to the eleventh embodiment.
- FIG. 69 is a diagram showing an example of the configuration of the first device according to the eleventh embodiment.
- FIG. 70 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 70 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 71 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 72 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 73 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 74 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 75 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 76 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 77 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 78 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 79 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 80 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 81 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 82 is a flowchart showing an example of the operation of the first device according to the eleventh embodiment.
- FIG. 83 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 84 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 85 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 86 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 87 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 88 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 89 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 90 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 91 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 92 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 91 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 92 is a diagram showing a display example of the monitor unit according to the eleventh
- FIG. 93 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 94 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 95 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 96 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 97 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 98 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 99 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 100 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 100 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 101 is a diagram showing a display example of the monitor unit according to the eleventh embodiment.
- FIG. 102 is a diagram showing an apparatus that communicates with the second apparatus according to the twelfth embodiment.
- FIG. 103 is a diagram showing a display example of the monitor unit according to the twelfth embodiment.
- FIG. 104 is a diagram showing a display example of the monitor unit according to the twelfth embodiment.
- FIG. 105 is a diagram showing a map according to the thirteenth embodiment.
- FIG. 106 is a diagram showing a map according to the thirteenth embodiment.
- FIG. 107 is a diagram showing an example of how the display is switched in the thirteenth embodiment.
- FIG. 108 is a diagram showing an example of a state of switching the display in the thirteenth embodiment.
- FIG. 109 is a diagram showing an example of how the display is switched in the thirteenth embodiment.
- FIG. 110 is a diagram showing an example of the configuration of the system according to the fourteenth embodiment.
- FIG. 111 is a diagram showing an example of a transmission status according to the fourteenth embodiment.
- FIG. 112 is a diagram showing an example of a transmission status according to the fourteenth embodiment.
- FIG. 113 is a diagram showing an example of a frame configuration according to the fourteenth embodiment.
- FIG. 114 is a diagram showing an example of a frame configuration according to the fourteenth embodiment.
- FIG. 115 is a diagram showing an example of a frame configuration according to the fourteenth embodiment.
- FIG. 116 is a diagram showing an example of a state of the device according to the fifteenth embodiment.
- FIG. 110 is a diagram showing an example of the configuration of the system according to the fourteenth embodiment.
- FIG. 111 is a diagram showing an example of a transmission status according to the fourteenth embodiment.
- FIG. 117 is a diagram showing an example of a state of the device according to the seventeenth embodiment.
- FIG. 118 is a diagram showing an example of a state of the device according to the eighteenth embodiment.
- FIG. 119 is a diagram showing an example of a state of the device according to the nineteenth embodiment.
- FIG. 120 is a diagram showing an example of a sensing system or a sensing and communication system according to the twentieth embodiment.
- FIG. 121 is a diagram showing a configuration example of information regarding the sensing capability in the 20th embodiment.
- FIG. 122 is a diagram showing an example of the operation of the device and the target according to the twentieth embodiment.
- FIG. 123 is a diagram showing an example of the operation of the device and the target according to the twentieth embodiment.
- FIG. 124A is a diagram showing an example of the operation of the device and the target according to the twentieth embodiment.
- FIG. 124B is a diagram showing an example of the operation of the device and the target according to the twentieth embodiment.
- FIG. 125A is a diagram showing an example of a state when the device according to the twentieth embodiment is performing a sensing operation.
- FIG. 125B is a diagram showing an example of a state when the device according to the twentieth embodiment is performing a sensing operation.
- FIG. 126 is a diagram showing an example of the state of sensing and the communication system in the 21st embodiment.
- FIG. 127 is a diagram showing an example of a configuration of a signal transmitted by the apparatus according to the twenty-first embodiment.
- FIG. 128A is a diagram showing an example of the configuration of the control information symbol according to the 21st embodiment.
- FIG. 128B is a diagram showing an example of the configuration of the sensing symbol in the 21st embodiment.
- FIG. 129 is a diagram showing an example of the configuration of a signal transmitted by the apparatus according to the twenty-first embodiment.
- FIG. 130 is a diagram showing an example of a configuration of a signal transmitted by the device according to the 21st embodiment.
- FIG. 131 is a diagram showing an example of the configuration of the device and the target according to the 21st embodiment.
- FIG. 132 is a diagram showing a configuration example related to the transmitting antenna according to the 21st embodiment.
- FIG. 133 is a diagram showing a specific example of a frame of a signal for sensing transmitted by the apparatus according to the twenty-first embodiment.
- FIG. 134 is a diagram showing an example of the configuration of a sensing signal transmitted by using the antenna in the 21st embodiment.
- FIG. 135 is a diagram showing a configuration example of a signal for sensing transmitted using the antenna and parameters in the 21st embodiment.
- FIG. 136 is a diagram showing an example of the configuration of the system according to the 22nd embodiment.
- FIG. 137A is a diagram showing an example of an operation when charging the vehicle according to the 22nd embodiment.
- FIG. 137B is a diagram showing an example of an operation when charging the vehicle according to the 22nd embodiment.
- FIG. 137C is a diagram showing an example of an operation when charging the vehicle according to the 22nd embodiment.
- FIG. 137D is a diagram showing an example of an operation when charging the vehicle according to the 22nd embodiment.
- FIG. 138A is a diagram showing an example of an operation of ending charging of the vehicle according to the 22nd embodiment.
- FIG. 138B is a diagram showing an example of an operation of ending charging of the vehicle according to the 22nd embodiment.
- FIG. 139 is a diagram showing an example of the configuration of the system according to the 22nd embodiment.
- FIG. 140 is a diagram showing an example of the configuration of the system according to the 23rd embodiment.
- FIG. 141A is a diagram showing an example of an operation of releasing the door lock of the vehicle according to the 23rd embodiment.
- FIG. 141B is a diagram showing an example of an operation of releasing the door lock of the vehicle according to the 23rd embodiment.
- FIG. 142 is a diagram showing an example of the configuration of the system according to the 23rd embodiment.
- FIG. 143A is a diagram showing an example for operating the vehicle drive system according to the 23rd embodiment.
- FIG. 143B is a diagram showing an example for operating the vehicle drive system according to the 23rd embodiment.
- FIG. 144 is a diagram showing an example of the configuration of the system according to the 24th embodiment.
- FIG. 145A is a diagram showing an example of the operation of the device according to the 25th embodiment.
- FIG. 145B is a diagram showing an example of the operation of the device according to the 25th embodiment.
- FIG. 146 is a diagram showing an example of the operation of the device according to the 25th embodiment.
- FIG. 147 is a diagram showing an example of the configuration of sensing-related information in the 25th embodiment.
- FIG. 148A is a diagram showing an example of a frame according to the 25th embodiment.
- FIG. 148B is a diagram showing an example of a frame according to the 25th embodiment.
- FIG. 149 is a diagram showing an example of the configuration of the system according to the 26th embodiment.
- FIG. 150 is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 151A is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 151B is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 151C is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 151D is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 152A is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 152B is a diagram showing an example of the configuration of the device according to the 27th embodiment.
- FIG. 153A is a diagram showing an example of display in the 27th embodiment.
- FIG. 153B is a diagram showing an example of display in the 27th embodiment.
- FIG. 154A is a diagram showing an example of display in the 27th embodiment.
- FIG. 154B is a diagram showing an example of display in the 27th embodiment.
- FIG. 155 is a diagram showing an example of the configuration of the system according to the 28th embodiment.
- FIG. 156A is a diagram showing an example of a target region according to the 28th embodiment.
- FIG. 156B is a diagram showing an example of transmitting a sensing signal according to the 28th embodiment.
- FIG. 156C is a diagram showing an example of receiving a sensing signal according to the 28th embodiment.
- FIG. 156D is a diagram showing an example of receiving a sensing signal according to the 28th embodiment.
- FIG. 157A is a diagram showing an example of the distance for each region in the 28th embodiment.
- FIG. 157B is a diagram showing an example of the distance for each region in the 28th embodiment.
- FIG. 157C is a diagram showing an example of the distance for each region in the 28th embodiment.
- FIG. 157D is a diagram showing an example of the distance for each region in the 28th embodiment.
- FIG. 158A is a diagram showing an example of a target region according to the 28th embodiment.
- FIG. 158B is a diagram showing an example of transmitting a sensing signal according to the 28th embodiment.
- FIG. 158C is a diagram showing an example of transmitting a sensing signal according to the 28th embodiment.
- FIG. 159 is a diagram showing an example of a signal transmitted by the apparatus according to the 28th embodiment.
- FIG. 160A is a diagram showing an example of the configuration of the device according to the 29th embodiment.
- FIG. 160B is a diagram showing an example of the configuration of the device according to the 29th embodiment.
- FIG. 161 is a diagram showing an example of speaker arrangement according to the thirtieth embodiment.
- FIG. 162 is a diagram showing a configuration example of information regarding the sensing capability in each embodiment.
- FIG. 163 is an explanatory diagram of position measurement or estimation using triangulation in each embodiment.
- the communication device is a communication device which is a first device that senses a second device by radio waves, and receives a frame transmitted by the second device by radio waves and uses the received frame.
- the communication unit that senses the second device and the frequency of the radio wave transmitted by the second device are selected from a plurality of predetermined frequencies, the selected frequency is notified to the second device, and the frequency is described. It includes a control unit that controls the communication unit to perform the sensing using a frequency.
- the communication device (that is, the first device) notifies the frequency of the radio wave transmitted by the second device to be sensed, and senses the second device at the notified frequency.
- the frequency of radio waves suitable for sensing depends on the distance between the first device and the second device, or the radio environment around one or both of the first device and the second device. Therefore, since the frequency used for sensing is configured to be selectable from a plurality of frequencies, the first device can appropriately sense the second device. In this way, the first device can perform ambient sensing.
- control unit may select the frequency independently of the frequency used by the communication unit for communication.
- the communication device selects a frequency independently of the frequency used for communication. Therefore, the first device can select a frequency suitable for sensing of the second device regardless of what frequency is used for communication. Therefore, the first device can perform ambient sensing more appropriately.
- the sensing may include at least a process of detecting the position of an object, a process of detecting the presence or absence of an object, or a process of detecting the outer shape of an object by analyzing the radio wave received by the communication unit. ..
- the communication device (that is, the first device) can more easily receive the transmission device by the process of detecting the position of the object, the process of detecting the presence or absence of the object, or the process of detecting the outer shape of the object.
- the surrounding sensing results can be obtained.
- the communication device is a communication device which is a second device sensed by radio waves to the first device, and includes a communication unit that transmits a frame for sensing by radio waves and the first device.
- a control unit may be provided which receives a notification of the frequency from the communication unit and controls the communication unit to transmit the frame by radio waves using the frequency indicated by the notification.
- the communication device receives the notification of the frequency of the radio wave transmitted by the second device from the first device whose sensing target is the second device, and indicates in the received notification. It is sensed by the first device by transmitting a radio wave having a frequency.
- the frequency of radio waves suitable for sensing depends on the distance between the first device and the second device, or the radio environment around one or both of the first device and the second device. Therefore, since the second device is configured to be able to transmit the frequency notified from the first device, it can be the target of sensing by the first device. In this way, the second device can be sensing by the first device.
- the communication unit may transmit a frame including a preamble and not including a data field as the frame.
- the radio wave transmission time can be shortened.
- the communication method is a communication method executed by a communication device which is a first device that senses a second device by radio waves, and the second device receives and receives a frame transmitted by radio waves.
- the communication step of sensing the second device using the frame and the frequency of the radio wave transmitted by the second device are selected from a plurality of predetermined frequencies, and the selected frequency is notified to the second device. It also includes a control step that controls the sensing to be performed in the communication step using the frequency.
- the communication method is a communication method executed by a communication device which is a second device sensed by radio waves to the first device, and includes a communication step of transmitting a frame for the sensing by radio waves.
- Embodiment 1 a configuration of a detection device capable of detecting the positions of surrounding objects, the positional relationship between a plurality of objects, the distance to the objects, and the like will be described.
- the detection device is also referred to as a transmission device.
- FIG. 1 shows an example of the configuration of the detection device according to the present embodiment.
- the transmission device Y101 inputs the control signal Y100.
- the control signal Y100 is, for example, information of "start of operation of object detection", information of "end of operation of object detection”, information of "start of storage of still image or moving image", “end of storage of still image or moving image”. Contains information for controlling the operation of one or more configurations included in the detector, such as information about.
- the transmitting device Y101 When the control signal Y100 includes the information of "start of operation of object detection", the transmitting device Y101 generates M modulated signals used for estimating the arrival direction of radio waves in the receiving device Y106, and transmits M. Output a signal. That is, Y102_M is output from the transmission signal Y102_1. In addition, M is an integer of 1 or more. Then, the transmission signal Y102_i is output as a radio wave from the antenna Y103_i. In addition, i is an integer of 1 or more and M or less. Further, the antenna Y103_i may be composed of one antenna or a plurality of antennas. The antenna Y103_i composed of a plurality of antennas may have a function of performing directivity control.
- the modulated signal transmitted from the transmitting device Y101 is reflected by an object in the radial direction or the radial range. Then, the receiving device Y106 receives this reflected wave. Therefore, the receiving device Y106 inputs "received signal group Y105_N received by antenna Y104_N" from "received signal group Y105_1 received by antenna Y104_1".
- N is an integer of 1 or more.
- the antenna Y104_i is composed of a plurality of antennas. Therefore, in the following description, the signal received by the antenna Y104_i is referred to as "received signal group Y105_i". For example, when the antenna Y104_i is composed of 16 antennas, the received signal group Y105_i is composed of 16 received signals.
- the receiving device Y106 estimates the arrival direction of the received signal group Y105_1, and estimates the distance of the object by using the time when the transmitting device Y101 transmits the modulated signal and the time when the received signal group Y105_1 is obtained. .. Therefore, the receiving device Y106 outputs the object estimation information Y107_1.
- the distance in the term "distance of an object" in the above description means, for example, a distance between an object and a detection device.
- the value calculated as the distance is considered, for example, the distance between the object and the antenna, the distance between the object and the center position of the plurality of antennas, the distance between the object and the sensor unit described later, and the like. Be done.
- the "distance of the object” may be, for example, the distance between the point or region where the modulation signal is reflected in the object and the detection device. Further, for example, when a plurality of modulated signals are transmitted at the same time, the “distance of the object” may be measured at the same time at each of a plurality of points or regions in one object.
- the receiving device Y106 estimates the arrival direction for the received signal group Y105_i, and estimates the distance of the object by using the time when the transmitting device Y101 transmits the modulated signal and the time when the received signal group Y105_i is obtained. To do. Therefore, the receiving device Y106 outputs the object estimation information Y107_i.
- i is an integer of 1 or more and N or less.
- the first processing unit Y108 inputs the object estimation information Y107_N from the object estimation information Y107_1. For example, the first processing unit Y108 performs detailed object estimation from the object estimation information Y107_1 using the object estimation information Y107_N, and outputs the object estimation signal Y109.
- the display unit Y113 inputs the image information Y124 and the area information Y111 for limiting the area for recognizing the object, associates the image with the area for recognizing the object, and outputs the area signal Y114.
- the association between the image and the area for recognizing the object means, for example, "designating the area for recognizing the object in the image obtained by the display unit Y113". Further, the association between the image and the area for recognizing the object is described by, for example, "identifying the area where the first processing unit Y108 performs the object recognition according to the area specified by the image obtained by the display unit Y113". There may be.
- the selection unit Y112 inputs the area information Y111 and the area signal Y114 for limiting the area for recognizing the object. Then, the selection unit Y112 determines the area for detecting the object based on the area information Y111 and the area signal Y114, and outputs the selection area signal Y115. The selection unit Y112 does not have to limit the area for detecting the object. In this case, the selection unit Y112 does not have to output the selection area signal Y115, and “limits the area for detecting the object”.
- the selection area signal Y115 may include the information "not".
- the display unit Y113 exists" and “the display unit Y113 outputs the area signal Y114", but such a configuration is not required.
- the display unit Y113 uses a touch panel function (a device that combines a display device such as a panel such as a liquid crystal and a position input device such as a touch pad) on a screen such as a liquid crystal to specify an object detection area by the user. It may be limited accordingly.
- the second processing unit Y116 inputs the object estimation signal Y109, the selection area signal Y115, and the image information Y124. At this time, the second processing unit Y116 shall perform the first processing method and the second processing method.
- the second processing unit Y116 may implement either the first processing method or the second processing method, and may perform the first processing method and the second processing method depending on the situation. You may switch and perform the process. Further, the second processing unit Y116 may generate auxiliary information for storing distance information of a plurality of positions in the object estimation signal Y109.
- the auxiliary information is, for example, a plurality of "position information corresponding to an object that is a shooting candidate", and the second processing unit Y116 is "a shooting target" from a plurality of "position information corresponding to a shooting candidate object”. "Position information corresponding to the object” may be selected.
- the second processing unit Y116 recognizes the object from the image information Y124. Then, the second processing unit Y116 estimates the distance between each recognized object and the detection device based on the recognition information of this object and the object estimation signal Y109, and outputs the estimated distance information Y117.
- the second processing unit Y116 may limit the area recognized by the object by the selection area signal Y115. Further, the second processing unit Y116 may limit the object for which the distance is estimated by the selection area signal Y115.
- the second processing unit Y116 estimates the distance between each object and the detection device from the object estimation signal Y109 and the image information Y124, and outputs the estimated distance information Y117.
- the second processing unit Y116 may limit the area recognized by the object by the selection area signal Y115. Further, the second processing unit Y116 may limit the object for which the distance is estimated from the selection area signal Y115.
- the lens control unit Y110 inputs the object estimation signal Y109 and the estimated distance information Y117. Then, the lens control unit Y110 controls the lens-related operation by "using either the object estimation signal Y109 and the estimated distance information Y117" or “using either the object estimation signal Y109 or the estimated distance information Y117". For example, "control of the focal length with respect to the target object”, "control of the focus of the lens with respect to the target object”, “control of the direction in which the target object is photographed”, etc. are determined, and the motion control signal is determined. Output Y118.
- the lens unit Y119 receives the motion control signal Y118 as an input, and controls the lens-related motion based on the motion control signal Y118, for example, "control of the focal length with respect to the target object” and “control of the lens with respect to the target object”. It performs control such as "focus control” and "control of the direction in which the target object is photographed", and outputs the object signal Y120.
- the object signal Y120 is an optical signal.
- the shutter unit Y121 receives the control signal Y100 and the object signal Y120 as inputs, controls the shutter operation based on the control signal Y100, and outputs the controlled object signal Y122.
- the sensor unit Y123 receives the controlled object signal Y122 as an input, converts an optical / electrical signal, for example, and outputs image information Y124.
- a CCD (Charge-Coupled Device) image sensor for example, a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, an organic CMOS image sensor, or the like can be used.
- CCD Charge-Coupled Device
- CMOS Complementary Metal Oxide Semiconductor
- the storage unit Y125 receives the control signal Y100 and the image information Y124 as inputs, and stores the image information, for example, a moving image or a still image based on the control signal Y100.
- the storage unit Y125 may store the image information acquired by the sensor unit Y123 as it is, or may store the coded data encoded by using the image coding technique.
- the storage unit Y125 may store the analysis data obtained as a result of performing signal processing on the image in addition to the image information or instead of the image information.
- the analysis data is, for example, whether or not the detection target is photographed for any preset detection target such as a person, an animal, a car, or a drone, that is, whether or not the detection target stays in the photographing area.
- Information includes information on attributes such as the color and size of the detection target, and information on the direction of the detection target, movement route, speed, staying time, or behavior such as what is being done and what is being viewed. May include.
- the information regarding the attributes may be the estimated gender or age for a person, or may be the vehicle type, the number of passengers, the amount of loaded luggage, or the like for a car or the like.
- the detection device in the present embodiment it is possible to estimate the distance to the object using radio waves. Further, according to the detection device in the present embodiment, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed is clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device in the present embodiment, for example, even in a dark surroundings, there is a possibility that the distance to the object can be estimated and the reliability of the estimation of the distance to the object can be improved. Further, by estimating the distance to the object by radio waves and estimating the distance to the object based on the optical signal (image), it is possible to obtain the effect that the distance estimation can be performed with higher accuracy or reliability. It may also be possible.
- FIG. 2 shows a configuration example of a detection device different from that of FIG.
- the same numbers are assigned to those operating in the same manner as in FIG. 1, and the description thereof will be omitted.
- the sensor unit Y200 with a shutter function inputs the control signal Y100 and the object signal Y120.
- the sensor unit Y200 with a shutter function receives the control signal Y100 as an input, controls the operation of the shutter based on the control signal Y100, and generates image information Y124 by, for example, converting an optical / electrical signal. ,Output.
- Examples of the shutter of the sensor unit Y200 with a shutter function include an electronic shutter and a global shutter.
- the distance to an object can be estimated using radio waves. Further, according to the detection device having the above configuration, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed can be clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated and the reliability of the estimation of the distance to the object can be improved even in a dark surrounding environment. In addition, by estimating the distance to the object by radio waves and estimating the distance to the object based on the optical signal (image), it is possible to estimate the distance with higher accuracy or reliability. It may also be possible to obtain.
- FIG. 3 shows a configuration example of a detection device different from that of FIGS. 1 and 2.
- the same numbers are assigned to those operating in the same manner as in FIGS. 1 and 2, and the description thereof will be omitted.
- the characteristic point is that "the detection device includes both the shutter unit Y121 and the sensor unit Y200 with a shutter function”.
- the shutter unit Y121 is composed of a mechanical shutter such as a focal plane shutter.
- the shutter provided in the sensor unit Y200 with a shutter function is assumed to be an electronic shutter or a global shutter.
- the sensor unit Y200 with a shutter function receives the control signal Y100 as an input, and when the operation information included in the control signal Y100 is in the moving mode, the shutter function provided by the sensor unit Y200 with a shutter function operates. On the other hand, when the shutter unit Y121 receives the control signal Y100 as an input and the operation information included in the control signal Y100 is in the moving mode, the shutter unit Y121 does not operate the shutter, that is, the shutter is open. It becomes.
- the sensor unit Y200 with a shutter function receives the control signal Y100 as an input, and when the operation information included in the control signal Y100 is in the still image mode, the control signal Y100 includes, for example, shutter speed information. It shall be.
- the sensor unit Y200 with a shutter function operates the shutter function of the sensor unit Y200 with a shutter function according to the shutter speed information.
- the shutter unit Y121 receives the control signal Y100 as an input, and when the operation information included in the control signal Y100 is in the still image mode, the control signal Y100 includes, for example, shutter speed information. And. In the still image mode, the shutter unit Y121 operates the shutter function according to the shutter speed information.
- the distance to an object can be estimated using radio waves. Further, according to the detection device having the above configuration, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed can be clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated and the reliability of the estimation of the distance to the object can be improved even in a dark surrounding environment. In addition, by estimating the distance to the object by radio waves and estimating the distance to the object based on the optical signal (image), it is possible to estimate the distance with higher accuracy or reliability. It may also be possible to obtain.
- FIG. 4 is a diagram showing a modified example of FIG.
- the second processing unit Y116 inputs the object estimation signal Y109, the selection area signal Y115, the image information Y124, and the data group Y403. At this time, the second processing unit Y116 recognizes the object from the image information Y124 based on the data group Y403. Then, the second processing unit Y116 estimates the distance between each recognized object and the detection device which is the figure itself based on the recognition information of the object and the object estimation signal Y109, and outputs the estimated distance information Y117.
- the second processing unit Y116 may limit the object for which the distance is estimated by the selection area signal Y115.
- image information Y124 for example, a process of detecting a part of a body such as a person or a person's face, a process of identifying a person, a car, a drone, or the like. Examples include processing for detecting an object, processing for identifying an object such as a car or drone, processing for detecting the movement or movement of a detected person or object, and processing for tracking a detected person or object. ..
- the image information Y124 may be one or a plurality of still images, or may be a moving image composed of a plurality of frames continuously acquired at predetermined timings.
- one or a plurality of feature quantities obtained by predetermined calculation processing determined according to the purpose of the signal processing are extracted from the image information Y124, and the extracted feature quantity is to be recognized. It is performed based on the result of comparison with the known features corresponding to the object and its operation. Further, these signal processes may be performed based on the determination result of whether or not the extracted feature amount exceeds a predetermined threshold value. Further, these signal processes may be performed based on signal processing other than those illustrated above, and may be performed by, for example, a model created by machine learning using a neural network having a multi-layer structure. When using a model created by machine learning using a multi-layered neural network, preprocess the imaging data for moving images and then use the preprocessed data as a multi-layered neural network. You may use it to enter into a model created by machine learning.
- the second processing unit Y116 may output data to the inquiry data unit Y402. For example, based on this data, the inquiry data unit Y402 may reduce the amount of output data of the data group Y403.
- the object estimation signal Y109 may be used to recognize the object.
- the object estimation signal Y109 does not have to be composed only of the distance information, and may include information such as the reflectance obtained by analyzing the received signal group Y105_i, for example.
- the second processing unit Y116 may output the object recognition information Y404.
- the communication device Y400 receives the object recognition information Y404 as an input, generates a modulation signal including this data, and transmits it to the communication device of the communication partner.
- the communication device of the communication partner is connected to the server, for example, and the server obtains the object recognition information Y404 from the modulation signal transmitted by the communication device Y400, creates the object recognition database, and creates the server.
- Shall generate a modulated signal including this database via the communication device and transmit it to the communication device Y400.
- the communication device Y400 receives this modulated signal, acquires the object recognition database Y401, and outputs it to the inquiry data unit Y402. Then, the inquiry data unit Y402 takes the object recognition database Y401 as an input, and updates the data group Y403 for object recognition performed by the second processing unit Y116.
- the distance to an object can be estimated using radio waves. Further, according to the detection device having the above configuration, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed can be clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated and the reliability of the estimation of the distance to the object can be improved even in a dark surrounding environment. In addition, by estimating the distance to the object by radio waves and estimating the distance to the object based on the optical signal (image), it is possible to estimate the distance with higher accuracy or reliability. It may also be possible to obtain.
- the accuracy and reliability in object recognition can be improved by the mechanism for updating the database used for object recognition, and as a result, the accuracy and reliability of distance estimation are improved. Can contribute to. Further, when object recognition is performed using information obtained by using radio waves in addition to image information, the accuracy and reliability in object recognition may be improved.
- FIG. 5 is a modification of FIG. 2, and the same numbers are assigned to those that operate in the same manner as in FIGS. 1, 2 and 4, and the description thereof will be omitted. Since the operation of each part in FIG. 5 has already been described, the description thereof will be omitted.
- FIG. 6 is a modification of FIG. 3, and the same numbers are assigned to those that operate in the same manner as in FIGS. 1, 2 and 4, and the description thereof will be omitted. Since the operation of each part in FIG. 6 has already been described, the description thereof will be omitted.
- the distance to an object can be estimated using radio waves. Further, according to the detection device having the above configuration, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed can be clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated and the reliability of the estimation of the distance to the object can be improved even in a dark surrounding environment. Further, by estimating the distance to the object by radio waves and estimating the distance to the object based on the optical signal (image), it is possible to obtain the effect that the distance estimation can be performed with higher accuracy or reliability. It may also be possible.
- the accuracy and reliability in object recognition can be improved by the mechanism for updating the database used for object recognition, and as a result, the accuracy and reliability of distance estimation are improved. Can contribute to. Further, when object recognition is performed using information obtained by using radio waves in addition to image information, the accuracy and reliability in object recognition may be improved.
- the device shown in FIGS. 1 to 6 as an example of the configuration has been described by the name of "detection device”, but the name is not limited to this.
- the device according to the present embodiment includes a storage unit, it may be called a “storage device”, and since it includes a sensor unit, it includes a “camera”, a “movie”, and a “surveillance device”. It may be called a “camera”, a “security camera”, a “recording device”, or a “still image shooting device”. It may also be simply called a “device”. The name is not limited to this.
- FIGS. 1, 2, 3, 4, 4, 5, and 6 may be realized by a system that is a combination of a plurality of separated devices.
- a system that is a combination of a plurality of separated devices.
- FIG. 7 is the first "example of device separation”.
- the second device Y702 is a device including the lens unit Y119 in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
- the first device Y701 is a device including a portion other than the lens portion Y119 in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
- the first device Y701 includes a first interface Y703 for connecting to the second device Y702, and the second device Y702 includes a second interface Y704 for connecting to the first device Y701.
- the first interface Y703 receives the operation control signal Y118 as an input. Then, the second interface Y704 outputs a signal to the lens unit Y119. Therefore, by connecting the first interface Y703 and the second interface Y704, the lens unit Y119 can obtain a signal corresponding to the operation control signal Y118.
- the first interface Y703 and the second interface Y704 may be connected in any way. For example, the first interface Y703 and the second interface Y704 may be directly connected, or the first interface Y703 and the second interface Y704 may be connected via a connection cable or the like. The connection method is not limited to these examples.
- FIG. 8 is the second “example of device separation”.
- the third device Y802 includes transmission devices Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, a receiving device Y106, and a first processing unit Y108 in the devices of FIGS. 1, 2, 4, 5, and 6. It will be a device to be equipped. Then, the first'device Y801 is the "transmitting device Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, receiving device Y106, first" in the devices of FIGS. 1, 2, 3, 4, 5, and 6. It is an apparatus including a portion other than the processing unit Y108.
- the first'device Y801 includes a third interface Y803 for connecting to the third device Y802, and the third device Y802 includes a fourth interface Y804 for connecting to the first'device Y801.
- the third interface Y803 receives the control signal Y100 as an input. Then, the fourth interface Y804 outputs a signal to the transmission device Y101. Therefore, by connecting the third interface Y803 and the fourth interface Y804, the transmission device Y101 can obtain a signal corresponding to the control signal Y100.
- the fourth interface Y804 receives the object estimation signal Y109 as an input. Then, the third interface Y803 outputs a signal. Therefore, by connecting the third interface Y803 and the fourth interface Y804, the third interface Y803 outputs a signal corresponding to the object estimation signal Y109.
- the third interface Y803 and the fourth interface Y804 may be connected in any way.
- the third interface Y803 and the fourth interface Y804 may be directly connected, or the third interface Y803 and the fourth interface Y804 may be connected via a connection cable or the like.
- the connection method is not limited to these examples.
- FIG. 9 is the third "example of device separation". In FIG. 9, those operating in the same manner as those in FIGS. 7 and 8 are given the same number, and the description thereof will be omitted.
- the first "device Y901 is a" transmitting device Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, receiving device Y106, first processing in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
- the device includes a portion other than the portion Y108 and the lens portion Y119.
- the first ′′ device Y901 includes a first interface Y703 and a third interface Y803.
- FIG. 9 is the third "example of device separation". In FIG. 9, those operating in the same manner as those in FIGS. 7 and 8 are given the same number, and the description thereof will be omitted.
- the first "device Y901 is a" transmitting device Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, receiving device Y106, first processing in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
- the device includes a portion other than the portion Y108 and the lens portion Y119.
- the first ′′ device Y901 includes a first interface Y703 and a third interface Y803.
- FIG. 10 is the fourth “example of device separation”.
- the same numbers are assigned to those operating in the same manner as in FIGS. 7, 8 and 9, and the description thereof will be omitted.
- the fourth device Y1002 is described as "transmitting device Y101, antenna Y103_1 to Y103_M, antenna Y104_1 to Y104_N, receiving device Y106, first processing unit Y108" in the devices of FIGS. 1, 2, 3, 4, 5, and 6. , Lens unit Y119 ”, and also includes a second interface Y704 and a fourth interface Y804. Since the operation of each part in FIG. 10 has already been described, the description thereof will be omitted.
- FIGS. 1 to 10 are examples and are not limited to these configurations.
- the transmitting device Y101 and the receiving device Y106 in FIGS. 1 to 10 handle radio waves, and the operation at this time has been described. Unlike this, the transmission device Y101 in FIGS. 1 to 10 may generate a light modulation signal such as visible light, and the reception device Y106 may receive the light modulation signal. Is possible. At this time, LEDs (Light Emitting Diode), organic EL (Electro-Luminescence), etc. will be used instead of the antennas Y103_1 to Y103_M, and photodiodes, image sensors, etc. will be used instead of the antennas Y104_1 to Y104_N. ..
- LEDs Light Emitting Diode
- organic EL Electro-Luminescence
- object recognition may be performed using the information acquired by using radio waves.
- a characteristic point is that "object recognition or distance estimation with an object” is performed and “still image or moving image” is recorded (stored).
- the configuration of the device having features is not limited to the configurations of FIGS. 1 to 10.
- the transmission power can be increased by a method of narrowing the transmission band.
- sensing using polarized waves is also possible.
- FIG. 11 shows a device Y1101 that performs “distance estimation using radio waves or object recognition using radio waves” described in the first embodiment, an object Y1102 that is a target of “distance estimation or object recognition”, and , An example of the state of other devices is shown.
- the device Y1101 that performs "distance estimation using radio waves or object recognition using radio waves” will be simply referred to as “device Y1101".
- FIG. 11 in addition to the device Y1101 and the object Y1102, there is a terminal Y1103 and an AP (access point) Y1104.
- the APs of terminals Y1103 and Y1104 shall use the first frequency band when communicating. Further, it is assumed that the device Y1101 uses the first frequency band when estimating the distance to the object Y1102 or recognizing the object.
- FIG. 12 shows an example of the frame configuration when the terminal Y1103 and the AP (access point) Y1104 in FIG. 11 transmit the modulated signal for communication, and the horizontal axis is assumed to be time.
- the communication reference symbol Y1201 is a symbol for "the communication partner performs signal detection, time synchronization, frequency synchronization, channel estimation, etc.” Further, the communication reference symbol Y1201 may be a MAC (Media Access Control) frame, which is control information necessary for a procedure for performing data communication.
- MAC Media Access Control
- the communication control information symbol Y1202 is, for example, the communication data symbol Y1203, for example, a symbol for notifying a communication method. Therefore, the communication control information symbol Y1202 is, for example, information on an error correction coding method (encoding rate, block length (code length), error correction code information, etc.), modulation method information, transmission method information (for example,). , Single-stream transmission, or multiple-stream transmission, information on which one is used) (MCS (Modulation and Coding Scheme) information), data length, and other information are included.
- MCS Modulation and Coding Scheme
- the communication data symbol Y1203 is a symbol for transmitting data to the communication partner.
- the frame configuration in FIG. 12 is just an example, and other symbols may be included. Further, when transmitting the frame of FIG. 12, a single carrier transmission method may be used, or a multicarrier transmission method such as OFDM (Orthogonal Frequency Division Multiplexing) may be used.
- OFDM Orthogonal Frequency Division Multiplexing
- the communication reference symbol Y1201 may include an area for transmitting data.
- the transmission signal may include data for identifying "whether the signal for communication is transmitted" or "whether the signal for object detection is transmitted”. ..
- the communication reference symbol Y1201 is named, the name is not limited to this, and the communication reference symbol Y1201 is referred to as a pilot symbol, a training symbol, a training field, a preamble, a control information symbol, a mid amble, and the like. You may call it.
- FIG. 13 is an example of the frame configuration of the modulated signal transmitted by the device Y1101. Note that, in FIG. 13, those operating in the same manner as in FIG. 12 are assigned the same number and have already been described, so the description thereof will be omitted.
- the device Y1101 first uses the communication reference symbol Y1201 based on the information of "start of operation of object detection” or “start of recording of still image or moving image” included in the control signal Y100. Will be sent.
- the “start of object detection operation” or “start of recording of a still image or moving image” is provided by the device Y1101, "the user presses a button”, or “the user touches the touch panel”, or It may be realized by “the user presses the shutter button” or “the user presses the recording start button”.
- the device Y1101 transmits "a modulation signal for detecting an object or a modulation signal Y1302 for estimating a distance to an object".
- the device Y1101 transmits a modulation signal as shown in FIG. 13, and the terminals Y1103 and Y1104 in FIG. 11 detect the communication reference symbol Y1201 in FIG. 13 to move to the first frequency band. It can be seen that the modulated signal is present. Therefore, when the APs of the terminals Y1103 and Y1104 detect the communication reference symbol Y1201, the transmission of the modulated signal is temporarily suspended. Then, the APs of the terminals Y1103 and Y1104 can start transmitting the modulated signal when the communication reference symbol Y1201 is no longer detected.
- the device that implements the sensing method using radio waves described in the following embodiments is the sensing obtained by a sensor having an imaging function such as a camera as described in the first and second embodiments of the sensing method. It may be used in combination with processing using data.
- the device that implements the sensing method using radio waves described in the following embodiments implements the sensing method without combining the sensing method with the processing using the sensing data obtained by a sensor having an imaging function such as a camera. You may.
- the implementation of the sensing method using radio waves that is not combined with the processing using the sensing data obtained by the sensor having an imaging function such as a camera is only when the device without a camera performs sensing using radio waves.
- a device equipped with a camera such as a smartphone may independently perform sensing such as shooting and distance measurement by one or more cameras and sensing using radio waves by a wireless communication unit or a wireless radar. ..
- a device equipped with a camera such as a smartphone does not use the sensing result using radio waves from a wireless communication unit or a wireless radar for controlling sensing such as shooting and distance measurement by one or more cameras.
- the sensing results such as shooting and distance measurement by one or more cameras are not used for the control of sensing using radio waves by the wireless communication unit or wireless radar, both sensing results are combined in one application. May be used.
- the system is composed of one or more of a communication device, a sensing device, and a communication and sensing device.
- a device that performs sensing a configuration of a device that performs communication and sensing, and the like will be described.
- FIG. 14 is a diagram showing an example of the configuration of the device X100 that transmits a sensing signal, receives a sensing signal that is reflected by a surrounding object and returns, and performs sensing.
- the transmission device X101 generates X102_M from the transmission signals X102_1 as a sensing signal, and transmits each of the transmission signals X102_1 to X102_M from the antennas X103_1 to X103_M.
- the number of antennas used for transmission is M, and M is an integer of 1 or more, or an integer of 2 or more.
- the transmitting device X101 multiplies the same sensing signal by a coefficient determined for each antenna to generate X102_M from the transmitting signals X102_1, and transmits the same sensing signal from the antennas X103_1 to X103_M to control the directivity of the sensing signal. You may go. Further, the transmission device X101 generates X102_M from the transmission signals X102_1 by multiplying each of the plurality of sensing signals by a coefficient determined for each sensing signal and each antenna, and generates X102_M from the antenna X103_1. It may be transmitted from X103_M. As a result, directivity control can be performed for each sensing signal.
- the coefficient determined for each antenna or the coefficient determined for each sensing signal and each antenna is represented by a complex number or a real number.
- the amplitude and / or phase of the sensing signal transmitted from each antenna is changed according to the value of this coefficient.
- the coefficient may be 1, and in this case, the sensing signal generated by the transmitting device X101 is transmitted as it is from the antenna having the coefficient value of 1.
- the transmission device X101 may transmit a transmission signal without performing directivity control.
- the transmission device X101 may output each of the plurality of sensing signals as a transmission signal of the corresponding antenna as it is and transmit it from the antennas X103_1 to X103_M.
- the number of sensing signals and the number of antennas is plurality has been described, but the number of sensing signals generated by the transmitting device X101 and the number of antennas transmitting the sensing signals may be one.
- the sensing signal transmitted from the antennas X103_1 to X103_M is reflected by the object # 1X110_1 and the object # 2X110_2, and the reflected sensing signal is received by the antennas X104_1 to X104_N included in the device X100.
- the number of antennas that receive the sensing signal is N, and N is an integer of 1 or more or an integer of 2 or more.
- the number M of antennas used for transmission may be the same as or different from the number N of antennas used for reception.
- the received signals X105_1 to X105_N received by the antennas X104_1 to X104_N are input to the receiving device X106.
- the receiving device X106 performs filtering processing for extracting only the components of the channel in the frequency band or frequency band in which the sensing signal is transmitted, for example, with respect to the received signals X105_1 to X105_N, and the radio frequency band to the intermediate frequency band (IF).
- the estimated signal X107 is output by performing frequency conversion processing for converting to the frequency band of the baseband signal, weighting and synthesis processing for N received signals, and the like.
- the coefficient used in the weighting synthesis processing for N received signals can be set for each received signal X105_1 to X105_N, and the directivity control of reception can be performed by changing the value of the coefficient.
- the coefficient may be estimated in advance, or the amplitude or signal-to-noise ratio (SNR (Signal-to-Noise Ratio)) of the sensing signal component after weighting synthesis uses other coefficients using the received signals X105_1 to X105_N.
- SNR Signal-to-noise Ratio
- the receiving device X106 may simultaneously acquire directional signals corresponding to each set of coefficients by using a plurality of sets of N coefficients corresponding to the received signals X105_1 to X105_N. However, it is also possible to carry out without weighting synthesis.
- the estimation unit X108 uses the estimation signal X107 to perform sensing, that is, estimation processing related to the surrounding environment. The details of the estimation process performed by the estimation unit X108 will be described later.
- the control signal X109 is a control signal input to the transmission device X101, the reception device X106, and the estimation unit X108, and indicates the transmission device X101, the reception device X106, and the estimation unit X108 to perform sensing, a sensing range, and the like. It controls the sensing timing.
- FIG. 14 a case where the signal generated by the device X100 is transmitted by the M antennas and the signal received by the N antennas is processed by the receiving device X106 has been described as an example.
- the configuration of the device that implements the sensing method described in this embodiment is not limited to this.
- the transmitting antenna unit for transmitting a signal may be composed of a plurality of antenna units, each of which includes a plurality of antennas.
- the plurality of antenna units may have the same directivity and directivity control function, or the range in which the directivity can be controlled may differ between the antenna units.
- one transmitting device X101 may be configured to select and use the antenna unit used for transmitting the sensing signal from the plurality of antenna units, or simultaneously transmit the same sensing signal from the plurality of antenna units. You may.
- the transmitting device X 101 may be able to switch whether to transmit one sensing signal from one antenna unit or to transmit one sensing signal from a plurality of antenna units at the same time.
- the device X100 may be provided with a plurality of transmitting devices X101, or may be provided with a transmitting device X101 for each antenna unit.
- the received signals X105_1 to X105_N received by the antennas X104_1 to X104_N are input to the receiving device X106.
- the receiving device X106 performs filtering processing for extracting only the components of the channel in the frequency band or frequency band in which the sensing signal is transmitted, for example, with respect to the received signals X105_1 to X105_N, and the radio frequency band to the intermediate frequency band (IF).
- the estimated signal X107 is output by performing frequency conversion processing for converting to the frequency band of the baseband signal, weighting and synthesis processing for N received signals, and the like.
- the coefficient used in the weighting synthesis processing for N received signals can be set for each received signal X105_1 to X105_N, and the directivity control of reception can be performed by changing the value of the coefficient.
- the coefficients may be pre-estimated, and the amplitude or signal-to-noise ratio (SNR) of the sensing signal component after weighting and synthesis using the received signals X105_1 to X105_N is larger than when other coefficients are used, or Coefficients that exceed a predetermined threshold may be estimated.
- the receiving device X106 may simultaneously acquire directional signals corresponding to each set of coefficients by using a plurality of sets of N coefficients corresponding to the received signals X105_1 to X105_N. However, it is also possible to carry out without weighting synthesis.
- the estimation unit X108 uses the estimation signal X107 to perform sensing, that is, estimation processing related to the surrounding environment. The details of the estimation process performed by the estimation unit X108 will be described later.
- the control signal X109 is a control signal input to the transmission device X101, the reception device X106, and the estimation unit X108, and indicates the transmission device X101, the reception device X106, and the estimation unit X108 to perform sensing, a sensing range, and the like. It controls the sensing timing.
- FIG. 14 a case where the signal generated by the device X100 is transmitted by the M antennas and the signal received by the N antennas is processed by the receiving device X106 has been described as an example.
- the configuration of the device that implements the sensing method described in this embodiment is not limited to this.
- the transmitting antenna unit for transmitting a signal may be composed of a plurality of antenna units, each of which includes a plurality of antennas.
- the plurality of antenna units may have the same directivity and directivity control function, or the range in which the directivity can be controlled may differ between the antenna units.
- one transmitting device X101 may be configured to select and use the antenna unit used for transmitting the sensing signal from the plurality of antenna units, or simultaneously transmit the same sensing signal from the plurality of antenna units. You may.
- the transmitting device X 101 may be able to switch whether to transmit one sensing signal from one antenna unit or to transmit one sensing signal from a plurality of antenna units at the same time.
- the device X100 may be provided with a plurality of transmitting devices X101, or may be provided with a transmitting device X101 for each antenna unit.
- the receiving antenna unit for transmitting a signal may be composed of a plurality of antenna units, each of which includes a plurality of antennas.
- the plurality of antenna units may have the same directivity control capability such as the directivity control range and the directivity control accuracy, or the antenna units may have different directivity control capabilities.
- the plurality of antenna units may be installed so that the spatial areas in which the directivity can be controlled are different.
- one receiving device X106 may be configured to select and use an antenna unit for acquiring a received signal from a plurality of antenna units, or simultaneously process signals received from a plurality of antenna units. It may be a configuration.
- the receiving device X106 may be able to switch between processing only the received signal received from one antenna unit and simultaneously processing the received signal received by a plurality of antenna units. Further, the device X100 may be provided with a plurality of receiving devices X106, or may be provided with a receiving device X106 for each antenna unit.
- the device X100 is not provided with a plurality of antennas for transmission and a plurality of antennas for reception separately, but may be provided with a plurality of antennas that can be used for both transmission and reception of signals. In this case, the device X100 may be able to select and switch whether to use for transmission or reception for each antenna, or to timely switch whether to use a plurality of antennas for transmission or reception. You may.
- the device X100 may include a transmission / reception antenna unit that can be commonly used for signal transmission and reception.
- the transmission / reception antenna unit includes a plurality of antenna units, and it is possible to switch between the transmission and reception antenna units for each antenna unit.
- the device X100 may include an antenna unit used for transmitting the signal generated by the transmitting device X101 and a selection unit for selecting and switching the antenna unit used for receiving the signal processed by the receiving device X106.
- the directivity of the signals transmitted from each antenna unit may be the same or different.
- the device X100 transmits a sensing signal from a plurality of antenna units with the same directivity, it may be possible to increase the reach of the sensing signal or the distance to the reflection position where the reflected sensing signal can be received. ..
- the number of antennas constituting the antenna unit described above does not have to be the same between the antenna units, and the number of antennas may differ between the antenna units.
- the estimation unit X108 estimates, for example, the distance between the own device and the object that reflects the sensing signal.
- the estimation of the distance between the own device and the object that reflected the sensing signal can be derived, for example, by detecting the delay time of the reception time with respect to the transmission time of the sensing signal and multiplying the delay time by the propagation speed of the electromagnetic wave. it can.
- the estimation unit X108 estimates the arrival direction of the received signal, that is, the direction of the object reflecting the sensing signal by using an arrival direction estimation method (Direction of Arrival Estimation) such as the MUSIC (Multiple Signal Classification) method. You may.
- an arrival direction estimation method Direction of Arrival Estimation
- MUSIC Multiple Signal Classification
- the estimation unit X108 can estimate the position of the object that reflects the transmitted signal by estimating the direction in addition to the distance between the own device and the object.
- the estimation unit X108 can estimate the position of the object by performing triangulation using, for example, the arrival direction estimation such as the MUSIC method, the position of the transmitting antenna, the position of the receiving antenna, and the information of the direction of the transmission direction control. it can.
- the estimation unit X108 may detect an object, the movement of the object, the material of the object, or the like by using the received signal.
- the position of the object may be represented by a polar coordinate system or a three-dimensional Cartesian coordinate system.
- the origin of the coordinate system may be, for example, an arbitrary position in the device X100, and the coordinate axes of the coordinate system may be in any direction.
- the device equipped with the device X100 includes a plurality of wireless sensors or other distance sensors having the same or different configurations as the device X100 in addition to the device X100, the origin and coordinate axes of the coordinate system of the data acquired by each sensor are sensors. It may be common among them, or it may be unique for each sensor.
- the estimation unit X108 may output the position information represented by the unique coordinate system as it is, or may convert it into a common coordinate system in the device and output it.
- the coordinate system after conversion may be a coordinate system unique to the device, or may be a coordinate system common to other devices such as the same coordinate system as the three-dimensional map data used by the device.
- the estimation unit X108 may estimate the distance to the object that reflected the signal in each of the plurality of directions, and acquire the three-dimensional coordinates of the estimated plurality of reflection positions as a point cloud.
- the format of the data of the plurality of distance measurement results acquired by the estimation unit X108 does not have to be the point cloud format having the values of the three-dimensional coordinates, and may be, for example, a distance image or another format.
- the position (coordinates) of the distance image in the two-dimensional plane corresponds to the arrival direction of the received signal as seen from the own device, and the distance to the object in the direction corresponding to the pixel position of each image. Is stored as a sample value of the pixel.
- the estimation unit X108 may further perform recognition processing such as estimation of the shape of an object using the above point cloud data or distance image data. For example, "one or more points at close positions within a predetermined range", or a plurality of points or image regions are considered to be the same object and extracted, and the one or a plurality of the points are extracted.
- the shape of an object can be estimated based on the positional relationship of points or the shape of an image area.
- the estimation unit X108 may identify the sensed object as a recognition process using the estimation result of the shape of the object. In this case, the estimation unit X108 identifies, for example, whether a person or another animal is in the sensing range, identifies the type of object, and the like.
- the recognition process performed by the estimation unit X108 may be other than the identification of the object.
- the estimation unit X108 may detect the number of people in the sensing range, the number of cars, and the like as the recognition process, or may estimate the position and posture of the detected person's face.
- the estimation unit X108 determines whether or not the shape of the detected person's face matches the person registered in advance, which person the person is, and the like. May be processed.
- the estimation unit X108 measures the distance between the own device and the object a plurality of times at different timings, and acquires the time change of the distance between the own device and the object or the position of the detected point. May be good.
- the estimation unit X108 may estimate the speed or acceleration of the moving object as a recognition process using the time change of the distance between the own device and the object or the position of the point.
- the estimation unit X108 may estimate the speed of the vehicle traveling in the sensing range, the moving direction, and the like.
- the recognition process performed by the estimation unit X108 using the temporal change of the distance and the position of the point may be other than the estimation of the velocity and acceleration of the object.
- the estimation unit X108 detects whether or not a person has performed a specific action based on the detected change in the posture of the person, so that the device X100 can be used for gesture input of an electronic device such as a smartphone, a tablet, or a personal computer. It may be used as a device.
- the above-mentioned estimation of the speed of a moving object is derived by comparing the frequency of the transmitted sensing signal with the frequency of the received reflected signal and estimating the frequency change due to the Doppler effect received by the reflected signal. May be good.
- the sensing signal used in the transmitting device X101 and the receiving device X106 will be described with an example.
- the device X100 may transmit a pulse signal disclosed in Non-Patent Document 1 or Non-Patent Document 2 as a sensing signal.
- the device X100 transmits a pulse signal in the frequency band used for sensing, and measures the distance to the object that reflected the sensing signal based on the delay time of the reception time of the reflected signal with respect to the transmission time of the pulse signal.
- the device X100 may use the signal of the frequency modified continuous wave (FMCW) method or the phase modulated continuous wave (PMCW) method described in Non-Patent Document 3.
- the FMCW signal is a signal obtained by converting a Chirp signal whose frequency has been changed with time into a radio frequency.
- the estimation unit X108 superimposes the signal transmitted from the device X100 and the signal received by the receiving device X106 by the mixer as the estimation process using the FMCW signal.
- the signal after superimposition becomes an intermediate frequency signal having a frequency corresponding to the flight time of the received signal. Therefore, by detecting the frequency component contained in the signal after superimposition, the object reflecting the FMCW signal can be obtained. Measure the distance.
- the device X100 may use a signal obtained by frequency-converting a modulated signal having a predetermined frequency into a signal in a frequency band used for sensing.
- the estimation unit X108 reaches an object that reflects the sensing signal based on, for example, the difference between the phase of the modulation component of the signal transmitted from the device X100 and the phase of the modulation component of the signal received by the reception device X106. The distance can be estimated. Further, the estimation unit X108 detects the fluctuation of the frequency received by the Doppler effect until the sensing signal is reflected and received by comparing the frequency of the transmitted modulated signal with the frequency of the received modulated signal, and moves. The moving speed and direction of the object to be moved may be estimated.
- the modulated signal may have a plurality of frequency components. For example, an OFDM signal containing a plurality of frequency components may be used as the modulated signal described in Non-Patent Document 4.
- the example of the sensing signal is not limited to the above, and may be a signal modulated by a modulation method, an unmodulated carrier, or any other signal. Good.
- the device X100 may simultaneously transmit a plurality of sensing signals using a plurality of antennas, or may simultaneously transmit a plurality of sensing signals using a plurality of antenna units including the plurality of antennas. Good.
- the estimation unit X108 estimates the state of the transmission line from the received reflected signal, and compares it with the estimated temporal change of the transmission line state and the average value or feature amount of the transmission line state estimated in the past. By performing the recognition process based on the above, it may be possible to determine whether or not an object exists in the sensing range and detect whether or not the object has moved. Further, the estimation unit X108 may detect the presence or absence of precipitation from the attenuation state of the received signal.
- sensing using the sensing signal is not limited to the device that transmitted the sensing signal.
- the receiving device X106 of the device X100 receives a sensing signal transmitted from another device, and the estimation unit X108 determines that the other device is within the reach of the sensing signal based on the received signal, or another device.
- the orientation of the device may be estimated.
- the distance to another device may be estimated based on the signal strength of the received sensing signal.
- the transmitting device X101 of the device X100 may transmit a sensing signal so that another device can use it for sensing.
- the sensing signal transmitted at this time may be a sensing signal transmitted for sensing using the reflected wave in the own device, or may be periodically transmitted for sensing in another device. .. Further, when the device X100 receives a sensing signal transmitted from another device, the device X 101 may use the transmitting device X 101 to transmit the sensing signal in the direction in which the received signal is received. The sensing signal transmitted to another device may be transmitted without controlling the directivity.
- FIG. 14 shows an example in which the sensing device X100 receives the signal reflected by the object # 1 and the object # 2, but the device X100 reflects from the object # 1 and the object # 2 and further another object.
- the device X100 that performs sensing may obtain a signal obtained by reflecting it on a substance, detect an object, estimate a distance to an object, a position, and the like.
- FIG. 15 is a diagram showing an example of the configuration of the device X200 that performs sensing using radio waves, for example.
- the configurations having the same functions as those shown in FIG. 14 are given the same reference numerals, and detailed description of these configurations will be omitted.
- the device X200 is different from the device X100 in that sensing is performed using a modulated signal for sensing and / or a modulated signal for communication.
- the feature here is, for example, that the device X200 transmits a signal, and the terminal that is the communication partner captures the change in the signal transmitted by the device X200, so that the position of the object (for example, the object # 1 in FIG. 15) can be determined. The size, the distance to the object (for example, the object # 1 in FIG. 15), and the like are estimated.
- the device X200 transmits a modulated signal for communication, data communication with the terminal is also possible. In the following, a case where sensing is performed using a modulated signal for communication will be described.
- the transmission device X201 receives the control signal X109 and the transmission data X210 as inputs, performs error correction coding processing, modulation processing, precoding, multiplexing processing, and the like to generate X202_M from the transmission signal X202_1 for communication.
- the device X200 transmits each of the transmission signals X202_1 to X202_M from the antennas X103_1 to X103_M.
- the transmission signal and the number of antennas used for transmission are the same as those described with reference to FIG. 14, and may be two or more, or one.
- the transmitted signal of the description of FIG. 14 contains a component of the sensing signal
- the transmitted signal of the present description contains a component of the signal modulated from the transmitted data.
- the transmission device X201 can perform directivity control by a coefficient used in the weighting synthesis process for generating a transmission signal.
- the device X200 may include only one antenna unit including a plurality of antennas, or may include a plurality of antenna units, similarly to the device X100.
- the transmission device X101 described in FIG. 14 performs directivity control of transmission in the direction in which sensing is desired, but the transmission device X201 in FIG. 15 communicates with a terminal which is a communication partner. Control the directivity of the transmission so that the quality is improved. However, the transmission device X201 may control the directivity of the transmission signal in the direction in which the sensing is desired, or the terminal, which is the communication partner, performs sensing using the signal transmitted by the device X200. Directivity control may be performed so that the desired sensing result can be obtained. When the transmitting device X201 performs directivity control for sensing in the terminal, the transmitting device X201 transmits a signal using a coefficient specified by the terminal.
- the signal transmitted here may include a signal component modulated using the transmission data, or may not include a signal component modulated using the transmission data.
- a signal that does not include a signal component modulated using the transmission data is, for example, a signal that is modulated with a value known on the terminal side, such as a preamble or a reference signal.
- the transmission device X201 may perform different directivity control between the case of transmitting a signal including a signal component modulated by using the transmission data and the signal not including the signal component modulated by using the transmission data. Good.
- the terminal receives the modulated signal transmitted by the device X200 to obtain data (communicate) and also performs sensing.
- the terminal transmits a signal
- the device X200 which is a communication partner, captures the change in the signal transmitted by the terminal, so that the position, size, and object (for example, object # 1 in FIG. 15) of the object (for example, object # 1 in FIG. The distance to the object # 1) in FIG. 15, the type of the object (for example, the object # 1 in FIG. 15), the material, and the like may be estimated.
- the terminal transmits a modulated signal for communication, data communication with the device X200 is also possible.
- the modulation signal transmitted by the terminal is received by using the antennas X104_1 to X104_N. Then, the receiving device X206 receives the received data by performing demodulation processing, error correction / decoding processing, and the like with the control signal X109 and the received signals X205_1 to X205_N as inputs. Further, the receiving device X206 outputs the transmission line characteristics obtained in the receiving process as the estimated signal X207.
- the coefficient used in the weighting synthesis processing for N received signals can be set for each received signal X105_1 to X105_N, and the directivity control of reception can be performed by changing the value of the coefficient.
- the coefficients may be pre-estimated, and the amplitude or signal-to-noise ratio (CNR) of the sensed signal components after weighting and synthesis using the received signals X105_1 to X105_N may be larger than when other coefficients are used, or Coefficients that exceed a predetermined threshold may be estimated.
- the receiving device X206 may simultaneously acquire directional signals corresponding to each set of coefficients by using a plurality of sets of N coefficients corresponding to the received signals X105_1 to X105_N.
- the estimation unit X208 receives the control signal X109 and the estimation signal X207 as inputs, and performs estimation processing using the estimation signal X207.
- the estimation unit X208 estimates the surrounding environment, such as whether or not an object exists in the surroundings, based on, for example, the transmission line characteristics included in the estimation signal X207. Further, the estimation unit X208 may detect the movement of an object, the approach of an object, or the like based on the temporal change of the transmission line characteristics.
- the estimation unit X208 may estimate the arrival direction of the received signal, that is, the direction of the object reflecting the sensing signal by using an arrival direction estimation method such as the MUSIC method.
- the estimation unit X208 performs triangulation using, for example, the arrival direction estimation such as the MUSIC method, the antenna position (for example, the positions of the transmitting device and the receiving device), and the information on the direction of the transmission directivity control, and performs triangulation to position the object. May be estimated.
- the estimation unit X208 may detect an object, the movement of the object, the material of the object, and the like by using the received signal.
- the estimation unit X208 performs the above estimation processing on the estimation signal X207 by performing signal processing according to an event to be detected, such as the presence / absence of the existence of the object and the presence / absence of movement of the object. At this time, the estimation process is performed based on, for example, a determination result of whether or not the feature amount extracted by the signal processing exceeds a predetermined threshold value. Further, the estimation process may be performed based on signal processing other than those exemplified above. For example, the estimation process may be performed on a model created by machine learning using a multi-layered neural network.
- the estimation unit X208 When using a model created by machine learning using a multi-layered neural network for estimation processing, the estimation unit X208 performs predetermined preprocessing on the estimation signal X207 and then inputs the data after the preprocessing. It may be input to the model created by machine learning using a multi-layered neural network. Further, the estimation unit X208 may use information such as a frequency band used for communication or a channel number in the frequency band. Further, the estimation unit X208 may use the address of the communication device that transmitted the received communication signal or the address of the communication device that is the destination of the signal.
- the conditions such as the position of the communication device that transmitted the signal and the directivity used at the time of signal transmission are the same or similar. It is possible to compare signals for communication with each other, which may improve the estimation accuracy.
- the device X200 has a different configuration from the transmitting device X201 and the antennas X103_1 to X103_M, which are configured to perform the transmitting process, and the receiving devices X206 and the antennas X104_1 to X104_N, which are configured to perform the receiving process.
- the configuration of the device X200 is not limited to this.
- the transmitting device X201 and the receiving device X206 may be realized as one component, or a plurality of antennas may be used in common for transmission and reception. Further, as in the description of FIG.
- the plurality of antennas for transmission in the device X200 may be composed of a plurality of antenna units, or the plurality of antennas for reception may be composed of a plurality of antenna units. Good. Further, the plurality of antennas for transmission and the plurality of antennas for reception in the device X200 may be composed of a common transmission / reception antenna unit.
- a sensing signal may be used instead of the communication signal. That is, the first device uses the sensing signal transmitted by the other device to determine the position, size, and object (for example, object # 1 of FIG. 15) of the object (for example, object # 1 of FIG. 15). The distance to the object, the type of the object (for example, object # 1 in FIG. 15), the material, and the like may be estimated.
- the sensing method using the communication signal can be used for the same purpose as the example of transmitting the sensing signal to the other device described with reference to FIG. That is, the device X200 is not for sensing the surrounding environment from the transmission path characteristics of the signal for communication transmitted from another device such as a terminal, but for the other device to reach the communication signal. It may be used for determining that the device is within the range and estimating the direction of another device.
- the device X200 may perform only the demodulation operation without performing the sensing operation when receiving the communication modulation signal transmitted by the communication partner, for example, the terminal.
- FIG. 16 is a diagram showing an example of the configuration of a device that performs communication and sensing. Among the configurations shown in FIG. 16, the same reference numerals are given to the configurations having the same functions as the configurations shown in FIGS. 14 and 15, and detailed description of these configurations will be omitted.
- the device X300 performs both sensing using a modulated signal for sensing and sensing using a modulated signal for communication. That is, the transmission device X301 of the device X300 has a function of transmitting a sensing signal like the transmission device X101 and a function of transmitting a communication signal to another communication device like the transmission device X201. Further, the receiving device X306 of the device X300 has a function of receiving a sensing signal like the receiving device X106, and a function of receiving a communication signal transmitted by another communication device like the receiving device X206. .. Further, the estimation unit X308 performs both the estimation process using the sensing signal as in the estimation unit X108 and the estimation process using the communication signal as in the estimation unit X208.
- each component of the device X300 is the same as that of the device X100 of FIG. 14 when transmitting / receiving the sensing signal, and the same as the device X200 of FIG. 15 when transmitting / receiving the communication signal. Therefore, the description thereof will be omitted.
- the device X300 has a different configuration from the transmitting device X301 and the antennas X103_1 to X103_M, which are configured to perform the transmitting process, and the receiving devices X306 and the antennas X104_1 to X104_N, which are configured to perform the receiving process.
- the configuration of the device X300 is not limited to this.
- the transmitting device X301 and the receiving device X306 may be realized as one component, or one or more or a plurality of antennas may be used in common for transmission and reception.
- the device X300 may include a transmission device for sensing in addition to the transmission device for communication. At this time, the same one or more or a plurality of antennas may be switched between the communication transmitter and the sensing transmitter, or different antennas for communication and sensing, one or more, or a plurality of antennas. May be provided.
- the communication and sensing signal transmission device X301 may switch between transmission of the sensing signal and transmission of the communication modulation signal based on the mode information included in the control signal X309, and transmit the signal from the antenna. That is, there may be a mode for transmitting a signal for sensing and a mode for transmitting a modulated signal for communication. Further, the communication and sensing transmission device X301 may transmit a signal in which the sensing signal and the communication modulation signal are combined.
- the device X300 may include a receiving device for sensing separately from the receiving device for communication.
- the receiving device for communication and the receiving device for sensing may be the same, one or more, or a plurality of antennas may be switched and used, or different, one or more, or a plurality of antennas for communication and sensing. It may be equipped with an antenna.
- the device X300 may separately include a transmitting device for communication, a transmitting device for sensing, a receiving device for communication, and a receiving device for sensing.
- the device X300 may include a transmission / reception device for communication and a transmission / reception device for sensing.
- the device X300 may include a transmission / reception device for communication, a transmission device for sensing, and a reception device for sensing.
- one or more or a plurality of antennas for transmission are composed of one or more or a plurality of antenna units.
- one or more or a plurality of antennas for reception may be composed of one or more or a plurality of antenna units.
- one or more or a plurality of antennas for transmission and one or more or a plurality of antennas for reception may be composed of a common transmission / reception antenna unit.
- FIG. 17 is a diagram showing an example of a system configuration according to the present embodiment.
- Z100 is an access point (AP)
- Z101_1, Z101_2, and Z101_3 are terminals that wirelessly communicate with the AP, respectively.
- FIG. 17 shows a case where each terminal communicates with the AP, each terminal may have a function of communicating between the terminals.
- FIG. 18 is a diagram showing an example of the configuration of the communication and the sensing device included in the APZ100 and the terminals Z101_1, Z101_2, and Z101_3.
- the apparatus of FIG. 18 senses using one or more frequency bands and one or more channels in each frequency band that can be used for communication in the same manner as the apparatus X300 of FIG. 16 described in the third embodiment. I do.
- the device of FIG. 18 includes a transmission / reception unit Z201, a sensing unit Z202, a transmission / reception antenna unit Z203, a transmission signal selection unit Z204, a reception signal selection unit Z205, and a control unit Z206.
- the transmission / reception unit Z201 transmits / receives a communication signal.
- the communication signal transmission / reception processing performed by the transmission / reception unit is the same as the transmission processing performed by the transmission device X201 and the reception processing performed by the reception device X206 described in the third embodiment.
- the sensing unit Z202 performs sensing based on the received signal.
- the sensing unit Z202 may implement a sensing method of transmitting the sensing signal described in the third embodiment and performing sensing using the received reflected signal, or the terminal or AP described in the third embodiment.
- a sensing method may be implemented in which sensing is performed using a communication signal received from another communication device such as. Further, the sensing unit Z202 may implement both a sensing method for transmitting a sensing signal and a sensing method using the received communication signal.
- the sensing unit Z202 When implementing a sensing method for transmitting a sensing signal, the sensing unit Z202 performs the same processing as the transmitting device X101 in the first embodiment to generate and output a sensing signal.
- the sensing unit Z202 does not implement the sensing method for transmitting the sensing signal and only implements the sensing method using the communication signal, the sensing unit Z202 does not have to transmit the signal.
- the transmission / reception antenna unit Z203 transmits / receives signals.
- the transmission signal selection unit Z204 transmits the signals generated by the transmission / reception unit Z201 and the sensing unit Z202 from the transmission / reception antenna unit Z203.
- the reception signal selection unit Z205 inputs the signal received by the transmission / reception antenna unit Z203 to the transmission / reception unit Z201 and the sensing unit Z202.
- the control unit Z206 generates a control signal for controlling the operation of the transmission / reception unit Z201, the sensing unit Z202, the transmission signal selection unit Z204, and the reception signal selection unit Z205, and performs sensing with the frequency and period of communication. Controls frequency and period.
- the transmission signal selection unit Z204 may combine a sensing signal and a communication signal to generate and output a signal according to a frame. Further, the reception signal selection unit Z205 may generate a communication signal and a sensing signal from the reception signal and output both of them.
- the horizontal axis is time
- the vertical axis is frequency
- the frequency on the vertical axis may be a frequency within one channel in one frequency band, such as a subcarrier of an OFDM (Orthogonal Frequency Division Multiplexing) signal, or a plurality of channels in one or a plurality of frequency bands. May be.
- the frequency on the vertical axis may be a plurality of subcarriers of the OFDM signal spanning a plurality of channels. Therefore, it may be a single carrier transmission system or a multicarrier transmission system such as OFDM.
- a frame for sensing and a signal for sensing for example, it may be a band-limited pulse signal, a tone signal, or a carrier. Therefore, when the frames of FIGS. 19 to 37 are used for communication and / or sensing, the frame of FIG. 19 does not have to be a single carrier transmission type signal or a multicarrier transmission type signal.
- the reference symbols shown in FIGS. 19 to 37 are symbols for the device in the present embodiment to perform sensing.
- the reference symbol may have a function for "the communication partner performs signal detection, time synchronization, frequency synchronization, channel estimation, and the like".
- the reference symbol may be a MAC (Media Access Control) frame, which is control information required for a procedure for performing data communication.
- MAC Media Access Control
- the control information symbol is, for example, a symbol for notifying the communication method in the data symbol. Therefore, the control information symbol is, for example, information on an error correction coding method (encoding rate, block length (code length), error correction code information, etc.), modulation method information, transmission method information (for example, single stream). It includes information such as transmission (information on which one is used, transmission or multiple stream transmission) (information on MCS (Modulation and Coding Scheme)), data length, and the like.
- error correction coding method encoding rate, block length (code length), error correction code information, etc.
- modulation method information for example, single stream. It includes information such as transmission (information on which one is used, transmission or multiple stream transmission) (information on MCS (Modulation and Coding Scheme)), data length, and the like.
- the data symbol is a symbol for transmitting data to the communication partner.
- the guard section is a section that is placed immediately after the reference signal to assist sensing.
- the guard section for example, in order to avoid interference between signals or symbols arranged before and after the guard section, or to change the transmission directivity and reception directivity of the symbol before the guard section and the symbol after the guard section.
- the guard section does not have to have a signal.
- the guard section does not have to be installed on the frame.
- the sensing unit Z202 is used in the guard section, for example, to acquire a signal reception state in a state where the self-communication device or another communication device is not transmitting a sensing signal or a communication signal.
- the frame configurations shown in FIGS. 19 to 37 are merely examples, and the frame configurations are not limited to these. For example, other symbols may be included in the frame. Further, when transmitting a frame, a single carrier transmission method may be used, or a multicarrier transmission method such as OFDM may be used.
- the reference symbol may include an area for transmitting data.
- the transmission signal may include data for identifying "whether the signal for communication is transmitted" or "whether the signal for object detection is transmitted”. ..
- the reference symbol may be called a pilot symbol, a training symbol, a training field, a preamble, a control information symbol, a mid amble, or the like.
- sensing may be performed using pilot symbols, training symbols, training fields, preambles, control information symbols, mid ambles, and the like.
- FIG. 19 shows a frame configuration when the device of the present embodiment is performing communication.
- the frame shown in FIG. 19 includes a preamble, a control information symbol, and a data symbol.
- FIG. 20 shows a frame configuration when the device of the present embodiment is performing sensing.
- the figure on the left of FIG. 20 is a frame configuration in which a reference symbol is transmitted for sensing.
- the frame shown in the left figure of FIG. 20 contains a reference symbol.
- a preamble and a control information symbol are added to the reference symbol for sensing.
- the frame shown in the right figure of FIG. 20 contains a preamble, a control information symbol, and a reference signal.
- the device that has received the frame on the right of FIG. 20 knows that a sensing signal exists by receiving the preamble and the control information symbol, even if the device has only the communication function, for example. This makes it possible to obtain the effect that the apparatus can control the transmission timing of the modulated signal so as not to interfere with each other.
- An example of the existence of the signal at that time is shown in FIG.
- the device of the present embodiment may be a device having only a communication function so that the frame of FIG. 19 can be transmitted and received.
- the device of the present embodiment may be a device having only a sensing function so that the frame of FIG. 20 can be transmitted and received.
- the device of the present embodiment may be a device that processes communication and sensing in parallel so that the frames of FIGS. 22 to 37 can be transmitted and received.
- the frames of FIGS. 22 to 37 will be described below.
- FIGS. 22 to 37 are examples of frames that enable sensing, and may enable communication in accordance with sensing.
- the AP can be considered as a repeater.
- the 22 includes a preamble, a control information symbol, a data symbol, a mid amble, and a data symbol.
- the mid amble is assumed to be a symbol for demodulation of the data symbol and / or a symbol for sensing. This point is the same in other drawings.
- the preamble is arranged to realize communication, the device may use the preamble and / or the control information symbol for sensing. This point is the same in other drawings.
- the frame shown in FIG. 23 includes a preamble, a control information symbol, a data symbol, a mid amble, and a data symbol.
- a guard section is provided between the mid amble and the data symbol.
- the transmission directivity may be different between the symbol before the guard section and the symbol after the guard section. This point is the same in other drawings.
- a guard section may be installed in front of the mid amble. Further, the frame may be such that the guard section does not exist. This point is the same in other drawings.
- the frame shown in FIG. 24 includes a preamble, a control information symbol, a data symbol, and a reference signal.
- the data symbols are arranged in two different frequency bands F81 and F83.
- the reference signal is arranged in a frequency band F82 different from the frequency band in which the data symbol is arranged. Further, three reference signals are arranged at time intervals in the frequency band F82. A guard section is provided between the reference signals. That is, the three reference signals are arranged with the guard section in between.
- the reference signal shall be used for sensing. This point is the same in other drawings. Further, the transmission directivity of the reference signal before the guard section and the reference signal after the guard section may be different. This point is the same in other drawings.
- the data symbol or the reference signal is arranged in two or more frequency bands or two or more channels, multiple access by the OFDMA (Orthogonal Frequency Division Multiple Access) method can be adopted.
- the data symbol or reference is placed in the specified range in each of the time and frequency directions.
- the above range is also referred to as a time frequency resource, which is a resource defined by time and frequency.
- the time frequency resource in which the symbol including the communication data is arranged is also referred to as a communication resource
- the time frequency resource in which the symbol for sensing by radio waves is arranged is also referred to as a sensing resource. The same shall apply hereinafter.
- the frame shown in FIG. 25 includes a preamble, a control information symbol, a data symbol, and a reference signal.
- the data symbols are arranged in five different frequency bands F91 to F95.
- Reference signals are arranged in the frequency bands F92 and F94.
- a guard section is provided between the reference signal and the data symbol.
- Data symbols and reference signals may be mixed in some frequency resources such as frequency bands F92 and F94. By doing so, it is possible to obtain the effect of improving the frequency utilization efficiency.
- the transmission directivity of the reference signal and the data symbol before and after the guard section may be different. This point is the same in other drawings.
- the frame shown in FIG. 26 includes a preamble, a control information symbol, a data symbol, and a reference signal.
- the data symbols are arranged in the frequency bands F101 and F103 to F105.
- Three reference signals are arranged in the frequency band F102 with a guard section in between.
- a reference signal is arranged over the frequency bands F101 to F105.
- data symbols are arranged in the frequency bands F101 to F103 and F105, and two reference signals are arranged in the frequency band F104 with a guard section in between.
- One characteristic point is that a wide band reference signal and a narrow band reference signal exist. As a result, there is a high possibility that highly accurate sensing can be performed.
- the frame shown in FIG. 27 includes a preamble, a control information symbol, and a data symbol addressed to the user.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 2, # 3 and # 4, and are arranged in the frequency bands F111, F112, F113 and F114, respectively.
- This frame configuration can be considered as a frame example of OFDMA. For example, it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 28 includes a preamble, a control information symbol, a data symbol addressed to the user, and a mid amble.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 2, # 3 and # 4, and are arranged in the frequency bands F121, F122, F123 and F124, respectively.
- the data symbols addressed to the user are arranged with the mid amble in between.
- This frame configuration can be considered as a frame example of OFDMA. For example, it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 29 includes a preamble, a control information symbol, a data symbol addressed to the user, and a mid amble.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 2, # 3 and # 4, and are arranged in the frequency bands F131, F132, F133 and F134, respectively. Data symbols addressed to the user are arranged across the mid amble.
- a guard section is provided between the mid amble and the data symbol addressed to the user.
- a guard section may be installed in front of the mid amble.
- This frame configuration can be considered as a frame example of OFDMA. For example, it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 30 includes a preamble, a control information symbol, a data symbol addressed to the user, and a reference signal.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 3 and # 4, and are arranged in the frequency bands F141, F143 and F144, respectively.
- the frequency band F142 three reference signals are arranged with a guard section in between.
- OFDMA there may be a frequency band that is not used for the data symbol addressed to the user (for example, the frequency band F142 in FIG. 30), and in that case, the reference signal is set to the frequency band that is not used for the data symbol addressed to the user. It is the one that was placed.
- the frequency band F142 can also be used to transmit a data symbol addressed to a certain user.
- it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 31 includes a preamble, a control information symbol, a data symbol addressed to the user, and a reference signal.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 2, # 3 and # 4, and are arranged in the frequency bands F151, F152, F153 and F154, respectively.
- two reference signals are arranged with a guard section in between after the data symbol addressed to the user # 1.
- a reference signal is arranged after the data symbol addressed to user # 2, and a guard section is provided after the reference signal.
- the time length of the data symbol addressed to the user may differ for each user, and in that case, the reference signal is arranged in a frequency band and a time zone that are not used for the data symbol addressed to the user.
- the time length of the data symbol addressed to user # 1 is shorter than the time length of the data symbol addressed to user # 4, and the reference symbol can be transmitted by using the time after the data symbol addressed to user # 1.
- it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 32 includes a preamble, a control information symbol, a data symbol addressed to the user, and a reference signal.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 3 and # 4, and are arranged in the frequency bands F161, F163 and F164, respectively.
- the reference signal is arranged over the frequency bands F161 to F164, and a guard section is provided after the reference signal.
- a guard section is provided between the reference signals. For example, it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 33 includes a preamble, a control information symbol, a data symbol addressed to the user, and a reference signal.
- the data symbols addressed to the user include data symbols destined for the users # 1, # 2, # 3 and # 4, and are arranged in the frequency bands F171, F172, F173 and F174, respectively.
- the reference signal is arranged over the frequency bands F171 to F174, and a guard section is provided after the reference signal.
- a reference signal addressed to user # 1 is arranged after the guard section, and a guard section is provided after that.
- a reference signal addressed to user # 2 is arranged after the guard section, and a guard section is provided after that.
- the time lengths of the data symbol, the reference signal, and the guard section addressed to the user are different from each other.
- it can be considered as a frame transmitted by an AP, a repeater, or the like.
- the frame shown in FIG. 34 is an example of a frame configuration transmitted by the terminal, for example, a configuration example of a frame transmitted by the terminal owned by the user # 1, the preamble, the control information symbol, and (the frame possessed by the user # 1). Includes data symbols (sent by the terminal).
- the data symbol (transmitted by the terminal owned by user # 1) is arranged in the frequency band F181.
- the frequency band F182 is not assigned to the terminal owned by user # 1. However, the frequency band F182 can be used by a terminal owned by another user (a terminal other than user # 1) to transmit a data symbol and a reference signal.
- the frame shown in FIG. 35 is a frame configuration example transmitted by the terminal, for example, a frame configuration example owned by the terminal owned by the user # 1, and includes a preamble, a control information symbol, and (held by the user # 1). Includes data symbols (transmitted by the terminal) and reference signals.
- the data symbol (transmitted by the terminal owned by user # 1) is arranged in the frequency band F191.
- the frequency band F192 is not assigned to the terminal owned by user # 1. Further, (a reference signal and a guard section are provided after the data symbol transmitted by the terminal owned by user # 1. Also, after the next (data symbol transmitted by the terminal owned by user # 1), the reference signal and the guard section are provided. A reference signal and a guard section are provided.
- the frequency band F192 can be used by a terminal owned by another user (a terminal other than user # 1) to transmit a data symbol and a reference signal. ..
- the frame shown in FIG. 36 is a frame configuration example transmitted by the terminal, for example, a frame configuration example owned by the terminal owned by the user # 1, and includes a preamble, a control information symbol, and (held by the user # 1). Includes data symbols (transmitted by the terminal) and reference signals.
- the data symbols (transmitted by the terminal owned by user # 1) are arranged in the frequency bands F201 and F202.
- the frequency band F203 is not assigned to the terminal owned by user # 1.
- a reference signal and a guard section are provided after the data symbol (transmitted by the terminal owned by the user # 1), and the next (used by the user # 1) is provided.
- a reference signal and a guard section are also provided after the data symbol (transmitted by the terminal).
- the frequency band F202 as in the frequency band F181 of FIG. 34, a data symbol (transmitted by a terminal owned by user # 1) is arranged, and a reference signal and a guard section are not provided.
- the frequency band F203 can be used by a terminal owned by another user (a terminal other than user # 1) to transmit a data symbol and a reference signal.
- the frame shown in FIG. 37 is a frame configuration example transmitted by the terminal, for example, a frame configuration example owned by the terminal owned by the user # 1, and includes a preamble, a control information symbol, and (held by the user # 1). Includes data symbols (transmitted by the terminal) and reference signals.
- the data symbols (transmitted by the terminal owned by user # 1) are arranged in the frequency bands F211 and F212.
- the frequency band F213 is not assigned to the terminal owned by user # 1. Further, in the frequency band F211 as in the frequency band F191 of FIG. 35, a reference signal and a guard section are provided after the data symbol (transmitted by the terminal owned by the user # 1), and the next (used by the user # 1) is provided.
- a reference signal and a guard section are also provided after the data symbol (transmitted by the terminal).
- the frequency band F212 a data symbol (transmitted by a terminal owned by user # 1) and a reference signal are arranged.
- the frequency band F213 can be used by a terminal owned by another user (a terminal other than user # 1) to transmit a data symbol and a reference signal.
- a wide band reference signal and a narrow band reference signal exist. As a result, there is a high possibility that highly accurate sensing can be performed.
- the device of the present embodiment may be a device capable of transmitting and receiving the frame of FIG. 19 or the frame of FIG. 20.
- the device of the present embodiment may be a device capable of transmitting and receiving the frame of FIG. 19 and the frames of FIGS. 22 to 37.
- the device of the present embodiment may be a device capable of transmitting and receiving the frame of FIG. 20 and the frames of FIGS. 22 to 37.
- the device of the present embodiment may be a device capable of transmitting and receiving the frame of FIG. 19, the frame of FIG. 20, and the frames of FIGS. 22 to 37.
- the device of the present embodiment may transmit the frame of FIGS. 19 to 37 from one antenna. Further, the device of the present embodiment may transmit the frames of FIGS. 19 to 37 from the plurality of antennas.
- the device of the present embodiment receives the modulated signal of the frame of FIGS. 19 to 37
- the device of the present embodiment receives the signal of the frame of FIGS. 19 to 37 with one antenna.
- the device of the present embodiment may receive the signal of the frame of FIGS. 19 to 37 with a plurality of antennas. Therefore, as a transmission method, any of SIMO (Single-Input Single-Output), MISO (Multiple-Input Single-Output), SIMO (Single-Input Multiple-Output), and MIMO (Multiple-Input Multiple-Output) can be used. There may be.
- the AP or repeater
- the terminal can obtain the effect of being able to perform sensing and communication.
- the transmission device is composed of a frame component unit that constitutes a frame that is a frame compliant with the OFDMA method and includes a plurality of time frequency resources that are resources defined by time and frequency, and a frame component unit.
- a transmission unit that transmits a frame by radio waves is provided, and the frame configuration unit has a communication resource that is a time-frequency resource in which a symbol containing communication data is arranged and a symbol for sensing by radio waves transmitted by the transmission unit.
- a frame including a sensing resource, which is a time-frequency resource, is configured as the above frame.
- the frame is two sensing resources, and the two sensing resources have different times, have the same frequency, and are arranged adjacent to each other in the time direction with a guard section in between. It may contain at least resources.
- the reference signal in the frequency band F142 of FIG. 30 corresponds to the above two sensing resources.
- the frame may include two guard sections having two guard sections, the time lengths of the two guard sections are different, and the frequencies are different.
- the guard section of the frequency band F171 and the guard section of the frequency band F172 in FIG. 33 correspond to the above two guard sections.
- the frame may include at least two sensing resources that are two sensing resources and have different frequencies and different time lengths of the two sensing resources.
- the reference signal of the frequency band F171 and the reference signal of the frequency band F172 in FIG. 33 correspond to the above two sensing resources.
- the sensing process may include at least a process of detecting the position of the object, a process of detecting the presence or absence of the object, or a process of detecting the outer shape of the object by analyzing the reflected wave received by the receiving unit. ..
- the detection device further includes a control unit that controls the drive of the electric device based on the result of the sensing process by the processing unit.
- the control system of the present embodiment includes a detection device and the above-mentioned electric device.
- FIG. 38 is a diagram showing an example of the configuration of the control system according to the present embodiment.
- the control system shown in FIG. 38 includes a device A11 and a detection device A12.
- the device A11 is an electric device that can operate under the control of the device of the device A11, and is, for example, an electric motorcycle, an electric kickboard, a vacuum cleaner, an electric vehicle, or the like.
- the device A11 is an information processing device such as a smartphone or a tablet.
- the device A11 includes interfaces # 1 and # 2, a control unit A111, a drive unit A112, a sensor A113, and a communication unit A114.
- Interfaces # 1 and # 2 are interface devices for communication with the detection device A12. Interfaces # 1 and # 2 are interfaces for communicating without using another device such as a relay device in the example of FIG. 38.
- the communication here may be, for example, wireless communication such as Bluetooth (registered trademark), wireless LAN, optical communication, etc., for example, USB (Universal Serial Bus), PLC (Power Line Communication), etc. Wired communication may be used.
- another device such as a repeater may be used.
- Interface # 1 receives a signal (also referred to as a first signal) from interface # 3 of the detection device A12.
- Interface # 2 transmits a signal (also referred to as a second signal) to interface # 4 of the detection device A12.
- the interface # 1 may be supplied with electric power from the detection device A12.
- the control unit A111 is a processing unit that controls the drive of the drive unit A112 and controls the sensor A113.
- the control unit A111 receives the signal from the detection device A12 via the interface # 1, controls the drive of the drive unit A112 based on the received signal, and controls the sensor A113. Further, the control unit A111 acquires information indicating the states of the drive unit A112 and the sensor A113, and transmits the information to the detection device A12 via the interface # 2.
- the control unit A111 may acquire a software program for operating the control unit A111 via the communication unit A114.
- the drive unit A112 is a processing unit that drives the device A11.
- the drive unit A112 includes, for example, a wheel for moving the device A11, a steering device for controlling the direction of the wheel, an accelerator or a braking device for controlling the rotation speed of the wheel, and the like.
- the drive unit A112 may further include a battery or the like as a power source for driving the wheels.
- the drive unit A112 accelerates or decelerates the moving speed of the device A11 and changes the moving direction by operating under the control of the control unit A111. Further, the drive unit A112 outputs information indicating the state of the drive unit A112 to the control unit A111.
- the sensor A113 is a sensor that senses the surroundings of the device A11.
- the sensor A113 is, for example, a sensor that measures temperature, humidity, illuminance, or the like, or a distance sensor that measures the distance to a surrounding object.
- the sensor A113 operates under the control of the control unit A111, and outputs the sensor value and the like to the control unit A111.
- the communication unit A114 is a communication interface for wireless communication with an AP (access point).
- AP access point
- AP access point
- it may be a base station, a communication device, or the like.
- the detection device A12 includes interfaces # 3 and # 4, control unit A121, processing unit A122, image sensor A123, application storage unit A124, communication units # 1 and # 2, and sensing unit A125.
- Interfaces # 3 and # 4 are interface devices for communication with the device A11. Interfaces # 3 and # 4 are interfaces for communicating without using another device such as a relay device in the example of FIG. 38.
- the communication here may be, for example, wireless communication such as Bluetooth (registered trademark), wireless LAN, optical communication, or wired communication such as USB or PLC. Further, unlike the example of FIG. 38, another device such as a repeater may be used.
- Interface # 3 transmits a signal to interface # 1 of device A11.
- Interface # 4 receives a signal from interface # 2 of device A11.
- Interface # 3 may supply electric power to the device A11.
- the control unit A121 is a processing unit that controls the operation of the device A11.
- the control unit A121 acquires, for example, the sensor value acquired by the sensor A113 or the information indicating the state of the drive unit A112 from the device A11 via the interface # 4, and based on the acquired sensor value or information, the control unit A121 acquires information.
- a signal for driving the drive unit A112 and / or controlling the control unit A111 is generated.
- the control unit A121 transmits the generated signal to the device A11 via the interface # 3, and controls, for example, the control unit A111 and / or the drive unit A112.
- the control unit A121 is a processing unit that controls the operation of the device A11.
- the control unit A121 acquires the sensor value earned by the sensing unit A125 via the processing unit A122, and based on the acquired sensor value, drives the drive unit A112 and / or outputs a signal for controlling the control unit A111. Generate.
- the control unit A121 may use the information obtained from the drive unit A112 and / or the sensor A113 when driving the drive unit A112 and / or generating a signal for controlling the control unit A111. Then, the control unit A121 transmits the generated signal to the device A11 via the interface # 3, and controls, for example, the control unit A111 and / or the drive unit A112.
- the processing unit A122 is an arithmetic unit that performs information processing in the detection device A12.
- the processing unit A122 is composed of, for example, a CPU.
- the image sensor A123 is a sensor that photographs the surroundings of the detection device A12 and generates an image.
- the image sensor A123 provides the data related to the generated image to the processing unit A122.
- the application storage unit A124 is a storage device that stores an application (software program) for controlling the device A11 or the detection device A12.
- the application storage unit A124 acquires the application (software program) via, for example, communication units # 1 or # 2.
- control accuracy of the control unit A121 is improved by updating the application, it is possible to obtain the effect of improving the safety related to the drive of the system composed of the device A11 and the detection device A12.
- Communication unit # 1 is a communication interface for wireless communication with an AP (access point).
- Communication unit # 2 is a communication interface for wireless communication with a base station of a mobile phone carrier network.
- Sensing unit A125 is a processing unit that performs sensing using radio waves for communication.
- the sensing unit A125 detects an object around the detection device A12, more specifically, a person, a car, a bicycle, an obstacle, or the like, and recognizes the movement of the object.
- the sensing unit A125 may be realized such that it transmits a radio wave having the same frequency as the communication unit # 1.
- the device A11 may be equipped with the detection device A12 or may be arranged at a position away from the detection device A12.
- the device A11 When the device A11 is equipped with the detection device A12, the device A11 is controlled by a signal transmitted / received via the communication unit A114 or the interface # 1 or # 2.
- the detection device A12 is mounted on the device A11 when the device A11 is used while the user is out.
- the device A11 when the device A11 is controlled via the communication unit A114, the device A11 is controlled based on the signal transmitted from the detection device A12 via the AP (access point).
- the function when the device A11 is controlled via the communication unit A114, the function may be limited.
- direct communication may be performed with the communication unit # 1 of the detection device A12 instead of communication via the AP (access point). ..
- a device such as a smartphone or a tablet that has not been used for controlling the conventional device A11 can be used for controlling the device A11.
- an existing device or the like can be used for controlling the device A11.
- a device that is unused and idle can be used, and wasted resources such as a CPU, GPU, memory, storage, modem, or display included in the unused device. You can get the effect that you may be able to utilize.
- the firmware or application may be updated not only on the detection device A12 side but also on the device A11 side. With this configuration, if a new function cannot be provided by simply updating the application on the detection device A12 side, or if a security problem is discovered on the device A11 side, the firmware or application that solves the security problem. It will be possible to take measures promptly by providing.
- the application is obtained from an external device such as a cloud server via the communication unit # 1 and the communication unit # 2.
- FIG. 39 is a diagram showing an example of the configuration of the control system according to the present embodiment.
- the control system shown in FIG. 39 includes device A11, detection device A12, AP of A21, network A22, base station A23, and device A24.
- the device A11 and the detection device A12 transmit and receive signals via interfaces # 1, # 2, # 3 and # 4. The details have already been described.
- the AP of A21 is an access point that can connect to the communication unit # 1 of the detection device A12.
- the network A22 is a network connected to the AP of A21 and also connected to the base station A23.
- the network A22 may include a part of the carrier network of the mobile phone or a part of the Internet. Further, a cloud including a server that executes information processing may be connected.
- the base station A23 is, for example, a base station device connected to a carrier network of a mobile phone, and is connected to the device A24.
- the device A24 is, for example, a portable information processing device such as a smartphone or tablet owned by the user.
- the detection device A12 is communicably connected to the device A24 via the APA21, the network A22, and the base station A23 by the communication unit # 1.
- the detection device A12 is connected to the device A11 such as a vacuum cleaner via interfaces # 1, # 2, # 3 and # 4.
- the device A24 accesses the detection device A12 mounted on the device A11 via, for example, one or more networks, and controls the device A11 via the detection device A12.
- the device A11 is controlled by using the data sensed by the sensing unit A125 included in the detection device A12. With this configuration, it is possible to use the data sensed by the sensor that the device A11 does not have for the control of the device A11. As a result, it is possible to realize a function that cannot be realized by the device A11 alone.
- the device A11 acquires the data sensed by the sensing unit A125 of the detection device A12 via the interfaces # 1 and / or # 2, the data is acquired via the network via the communication unit A114. It is possible to improve security in comparison, and it may be possible to provide functions that cannot be realized when there are security restrictions.
- the device A11 is controlled via the detection device A12 mounted on the device A11.
- the detection device A12 can determine whether or not to accept the control instruction transmitted from the device A24. For example, by performing processing such as authentication between the device A24 and the detection device A12, the security against unauthorized access can be improved.
- the accuracy of control of the control unit A121 is improved by updating the application in the application storage unit A124, the safety related to the drive of the system composed of the device A11 and the detection device A12 becomes safer. The effect of improvement can be obtained.
- FIG. 40 is a diagram showing an example of the appearance of the control system according to the present embodiment.
- the detection device A12 is mounted on an electric kickboard corresponding to the device A11.
- the detection device A12 controls, for example, acceleration / deceleration of the device A11 based on the result of sensing by the sensing unit A125.
- the electric kickboard can control the drive unit A112 according to the user's input using the operation input input unit on the device A11 (that is, the electric kickboard) side or the detection device A12 side, for example. There may be.
- the control unit A121 controls the drive unit A112 to perform operations such as accelerating the device A11 (that is, the electric kickboard) or changing the traveling direction. Further, the control unit A121 may control the drive unit A112 to decelerate the device A11. Deceleration may be realized by using a brake or by using a braking force such as a generator.
- control unit A121 may control the drive unit A112 in response to the input from the input unit, or the drive unit A112 may control the drive unit A112 based on the sensing data acquired from the device A11 and / or the sensing unit A125. Control may be performed.
- the sensing unit A125 performs sensing using radio waves.
- the sensing method using radio waves is as described in the other embodiments.
- the control unit A121 transmits a control signal including information that the speed is decelerated based on the information "detecting a person" obtained from the sensing unit A125 to the device A11 via the interface # 3 and the interface # 4. To do.
- the control unit A111 and the drive unit A112 of the device A11 perform control to decelerate.
- the sensing unit A125 performs sensing using radio waves and detects that there is no obstacle in front of it.
- the control unit A121 transmits a control signal including information that the speed is accelerated based on the information that "there is no obstacle" obtained from the sensing unit A125 and then the constant speed running is performed, and the interface # 3 and the interface # It is transmitted to the device A11 via 4.
- the control unit A111 and the drive unit A112 of the device A11 perform control to perform constant speed traveling after acceleration.
- the sensing unit A125 performs sensing using radio waves and detects that there is an obstacle on the right side. Based on the information that "there is an obstacle on the right side" obtained from the sensing unit A125, the control unit A121 sends a control signal including information that the operation avoids the obstacle to the interface # 3 and the interface # 4. It is transmitted to the device A11 via the device A11. Along with this, the control unit A111 and the drive unit A112 of the device A11 perform control to avoid obstacles.
- the sensing unit A125 performs sensing using radio waves, and the control unit A121 performs self-position estimation or obstacle detection based on the information of the sensing result, and outputs a control signal for controlling acceleration or deceleration. You may.
- the control unit A121 can also perform self-position estimation or obstacle detection using the image information obtained from the image sensor A123 and the information obtained from the sensor A113.
- the control unit A121 transmits this control signal to the device A11 via the interface # 3 and the interface # 4. Along with this, the control unit A111 and the drive unit A112 of the device A11 are controlled based on the control signal.
- the control unit A121 detects the user's motion based on the speed or acceleration data acquired by the speed sensor or the acceleration sensor, and accelerates or accelerates. Controls deceleration.
- the user's action detected by using the sensing unit A125 is the action of the user kicking the ground, but other actions may be used.
- the user may move the center of gravity of the body, or the orientation of the user's face or the orientation of the user's face may change.
- the sensor that can be used as the sensing unit A125 may be a weight sensor, a wireless radar, or radio wave sensing.
- FIG. 41 is a diagram showing an example of processing of the control system according to the present embodiment. An example of control in the above example of the control operation by the control unit A121 will be described with reference to a flowchart.
- the device A11 is, for example, when the user instructs the start of the control operation by a switch or a button, when the user turns on the power of the device A11, when the user attaches the detection device A12 to the device A11, or when the user attaches the detection device A12 to the device A11.
- the control operation of the flowchart is started.
- step S001 when the control unit A121 starts the control operation, the control unit A121 acquires acceleration data from the sensor A113 included in the device A11 and / or the sensing unit A125 included in the detection device A12.
- step S002 the control unit A121 detects the acceleration operation of the device A11 from the acceleration data.
- step S003 the process proceeds to step S003
- step S004 the process proceeds to step S004.
- step S003 the control unit A121 controls the drive unit A112 and executes, for example, an assist process of rotating the motor to generate an acceleration force in the traveling direction.
- the generation of the acceleration force may be performed for a predetermined time in order to further improve the acceleration, for example, when it is determined from the acceleration data that the acceleration has been performed, or the acceleration is performed after the acceleration is performed. It may be done so as to maintain the speed for a predetermined time at the end or at the beginning of deceleration.
- the assist process in step S003 is completed, the process returns to step S001.
- step S004 the control unit A121 determines whether or not to end the control of the drive unit A112, ends the process when the control of the drive unit A112 ends, and ends the control of the drive unit A112 when the control of the drive unit A112 does not end.
- the determination as to whether or not to end the control of the drive unit A112 may be determined, for example, to end the control of the drive unit A112 when the device A11 is completely stopped, or when the user turns off the power of the device A11. It may be determined that the control of the drive unit A112 is terminated when the user removes the detection device A12 from the device A11 or when the user detects that the user has dismounted from the kickboard which is the device A11.
- the device A11 is, for example, when the user instructs the start of the control operation by a switch or a button, when the user turns on the power of the device A11, when the user attaches the detection device A12 to the device A11, or when the user attaches the detection device A12 to the device A11.
- the control operation of the flowchart is started.
- step S001 when the control unit A111 starts the control operation, the control unit A111 acquires acceleration data from the sensor A113 included in the device A11.
- step S002 the control unit A111 detects the acceleration operation of the device A11 from the acceleration data.
- step S003 the process proceeds to step S003
- step S004 the process proceeds to step S004.
- step S003 the control unit A111 controls the drive unit A112 and executes, for example, an assist process of rotating the motor to generate an acceleration force in the traveling direction.
- the generation of the acceleration force may be performed for a predetermined time in order to further improve the acceleration, for example, when it is determined from the acceleration data that the acceleration has been performed, or the acceleration is performed after the acceleration is performed. It may be done so as to maintain the speed for a predetermined time at the end or at the beginning of deceleration.
- the assist process in step S003 is completed, the process returns to step S001.
- step S004 the control unit A111 determines whether or not to end the control of the drive unit A112, ends the process when the control of the drive unit A112 ends, and steps when the control of the drive unit A112 does not end.
- the determination as to whether or not to end the control of the drive unit A112 may be determined, for example, to end the control of the drive unit A112 when the device A11 is completely stopped, or when the user turns off the power of the device A11. It may be determined that the control of the drive unit A112 is terminated when the user removes the detection device A12 from the device A11 or when the user detects that the user has dismounted from the kickboard which is the device A11.
- FIG. 42 is a diagram showing an example of the configuration of the transmission device A3 according to the sixth embodiment.
- the transmission device A3 includes a frame configuration unit A31, a transmission unit A32, a reception unit A33, and a processing unit A34.
- the frame component A31 is a frame compliant with a single carrier system, a multicarrier system such as OFDM, or an OFDMA (Orthogonal Frequency-Division Multiple Access) system, and is a resource defined by time and frequency. Configure a frame that contains multiple time-frequency resources.
- the frame configuration unit A31 is a communication resource which is a time frequency resource in which a symbol containing communication data is arranged, and a sensing resource which is a time frequency resource in which a symbol for sensing by radio waves transmitted by the transmission unit A32 is arranged.
- a frame including and is configured as the above frame.
- the transmission unit A32 transmits the frame configured by the frame configuration unit A31 by radio waves.
- FIG. 43 is a diagram showing an example of processing of the transmission device according to the sixth embodiment.
- step S1 the frame conforms to the single carrier method, the multicarrier method such as OFDM, or the OFDMA method, and is defined by the time and / or frequency.
- a frame containing a plurality of time frequency resources, which are resources to be used, is configured.
- the communication resource which is a time-frequency resource in which the symbol including the communication data is arranged
- the time-frequency resource which is the time-frequency resource in which the symbol for sensing by the radio wave transmitted in the transmission step is arranged.
- a frame including resources is configured as the above frame.
- step S2 transmission step
- the frame configured in the frame configuration step is transmitted by radio waves.
- FIG. 44 shows an example of the configuration of a device having both a communication function and a sensing function.
- the transmission / reception unit N102 inputs data N101 and control signal N100. Then, when the control signal N100 indicates that "communication is performed", the transmission / reception unit N102 performs processing such as error correction coding and modulation on the data N101, and outputs the modulation signal N103. When the control signal N100 indicates that "sensing is performed", the transmission / reception unit N102 does not operate.
- the sensing unit N104 When the sensing unit N104 receives the control signal N100 as an input and the control signal N100 indicates that "sensing is performed", the sensing unit X204 outputs the sensing signal N105. When the control signal N100 indicates that "communication is performed”, the sensing unit N104 does not operate, for example.
- the sensing unit N104 receives the signal N180 related to the operation as an input, determines the sensing operation based on the signal N180 related to the operation, and performs the operation based on the determination. Details will be described later.
- the transmission signal selection unit N106 inputs the control signal N100, the modulation signal N103, and the sensing signal N105. Then, when the control signal N100 indicates that "communication is performed", the transmission signal selection unit N106 outputs the modulation signal N103 as the selected signal N107. Further, when the control signal N100 indicates that "sensing is performed", the transmission signal selection unit N106 outputs the sensing signal N105 as the selected signal N107.
- the power adjustment unit N108 inputs the selected signal N107 and control signal N100.
- the control signal N100 indicates that "communication is performed”
- the power for communication is adjusted for the selected signal N107 (for example, the coefficient to be multiplied by the selected signal N107 is ⁇ ), and the transmission is performed.
- the signal N109 is output.
- the power for communication is adjusted for the selected signal N107 (for example, the coefficient to be multiplied by the selected signal N107 is ⁇ ). , Output the transmission signal N109.
- ⁇ and ⁇ are assumed to be real numbers of 0 or more. At this time, it is assumed that ⁇ > ⁇ ( ⁇ is larger than ⁇ ). By doing so, it is possible to reduce the transmission power during sensing, which makes it difficult to sense through a wall or the like, increases the possibility of ensuring privacy, and also during communication. The effect of being able to obtain high data reception quality can be obtained.
- ⁇ and ⁇ may be complex numbers. At this time, it is assumed that
- the transmission signal N109 is output as a radio wave from the transmission / reception antenna unit N110.
- the power adjustment unit N108 does not have to be provided. At this time, the selected signal N107 is output as a radio wave from the transmission / reception antenna unit N110.
- the transmission / reception antenna unit N110 outputs the reception signal N111.
- the reception signal selection unit N112 inputs the control signal N100 and the reception signal N111. When the control signal N100 indicates that "communication is performed", the reception signal selection unit N112 outputs the reception signal N111 as the signal N113.
- the reception signal selection unit N112 outputs the reception signal N111 as the signal N114.
- the transmission / reception unit N102 inputs the control signal N100 and the signal N113.
- the transmission / reception unit N102 performs processing such as demodulation and error correction / decoding on the signal N113, and outputs the received data N115.
- the sensing unit N104 inputs the control signal N100 and the signal N114.
- the control signal N100 indicates that "sensing is to be performed"
- the sensing unit N104 performs sensing using the signal N114 or the like, and outputs the sensing result N116.
- the control unit N151 generates and outputs a control signal N100 based on the external signal N150, the received data N115, and the like.
- the control unit N151 generates and outputs a control signal N100 based on the external signal N150, the received data N115, and the like.
- the registration unit N180 inputs an external signal N150 and a sensing result N116. For example, when the external signal N150 indicates that the operation for operation registration is performed, the registration unit N180 outputs the signal N180 regarding the operation including the information that the operation registration is performed.
- the sensing unit N104 When the operation signal N180 includes information that the operation registration is performed, the sensing unit N104 generates and outputs a sensing signal N105 for sensing a target gesture or the like.
- the sensing signal N105 is transmitted as a radio wave.
- the sensing device receives the signal
- the sensing unit N104 estimates the sensing for the received signal, and obtains the sensing result N116. Output.
- the registration unit N180 will register the sensing result N116.
- Example 1 It is assumed that the first person takes out a "sensory device” or “a device capable of sensing and having a communication function” in the house and misplaces it somewhere.
- a device capable of sensing or “a device capable of sensing and having a communication function” is named device # A.
- a specific example of the device #A has already been described.
- the first person has a request to easily find the misplaced device #A.
- An operation example for this request will be described below.
- FIG. 45 shows an example of the relationship between device #A and the first person. As shown in FIG. 45, first, device #A "determines to register the gesture (N201)". Therefore, device #A transmits a sensing signal.
- device #A "registers the first gesture (N203)".
- device #A may have a function for confirming whether or not the gesture can be registered correctly. Further, the device #A may have a function of editing the registered gesture. These functions may be used, for example, by a first person to correctly register the first gesture in device # A.
- device #A shall perform sensing regularly, regularly, or irregularly.
- the first person "executes the first gesture (N212)" because the device #A is missing.
- the person who performs the first gesture is the first person, another person may perform the first gesture.
- the device #A recognizes the first gesture and executes the first operation (N213) by performing sensing.
- the device #A can register the gesture performed by the person by N201, N202, and N203 in FIG. 45. In this way, device #A shall register a plurality of gestures. For example, it is assumed that the device #A has registered the first gesture, the second gesture, the third gesture, and the fourth gesture.
- the device #A when the first gesture and the fourth gesture registered in the device #A are performed continuously, for example, the device #A performs an operation of "sounding" or "vibrating". , The first person shall register with device # A.
- the number of gestures registered in device #A is not limited to the above example, and can be performed in the same manner as long as a plurality of gestures are registered. Further, the number of gestures to be combined is not limited to the above example, and a plurality of gestures may be combined and linked to the operation of device #A.
- the number of gestures registered in device #A is not limited to the above example, and can be performed in the same manner as long as a plurality of gestures are registered. Further, the number of gestures to be combined is not limited to the above example, and a plurality of gestures may be combined and linked to the operation of device #A. At this time, as an example of the operation of the device #A, an example of "sounding" or “vibrating” has been described, but the link between a plurality of gestures and the operation of the device is not limited to this, and FIG. From FIG. 49, a plurality of gestures and the operation of the device (terminal) may be linked as in the example described later.
- the operation performed by the device #A is "sounding" or "vibrating" in the above example.
- the present invention is not limited to this, and the device (terminal) may operate with reference to FIGS. 46 to 49 as in the example described later.
- the gesture is registered, and then the gesture and the operation of the device #A are linked, but the procedure is not limited to this order, and the operation of the device #A is specified, and then the link is performed. You may register the gesture to make you. Further, the gesture linked to the operation of the device #A may be a gesture possessed by the device #A (in advance). The important point here is to link one or more gestures with the actions of terminal # A.
- Example 2 In Example 1, the case of linking the "gesture” and the “action of smoothing the sound” or “vibrating” of the device #A has been described, but in this example, the "gesture” and the “device #A” ( The case of linking the "operation of the communication function of the terminal # A)" will be described.
- FIG. 46 shows an example of the state of the first person N301, the terminal # A of the N302 that is “sensingable and has a communication function”, and the device #B of the N303.
- the terminal # A of N302 and the device # B of N303 can communicate with each other.
- FIG. 47 is an example different from that of FIG. 46, and the same numbers are assigned to those operating in the same manner as in FIG. 46.
- FIG. 47 there is a first person N301, terminals # A of N302 that are “sensingable and equipped with a communication device”, and devices #B of APs (access points) N401 and N303.
- network N402 may exist.
- FIG. 47 it is assumed that the terminal # A of N302 and the AP of N401 can communicate with each other, and the device # B of N303 and the AP of N401 can communicate with each other.
- terminal # A of N302 "decides to register the gesture (N501)". Therefore, the terminal # A of N302 transmits the sensing signal.
- the first person N301 "executes the movement to register to the terminal #A of N302 (N502)".
- This gesture is named "second gesture”.
- the terminal #A of N302 "registers the second gesture (N503)".
- the terminal # A of the N302 may have a function of confirming whether or not the gesture can be registered correctly. Further, the terminal # A of the N302 may have a function of editing the registered gesture. For example, the first person N301 may use these functions, and the second gesture may be correctly registered in the terminal # A of the N302.
- terminal # A of N302 shall perform sensing regularly, regularly, or irregularly.
- the first person N301 wants to request the device # B of the N303 to perform the "second operation", and therefore "executes the second gesture (N512)".
- the person who performs the second gesture is the first person N301, but another person may perform the second gesture.
- the terminal of N0302 recognizes the second gesture by performing sensing (N513), and transmits the information instructing the execution of the "second operation" to the device # B of N303 (N514). ).
- device # B of N303 will carry out the second operation (N515).
- FIG. 49 the same numbers are assigned to those that operate in the same manner as in FIG. 48.
- terminal # A of N302 "decides to register the gesture (N501)". Therefore, the terminal # A of N302 transmits the sensing signal.
- the first person N301 "executes the movement to register to the terminal #A of N302 (N502)".
- This gesture is named "second gesture”.
- the terminal #A of N302 "registers the second gesture (N503)".
- the terminal # A of the N302 may have a function of confirming whether or not the gesture can be registered correctly. Further, the terminal # A of the N302 may have a function of editing the registered gesture. For example, the first person N301 may use these functions, and the second gesture may be correctly registered in the terminal A of the N302.
- terminal # A of N302 shall perform sensing regularly, regularly, or irregularly.
- the first person N301 wants to request the device # B of the N303 to perform the "third operation", and therefore "executes the second gesture (N612)".
- the person who performs the second gesture is the first person N301, but another person may perform the second gesture.
- the terminal # A of the N302 recognizes the second gesture by performing sensing (N613), and transmits the information instructing the execution of the "third operation" to the AP of the N401 (N614). ..
- the AP of N401 transmits a modulation signal including this information (instruction of executing the third operation) to the device #B of N303 (N615).
- device # B of N303 performs the third operation (N616).
- the AP of N401 may be communicating with network N402.
- the AP of N401 may communicate with the cloud server via the network N402. Then, the AP of N401 may receive an instruction from the cloud server.
- the cloud server may obtain information on sensing from terminal # A of N302, device # B of N303, AP of N401, and the like.
- the cloud server itself may perform the calculation of grasping the registered contents of the gesture and recognizing the gesture.
- terminal # A of N302 needs to upload these base information to the cloud server.
- the cloud server grasps the contents linked with the gesture, and based on these, may give an instruction to the terminal # A of N302, the device # B of N303, and the AP of N401.
- the term gesture is used, but instead of the gesture, the movement of a person, the shape of a part of the human body, the movement of a part of the human body, the detection of a person, the detection of a part of a person, This description may be carried out using the authentication of a person, the authentication of a part of a person, the movement of an object, the shape of an object, the detection of an object, the authentication of an object, and the like.
- the sensing method the example described in this specification may be used, or other methods may be used.
- FIG. 50 shows an example of the state of each device in the present embodiment.
- the N700 shows an example and the space inside the house.
- the home N700 is a terminal such as an AP (access point) N701, an audio N702, a “smartphone or smart speaker, or tablet, or a computer, or a mobile phone”.
- AP access point
- N701 an audio N702
- a “smartphone or smart speaker” or tablet
- a computer or a mobile phone
- the AP of N701 is capable of sensing and communication as described in other embodiments.
- the AP of the N701 shall communicate with, for example, the audio N702, the device #C of the N703, the lighting N704, and the like.
- the AP of N701 may communicate with devices other than these.
- the AP of N701 is communicating with the (cloud) server N720 via the network N710.
- the AP of N701 is communicating with the base station N730 via the network N710.
- the base station N730 is communicating with the device N731, which is a terminal such as a "smartphone, tablet, computer, or mobile phone".
- device N731 will be referred to as device #D.
- FIG. 51 shows a flowchart of an operation example when the AP of N701 is installed in the house.
- the AP of N701 performs sensing (N801), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
- Shape information, home appliance position information (including audio N702 and lighting N704, of course), home appliance shape information, electronic device position information (including N703 device #C, of course), electronic device shape Information etc. is uploaded to the cloud server (N802).
- the initial sensing of the AP of N701 is completed (N803).
- the AP of N701 may perform the operation of FIG. 51 periodically, irregularly, regularly, or irregularly after the AP of N701 is installed. ..
- FIG. 51 shows the operation of device #C of N703.
- the device #C of N703 performs sensing (N801), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture. , Furniture shape information, home appliance (naturally including audio N702, lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc., AP of N701 Upload to the cloud server via (N802).
- the initial sensing of the device #C of N703 is completed (N803).
- the device #C of N703 may perform the operation of FIG. 51 periodically, irregularly, regularly, or irregularly.
- FIG. 52 shows a flowchart of one operation example of the AP of N701.
- the AP of N701 sends the information of home appliances (naturally including audio N702 and lighting N704) and the information of electronic devices (naturally including device # C of N703) obtained by sensing to the cloud server. Upload (N901).
- the information on the operation of the equipment in the house and the sensing cooperation performed by the AP of N701 is uploaded to the cloud server (N902).
- An example of cooperation between the operation of the device in the house and the sensing of the device that can be sensed (here, AP of N701) and the registration of the cooperation will be described in the seventh embodiment.
- an operation example of cooperation which is different from the seventh embodiment, will be described.
- FIG. 52 shows the operation of device #C of N703.
- Device #C of N703 uploads information of home appliances (naturally including audio N702 and lighting N704) and electronic devices obtained by sensing to a cloud server via AP of N701. (N901).
- the information on the operation of the device in the house and the sensing cooperation performed by the device #C of N703 is uploaded to the cloud server (N902).
- An example of cooperation between the operation of the device in the house and the sensing device (here, device # C of N703) and registration of the cooperation will be described in the seventh embodiment.
- an operation example of cooperation which is different from the seventh embodiment, will be described.
- FIG. 53 shows a flowchart of an operation example related to a series of systems.
- examples of the cooperation between the audio N702 and the sensing, the cooperation between the device #C and the sensing, and the cooperation between the lighting N704 and the sensing will be described with reference to FIG. 53.
- the AP of N701 performs sensing (N1001).
- the AP of N701 confirms whether or not it has detected a moving object including a person in the house (N1002).
- N1001 If the AP of N701 does not detect moving objects including people in the house (N1002 NO), it goes to "sensing implementation N1001".
- the AP of N701 When the AP of N701 detects a moving object including a person in the house (N1002 YES), the AP of N701 uploads information on the situation in the house to the cloud server N720 via the network N710 (N1003).
- the cloud server N720 transmits the information regarding the control of the audio N702, the information regarding the control of the device #C of the N703, or the information regarding the control of the lighting N704 to the AP of the N701. Then, AP701 of N701 obtains information (control information) related to control (N1004 YES).
- the AP of N701 transmits the control information to the target device (in the case of FIG. 50, the audio N702, the device #C of the N703, or the illumination N704) (N1005).
- the target device performs control based on this control information and ends the control (N1006).
- the AP of N701 is performing the following sensing (N1001).
- the AP of N701 detected a moving object including a person in the house (N1002 YES)
- the AP of N701 uploaded information on the situation in the house to the cloud server N720 via the network N710 (N1002 YES). It is assumed that the AP of N1003) and N701 did not obtain the control information from the cloud server N720 (N1004 NO). In this case, the AP of N701 is performing the following sensing (N1001).
- the cloud server N720 transmits information regarding the sound / audio directivity control of the audio N702 to the AP of the N701 based on the information on the position of the person obtained by the AP of the N701 by sensing. Then, the AP of N701 transmits the information regarding the directivity control of sound / audio to the audio N702, and the audio N702 performs the directivity control of sound / audio based on the information regarding the directivity control of sound / audio.
- the cloud server N720 provides information on "ON / OFF or light irradiation directivity control" of the illumination of the illumination N704. It is transmitted to the AP of N701. Then, the AP of the N701 transmits information regarding "ON / OFF or light irradiation directivity control" to the illumination N704, and the illumination N704 transmits information regarding "ON / OFF or light irradiation directivity control". The lighting is turned on / off or the lighting direction is controlled based on the above.
- FIG. 53 Another example of FIG. 53 will be described.
- Device # C of N703 performs sensing (N1001).
- device #C of N703 confirms whether or not it has detected a moving object including a person in the house (N1002).
- the device #C of N703 When the device #C of N703 detects a moving object including a person in the house (N1002 YES), the device #C of N703 sends information about the situation in the house to the cloud server N720 via the AP of N701 and the network N710. Is uploaded (N1003).
- the cloud server N720 transmits the information related to the control of the audio N702 or the information related to the control of the lighting N704 to the device #C of the N703 via the APs of the networks N710 and N701. Then, the device #C of N703 obtains information (control information) related to control (N1004 YES).
- the device #C of the N703 transmits control information to the target device (audio N702 or lighting N704 in the case of FIG. 50) (N1005). However, it will be via the AP of N701.
- the target device controls based on this control information and ends the control (N1006).
- the device #C of N703 is performing the following sensing (N1001).
- the device #C of N703 detects a moving object including a person in the house (N1002 YES)
- the device #C of N703 sends the device #C of N703 to the cloud server N720 via the AP of N701 and the network N710 in the house.
- the information on the situation was uploaded (N1003), it is assumed that the device #C of N703 did not obtain the control information from the cloud server N720 (N1004 NO). In this case, device #C of N703 is performing the following sensing (N1001).
- the cloud server N720 transmits the information on the sound / audio directivity control of the audio N702 via the AP of the N701 to the N703.
- the device #C of the N703 transmits information on the directivity control of sound / audio to the audio N702 via the AP of the N701, and the audio N702 makes a sound based on the information on the directivity control of sound / audio.
- the cloud server N720 relates to "ON / OFF or light irradiation directivity control" of the illumination of the illumination N704 based on the information on the positions of people and moving objects obtained by the device #C of the N703 by sensing.
- the information is transmitted to the device #C of N703 via the AP of N701.
- the device #C of the N703 transmits information regarding "ON / OFF or light irradiation directivity control" to the illumination N704 via the AP of the N701, and the illumination N704 is "ON / OFF or” ON / OFF or.
- the lighting is turned on / off or the lighting direction is controlled.
- FIG. 54 shows a flowchart of an operation example of the AP of N701 and the cloud server of N720 in the house.
- the AP of N701 performs sensing (N1101) and performs information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of the furniture, the shape of the furniture.
- Etc. are uploaded to the cloud server (N1102).
- the N720 cloud server compares the stored home status information with the newly obtained home status information. Then, the cloud server of N720 confirms "whether a new state has been detected" (N1103).
- the N720 cloud server updates the information regarding the status in the house (N1104). Then, the next AP sensing of N701 (N1101) is performed.
- the cloud server of N720 will perform the next sensing of AP of N701 (N1101).
- FIG. 54 shows the operation of the cloud server of the devices #C and N720 of N703.
- Device # C of N703 performs sensing (N1101) and performs information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
- the N720 cloud server compares the stored home status information with the newly obtained home status information. Then, the cloud server of N720 confirms "whether a new state has been detected" (N1103).
- the N720 cloud server updates the information regarding the status in the house (N1104). Then, the next sensing of device # C of N703 (N1101) is performed.
- the cloud server of N720 will perform the next sensing of device # C of N703 (N1101).
- FIG. 53 the operations related to the cloud server are shown by dotted lines.
- FIG. 54 the behavior associated with the cloud server is shown by the dotted line.
- FIG. 55 shows an example of the state of each device in the present embodiment. Those that operate in the same manner as in FIG. 50 are given the same number.
- the home N700 shows an example and the space inside the house.
- the home N700 is a terminal such as an AP (access point) N701, an audio N702, a “smartphone or smart speaker, or tablet, or a computer, or a mobile phone”.
- AP access point
- N701 an audio N702
- a “smartphone or smart speaker” a “smartphone or smart speaker”
- tablet or a computer, or a mobile phone”.
- device N703 and the lighting device N704 exist.
- device #C the server Q101 exists in the home N700.
- the AP of N701 is capable of sensing and communication as described in other embodiments.
- the AP of the N701 shall communicate with, for example, the audio N702, the device #C of the N703, the lighting N704, and the like.
- the AP of N701 may communicate with devices other than these.
- the AP of N701 is communicating with the server Q101 via the network Q102.
- the AP of N701 is communicating with the base station N730 via the network N710.
- the base station N730 is communicating with the device N731, which is a terminal such as a "smartphone, tablet, computer, or mobile phone".
- device N731 will be referred to as device #D.
- FIG. 56 shows a flowchart of an operation example when the AP of N701 is installed in the house.
- the AP of N701 performs sensing (Q201), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
- Shape information, home appliance position information (including audio N702 and lighting N704, of course), home appliance shape information, electronic device position information (including N703 device #C, of course), electronic device shape Information and the like are uploaded to the server Q101 (Q202).
- the initial sensing of the AP of N701 will be completed (Q203).
- the AP of N701 may perform the operation of FIG. 56 periodically, irregularly, regularly, or irregularly after the AP of N701 is installed. ..
- FIG. 56 shows the operation of device #C of N703.
- the device #C of N703 performs sensing (Q201), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture. , Furniture shape information, home appliance (naturally including audio N702, lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc., AP of N701 Upload to the server Q101 via (Q202).
- the initial sensing of device #C of N703 will be completed (Q203).
- the device #C of N703 may perform the operation of FIG. 56 periodically, irregularly, regularly, or irregularly.
- FIG. 57 shows a flowchart of one operation example of the AP of N701.
- the AP of N701 sends the information of home appliances (naturally including audio N702 and lighting N704) and the information of electronic devices (naturally including device # C of N703) obtained by sensing to the server Q101. Upload (Q301).
- the information regarding the operation of the equipment in the house and the sensing cooperation performed by the AP of N701 is uploaded to the server Q101 (Q302).
- An example of cooperation between the operation of the device in the house and the sensing of the device that can be sensed (here, AP of N701) and the registration of the cooperation will be described in the seventh embodiment.
- an operation example of cooperation which is different from the seventh embodiment, will be described.
- FIG. 57 shows the operation of device #C of N703.
- Device #C of N703 uploads information of home appliances (naturally including audio N702 and lighting N704) and electronic devices obtained by sensing to server Q101 via AP of N701. (Q301).
- the information on the operation of the device in the house and the sensing cooperation performed by the device #C of N703 is uploaded to the server Q101 cloud server (Q302).
- An example of cooperation between the operation of the device in the house and the sensing device (here, device # C of N703) and registration of the cooperation will be described in the seventh embodiment.
- an operation example of cooperation which is different from the seventh embodiment, will be described.
- FIG. 58 shows, for example, a flowchart of an operation example relating to the system series of FIG. 55.
- the operation related to the server is shown by a dotted line.
- the AP of N701 performs sensing (Q401).
- the AP of N701 confirms whether or not it has detected a moving object including a person in the house (Q402).
- the AP of N701 When the AP of N701 detects a moving object including a person in the house (Q402 YES), the AP of N701 uploads information on the situation in the house to the server Q101 via the network Q102 (Q403).
- the server Q101 has transmitted the information regarding the control of the audio N702, the information regarding the control of the device #C of the N703, or the information regarding the control of the lighting N704 to the AP of the N701. Then, AP701 of N701 obtains information (control information) related to control (Q404 YES).
- the AP of N701 transmits the control information to the target device (in the case of FIG. 55, the audio N702, the device #C of the N703, or the illumination N704) (Q405).
- the target device performs control based on this control information and ends the control (Q406).
- the AP of N701 is performing the following sensing (Q401).
- the AP of N701 detected a moving object including a person in the house (Q402 YES), the AP of N701 uploaded information on the situation in the house to the server Q101 via the network Q102 (Q403). ), It is assumed that the AP of N701 did not obtain the control information from the server Q101 (Q404 NO). In this case, the AP of N701 is performing the following sensing (Q401).
- the server Q101 transmits information regarding the sound / audio directivity control of the audio N702 to the AP of the N701 based on the information on the position of the person obtained by the AP of the N701 by sensing. Then, the AP of N701 transmits the information regarding the directivity control of sound / audio to the audio N702, and the audio N702 performs the directivity control of sound / audio based on the information regarding the directivity control of sound / audio.
- the server Q101 provides information on "ON / OFF or light irradiation directivity control" of the illumination of the illumination N704 to N701. Send to AP. Then, the AP of the N701 transmits information regarding "ON / OFF or light irradiation directivity control" to the illumination N704, and the illumination N704 transmits information regarding "ON / OFF or light irradiation directivity control". The lighting is turned on / off or the lighting direction is controlled based on the above.
- FIG. 58 Another example of FIG. 58 will be described.
- Device # C of N703 performs sensing (Q401).
- the device #C of N703 When the device #C of N703 detects a moving object including a person in the house (Q402 YES), the device #C of N703 sends information on the situation in the house to the server Q101 via the AP of N701 and the network Q102. Upload (Q403).
- the server Q101 transmits the information related to the control of the audio N702 or the information related to the control of the lighting N704 to the device #C of the N703 via the APs of the networks Q102 and N701. Then, the device #C of N703 obtains information (control information) related to control (Q404 YES).
- the device #C of the N703 transmits control information to the target device (audio N702 or lighting N704 in the case of FIG. 55) (Q405). However, it will be via the AP of N701.
- the target device controls based on this control information and ends the control (Q406).
- device #C of N703 is performing the following sensing (Q401).
- the device #C of N703 detects a moving object including a person in the house (Q402 YES)
- the device #C of N703 sends the situation in the house to the server Q101 via the AP of N701 and the network Q102.
- the information regarding (Q403) was uploaded, it is assumed that the device #C of N703 did not obtain the control information from the server Q101 (Q404 NO). In this case, device #C of N703 is performing the following sensing (Q401).
- the server Q101 transmits the information on the sound / audio directivity control of the audio N702 via the AP of the N701 to the device of the N703. Send to #C. Then, the device #C of the N703 transmits information on the directivity control of sound / audio to the audio N702 via the AP of the N701, and the audio N702 makes a sound based on the information on the directivity control of sound / audio. -Controls the directivity of the audio.
- the server Q101 has information on "ON / OFF or light irradiation directivity control" of the illumination of the illumination N704. Is transmitted to the device #C of N703 via the AP of N701. Then, the device #C of the N703 transmits information regarding "ON / OFF or light irradiation directivity control" to the illumination N704 via the AP of the N701, and the illumination N704 is "ON / OFF or" ON / OFF or. Based on the information related to "light irradiation directivity control", the lighting is turned on / off or the lighting direction is controlled.
- FIG. 59 shows a flowchart of an operation example of the AP of N701 and the server Q101 in the house.
- the operations related to the server are shown by dotted lines.
- the AP of N701 performs sensing (Q501), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of the furniture, the shape of the furniture.
- Etc. are uploaded to the server Q101 (Q502).
- the server Q101 compares the stored information on the in-house situation with the newly obtained information on the in-house situation. Then, the server Q101 confirms "whether a new state has been detected" (Q503).
- the server Q101 updates the information regarding the situation in the house (Q504). Then, the next AP sensing of N701 (Q501) is performed.
- the server Q101 will perform the next AP sensing of N701 (Q501).
- FIG. 59 shows the operation of the device #C of N703 and the server Q101.
- Device #C of N703 performs sensing (Q501), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
- the server Q101 compares the stored information on the in-house situation with the newly obtained information on the in-house situation. Then, the server Q101 confirms "whether a new state has been detected" (Q503).
- the server Q101 updates the information regarding the situation in the house (Q504). Then, the next sensing of the device #C of N703 (Q501) is performed.
- the server Q101 will perform the next sensing of device # C of N703 (Q501).
- the AP of N701, the network of Q102, and the server Q101 may be configured by one device.
- the network Q102 may be either wired or wireless communication, and therefore, the AP of N701 and the server Q101 are connected by wire or wirelessly in the device.
- Example 1 A character is generated based on the object obtained by sensing, and it is displayed on the screen.
- FIG. 60 is a diagram showing an example of the configuration of the system according to the present embodiment.
- the first device has at least a sensing function. Then, the first device performs sensing, generates information by capturing the characteristics of the first person, for example, and transmits the information to the second device.
- the second device generates the first character to be displayed on the monitor of the second device from the information on the characteristics of the first person. Then, it is assumed that the first character can be displayed on the monitor of the second device. It should be noted that the first character can be customized to perform any transformation.
- the first device performs sensing, for example, captures the characteristics of the second object, generates information on the second character, and transmits the information to the second device.
- the second device displays the second character on the monitor of the second device based on the information of the second character.
- the second character can be customized to perform any transformation.
- one device may be formed by the first device and the second device.
- FIG. 61 is a diagram showing an example of a system configuration according to the present embodiment, which is different from FIG. 60.
- the second device can be connected to an external monitor.
- the first device has at least a sensing function. Then, the first device performs sensing, generates information by capturing the characteristics of the first person, for example, and transmits the information to the second device.
- the second device generates the first character to be displayed on the monitor connected to the second device from the information on the characteristics of the first person. Then, it is assumed that the first character can be displayed on the monitor. It should be noted that the first character can be customized to perform any transformation.
- the first device performs sensing, for example, captures the characteristics of the second object, generates information on the second character, and transmits the information to the second device.
- the second device displays the second character on the monitor based on the information of the second character.
- the second character can be customized to perform any transformation.
- Example 2 By using an image (still image or moving image) of an object obtained by a sensor that can take an image such as a camera and estimation information of the object obtained by, for example, wireless sensing, the object is three-dimensional. Space can be regenerated.
- FIG. 62 is a diagram showing an example of the configuration of the system according to the present embodiment.
- the third device shall be equipped with a sensor such as a camera capable of taking an image and a wireless sensing unit.
- the three-dimensional space estimation unit obtains estimation information of the (colored) three-dimensional space of the object from "three-dimensional space estimation information of the object" and "two-dimensional (or three-dimensional) image information and color information of the object”. Generate and display on the monitor.
- the viewpoint for displaying the object can be freely changed when displaying it on the monitor.
- FIG. 63 is a diagram showing an example of a system configuration according to the present embodiment, which is different from FIG. 62.
- the third device can be connected to an external monitor.
- 64 and 65 are diagrams showing the sensing method in each embodiment.
- FIG. 64 is a schematic diagram showing the space three-dimensionally. As shown in FIG. 64, an object and a detection device exist in the space. The detection device senses an object by radio waves or the like, for example. The shape of the object may be any shape.
- FIG. 65 is a plane parallel to the xy plane in FIG. 64, which is an example of a plane penetrating an object, and shows, for example, the path of a radio wave transmitted by a detection device.
- the radio wave obtained from the object by the detection device may be a reflected wave obtained by the object reflecting the radio wave arriving at the object, or may be a radio wave reflected by the object itself.
- the detection device receives a radio wave (called a direct wave) W1 that the object itself reflects and directly reaches the detection device. Further, the detection device transmits radio waves, and the radio waves reflected by the wall and reaching the object are reflected by the object and further reflected by the wall to reach the detection device (also referred to as reflected waves) W2, W3 and The detection device receives W4.
- a radio wave called a direct wave
- FIG. 65 illustrates one two-dimensional plane called an xy plane obtained by cutting out a three-dimensional space.
- the detection device can directly use the detection device. Waves and reflected waves can be used to detect the position and shape of an object. In other words, the detection device can obtain the effect of being able to detect a portion of an object that cannot be captured by a sensor such as a camera that can capture an image.
- FIG. 66 shows an example of the system configuration in the present embodiment.
- the first device T101 communicates with the server (cloud server) T103 via the network T102.
- the second device T105 communicates with the server (cloud server) T103 via the network T104.
- the second device T105 provides (uploads) an application (software) created (developed) by a certain user to a server (cloud server) T103.
- the server (cloud server) T103 is a server (cloud server) in which an application (software) is uploaded from a device including the second device and is stored.
- the server (cloud server) T103 may be composed of a plurality of devices, and the plurality of devices may be connected by a network and arranged in a distributed manner.
- the server (cloud server) T103 is a device that provides an application to a device including the first device.
- the first device includes, for example, a mobile phone, a mobile phone, a smartphone, a tablet, a tablet PC (Personal Computer), a personal computer (however, a monitor may be installed or a monitor may be connected), and a laptop computer.
- a mobile phone for example, a mobile phone, a mobile phone, a smartphone, a tablet, a tablet PC (Personal Computer), a personal computer (however, a monitor may be installed or a monitor may be connected), and a laptop computer.
- TV device connected to monitor, game machine, portable game machine, AR (Augmented Reality) glass, AR goggles, monitor that can display AR, device connected to monitor that can display AR, VR (Virtual Reality) glass , VR goggles, monitors that can display VR, devices that are connected to monitors that can display VR, MR (Mixed Reality) glasses, monitors that can display MR, devices that are connected to monitors that can display MR, car navigation systems, heads Mounted displays, devices connected to head-mounted displays, monitors, devices connected to monitors, projectors, devices connected to projectors, etc. are conceivable, but are not limited to these.
- FIG. 67 shows a second example of the system configuration in the present embodiment.
- the same numbers are assigned to those that operate in the same manner as in FIG. 66.
- the difference from FIG. 66 is that the first device T101 communicates with the computer network T111.
- FIG. 68 shows an example of the configuration of the first device in FIGS. 66 and 67.
- the communication unit T201 communicates with other devices as shown in T211 and T212. For example, it communicates with the computer network T111 and the server (cloud server) T103. In addition, communication may be performed with other devices.
- the communication unit T201 is connected to the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, and the camera unit T206.
- the storage unit T202 is connected to the communication unit T201, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, and the camera unit T206.
- monitor unit T203 is connected to the communication unit T201, the storage unit T202, the position estimation unit T204, the signal processing unit T205, and the camera unit T206.
- the position estimation unit T204 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the signal processing unit T205, and the camera unit T206.
- the signal processing unit T205 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, and the camera unit T206.
- the camera unit (shooting unit) (image sensor unit) T206 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, and the signal processing unit T205.
- FIG. 69 shows an example of the configuration of the first device in FIGS. 66 and 67, which is different from that of FIG. 68.
- the communication unit T201 communicates with other devices as shown in T211 and T212. For example, it communicates with the computer network T111 and the server (cloud server) T103. In addition, communication may be performed with other devices.
- the communication unit T201 is connected to the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, the camera unit T206, and the sensing unit T207.
- the storage unit T202 is connected to the communication unit T201, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, the camera unit T206, and the sensing unit T207.
- monitor unit T203 is connected to the communication unit T201, the storage unit T202, the position estimation unit T204, the signal processing unit T205, the camera unit T206, and the sensing unit T207.
- the position estimation unit T204 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the signal processing unit T205, the camera unit T206, and the sensing unit T207.
- the signal processing unit T205 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the camera unit T206, and the sensing unit T207.
- the camera unit (shooting unit) (image sensor unit) T206 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, and the sensing unit T207.
- the sensing unit T207 is connected to the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, and the camera unit T206.
- the first device T101 of FIGS. 66 and 67 downloads an application (software) from the (cloud) server T103 via the network T102.
- the first device T101 having the configuration of either FIG. 68 or FIG. 69 stores the downloaded application (software) in the storage unit T202.
- the communication unit T201 included in the first device T101 having the configuration of either FIG. 68 or FIG. 69 obtains the application (software) from the (cloud) server T103 via the network T102, and applies the application (software) to the storage unit T102.
- the signal processing unit T205 in FIGS. 68 and 69 starts the application stored in the storage unit T202 based on an instruction from the user, and executes the application based on the application.
- the user's instruction may be given, for example, by the user using the touch panel function of the monitor unit T203, or by the user from an external device via the communication unit T201. ..
- the signal processing unit T205 in FIG. 68 accesses the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, and the camera unit T206 as necessary by executing the application.
- the configuration of the first device T101 is not limited to the configuration shown in FIG. 68, and the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, and the camera unit T206 can be accessed. May include the part of.
- the signal processing unit T205 in FIG. 69 accesses the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the camera unit T206, and the sensing unit T207 as necessary by executing the application. It will be.
- the configuration of the first device T101 is not limited to the configuration shown in FIG. 69, and the communication unit T201, the storage unit T202, the monitor unit T203, the position estimation unit T204, the signal processing unit T205, the camera unit T206, and the sensing unit T207 It may include other accessible parts.
- FIG. 70 shows an example of an operation flow when the signal processing unit T205 of the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application (software).
- the position estimation unit T204 is equipped with GPS (Global Positioning System), and the position information is obtained by operating the GPS.
- GPS Global Positioning System
- -Communication unit T201 obtains information from the base station of the cellular system, and using that information, position estimation unit T204 performs position estimation and obtains position information.
- -Communication unit T201 obtains information from a wireless LAN access point, and using that information, position estimation unit T204 performs position estimation and obtains position information.
- -Communication unit T201 obtains information from a base station, access point, etc. of an optical communication system such as visible light, and using that information, position estimation unit T204 performs position estimation and obtains position information.
- the position estimation unit T204 uses the information obtained by the sensing unit T207 performing the sensing operation to perform position estimation and obtains position information.
- the sensing operation of the sensing unit T207 has been described in detail in other embodiments of the present specification, the description thereof will be omitted.
- radio waves may be used, or light such as visible light may be used.
- the signal processing unit T205 is in the middle of executing the application (software) and the acquisition of location information is set to off (when the acquisition of location information becomes impossible), "the application is terminated” or " A change is urged so that the position information can be acquired (for example, the monitor unit T203 is displayed to urge the position information to be acquired) ”.
- FIG. 71 will be described as a first example of the processing of FIGS. 70 and 70 and FIG. 72 as a second example when the signal processing unit T205 of the first device T101 is executing the application.
- Example 1-1 and Example 1-2 will be described.
- Example 1-1 As shown in FIG. 71, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains this position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 performs analysis such as detecting a characteristic object from the "still image or moving image” obtained from the camera unit T206 (see T402). As a result, "peripheral information based on location information” is obtained (see T403).
- the signal processing unit T205 adds "" still image or moving image "around the position, for example," "" Monitor the display of "advertisement, first character group and game playable”, or the display of "advertisement and first character group”, or the display of "advertisement and game playable”, or the display of "advertisement”. Section T203 (see T403).
- Example 1-2 As shown in FIG. 71, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains this position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 performs analysis such as detecting a characteristic object from the "still image or moving image” obtained from the camera unit T206 (see T402). As a result, "peripheral information based on location information” is obtained (see T403).
- the signal processing unit T205 displays "advertisement, first character group and game playable” from “position information”, “still image or moving image”, and “peripheral information based on position information", or " Displaying "advertisement and first character group”, displaying “advertisement and game playable”, or displaying "advertisement” is performed on the monitor unit T203 (see T403).
- Example 1-1 the peripheral information is viewed by the user as a "still image or moving image", but in Example 1-2, the peripheral information is viewed as a real image. That is, the display of "real image” and “advertisement, first character group and game playable”, the display of "advertisement and first character group”, the display of "advertisement and game playable", or " The user will see the "display of the advertisement”.
- Example 2-1 and Example 2-2 and Example 2-3 will be described.
- Example 2-1 As shown in FIG. 72, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains the position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T411).
- the signal processing unit T205 adds "" still image or moving image "around the position, for example,” "" Monitor the display of "advertisement, first character group and game playable”, or the display of "advertisement and first character group”, or the display of "advertisement and game playable”, or the display of "advertisement”. This is performed in unit T203 (see T411).
- Example 2-2 As shown in FIG. 72, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains the position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T411).
- the signal processing unit T205 displays "advertisement, first character group and game playable” from “position information”, “still image or moving image”, and “peripheral information based on position information”, or " Displaying "advertisement and first character group”, displaying “advertisement and game playable”, or displaying "advertisement” is performed on the monitor unit T203 (see T411).
- Example 2-1 the user sees the peripheral information as a "still image or moving image", but in Example 2-2, the peripheral information sees the real image. That is, the display of "real image” and “advertisement, first character group and game playable”, the display of "advertisement and first character group”, the display of "advertisement and game playable", or " The user will see the "display of the advertisement”.
- Example 2-3 As shown in FIG. 72, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains the position information (see T401).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T411).
- the signal processing unit T205 displays "advertisement, first character group and game playable” or “advertisement and first character group” from “position information” and “peripheral information based on position information”. , Or, “advertisement and game playable” is displayed, or “advertisement” is displayed on the monitor unit T203 (see T411).
- Example 2-1 the user sees the peripheral information as a "still image or moving image", but in Example 2-2, the peripheral information sees the real image. That is, the display of "real image” and “advertisement, first character group and game playable”, the display of "advertisement and first character group”, the display of "advertisement and game playable", or " The user will see the "display of the advertisement”.
- the camera unit T206 may not exist.
- FIG. 73 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application is an application that "displays the advertisement of the A store”, “displays for executing the B game”, and “displays the character group (named as the character group C)" around "Tokyo Tower”. Suppose there is.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of A store", “display for B game execution", and "character group”. (Display of (character group C) "(see T503).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store”, “display for B game execution", and “display of character group (character group C)” (see T503). ), This display and the surrounding situation such as Tokyo Tower may be superimposed on the actual image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application is an application that "displays an advertisement of company D", “displays for executing an E game”, and “displays a character group (named as character group F)" around "Sky Tree”. It shall be.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also displays "display of advertisement of company D", “display for executing E game”, and “character group (character group). "Display of character group F)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D", "display for executing E game”, and “display of character group (character group F)", and this display and , The surrounding situation such as Sky Tree may be superimposed on the real image so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- this other application displays "display of advertisement of company G", "display for executing H game”, and "display of character group (named as character group I)" around "Tokyo Tower”. It shall be an application.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of company G", “display for executing H game”, and “character group (character group). "Display of character group I)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company G", "display for executing H game”, and “display of character group (character group I)", and this display and , The situation around Tokyo Tower, etc. may be superimposed on the real image so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application performs "display of advertisement of company J", "display for K game execution", and "display of character group (named as character group L)" around "Tokyo Tower” at time # 2. It is assumed that the application is such.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of company J", “display for executing K game”, and “character group (character group). "Display of character group L)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J", "display for executing K game”, and “display of character group (character group L)", and this display and , The surrounding situation such as Tokyo Tower may be superimposed on the real image so that the user can see it.
- FIG. 74 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the advertisement of the A store” and “displays the character group (named as the character group C)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of A store” and "display of character group (character group C)". Do (see T513).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store” and “display of character group (character group C)” (see T513), and this display and Tokyo Tower and the like. The situation around the above may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application shall be an application that "displays an advertisement of company D" and "displays a character group (named as character group F)" around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also "displays an advertisement of company D” and “displays a character group (character group F)”. ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D” and "display of character group (character group F)", and displays this display and the surrounding situation such as Sky Tree. It may be superimposed on the real image so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- this other application is assumed to be an application that "displays an advertisement of company G” and "displays a character group (named as character group I)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G” and “displays a character group (character group I)”. ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company G” and "display of the character group (character group I)", and displays this display and the surrounding situation such as Tokyo Tower. It may be superimposed on the real image so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays an advertisement of company J" and “displays a character group (named as character group L)" around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surrounding area such as Tokyo Tower, and also "displays an advertisement of company J” and “displays a character group (character group L)". ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J” and "display of character group (character group L)", and displays this display and the surrounding situation such as Tokyo Tower. It may be superimposed on the real image so that the user can see it.
- FIG. 75 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the advertisement of the A store” and “displays for executing the B game” around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also performs "display of advertisement of A store” and “display for B game execution” (display for execution of B game). See T523).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store” and “display for B game execution” (see T523), and this display and the surroundings such as Tokyo Tower. The situation may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application shall be an application that "displays the advertisement of company D" and “displays for executing the E game” around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also performs "display of advertisement of company D" and "display for executing E-game".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D" and "display for executing E-game", and this display and the surrounding situation such as Sky Tree are regarded as a real image. It may be overlaid so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower".
- this other application shall be an application that "displays the advertisement of company G” and “displays for executing the H game” around "Tokyo Tower”.
- the signal processing unit T205 may perform processing using the position information.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G” and “displays for executing an H game”.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company G” and "display for executing H game", and this display and the surrounding situation such as Tokyo Tower are regarded as a real image. It may be overlaid so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the advertisement of company J" and “displays for executing the K game” around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company J" and “displays for executing a K game”.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J" and "display for executing K game", and this display and the surrounding situation such as Tokyo Tower are regarded as a real image. It may be overlaid so that the user can see it.
- FIG. 76 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the advertisement of the A store" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of the store A" (see T533).
- the monitor unit T203 in FIGS. 68 and 69 "displays the advertisement of the store A" (see T533), superimposes this display and the surrounding situation such as Tokyo Tower on the real image, and the user can You may want to see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application shall be an application that displays "display of advertisement of company D" around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also "displays an advertisement of company D".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of the company D", and the display and the surrounding situation such as the Sky Tree are superimposed on the real image so that the user can see it. Good.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- this other application shall be an application that "displays the advertisement of company G" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company G", and this display and the surrounding situation such as Tokyo Tower are superimposed on the real image so that the user can see it. Good.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the advertisement of company J" around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company J".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company J", and this display and the surrounding situation such as Tokyo Tower are superimposed on the real image so that the user can see it. Good.
- FIG. 77 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application is an application that "displays the advertisement of the A store”, “displays for executing the B game”, and “displays the character group (named as the character group C)" around "Tokyo Tower”. Suppose there is.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of A store", “display for B game execution", and "character group”. (Display of (character group C) "(see T603).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store”, “display for B game execution", and “display of character group (character group C)” (see T603). ), This display and the surrounding situation such as Tokyo Tower may be superimposed on the actual image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204.
- the application is an application that "displays an advertisement of company D", “displays for executing an E game”, and “displays a character group (named as character group F)" around "Sky Tree”. It shall be.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also displays "display of advertisement of company D", “display for executing E game”, and “character group (character group). "Display of character group F)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D", "display for executing E game”, and “display of character group (character group F)", and this display and , The surrounding situation such as Sky Tree may be superimposed on the real image so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- this other application displays "display of advertisement of company G", "display for executing H game”, and "display of character group (named as character group I)" around "Tokyo Tower”. It shall be an application.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of company G", “display for executing H game”, and “character group (character group). "Display of character group I)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company G", "display for executing H game”, and “display of character group (character group I)", and this display and , The situation around Tokyo Tower, etc. may be superimposed on the real image so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application performs "display of advertisement of company J", "display for K game execution", and "display of character group (named as character group L)" around "Tokyo Tower” at time # 2. It is assumed that the application is such.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of company J", “display for executing K game”, and “character group (character group). "Display of character group L)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J", "display for executing K game”, and “display of character group (character group L)", and this display and , The surrounding situation such as Tokyo Tower may be superimposed on the real image so that the user can see it.
- FIG. 78 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays the advertisement of the A store” and “displays the character group (named as the character group C)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "display of advertisement of A store” and "display of character group (character group C)". Do (see T613).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store” and “display of character group (character group C)” (see T613), and this display and Tokyo Tower and the like. The situation around the above may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204.
- the application shall be an application that displays "display of advertisement of company D" and "display of character group (named as character group F)" around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also "displays an advertisement of company D” and “displays a character group (character group F)”. ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D” and "display of character group (character group F)", and displays this display and the surrounding situation such as Sky Tree. It may be superimposed on the real image so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- this other application is assumed to be an application that "displays an advertisement of company G” and "displays a character group (named as character group I)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G” and “displays a character group (character group I)”. ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company G” and "display of the character group (character group I)", and displays this display and the surrounding situation such as Tokyo Tower. It may be superimposed on the real image so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays an advertisement of company J" and “displays a character group (named as character group L)" around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surrounding area such as Tokyo Tower, and also "displays an advertisement of company J” and “displays a character group (character group L)". ..
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J” and "display of character group (character group L)", and displays this display and the surrounding situation such as Tokyo Tower. It may be superimposed on the real image so that the user can see it.
- FIG. 79 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays the advertisement of the A store” and “displays for executing the B game” around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of the A store” and “displays for executing the B game” ( See T623).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of A store” and “display for B game execution” (see T623), and this display and the surroundings such as Tokyo Tower. The situation may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204.
- the application shall be an application that "displays the advertisement of company D" and “displays for executing the E game” around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also performs "display of advertisement of company D" and "display for executing E-game".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company D" and "display for executing E-game", and this display and the surrounding situation such as Sky Tree are regarded as a real image. It may be overlaid so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- this other application shall be an application that "displays the advertisement of company G” and “displays for executing the H game” around "Tokyo Tower”.
- the signal processing unit T205 may perform processing using the position information.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G” and “displays for executing an H game”.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company G” and "display for executing H game", and this display and the surrounding situation such as Tokyo Tower are regarded as a real image. It may be overlaid so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays the advertisement of company J" and “displays for executing the K game” around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company J" and “displays for executing a K game”.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of advertisement of company J" and "display for executing K game", and this display and the surrounding situation such as Tokyo Tower are regarded as a real image. It may be overlaid so that the user can see it.
- FIG. 80 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays the advertisement of the A store" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of the store A" (see T633).
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of the store A" (see T633), and the user superimposes this display and the surrounding situation such as Tokyo Tower on the real image. You may want to see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204.
- the application shall be an application that "displays the advertisement of company D" around "Skytree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also "displays an advertisement of company D".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of the company D", and the display and the surrounding situation such as the Sky Tree are superimposed on the real image so that the user can see it. Good.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- this other application shall be an application that "displays the advertisement of company G" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company G".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company G", and this display and the surrounding situation such as Tokyo Tower are superimposed on the real image so that the user can see it. Good.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 recognizes that it is "near Tokyo Tower" based on the position information.
- the application shall be an application that "displays the advertisement of company J" around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays an advertisement of company J".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the advertisement of company J", and this display and the surrounding situation such as Tokyo Tower are superimposed on the real image so that the user can see it. Good.
- FIG. 81 will be described as a third example of the processing of FIGS. 70 and later, and FIG. 82 will be described as a fourth example when the signal processing unit T205 of the first device T101 is executing the application.
- Example 3-1 and Example 3-2 will be described.
- Example 3-1 As shown in FIG. 81, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains the position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 performs analysis such as detecting a characteristic object from the "still image or moving image” obtained from the camera unit T206 (see T402). As a result, "peripheral information based on location information” is obtained (see T703).
- the signal processing unit T205 adds "" still image or moving image "around the position, for example,” "" Monitor the display of "store, first character group and game playable”, or the display of "store and first character group”, or the display of "store and game playable”, or the display of "store”. This is performed on unit T203 (see T703).
- Example 3-2 As shown in FIG. 81, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains the position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 performs analysis such as detecting a characteristic object from the "still image or moving image” obtained from the camera unit T206 (see T402). As a result, "peripheral information based on location information” is obtained (see T403).
- the signal processing unit T205 displays "store, first character group and game playable” from “position information", “still image or moving image”, and “peripheral information based on position information”, or " Displaying "store and first character group”, displaying "store and game playable”, or displaying "store” is performed on the monitor unit T203 (see T703).
- Example 3-1 the user sees the peripheral information as a "still image or moving image", but in Example 3-2, the peripheral information sees the real image. That is, the display of "real image” and “store, first character group and game playable”, the display of "store and first character group”, the display of "store and game playable”, or " The user will see the "display of the store”.
- Example 4-1 and Example 4-2 and Example 4-3 will be described.
- Example 4-1 As shown in FIG. 82, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains this position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T711).
- the signal processing unit T205 adds "" still image or moving image "around the position, for example,” "" Monitor the display of "store, first character group and game playable”, or the display of "store and first character group”, or the display of "store and game playable”, or the display of "store”. This is performed in unit T203 (see T711).
- Example 4-2 As shown in FIG. 82, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains this position information (see T401).
- the camera unit T206 of FIGS. 68 and 69 obtains a "still image or moving image" (may be real time or not real time).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T711).
- the signal processing unit T205 displays "store, first character group and game playable” from “position information”, “still image or moving image”, and “peripheral information based on position information”, or " Displaying "store and first character group”, displaying “store and game playable”, or displaying "store” is performed on the monitor unit T203 (see T711).
- Example 4-1 the user sees the peripheral information as a "still image or moving image", but in Example 4-2, the peripheral information sees the real image. That is, the display of "real image” and “store, first character group and game playable”, the display of "store and first character group”, the display of "store and game playable", or " The user will see the "display of the store”.
- Example 4-3 As shown in FIG. 82, after the processing of FIG. 70, first, the position estimation unit T204 of FIGS. 68 and 69 obtains the position information, and the signal processing unit T205 obtains this position information (see T401).
- the signal processing unit T205 obtains "peripheral information based on the position information" from the position information (see T711).
- the signal processing unit T205 displays "store, first character group and game playable” or “store and first character group” from “position information" and “peripheral information based on position information”. , Or, “display of store and game can be performed” or “display of store” is performed on the monitor unit T203 (see T711).
- Example 4-1 the user sees the peripheral information as a "still image or moving image", but in Example 4-2, the peripheral information sees the real image. That is, the display of "real image” and “store, first character group and game playable”, the display of "store and first character group”, the display of "store and game playable", or " The user will see the "display of the store”.
- the camera unit T206 may not exist.
- FIG. 83 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application is an application that displays "c US store display”, “display for executing B game”, and “display of character group (named character group C)" around "Tokyo Tower”. It shall be.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "c US store display”, “display for B game execution”, and "character group (character group). Display of character group C) ”(see T803).
- the monitor unit T203 in FIGS. 68 and 69 performs "c display of a rice retailer", "display for executing a B game”, and "display of a character group (character group C)” (see T803). , This display and the surrounding situation such as Tokyo Tower may be superimposed on the actual image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application is an application that displays "d store display”, “display for executing E-game”, and “display of character group (named character group F)" around "Sky Tree”. And.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also displays "d retailer display”, “display for executing an E-game”, and “character group (character)". "Display of group F)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "d store display”, "display for executing the E game”, and “display of the character group (character group F)", and this display and The surrounding situation such as the sky tree may be superimposed on the real image so that the user can see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- this other application is an application that displays "g dealer display”, “display for executing H game”, and “display of character group (named character group I)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "g dealer display”, “display for executing H game”, and “character group (character)". "Display of group I)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "g dealer display”, "display for executing the H game”, and “display of the character group (character group I)", and this display and The surrounding situation such as Tokyo Tower may be superimposed on the real image so that the user can see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also displays "j dealer display”, “display for executing K game”, and “character group (character)". "Display of group L)" is performed.
- the monitor unit T203 in FIGS. 68 and 69 performs "display of j store", "display for executing K game”, and “display of character group (character group L)", and this display and The surrounding situation such as Tokyo Tower may be superimposed on the real image so that the user can see it.
- FIG. 84 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that displays "c US retailer display” and "character group (named character group C)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays the c-rice store” and “displays the character group (character group C)”. (See T813).
- the monitor unit T203 in FIGS. 68 and 69 performs "c US store display” and "character group (character group C) display” (see T813), and this display and the Tokyo Tower, etc. The surrounding situation may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application shall be an application that "displays the d store” and “displays the character group (named as the character group F)" around the "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also "displays the d dealer” and “displays the character group (character group F)".
- the monitor unit T203 in FIGS. 68 and 69 performs "d store display” and "character group (character group F) display” to display this display and the surrounding situation such as the Sky Tree as a real image. And the user may see it.
- the display may be different for each application.
- the first device T101 having the configuration of FIG. 68 or FIG. 69 executes an application different from the above. Then, for example, in the position estimation unit T204 in FIGS. 68 and 69, it is assumed that the position is around "4-2-8 Shibakoen, Minato-ku, Tokyo" (see T501).
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- this other application shall be an application that "displays the g store” and “displays the character group (named as the character group I)" around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays the g store” and “displays the character group (character group I)".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of the g store” and “display of the character group (character group I)", and this display and the surrounding situation such as Tokyo Tower are actually imaged. And the user may see it.
- the display may be set according to the time fluctuation.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that "displays the j store” and “displays the character group (named as the character group L)" around "Tokyo Tower” at time # 2.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also "displays the j store” and “displays the character group (character group L)".
- the monitor unit T203 in FIGS. 68 and 69 performs "display of j dealer” and "display of character group (character group L)", and this display and the surrounding situation such as Tokyo Tower are real images. And the user may see it.
- FIG. 85 will be described as an example.
- the signal processing unit T205 in FIGS. 68 and 69 analyzes the still image or moving image obtained by the camera unit T206 and recognizes that one building is "Tokyo Tower". At this time, the signal processing unit T205 may perform processing using the position information.
- the application shall be an application that displays "c US retailer display” and “display for B game implementation” around "Tokyo Tower”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as Tokyo Tower, and also performs "c display of a rice retailer” and “display for executing a B game” (T823). reference).
- the monitor unit T203 in FIGS. 68 and 69 performs "c display of the rice retailer” and "display for executing the B game” (see T823), and this display and the surroundings such as Tokyo Tower. The situation may be superimposed on the real image so that the user can see it.
- the display may be set according to the position and characteristics.
- the signal processing unit T205 recognizes that it is around the "Sky Tree" based on the information obtained by the position estimation unit T204 and / or the information obtained by the camera unit T206.
- the application shall be an application that displays "d store display” and “display for E-game implementation” around "Sky Tree”.
- the monitor unit T203 in FIGS. 68 and 69 displays an image or a moving image of the surroundings such as the Sky Tree, and also performs "d retailer display” and "display for executing the E game".
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
電波によって第2装置(ay312)をセンシングする第1装置(ay311)は、第2装置(ay312)が電波によって送信するフレームを受信し、受信したフレームを用いて第2装置(ay312)をセンシングする通信部(ay315)と、第2装置(ay312)が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した周波数を第2装置(ay312)に通知し、かつ、上記周波数を用いて通信部(ay315)がセンシングをするよう制御する制御部(ay316)とを備える。
Description
本開示は、通信装置、および通信方法に関する。
周囲の状況をセンシングする方法として、例えばカメラなどを用いて周囲の光を検出する方法や、周囲に光、赤外線、超音波などを照射し反射してきた光、赤外線、超音波などを検出する方法などがある。また、近年では、電波を用いて周囲の状況をセンシングする方式が提案されている。
S. Schuster, S. Scheiblhofer, R. Feger, and A. Stelzer, "Signal model and statistical analysis for the sequential sampling pulse radar technique," in Proc. IEEE Radar Conf, 2008, pp. 1-6, 2008
D. Cao, T. Li, P. Kang, H. Liu, S. Zhou, H. Su, "Single-Pulse Multi-Beams Operation of Phased Array Radar", 2016 CIE International Conference on Radar (RADAR), pp. 1-4, 2016
A. Bourdoux, K. Parashar, and M. Bauduin, "Phenomenology of mutual interference of FMCW and PMCW automotive radars," in 2017 IEEE Radar Conference (Radar Conf.), pp. 1709-1714, 2017
J. Fink, F. K. Jondral, "Comparison of OFDM radar and chirp sequence radar," in 2015 16th International Radar Symposium (IRS), pp. 315-320, 2015
空間のセンシングを利用する目的、用途、利用環境は多様化している。
そこで、本開示の一態様は、電波を用いて周囲のセンシングを行うことができる通信送信装置および通信送信方法を提供する。また、本開示の別の態様は、電波を用いて周囲のセンシングを行う時間や周波数を制御するための通信プロトコルに従って動作する通信装置および通信方法を提供する。また、本開示の別の態様は、電波、光、赤外線、超音波などを用いて周囲をセンシングした結果に応じてユーザに情報を提示する装置、システム、方法を提供する。また、本開示の別の態様は、電波、光、赤外線、超音波などのうちのいずれか一つ、または2つ以上の組み合わせを用いて周囲をセンシングした結果に応じて機器の動作を制御する装置、システム、方法を提供する。また、本開示の別の態様は、電波、光、赤外線、超音波などのうちのいずれか一つ、または2つ以上の組み合わせを用いて周囲をセンシングした結果に基づいてデータを生成する装置、システム、方法を提供する。また、本開示の別の態様は、電波、光、赤外線、超音波などのうちのいずれか一つ、または2つ以上の組み合わせを用いて周囲をセンシングした結果またはセンシングした結果に基づいて生成したデータを他の機器またはサーバなどに対して送信する装置、システム、方法を提供する。また、本開示の別の態様は、機器の制御などの処理を実施するために、電波、光、赤外線、超音波などのうちのいずれか一つ、または2つ以上の組み合わせを用いて周囲をセンシングした結果またはセンシングした結果に基づいて生成したデータを他の機器またはサーバから取得する装置、システム、方法を提供する。
本開示の一態様である通信装置は、電波によって第2装置をセンシングする第1装置である通信装置であって、前記第2装置が電波によって送信するフレームを受信し、受信した前記フレームを用いて前記第2装置をセンシングする通信部と、前記第2装置が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した前記周波数を前記第2装置に通知し、かつ、前記周波数を用いて前記通信部が前記センシングをするよう制御する制御部とを備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に含まれる複数の態様の一部は、電波を用いた周囲のセンシングの実現や普及を促進することができる。
また、本開示は、電波、光、赤外線、超音波などのうちのいずれか一つ、または2つ以上の組み合わせを用いた周囲のセンシングを利用する新しいサービスの実現や普及を促進することができる態様を含む。これにより、実空間における人やオブジェクトの状態、形状、動作などに基づいて、例えば、機器動作の制御、ユーザに提示する情報の制御、データの生成などのうちのいずれか一つ、または複数を提供することができる。その結果、例えば、ユーザの利便性の向上、ユーザによる入力操作の簡素化、処理の自動化、新しいサービスの提供、これまで検出が難しかった実空間で発生している事象の検出などのうちのいずれか一つ、または複数の面における貢献が期待される。
本発明の一態様に係る通信装置は、電波によって第2装置をセンシングする第1装置である通信装置であって、前記第2装置が電波によって送信するフレームを受信し、受信した前記フレームを用いて前記第2装置をセンシングする通信部と、前記第2装置が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した前記周波数を前記第2装置に通知し、かつ、前記周波数を用いて前記通信部が前記センシングをするよう制御する制御部とを備える。
上記態様によれば、通信装置(つまり第1装置)は、センシングの対象である第2装置が送信する電波の周波数を通知し、その通知した周波数で第2装置をセンシングする。一般に、センシングに適切な電波の周波数は、第1装置と第2装置との間の距離、または、第1装置及び第2装置の一方又は両方の周囲の電波環境に依存する。そのため、センシングに用いる周波数が複数の周波数のうちから選択可能なように構成されていることにより、第1装置が第2装置を適切にセンシングすることができる。このように、第1装置は、周囲のセンシングを行うことができる。
例えば、前記制御部は、前記周波数を選択する際には、前記通信部が通信に用いている周波数とは独立に、前記周波数を選択してもよい。
上記態様によれば、通信装置(つまり第1装置)は、通信に用いている周波数とは独立に周波数を選択する。そのため、第1装置は、どのような周波数を通信に用いている場合であっても、第2装置のセンシングに適した周波数を選択することができる。よって、第1装置は、周囲のセンシングをより一層適切に行うことができる。
例えば、前記センシングは、前記通信部が受信した前記電波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含んでもよい。
上記態様によれば、通信装置(つまり第1装置)は、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理によって、より容易に、送信装置の周囲のセンシング結果を得ることができる。
本発明の一態様に係る通信装置は、第1装置に電波によってセンシングされる第2装置である通信装置であって、前記センシングのためのフレームを電波で送信する通信部と、前記第1装置から周波数の通知を受け、前記通知により示される前記周波数を用いて前記通信部が電波によって前記フレームを送信するよう制御する制御部とを備えてもよい。
上記態様によれば、通信装置(つまり第2装置)は、当該第2装置をセンシングの対象とする第1装置から、第2装置が送信する電波の周波数の通知を受け、受けた通知に示される周波数の電波を送信することで第1装置にセンシングされる。一般に、センシングに適切な電波の周波数は、第1装置と第2装置との間の距離、または、第1装置及び第2装置の一方又は両方の周囲の電波環境に依存する。そのため、第2装置は、第1装置から通知された周波数を送信可能なように構成されていることにより、第1装置によるセンシングの対象となることができる。このように、第2装置は、第1装置によるセンシングとなることができる。
例えば、前記通信部は、前記フレームとして、プリアンブルを含み、かつ、データフィールドを含まないフレームを送信してもよい。
上記態様によれば、通信装置(つまり第2装置)は、第1装置にセンシングされるために送信するフレームにデータフィールドが含まれていないので、電波の送信時間を短縮化することができる。
本発明の一態様に係る通信方法は、電波によって第2装置をセンシングする第1装置である通信装置が実行する通信方法であって、前記第2装置が電波によって送信するフレームを受信し、受信した前記フレームを用いて前記第2装置をセンシングする通信ステップと、前記第2装置が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した前記周波数を前記第2装置に通知し、かつ、前記周波数を用いて前記通信ステップで前記センシングをするよう制御する制御ステップとを含む。
上記態様によれば、上記通信装置と同様の効果を奏する。
本発明の一態様に係る通信方法は、第1装置に電波によってセンシングされる第2装置である通信装置が実行する通信方法であって、前記センシングのためのフレームを電波で送信する通信ステップと、前記第1装置から周波数の通知を受け、前記通知により示される前記周波数を用いて前記通信ステップで電波によって前記フレームを送信するよう制御する制御ステップとを含む。
上記態様によれば、上記通信装置と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本開示における送信装置について図面を参照して詳細に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態では、周囲の物体の位置、複数の物体の位置関係、物体との距離などを検出することが可能な検出装置の構成について説明する。なお、検出装置は、送信装置ともいう。
本実施の形態では、周囲の物体の位置、複数の物体の位置関係、物体との距離などを検出することが可能な検出装置の構成について説明する。なお、検出装置は、送信装置ともいう。
図1は、本実施の形態における検出装置の構成の一例を示している。
送信装置Y101は制御信号Y100を入力とする。このとき、制御信号Y100は、例えば「物体検出の動作開始」の情報、「物体検出の動作終了」の情報、「静止画または動画の記憶開始」の情報、「静止画または動画の記憶終了」の情報など検出装置に含まれる一または複数の構成の動作を制御するための情報が含まれている。
制御信号Y100が「物体検出の動作開始」の情報を含む場合、送信装置Y101は、受信装置Y106において、例えば、電波の到来方向推定に用いられるM個の変調信号を生成し、M個の送信信号を出力する。つまり、送信信号Y102_1からY102_Mを出力する。なお、Mは1以上の整数である。そして、送信信号Y102_iはアンテナY103_iから電波として出力される。なお、iは1以上M以下の整数となる。また、アンテナY103_iは、一つのアンテナで構成されていてもよいし、複数のアンテナで構成されていてもよい。複数のアンテナで構成されたアンテナY103_iは、指向性制御を行う機能を備えていてもよい。
送信装置Y101から送信された変調信号は、放射方向または放射範囲にある物体に反射する。そして、受信装置Y106は、この反射波を受信する。したがって、受信装置Y106は、「アンテナY104_1で受信した受信信号群Y105_1」から「アンテナY104_Nで受信した受信信号群Y105_N」を入力とする。なお、Nは1以上の整数とする。
以下では、アンテナY104_iが、複数のアンテナで構成されている場合について説明する。したがって、以下の説明では、アンテナY104_iで受信された信号を「受信信号群Y105_i」と呼ぶ。例えば、アンテナY104_iが16個のアンテナで構成されている場合、受信信号群Y105_iは16個の受信信号で構成されていることになる。
受信装置Y106は、例えば、受信信号群Y105_1に対し、到来方向推定を行うとともに、送信装置Y101が変調信号を送信した時刻と受信信号群Y105_1を得た時刻を利用し、物体の距離を推定する。したがって、受信装置Y106は、物体推定情報Y107_1を出力する。なお、上記の説明中の「物体の距離」という用語における距離とは、例えば、物体と検出装置との間の距離を意味している。ここで、距離として算出される値は、例えば、物体とアンテナとの間の距離、物体と複数のアンテナの中心位置との間の距離、物体と後述するセンサー部との間の距離などが考えられる。また、「物体の距離」は、例えば、物体において変調信号が反射した点または領域と検出装置との間の距離であってもよい。また、例えば、複数の変調信号を同時に送信する場合、一つの物体における複数の点または領域のそれぞれにおいて「物体の距離」が同時に測定されることもある。
同様に、受信装置Y106は、受信信号群Y105_iに対し、到来方向推定を行うとともに、送信装置Y101が変調信号を送信した時刻と受信信号群Y105_iを得た時刻を利用し、物体の距離を推定する。したがって、受信装置Y106は、物体推定情報Y107_iを出力する。なお、iは1以上N以下の整数とする。
第1処理部Y108は、物体推定情報Y107_1から物体推定情報Y107_Nを入力とする。第1処理部Y108は、例えば、物体推定情報Y107_1から物体推定情報Y107_Nを用いて、詳細な物体推定を行い、物体推定信号Y109を出力する。
表示部Y113は、画像情報Y124、物体を認識するエリアを限定するためのエリア情報Y111を入力とし、画像と物体を認識するエリアの関連付けを行い、エリア信号Y114を出力する。なお、画像と物体を認識するエリアの関連付けとは、例えば、「表示部Y113において得られている画像のうち物体認識を行うエリアを指定すること」を意味する。また、画像と物体を認識するエリアの関連付けは、例えば、「表示部Y113において得られている画像で特定される領域に応じて第1処理部Y108が物体認識を行うエリアを特定すること」であってもよい。
選択部Y112は、物体を認識するエリアを限定するための、エリア情報Y111、エリア信号Y114を入力とする。そして、選択部Y112は、エリア情報Y111、エリア信号Y114に基づいて、物体を検出するエリアを決定し、選択エリア信号Y115を出力する。なお、選択部Y112は、物体を検出するエリアを限定しなくてもよく、この場合、選択部Y112は、選択エリア信号Y115を出力しなくてもよいし、「物体を検出するエリアを限定していない」という情報を選択エリア信号Y115が含んでいてもよい。
ここでは、「表示部Y113が存在している」、「表示部Y113がエリア信号Y114を出力する」としているが、このような構成でなくてもよい。また、表示部Y113が、液晶などの画面にタッチパネルの機能(液晶などのパネルのような表示装置とタッチパッドのような位置入力装置を組合せた装置)により、物体の検出エリアをユーザの指定に応じて限定してもよい。
第2処理部Y116は、物体推定信号Y109、選択エリア信号Y115、画像情報Y124を入力とする。このとき、第2処理部Y116は、第1の処理方法、第2の処理方法を行うものとする。なお、第2処理部Y116は、第1の処理方法、第2の処理方法のいずれかを実施するものとしてもよいし、第1の処理方法と第2の処理方法を、状況に応じて、切り替えて処理を行ってもよい。また、第2処理部Y116は、物体推定信号Y109で複数の位置の距離情報を記憶するための補助情報を生成するとしてもよい。なお、補助情報は、例えば、複数の「撮影候補となる物体に対応する位置情報」であり、第2処理部Y116は、複数の「撮影候補となる物体に対応する位置情報」から「撮影対象となる物体に対応する位置情報」を選択してもよい。
第1の処理方法:
第2処理部Y116は、画像情報Y124から物体の認識を行う。そして、第2処理部Y116は、この物体の認識情報と物体推定信号Y109に基づいて、認識した各物体と検出装置との間の距離を推定し、推定距離情報Y117を出力する。なお、第2処理部Y116は、選択エリア信号Y115により、物体の認識するエリアを限定してもよい。また、第2処理部Y116は、選択エリア信号Y115により、距離推定する物体を制限してもよい。
第2処理部Y116は、画像情報Y124から物体の認識を行う。そして、第2処理部Y116は、この物体の認識情報と物体推定信号Y109に基づいて、認識した各物体と検出装置との間の距離を推定し、推定距離情報Y117を出力する。なお、第2処理部Y116は、選択エリア信号Y115により、物体の認識するエリアを限定してもよい。また、第2処理部Y116は、選択エリア信号Y115により、距離推定する物体を制限してもよい。
第2の処理方法:
第2処理部Y116は、物体推定信号Y109、画像情報Y124から、各物体と検出装置との距離を推定し、推定距離情報Y117を出力する。なお、第2処理部Y116は、選択エリア信号Y115により、物体の認識するエリアを限定してもよい。また、第2処理部Y116は、選択エリア信号Y115のより、距離推定する物体を制限してもよい。
第2処理部Y116は、物体推定信号Y109、画像情報Y124から、各物体と検出装置との距離を推定し、推定距離情報Y117を出力する。なお、第2処理部Y116は、選択エリア信号Y115により、物体の認識するエリアを限定してもよい。また、第2処理部Y116は、選択エリア信号Y115のより、距離推定する物体を制限してもよい。
レンズ制御部Y110は、物体推定信号Y109、推定距離情報Y117を入力とする。そして、レンズ制御部Y110は、「物体推定信号Y109および推定距離情報Y117を用いて」、または、「物体推定信号Y109または推定距離情報Y117のいずれかを用いて」、レンズ関連の動作の制御、例えば、「対象とする物体に対する焦点距離の制御」、「対象とする物体に対するレンズの焦点(フォーカス)の制御」、「対象とする物体を撮影する方向の制御」などを決定し、動作制御信号Y118を出力する。
レンズ部Y119は、動作制御信号Y118を入力とし、動作制御信号Y118に基づいて、レンズ関連の動作の制御、例えば、「対象とする物体に対する焦点距離の制御」、「対象とする物体に対するレンズの焦点(フォーカス)の制御」、「対象とする物体を撮影する方向の制御」などの制御を行い、物体信号Y120を出力する。なお、物体信号Y120は、光信号である。
シャッター部Y121は、制御信号Y100、物体信号Y120を入力とし、制御信号Y100に基づいて、シャッターの動作を制御し、制御後の物体信号Y122を出力する。
センサー部Y123は、制御後の物体信号Y122を入力とし、例えば、光・電気信号の変換を行い、画像情報Y124を出力する。センサー部Y123として、例えば、CCD(Charge-Coupled Device)イメージセンサー、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサー、有機CMOSイメージセンサーなどを用いることができる。
記憶部Y125は、制御信号Y100、画像情報Y124を入力とし、制御信号Y100に基づいて、画像情報、例えば、動画、静止画を記憶する。なお、記憶部Y125は、センサー部Y123で取得された画像情報をそのまま記憶してもよいし、画像符号化技術を用いて符号化された符号化データを記憶してもよい。
なお、記憶部Y125は、画像情報に加えて、または画像情報の代わりに、画像に対して信号処理を施した結果として得られた解析データを記憶してもよい。解析データは、例えば、人、動物、車またはドローンなどの予め設定された任意の検出対象について、当該検出対象が撮影されているか否か、すなわち検出対象が撮影領域内に滞在しているかどうかの情報である。また、解析データは、検出対象の色や大きさなどの属性に関する情報や、検出対象の向き、移動経路、速度、滞在時間、または何をしているか、何を見ているかなどの動作に関する情報を含んでいてもよい。属性に関する情報は、例えば、人であれば推定された性別や年齢などを用いてもよいし、車などであれば、車種、搭乗人数、搭載された荷物の量などであってもよい。
以上で説明した通り、本実施の形態における検出装置によると、電波を用いて、物体との距離を推定することができる。また、本実施の形態における検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、本実施の形態における検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号(画像)に基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
次に、図1とは異なる物体を高精度に検出することが可能となる検出装置の構成について説明する。
図2は、図1とは異なる検出装置の構成例を示している。なお、図2において、図1と同様に動作するものについては、同一番号を付しており、説明を省略する。
シャッター機能付センサー部Y200は、制御信号Y100、物体信号Y120を入力とする。シャッター機能付センサー部Y200は、制御信号Y100を入力とし、制御信号Y100に基づき、シャッターの動作を制御を行い、そして、例えば、光・電気信号の変換を行うことで、画像情報Y124を生成し、出力する。なお、シャッター機能付センサー部Y200のシャッターとして、例えば、電子シャッター、グローバルシャッターなどがある。
図2において、シャッター機能付センサー部Y200以外の部分についての動作は、図1を用いて説明したものと同様となる。
上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号(画像)とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
次に、図1及び図2とは異なる物体を高精度に検出することが可能となる検出装置の構成について説明する。
図3は、図1及び図2とは異なる検出装置の構成例を示している。なお、図3において、図1及び図2と同様に動作するものについては、同一番号を付しており、説明を省略する。
図3において、「検出装置がシャッター部Y121とシャッター機能付センサー部Y200の両者を具備していること」が特徴的な点となる。
例えば、シャッター部Y121は、フォーカルプレーンシャッターのようなメカ(機械式の)シャッターで構成されているものとする。また、シャッター機能付センサー部Y200が具備しているシャッターは、電子シャッター、または、グローバルシャッターであるものとする。
シャッター機能付センサー部Y200は、制御信号Y100を入力とし、制御信号Y100に含まれている動作情報が、動画モードの場合、シャッター機能付センサー部Y200が具備しているシャッター機能が動作する。一方、シャッター部Y121は、制御信号Y100を入力とし、制御信号Y100に含まれている動作情報が、動画モードの場合、シャッター部Y121は、シャッターの動作を行わない、つまり、シャッターは開いた状態となる。
シャッター機能付センサー部Y200は、制御信号Y100を入力とし、制御信号Y100に含まれている動作情報が、静止画モードの場合、制御信号Y100には、例えば、シャッター速度の情報が含まれているものとする。シャッター機能付センサー部Y200は、静止画モードの場合、シャッター速度の情報に応じて、シャッター機能付センサー部Y200のシャッター機能を動作させることになる。
また、シャッター部Y121は、制御信号Y100を入力とし、制御信号Y100に含まれている動作情報が、静止画モードの場合、制御信号Y100には、例えば、シャッター速度の情報が含まれているものとする。シャッター部Y121は、静止画モードの場合、シャッター速度の情報に応じて、シャッター機能を動作させることになる。
なお、静止画モードにおいて、シャッター機能付センサー部Y200のシャッター機能が動作しているとき、シャッター部Y121のシャッター機能は動作していないことになる。逆に、シャッター部Y121のシャッター機能が動作しているとき、シャッター機能付センサー部Y200のシャッター機能は動作していないことになる。
図3において、上記説明以外の部分の動作については、図1を用いて説明したものと同様となる。
上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号(画像)とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
図4は、図1の変形例を示す図である。
図4において、図1と同様に動作するものについては、同一番号を付しており、説明を省略する。
第2処理部Y116は、物体推定信号Y109、選択エリア信号Y115、画像情報Y124、データ群Y403を入力とする。このとき、第2処理部Y116は、データ群Y403に基づいて、画像情報Y124から物体の認識を行う。そして、第2処理部Y116は、この物体の認識情報と物体推定信号Y109に基づいて、認識した各物体と図自身である検出装置の距離を推定し、推定距離情報Y117を出力する。なお、第2処理部Y116は、選択エリア信号Y115により、距離推定する物体を制限してもよい。
画像情報Y124を用いて物体の認識を行う際に用いる信号処理の一例としては、例えば、人や人の顔などの体の一部を検出する処理、人物を識別する処理、車やドローンなどの対象物を検出する処理、車やドローンなどの対象物を識別する処理、検出された人や対象物の動作や移動を検出する処理、検出された人や対象物を追跡する処理などが挙げられる。ここで、画像情報Y124は、一または複数の静止画であってもよいし、予め定められたタイミングで連続的に取得される複数のフレームから構成される動画像であってもよい。
これらの信号処理は、例えば、当該信号処理の目的に応じて決められたそれぞれ所定の算出処理によって得られる一または複数の特徴量を画像情報Y124から抽出し、抽出された特徴量を認識したい対象物やその動作に対応する既知の特徴量と比較した結果に基づいて行われる。また、これらの信号処理は、抽出された特徴量が所定の閾値を超えているか否かの判定結果に基づいて行われてもよい。また、これらの信号処理は、上記で例示した以外の信号処理に基づいて行われてもよく、例えば、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルで行われてもよい。なお、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルを利用する場合、動画用の撮像データに対して前処理を行ったうえで、前処理後のデータを多層構造のニューラルネットワークを用いて機械学習により作成されたモデルに入力してもよい。
図4において、第2処理部Y116が、照会データ部Y402に対し、データを出力してもよい。例えば、このデータに基づき、照会データ部Y402は、データ群Y403の出力データ量を削減してもよい。
上記説明では、第2処理部Y116が画像情報Y124を用いて物体の認識を行う例について記載したが、画像情報Y124に加えて、物体推定信号Y109を用いて物体の認識を行ってもよい。このとき、物体推定信号Y109は、距離情報のみで構成されている必要はなく、例えば受信信号群Y105_iを解析して得られる反射率などの情報を含んでいてもよい。
また、第2処理部Y116は、物体の認識情報Y404を出力してもよい。
通信装置Y400は、物体の認識情報Y404を入力とし、このデータを含む変調信号を生成し、通信相手の通信装置に、送信するものとする。このとき、通信相手の通信装置は、例えば、サーバに接続されており、サーバは、通信装置Y400が送信した変調信号から、物体の認識情報Y404を得て、物体認識のデータベースを作成し、サーバは、通信装置を介し、このデータベースを含む変調信号を生成し、通信装置Y400に送信するものとする。
通信装置Y400は、この変調信号を受信し、物体認識のデータベースY401を取得し、照会データ部Y402へ出力する。そして、照会データ部Y402は、物体認識のデータベースY401を入力とし、第2処理部Y116が行う物体認識のためのデータ群Y403の更新を行う。
上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号(画像)とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
さらに、上記構成の検出装置によると、物体の認識に用いるデータベースを更新するための仕組みにより、物体認識における精度や信頼性を向上させることができ、結果として、距離推定の精度や信頼性の向上に貢献できる。また、画像情報に加えて電波を用いて得られた情報を用いて物体認識を行う場合、物体認識における精度や信頼性が向上する可能性がある。
図5は、図2の変形例であり、図1、図2及び図4と同様に動作するものについては、同一番号を付しており、説明を省略する。図5における各部の動作については、すでに説明を行っているので、説明を省略する。
図6は、図3の変形例であり、図1、図2及び図4と同様に動作するものについては、同一番号を付しており、説明を省略する。図6における各部の動作については、すでに説明を行っているので、説明を省略する。
上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号(画像)の基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
さらに、上記構成の検出装置によると、物体の認識に用いるデータベースを更新するための仕組みにより、物体認識における精度や信頼性を向上させることができ、結果として、距離推定の精度や信頼性の向上に貢献できる。また、画像情報に加えて電波を用いて得られた情報を用いて物体認識を行う場合、物体認識における精度や信頼性が向上する可能性がある。
本実施の形態において、図1から図6を構成の一例として示した装置を、「検出装置」という名称で説明したが、呼び方はこれに限らない。例えば、本実施の形態でした装置は、記憶部を具備しているため、「記憶装置」と呼んでもよいし、センサー部を具備しているため、「カメラ」、「ムービー」、「監視用カメラ」、「セキュリティ用カメラ」、「録画装置」、「静止画撮影装置」と呼んでもよい。また、単に「装置」と呼んでもよい。なお、呼び方は、これに限ったものではない。
また、図1、図2、図3、図4、図5及び図6の構成が、分離された複数の装置の組み合わせであるシステムにより実現されていてもよい。以下では、分離された複数の装置として実現する場合の例について説明する。
図7は、第1の「装置の分離例」である。
第2装置Y702は、図1、図2、図3、図4、図5及び図6の装置におけるレンズ部Y119を具備する装置となる。そして、第1装置Y701は、図1、図2、図3、図4、図5、図6の装置におけるレンズ部Y119以外の部分を具備する装置となる。
そして、第1装置Y701は、第2装置Y702と接続するための第1インターフェースY703を具備し、第2装置Y702は、第1装置Y701と接続するための第2インターフェースY704を具備する。
したがって、第1インターフェースY703は動作制御信号Y118を入力としている。そして、第2インターフェースY704は、レンズ部Y119に信号を出力している。よって、第1インターフェースY703と第2インターフェースY704を接続することで、レンズ部Y119は、動作制御信号Y118に相当する信号を得ることができる。なお、第1インターフェースY703と第2インターフェースY704は、どのように接続されてもよい。例えば、第1インターフェースY703と第2インターフェースY704は直接接続されてもよいし、第1インターフェースY703と第2インターフェースY704は接続ケーブルなどを介して接続されてもよい。なお、接続方法は、これらの例に限ったものではない。
図8は、第2の「装置の分離例」である。
第3装置Y802は、図1、図2、図3、図4、図5、図6の装置における送信装置Y101、アンテナY103_1からY103_M、アンテナY104_1からY104_N、受信装置Y106、第1処理部Y108を具備する装置となる。そして、第1’装置Y801は、図1、図2、図3、図4、図5、図6の装置における「送信装置Y101、アンテナY103_1からY103_M、アンテナY104_1からY104_N、受信装置Y106、第1処理部Y108」以外の部分を具備する装置となる。
そして、第1’装置Y801は、第3装置Y802と接続するための第3インターフェースY803を具備し、第3装置Y802は、第1’装置Y801と接続するための第4インターフェースY804を具備する。
したがって、第3インターフェースY803は制御信号Y100を入力としている。そして、第4インターフェースY804は、送信装置Y101に信号を出力している。よって、第3インターフェースY803と第4インターフェースY804を接続することで、送信装置Y101は、制御信号Y100に相当する信号を得ることができる。
また、第4インターフェースY804は物体推定信号Y109を入力としている。そして、第3インターフェースY803は、信号を出力している。よって、第3インターフェースY803と第4インターフェースY804を接続することで、第3インターフェースY803は、物体推定信号Y109に相当する信号を出力することになる。
なお、第3インターフェースY803と第4インターフェースY804は、どのように接続されてもよい。例えば、第3インターフェースY803と第4インターフェースY804は直接接続されてもよいし、第3インターフェースY803と第4インターフェースY804は接続ケーブルなどを介して接続されてもよい。なお、接続方法は、これらの例に限ったものではない。
図9は、第3の「装置の分離例」である。なお、図9において、図7及び図8と同様に動作するものについては、同一番号を付しており、説明を省略する。
第1’’装置Y901は、図1、図2、図3、図4、図5及び図6の装置における「送信装置Y101、アンテナY103_1からY103_M、アンテナY104_1からY104_N、受信装置Y106、第1処理部Y108、レンズ部Y119」以外の部分を具備する装置となる。そして、第1’’装置Y901は、第1インターフェースY703、第3インターフェースY803を具備している。
なお、図9において、第1インターフェースY703、第2インターフェースY704、第3インターフェースY803、第4インターフェースY804の動作については、すでに説明したとおりとなる。
図9は、第3の「装置の分離例」である。なお、図9において、図7及び図8と同様に動作するものについては、同一番号を付しており、説明を省略する。
第1’’装置Y901は、図1、図2、図3、図4、図5、図6の装置における「送信装置Y101、アンテナY103_1からY103_M、アンテナY104_1からY104_N、受信装置Y106、第1処理部Y108、レンズ部Y119」以外の部分を具備する装置となる。そして、第1’’装置Y901は、第1インターフェースY703、第3インターフェースY803を具備している。
なお、図9において、第1インターフェースY703、第2インターフェースY704、第3インターフェースY803、第4インターフェースY804の動作については、すでに説明したとおりとなる。
図10は、第4の「装置の分離例」である。なお、図10において、図7、図8、図9と同様に動作するものについては、同一番号を付しており、説明を省略する。
第4装置Y1002は、図1、図2、図3、図4、図5、図6の装置における「送信装置Y101、アンテナY103_1からY103_M、アンテナY104_1からY104_N、受信装置Y106、第1処理部Y108、レンズ部Y119」を具備するとともに、第2インターフェースY704、第4インターフェースY804を具備している。なお、図10における各部の動作については、すでに説明を行っているため、説明を省略する。
以上、図1から図10を用いて本実施の形態の動作例を説明したが、図1から図10の構成は例であり、この構成に限ったものではない。
図1から図10における送信装置Y101、受信装置Y106は、電波を扱っており、このときの動作の説明を行った。これとは異なり、図1から図10における送信装置Y101が例えば、可視光のような、光の変調信号を生成し、受信装置Y106が、光の変調信号を受信するような構成でも実施することは可能である。このとき、アンテナY103_1からY103_Mの代わりにLED(Light Emitting Diode)や有機EL(Electro-Luminescence)などを用いることになり、アンテナY104_1からY104_Nの代わりにフォトダイオード、イメージセンサーなどが用いられることになる。
なお、図1から図10などの装置におけて、電波を用いて取得された情報を用いて、物体認識を行ってもよい。図1から図10において、特徴的な点は、「物体認識、または、物体との距離推定」を行う、かつ、「静止画、または、動画」を記録(記憶)するという点であり、この特徴をもつ装置の構成は図1から図10の構成に限ったものではない。
なお、センシングの距離を延ばしたいとき、送信電力を大きくする必要がある。例えば、送信帯域を狭くする方法によって送信電力を大きくすることができる。また、偏波を利用したセンシングも可能である。
(実施の形態2)
本実施の形態では、実施の形態1で説明した図1から図10などの電波を用いた距離推定、または、電波を用いた物体認識を行う装置が送信する変調信号の構成方法について説明を行う。
本実施の形態では、実施の形態1で説明した図1から図10などの電波を用いた距離推定、または、電波を用いた物体認識を行う装置が送信する変調信号の構成方法について説明を行う。
図11は、実施の形態1で説明した「電波を用いた距離推定、または、電波を用いた物体認識」を行う装置Y1101、「距離推定、または、物体認識」の対象となる物体Y1102、および、その他の装置の状態の一例を示している。なお、以下では、「電波を用いた距離推定、または、電波を用いた物体認識」を行う装置Y1101を単に「装置Y1101」と記載する。
図11では、装置Y1101、物体Y1102に加え、端末Y1103、および、AP(アクセスポイント)Y1104がある。
端末Y1103とY1104のAPは、通信を行う際は、第1の周波数帯を用いるものとする。また、装置Y1101が、物体Y1102に対する距離推定、または、物体認識を行う際、第1の周波数帯を用いるものとする。
このとき、「端末Y1103とY1104のAPの通信」と「装置Y1101による物体Y1102に対する距離推定、または、物体認識」が同時に行われた場合、互いの電波が干渉するという影響があり、これにより、通信品質の低下、および、距離推定、物体認識の精度低下を招く可能性がある。
本実施の形態では、これらの低下を改善するための方法について説明する。
図12は、図11における、端末Y1103、AP(アクセスポイント)Y1104が通信用の変調信号を送信する際のフレーム構成の例を示しており、横軸は時間であるものとする。
通信用リファレンスシンボルY1201は、「通信相手が信号検出、時間同期、周波数同期、チャネル推定などを行う」ためのシンボルであるものとする。また、通信用リファレンスシンボルY1201は、データ通信を行うための手続きに必要な制御情報、MAC(Media Access Control)フレームであってもよい。
通信用制御情報シンボルY1202は、例えば、通信用データシンボルY1203の例えば、通信方法を通知するためのシンボルであるものとする。したがって、通信用制御情報シンボルY1202は、例えば、誤り訂正符号化方法(符号化率、ブロック長(符号長)、誤り訂正符号の情報など)の情報、変調方式の情報、送信方法の情報(例えば、シングルストリーム伝送、または、複数ストリーム伝送、いずれを用いているかの情報)(MCS(Modulation and Coding Scheme)の情報)、データ長、などの情報を含んでいるものとする。
通信用データシンボルY1203は、通信相手にデータを伝送するためのシンボルであるものとする。
なお、図12のフレーム構成はあくまでも一例であり、他のシンボルが含まれていてもよい。また、図12のフレームを送信する際、シングルキャリア伝送方式を用いてもよいし、OFDM(Orthogonal Frequency Division Multiplexing)などのマルチキャリア伝送方式を用いてもよい。
通信用リファレンスシンボルY1201において、データを伝送する領域を含んでいてもよい。そのデータを伝送する領域において、送信信号が「通信用の信号を送信しているか」、または、「物体検出のための信号を送信しているか」を識別するためのデータを含んでいてもよい。
また、通信用リファレンスシンボルY1201と名づけているが、呼び方はこれに限ったものではなく、通信用リファレンスシンボルY1201を、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などと呼んでもよい。
図13は、装置Y1101が送信する変調信号のフレーム構成の一例である。なお、図13において、図12と同様に動作するものについては、同一番号を付しており、すでに説明を行っているので、説明は省略する。
実施の形態1でも説明したように、制御信号Y100に含まれる「物体検出の動作開始」、または「静止画または動画の記録開始」の情報に基づき、はじめに、装置Y1101は、通信用リファレンスシンボルY1201を送信することになる。
なお、「物体検出の動作開始」、または「静止画または動画の記録開始」は、装置Y1101が具備している、「ユーザがボタンを押す」、または、「ユーザがタッチパネルを触れる」、または、「ユーザがシャッターボタンを押す」、または、「ユーザが録画開始ボタンを押す」により実現されてもよい。
そして、装置Y1101は、「物体検出のための変調信号または物体との距離推定のための変調信号Y1302」を送信することになる。
装置Y1101は、図13のように変調信号を送信することで、図11における端末Y1103、および、Y1104のAPは、図13の通信用リファレンスシンボルY1201を検出することで、第1の周波数帯に変調信号が存在していることがわかる。したがって、端末Y1103、および、Y1104のAPは、通信用リファレンスシンボルY1201を検出すると、一時的に、変調信号の送信を保留する。そして、端末Y1103、Y1104のAPは、通信用リファレンスシンボルY1201が検出されなくなると、変調信号の送信を開始することができることになる。
以上のようにすることで、「装置Y1101が送信する変調信号」と「端末Y1103、Y1104のAPが送信する変調信号」が互いに干渉するというような状況の発生を抑圧することができるため、「端末Y1103とY1104のAPの通信のデータの受信品質の向上」、「装置Y1101距離推定、物体認識の精度の向上」という効果を得ることができる。
なお、図13のフレーム構成はあくまでも一例であり、他の変調信号が含まれていてもよい。
以下では、電波を用いたセンシング方法について幾つか例を挙げて説明する。なお、以降の実施の形態で説明する電波を用いたセンシング方法を実施する装置は、当該センシング方法を実施の形態1および2で説明したようにカメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせて用いてもよい。また、以降の実施の形態で説明する電波を用いたセンシング方法を実施する装置は、当該センシング方法をカメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせずに実施してもよい。
ここで、カメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせない電波を用いたセンシング方法の実施とは、カメラを備えない装置が電波を用いたセンシングを行う場合だけを意味しているのではない。例えば、スマートフォンのようなカメラを備えた装置が、一または複数のカメラによる撮影や測距などのセンシングと、無線通信部や無線レーダーなどによる電波を用いたセンシングとを独立して行ってもよい。また、スマートフォンのようなカメラを備えた装置が、一または複数のカメラによる撮影や測距などのセンシングの制御のために、無線通信部や無線レーダーなどによる電波を用いたセンシング結果を用いず、且つ、無線通信部や無線レーダーなどによる電波を用いたセンシングの制御のために一または複数のカメラによる撮影や測距などのセンシング結果は用いない一方で、両方のセンシング結果を一つのアプリケーションで組み合わせて用いてもよい。
(実施の形態3)
本実施の形態では、例えば、システムは、通信を行う装置、センシングを行う装置、通信およびセンシングを行う装置のうち一つ以上で構成されるものとする。まず、センシングを行う装置、通信およびセンシングを行う装置の構成などについて説明を行う。
本実施の形態では、例えば、システムは、通信を行う装置、センシングを行う装置、通信およびセンシングを行う装置のうち一つ以上で構成されるものとする。まず、センシングを行う装置、通信およびセンシングを行う装置の構成などについて説明を行う。
図14は、センシング用の信号を送信し、周囲の物体に反射して戻ってきたセンシング用の信号を受信して、センシングを行う装置X100の構成の一例を示す図である。
送信装置X101は、センシング用の信号として送信信号X102_1からX102_Mを生成し、送信信号X102_1からX102_MのそれぞれをアンテナX103_1からX103_Mから送信する。ここで送信に用いるアンテナの数はMであり、Mは1以上の整数、または、2以上の整数である。
送信装置X101は、例えば、同じセンシング信号に対してアンテナごとに定められた係数を乗算して送信信号X102_1からX102_Mを生成し、アンテナX103_1からX103_Mから送信することで、センシング信号の指向性制御を行ってもよい。また、送信装置X101は、例えば、複数のセンシング信号のそれぞれに対して、センシング信号ごと且つアンテナごとに定められた係数を乗算して合成することで送信信号X102_1からX102_Mを生成し、アンテナX103_1からX103_Mから送信してもよい。これにより、センシング信号ごとに指向性制御を行うことができる。上記のアンテナごとに定められた係数、またはセンシング信号ごと且つアンテナごとに定められた係数は、複素数または実数で表される。この係数の値に応じて、各アンテナから送信されるセンシング信号の振幅および/または位相が変更される。ただし、係数は1であってもよく、この場合、係数値が1のアンテナからは送信装置X101で生成されたセンシング信号がそのまま送信される。
なお、送信装置X101は、指向性制御を行わずに送信信号を送信してもよい。例えば、送信装置X101は、複数のセンシング信号のそれぞれを対応するアンテナの送信信号としてそのまま出力しアンテナX103_1からX103_Mから送信してもよい。なお、上記説明ではセンシング用信号およびアンテナの数が複数の場合について説明したが、送信装置X101が生成するセンシング用信号の数及びセンシング用信号を送信するアンテナの数は1であってもよい。
アンテナX103_1からX103_Mから送信されたセンシング用信号は、物体#1X110_1や物体#2X110_2で反射し、反射したセンシング用信号は装置X100が備えるアンテナX104_1からX104_Nで受信される。ここでセンシング用信号を受信するアンテナの数はNであり、Nは1以上の整数、または、2以上の整数である。送信に用いるアンテナの数Mは、受信に用いるアンテナの数Nと同じであってもよいし、異なっていてもよい。
アンテナX104_1からX104_Nで受信された受信信号X105_1からX105_Nは、受信装置X106に入力される。受信装置X106は、受信信号X105_1からX105_Nに対して、例えばセンシング用信号が送信された周波数帯域または周波数帯域内のチャネルの成分のみを抽出するフィルタ処理や、無線周波数帯から中間周波数帯(IF)やベースバンド信号の周波数帯に変換する周波数変換処理や、N個の受信信号に対する重みづけ合成処理などを行い、推定信号X107を出力する。
N個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号X105_1からX105_Nごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号X105_1からX105_Nを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比(SNR(Signal-to-Noise Ratio))が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置X106は、受信信号X105_1からX105_Nに対応するN個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。ただし、重み付け合成を行わないで実施することも可能である。
推定部X108は、推定信号X107を用いて、センシング、すなわち周囲環境に関する推定処理を行う。推定部X108が行う推定処理の詳細については後述する。
制御信号X109は、送信装置X101、受信装置X106、及び推定部X108に入力される制御信号であり、送信装置X101、受信装置X106、及び推定部X108に対してセンシングの実施の指示やセンシング範囲やセンシングタイミングの制御などを行う。
以上が、本実施の形態における装置X100の構成の一例に関する説明である。
なお、図14では、装置X100で生成された信号がM個のアンテナで送信され、N個のアンテナで受信された信号が受信装置X106で信号処理される場合を例に挙げて説明したが、本実施の形態で説明するセンシング方法を実施する装置の構成はこれに限定されない。
例えば、信号の送信のための送信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは同じ指向性及び指向性制御機能を有していてもよいし、アンテナユニット間で指向性制御できる範囲が異なっていてもよい。このとき、一つの送信装置X101が、複数のアンテナユニットの中からセンシング信号の送信に用いるアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから同じセンシング信号を同時に送信してもよい。また、送信装置X101は、一つのセンシング信号を一つのアンテナユニットから送信するか、複数のアンテナユニットから同時に送信するかを切り替えることができてもよい。また、装置X100は、送信装置X101を複数備えていてもよいし、アンテナユニットごとに送信装置X101を備えていてもよい。
アンテナX104_1からX104_Nで受信された受信信号X105_1からX105_Nは、受信装置X106に入力される。受信装置X106は、受信信号X105_1からX105_Nに対して、例えばセンシング用信号が送信された周波数帯域または周波数帯域内のチャネルの成分のみを抽出するフィルタ処理や、無線周波数帯から中間周波数帯(IF)やベースバンド信号の周波数帯に変換する周波数変換処理や、N個の受信信号に対する重みづけ合成処理などを行い、推定信号X107を出力する。
N個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号X105_1からX105_Nごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号X105_1からX105_Nを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比(SNR)が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置X106は、受信信号X105_1からX105_Nに対応するN個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。ただし、重み付け合成を行わないで実施することも可能である。
推定部X108は、推定信号X107を用いて、センシング、すなわち周囲環境に関する推定処理を行う。推定部X108が行う推定処理の詳細については後述する。
制御信号X109は、送信装置X101、受信装置X106、及び推定部X108に入力される制御信号であり、送信装置X101、受信装置X106、及び推定部X108に対してセンシングの実施の指示やセンシング範囲やセンシングタイミングの制御などを行う。
以上が、本実施の形態における装置X100の構成の一例に関する説明である。
なお、図14では、装置X100で生成された信号がM個のアンテナで送信され、N個のアンテナで受信された信号が受信装置X106で信号処理される場合を例に挙げて説明したが、本実施の形態で説明するセンシング方法を実施する装置の構成はこれに限定されない。
例えば、信号の送信のための送信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは同じ指向性及び指向性制御機能を有していてもよいし、アンテナユニット間で指向性制御できる範囲が異なっていてもよい。このとき、一つの送信装置X101が、複数のアンテナユニットの中からセンシング信号の送信に用いるアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから同じセンシング信号を同時に送信してもよい。また、送信装置X101は、一つのセンシング信号を一つのアンテナユニットから送信するか、複数のアンテナユニットから同時に送信するかを切り替えることができてもよい。また、装置X100は、送信装置X101を複数備えていてもよいし、アンテナユニットごとに送信装置X101を備えていてもよい。
同様に、信号の送信のための受信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは指向性の制御範囲及び指向性制御精度などの指向性制御能力が同じであってもよいし、アンテナユニット間で指向性制御能力が異なっていてもよい。また、複数のアンテナユニットは指向性の制御範囲及び指向性制御精度などの指向性制御能力が同じであるが、指向性制御できる空間領域が異なるよう設置されていてもよい。このとき、一つの受信装置X106が、複数のアンテナユニットの中から受信信号の取得するアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから受信した信号を同時に信号処理する構成であってもよい。また、受信装置X106は、一つのアンテナユニットから受信した受信信号のみを信号処理するか、複数のアンテナユニットで受信された受信信号を同時に信号処理するかを切り替えることができてもよい。また、装置X100は、受信装置X106を複数備えていてもよいし、アンテナユニットごとに受信装置X106を備えていてもよい。
また、装置X100は送信用の複数のアンテナと受信用の複数のアンテナを別に備えるのではなく、信号の送信にも受信にも用いることができる複数のアンテナを備えていてもよい。この場合、装置X100は、アンテナごとに送信に用いるか受信に用いるかを選択して切り替えることができるようにしてもよいし、複数のアンテナを送信に用いるか受信に用いるかを時間的に切り替えてもよい。
また、装置X100は、信号の送信および受信に共通して用いることが可能な送受信アンテナ部を備えていてもよい。ここで、送受信アンテナ部は、複数のアンテナユニットを含み、アンテナユニットごとに送信に用いるか受信に用いるかを切り替えることができる。装置X100は、送信装置X101で生成された信号の送信に用いるアンテナユニットと、受信装置X106で信号処理される信号の受信に用いるアンテナユニットの選択および切り替えを行う選択部を備えていてもよい。
なお、複数のアンテナユニットを用いて同時にセンシング信号を送信する場合、各アンテナユニットから送信される信号の指向性は同じであってもよいし異なっていてもよい。装置X100が複数のアンテナユニットから同じ指向性でセンシング信号を送信する場合、センシング信号の届く距離、または反射されたセンシング信号を受信可能な反射位置までの距離を長くすることができる可能性がある。
なお、上記で説明したアンテナユニットを構成するアンテナの数はアンテナユニット間で同じである必要はなく、アンテナユニット間でアンテナ数が異なっていてもよい。
次に、推定部X108が行う推定処理について例を挙げて説明する。
推定部X108は、例えば、自装置とセンシング信号を反射した物体との間の距離を推定する。自装置とセンシング信号を反射した物体との間の距離の推定は、例えば、センシング信号の送信時刻に対する受信時刻の遅延時間を検出し、遅延時間に電磁波の伝搬速度を乗じることによって導出することができる。また、推定部X108は、例えば、MUSIC(Multiple Signal Classification)法などの到来方向推定法(Direction of Arrival Estimation)を用いて、受信信号の到来方向、すなわちセンシング信号を反射した物体の方向を推定してもよい。推定部X108は、自装置と物体との間の距離に加えて方向を推定することで送信された信号を反射した物体の位置を推定することができる。推定部X108は、例えば、MUSIC法などの到来方向推定、送信アンテナの位置、受信アンテナの位置、送信指向制御の方向の情報などを用いて、三角測量を行い、物体の位置を推定することができる。推定部X108は、受信信号を用いて、物体の検出、物体の動き、物体の材質などを検出してもよい。
ここで、物体の位置は極座標系で表されていてもよいし、3次元の直交座標系で表されていてもよい。座標系の原点は、例えば装置X100内の任意の位置でよく、座標系の座標軸は、任意の向きでよい。なお、装置X100を備える機器が、装置X100以外に装置X100と同様または異なる構成の無線センサーやその他の距離センサーを複数備える場合、各センサーで取得されるデータの座標系の原点および座標軸は、センサー間で共通であってもよいし、センサーごとに固有であってもよい。推定部X108は、上記固有の座標系で表された位置情報をそのまま出力してもよいし、機器内で共通の座標系に変換して出力してもよい。変換後の座標系は、機器固有の座標系であってもよいし、当該機器が利用している3次元地図データと同じ座標系など他の機器と共通の座標系であってもよい。
また、推定部X108は、複数の方向のそれぞれにおいて、信号を反射した物体までの距離を推定し、推定された複数の反射位置の3次元座標を点群として取得してもよい。なお、推定部X108で取得される複数の測距結果のデータのフォーマットは、3次元座標の値を有する点群フォーマットでなくてもよく、例えば距離画像やその他のフォーマットであってもよい。距離画像のフォーマットを用いる場合、距離画像の2次元平面内での位置(座標)が自装置から見た受信信号の到来方向に対応し、各画像の画素位置に対応する方向における物体までの距離が画素のサンプル値として格納されている。
推定部X108は、さらに、上記の点群データまたは距離画像データを用いて物体の形状の推定などの認識処理を行ってもよい。例えば、「距離が所定の範囲内にある近接する位置の一つ以上の点」、または、複数の点または画像領域を同一の物体であるとみなして抽出し、当該一つ、または、複数の点の位置関係または画像領域の形状に基づいて物体の形状を推定することができる。推定部X108は、物体の形状の推定結果を用いた認識処理として、センシングされた物体の識別などを行ってもよい。この場合、推定部X108は、例えば、センシング範囲に居るのが人であるか、その他の動物であるのかの識別や、物体の種類の識別などを行う。なお、推定部X108が行う認識処理は、物体の識別以外であってもよい。例えば、推定部X108は、認識処理としてセンシング範囲内の人の数や、車の数などを検出してもよいし、検出された人の顔の位置や姿勢などを推定してもよい。推定部X108は、上記の認識処理とは異なる認識処理として、検出された人の顔の形状が、予め登録された人物と一致するか否か、どの人物であるかなどを判定する顔認証などの処理を行ってもよい。
また、推定部X108は、自装置と物体との間の距離を異なるタイミングで複数回測定して、自装置と物体との間の距離または検出された点の位置の時間的変化を取得してもよい。この場合、推定部X108は、自装置と物体との間の距離または点の位置の時間的変化を用いた認識処理として、移動する物体の速度や加速度などを推定してもよい。例えば、推定部X108は、センシング範囲を走行する車の速度の推定や移動方向などを推定してもよい。なお、推定部X108が距離や点の位置の時間的変化を用いて行う認識処理は、物体の速度や加速度の推定以外であってもよい。例えば、推定部X108が、検出された人の姿勢の変化から人が特定の動作を行ったか否かを検出することで、装置X100をスマートフォン、タブレット、パーソナルコンピュータなどの電子機器のジェスチャー入力用のデバイスとして利用してもよい。
なお、上述した移動する物体の速度の推定は、送信したセンシング信号の周波数と受信した反射信号の周波数を比較して、反射信号が受けたドップラー効果による周波数の変化を推定することで導出してもよい。
次に、送信装置X101及び受信装置X106で用いるセンシング信号について例を挙げて説明する。
装置X100は、センシング用の信号として、非特許文献1や非特許文献2に開示されたパルス信号を送信してもよい。装置X100は、センシングに用いる周波数帯域でパルス信号を送信し、パルス信号の送信時刻に対する反射信号の受信時刻の遅延時間に基づいてセンシング用信号を反射した物体までの距離を測定する。
センシング用の信号の異なる例として、装置X100は、非特許文献3に記載されたfrequency modulated continuous wave(FMCW)方式やphase modulated continuous wave(PMCW)方式の信号を用いてもよい。FMCW信号は、時間的に周波数を変更させたChirp信号を無線周波数に変換した信号である。推定部X108は、FMCW信号を用いた推定処理として、装置X100から送信する信号と受信装置X106で受信された信号とをミキサーで重畳する。その結果、重畳後の信号は、受信した信号の飛行時間に応じた周波数の中間周波数の信号となるため、重畳後の信号に含まれる周波数成分を検出することで、FMCW信号を反射した物体までの距離を測定する。
センシング用の信号の異なる例として、装置X100は、定められた周波数の変調信号をセンシングに用いる周波数帯域の信号に周波数変換した信号を用いてもよい。この場合、推定部X108は、例えば、装置X100から送信する信号の変調成分の位相と受信装置X106で受信された信号の変調成分の位相の差に基づいて、センシング用信号を反射した物体までの距離を推定することができる。また、推定部X108は、送信した変調信号の周波数と受信した変調信号の周波数を比較することで、センシング信号が反射して受信されるまでにドップラー効果により受けた周波数の変動を検出し、移動する物体の移動速度と方向を推定してもよい。なお、変調信号に含まれる周波数成分は複数であってもよく、例えば、非特許文献4に記載された変調信号として複数の周波数成分を含むOFDM信号を用いてもよい。
なお、センシング用の信号に例は、上述に限ったものではなく、変調方式により変調した信号であってもよいし、無変調のキャリアであってもよいし、それ以外の信号を用いてもよい。
上述した通り、装置X100は、複数のアンテナを用いて複数のセンシング信号を同時に送信してもよいし、それぞれ複数のアンテナを含む複数のアンテナユニットを用いて複数のセンシング信号を同時に送信してもよい。
本実施の形態では、推定部X108が行う推定処理として、センシング信号の送信時刻と反射信号の受信時刻の差分から距離を測定する場合を例に挙げて説明した。しかしながら、推定部X108が行う推定処理は、上記のものに限られない。例えば、推定部X108は、受信した反射信号から伝送路の状態を推定し、推定された伝送路状態の時間的変化や、過去に推定された伝送路状態の平均値や特徴量との比較に基づく認識処理を行うことで、センシング範囲に物体が存在するか否かの判定や物体の移動の有無の検出など行ってもよい。また、推定部X108は、受信信号の減衰状況から降雨の有無などを検出してもよい。
また、本実施の形態では、送信したセンシング信号の反射波をセンシングに用いる例について説明した。しかしながら、センシング信号を用いてセンシングを行うのは当該センシング信号を送信した装置に限定されない。例えば、装置X100の受信装置X106は他の装置から送信されたセンシング信号を受信し、推定部X108は当該受信信号に基づいて他の装置がセンシング信号の届く範囲にあることの判定や、他の装置の方向の推定を行ってもよい。また、受信したセンシング信号の信号強度に基づいて、他の装置までの距離を推定してもよい。また、装置X100の送信装置X101は、他の装置がセンシングに用いることができるようにセンシング信号を送信してもよい。このとき送信されるセンシング信号は、自装置で反射波を用いてセンシングするために送信するセンシング信号であってもよいし、他の装置におけるセンシング用に周期的にセンシング信号が送信されてもよい。また、装置X100は、他の装置から送信されたセンシング信号を受信した場合に、送信装置X101を用いて当該受信信号を受信した方向にセンシング信号を送信してもよい。なお、他の装置に対して送信するセンシング信号は指向性の制御を行うことなく送信されていてもよい。
また、図14では、センシングを行う装置X100は、物体#1、物体#2によって反射した信号を受信する例を示しているが、物体#1、物体#2から反射し、さらに他の物体、物質に反射することによって得た信号を、センシングを行う装置X100は得て、物体の検出、物体との距離、位置などの推定を行ってもよい。
次に、図14とは異なる電波を用いたセンシング方法の例について説明する。
図15は、例えば、電波を用いてセンシングを行う装置X200の構成の一例を示す図である。図15において図示されている構成のうち、図14で示した構成と同様の機能を有する構成については同じ符号番号を付与しており、それらの構成については詳細な説明を省略する。
装置X200は、センシング用の変調信号、および/または、通信用の変調信号を用いてセンシングを行う点で装置X100と異なる。ここでの特長は、例えば、装置X200が信号を送信し、通信相手である端末は、装置X200が送信した信号の変化をとらえることで、物体(例えば、図15の物体#1)の位置、大きさ、物体(例えば、図15の物体#1)との距離などを推定するというところである。なお、装置X200が通信用の変調信号を送信している場合は、端末とのデータ通信も可能となる。以下では、通信用の変調信号を用いてセンシングを行う場合について説明する。
送信装置X201は、制御信号X109および送信データX210を入力として、誤り訂正符号化処理、変調処理、プリコーディング、多重化処理などを施して通信用の送信信号X202_1からX202_Mを生成する。装置X200は、送信信号X202_1からX202_MのそれぞれをアンテナX103_1からX103_Mから送信する。
送信信号および送信に用いるアンテナの数については、図14に関する説明と同様であり、2以上の複数であってもよいし、1であってもよい。図14に関する説明と比較すると、図14に関する説明の送信信号がセンシング信号の成分を含んでいるのに対し、本説明の送信信号は送信データを変調した信号の成分を含んでいる点で異なるが、送信装置X201が送信信号を生成するための重みづけ合成処理で用いる係数により指向性制御を行うことができる点は同様である。また、装置X200は、装置X100と同様に、複数のアンテナを備えるアンテナユニットを一つだけ備えていてもよいし、複数のアンテナユニットを備えていてもよい。
なお、指向性制御を行う場合、図14の説明の送信装置X101は、センシングを行いたい方向へ送信の指向性制御を行うが、図15の送信装置X201は、通信相手である端末との通信品質が向上するよう送信の指向性制御を行う。ただし、送信装置X201は、センシングを行いたい方向へ向けて送信信号の指向性制御を行ってもよいし、通信相手である端末が、装置X200が送信した信号を用いて、センシングを行う上で望ましいセンシング結果が得られるように指向性制御を行ってもよい。端末におけるセンシングのために送信装置X201が指向性制御を行う場合、送信装置X201は端末から指定された係数を用いて信号の送信を行う。ここで送信される信号は、送信データを用いて変調された信号成分を含んでいてもよいし、送信データを用いて変調された信号成分を含んでいなくてもよい。送信データを用いて変調された信号成分を含まない信号は、例えば、プリアンブルやリファレンス信号などの端末側で既知の値で変調された信号である。また、送信装置X201は、送信データを用いて変調された信号成分を含む信号を送信する場合と、送信データを用いて変調された信号成分を含まない信号とで異なる指向性制御を行ってもよい。
なお、端末は、装置X200が送信した変調信号を受信することで、データを得ることになる(通信を行うことになる)とともに、センシングも実施することになる。
また、端末が信号を送信し、通信相手である装置X200は、端末が送信した信号の変化をとらえることで、物体(例えば、図15の物体#1)の位置、大きさ、物体(例えば、図15の物体#1)との距離、物体(例えば、図15の物体#1)の種類、材質などを推定してもよい。なお、端末が通信用の変調信号を送信している場合は、装置X200とのデータ通信も可能となる。
例えば、アンテナX104_1からX104_Nを用いて、端末が送信した変調信号を受信する。そして、受信装置X206は、制御信号X109および受信信号X205_1からX205_Nを入力として、復調処理および誤り訂正復号処理などを行って受信データを取得する。また、受信装置X206は、受信処理で得られた伝送路特性などを推定信号X207として出力する。
N個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号X105_1からX105_Nごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号X105_1からX105_Nを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比(CNR)が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置X206は、受信信号X105_1からX105_Nに対応するN個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。
推定部X208は、制御信号X109および推定信号X207を入力とし、推定信号X207を用いて推定処理を行う。推定部X208は、例えば、推定信号X207に含まれる伝送路特性に基づいて、周囲に物体が存在するか否かなどの周囲の環境の推定を行う。また、推定部X208は伝送路特性の時間的変化に基づいて物体の移動や物体の接近などを検出してもよい。推定部X208は、例えば、MUSIC法などの到来方向推定法を用いて、受信信号の到来方向、すなわちセンシング信号を反射した物体の方向を推定してもよい。推定部X208は、例えば、MUSIC法などの到来方向推定、アンテナ位置(例えば、送信装置と受信装置の位置)、送信指向性制御の方向の情報などを用いて、三角測量を行い、物体の位置を推定してもよい。推定部X208は、受信信号を用いて、物体の検出、物体の動き、物体の材質などを検出してもよい。
推定部X208は、上記の推定処理を、例えば、上述した物体の存在の有無や物体の移動の有無などの検出したい事象に応じた信号処理を推定信号X207に対して施すことで実施する。このとき、推定処理は、例えば、信号処理によって抽出された特徴量が所定の閾値を超えているか否かの判定結果に基づいて行われる。また、推定処理は、上記で例示した以外の信号処理に基づいて行われてもよい。例えば、推定処理は、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルで行われてもよい。推定処理に多層構造のニューラルネットワークを用いて機械学習により作成されたモデルを利用する場合、推定部X208は、推定信号X207に対して所定の前処理を行ったうえで、前処理後のデータを多層構造のニューラルネットワークを用いて機械学習により作成されたモデルに入力してもよい。また、推定部X208は、通信に用いている周波数帯域または周波数帯域内のチャネル番号などの情報を用いてもよい。また、推定部X208は、受信した通信用の信号を送信した通信装置のアドレスや、当該信号の宛先である通信装置のアドレスを用いてもよい。このように、周波数帯域や通信装置のアドレスなどの受信した通信用の信号に関する情報を用いることで、信号を送信した通信装置の位置や信号送信時に用いた指向性などの条件が同じ、または類似している通信用の信号間の比較を行うことができ、推定精度が向上する可能性がある。
上述の説明では、通信相手が送信した通信用の信号を用いてセンシングを行う場合について説明した。図15では、装置X200が、送信処理を実施するための構成である送信装置X201とアンテナX103_1からX103_Mと、受信処理を実施するための構成である受信装置X206およびアンテナX104_1からX104_Nとが異なる構成として示されているが、装置X200の構成はこれに限定されない。例えば、送信装置X201と受信装置X206は一つの構成要素として実現されていてもよいし、複数のアンテナを送信と受信で共通に用いてもよい。また、図14の説明と同様に、装置X200における送信用の複数のアンテナは複数のアンテナユニットで構成されていてもよいし、受信用の複数のアンテナは複数のアンテナユニットで構成されていてもよい。また、装置X200における送信用の複数のアンテナ及び受信用の複数のアンテナは共通の送受信アンテナ部で構成されていてもよい。
また、通信用の信号のかわりにセンシング用の信号を用いてもよい。つまり、第1の装置は、他の装置が送信したセンシング用の信号を用いて、物体(例えば、図15の物体#1)の位置、大きさ、物体(例えば、図15の物体#1)との距離、物体(例えば、図15の物体#1)の種類、材質などを推定してもよい。
そして、通信用の信号を用いたセンシング方法は、図14を用いて説明した他の装置に対してセンシング信号を送信する例と同様の目的で利用することもできる。すなわち、装置X200は、端末などの他の装置から送信された通信用の信号を、当該信号の伝送路特性などから周囲の環境をセンシングするためではなく、他の装置が通信用の信号の届く範囲にあることの判定や、他の装置の方向の推定に用いてもよい。
なお、装置X200は、通信相手である例えば端末が送信した通信用の変調信号を受信した際、センシングの動作を行わず、復調動作のみ行うとしてもよい。
次に、通信およびセンシングを行う装置について説明する。
図16は、通信およびセンシングを行う装置の構成の一例を示す図である。図16において図示されている構成のうち、図14および図15で示した構成と同様の機能を有する構成については同じ符号番号を付与しており、それらの構成については詳細な説明を省略する。
装置X300は、センシング用の変調信号を用いたセンシングと、通信用の変調信号を用いてセンシングの両方を行う。すなわち、装置X300の送信装置X301は、送信装置X101と同様にセンシング用の信号を送信する機能と、送信装置X201と同様に通信用の信号を他の通信装置に送信する機能とを備える。また、装置X300の受信装置X306は、受信装置X106と同様にセンシング用の信号を受信する機能と、受信装置X206と同様に他の通信装置が送信した通信用の信号を受信する機能とを備える。また、推定部X308は、推定部X108と同様にセンシング用の信号を用いた推定処理と、推定部X208と同様に通信用の信号を用いた推定処理の両方を実施する。
装置X300の各構成要素が実施する処理は、センシング用信号を送信・受信する場合は図14の装置X100と同様であり、通信用信号の送信・受信を行う場合は図15の装置X200と同様であるため、説明を省略する。
図16では、装置X300が、送信処理を実施するための構成である送信装置X301とアンテナX103_1からX103_Mと、受信処理を実施するための構成である受信装置X306およびアンテナX104_1からX104_Nとが異なる構成として示されているが、装置X300の構成はこれに限定されない。例えば、送信装置X301と受信装置X306は一つの構成要素として実現されていてもよいし、一つ以上、または、複数のアンテナを送信と受信で共通に用いてもよい。
また、装置X300は、通信用の送信装置とは別にセンシング用の送信装置を備えていてもよい。このとき、通信用の送信装置とセンシングの送信装置は同じ一つ以上、または、複数のアンテナを切り替えて用いてもよいし、通信用、センシング用の異なる、一つ以上、または、複数のアンテナを備えていてもよい。なお、通信用およびセンシング用信号送信装置X301は、制御信号X309に含まれるモードの情報に基づき、センシング用の信号の送信と通信用の変調信号の送信を切り替えて、アンテナから送信してもよい、つまり、センシング用の信号を送信するモードと通信用の変調信号を送信するモードが存在していてもよい。また、通信用およびセンシング用送信装置X301は、センシング用の信号と通信用の変調信号をあわせた信号を送信してもよい。
また、装置X300は、通信用の受信装置とは別にセンシング用の受信装置を備えていてもよい。このとき、通信用の受信装置とセンシングの受信装置は同じ、一つ以上、または、複数のアンテナを切り替えて用いてもよいし、通信用、センシング用に異なる、一つ以上、または、複数のアンテナを備えていてもよい。また、装置X300は、通信用の送信装置、センシング用の送信装置、通信用の受信装置、センシングの受信装置をそれぞれ別に備えていてもよい。また、装置X300は、通信用の送受信装置、センシング用の送受信装置を備えていてもよい。また、装置X300は、通信用の送受信装置、センシング用の送信装置、センシング用の受信装置を備えていてもよい。
また、本実施の形態においても図14の説明および図15の説明と同様に、送信用の一つ以上、または、複数のアンテナは、一つ以上、または、複数のアンテナユニットで構成されていてもよいし、受信用の一つ以上、または、複数のアンテナは、一つ以上、または、複数のアンテナユニットで構成されていてもよい。また、送信用の一つ以上、または、複数のアンテナ及び受信用の一つ以上、または、複数のアンテナは共通の送受信アンテナ部で構成されていてもよい。
以上のような装置の構成を用いることで、特に、以降で説明する実施の形態を実施することが可能となり、これにより、各実施の形態で記載した効果を得ることができるようになる。したがって、以降では、実施方法のより具体的な例について説明する。
(実施の形態4)
本実施の形態では、無線通信機能を有するアクセスポイント(AP)や端末がセンシングを行う場合のセンシング方法の一例について説明する。
本実施の形態では、無線通信機能を有するアクセスポイント(AP)や端末がセンシングを行う場合のセンシング方法の一例について説明する。
図17は、本実施の形態におけるシステム構成の一例を示す図である。図17において、Z100はアクセスポイント(AP)であり、Z101_1、Z101_2、Z101_3はそれぞれAPと無線通信を行う端末である。なお、図17では、各端末がAPとの間で通信を行う場合を図示しているが、各端末は端末間で通信を行う機能を備えていてもよい。
図18は、APZ100および端末Z101_1、Z101_2、Z101_3が備える通信、および、センシング可能な装置の構成の一例を示す図である。図18の装置は、実施の形態3で説明した図16の装置X300と同様に通信用に用いることができる一または複数の周波数帯域およびそれぞれの周波数帯域における一または複数のチャネルを用いて、センシングを行う。
図18の装置は、送受信部Z201、センシング部Z202、送受信アンテナ部Z203、送信用信号選択部Z204、受信用信号選択部Z205、および制御部Z206を備える。
送受信部Z201は、通信用の信号の送受信を行う。送受信部が行う通信用の信号の送受信処理は、実施の形態3で説明した送信装置X201が行う送信処理および受信装置X206が行う受信処理と同様である。
センシング部Z202は、受信信号に基づいてセンシングを行う。センシング部Z202は、実施の形態3で説明したセンシング用の信号を送信し、受信した反射信号を用いてセンシングを行うセンシング方法を実施してもよいし、実施の形態3で説明した端末やAPなどの他の通信装置から受信した通信用の信号を用いてセンシングを行うセンシング方法を実施してもよい。また、センシング部Z202はセンシング信号を送信するセンシング方法と受信した通信用の信号を用いるセンシング方法の両方を実施してもよい。センシング信号を送信するセンシング方法を実施する場合、センシング部Z202は、実施の形態1における送信装置X101と同様の処理を行って、センシング用の信号を生成して出力する。一方、センシング部Z202がセンシング信号を送信するセンシング方法は実施せず、通信用の信号を用いるセンシング方法のみを実施する場合、センシング部Z202は信号を送信しなくてもよい。
送受信アンテナ部Z203は信号の送受信を行う。送信用信号選択部Z204は、送受信部Z201およびセンシング部Z202で生成された信号を送受信アンテナ部Z203から送信する。受信用信号選択部Z205は、送受信アンテナ部Z203で受信された信号を送受信部Z201及びセンシング部Z202に入力する。制御部Z206は、送受信部Z201、センシング部Z202、送信用信号選択部Z204、受信用信号選択部Z205の動作を制御するための制御信号を生成し、通信を行う周波数および期間と、センシングを行う周波数および期間の制御などを行う。なお、送信用信号選択部Z204は、センシング用の信号と通信用の信号を組み合わせてフレームにしたがった信号を生成し、出力することもある。また、受信用信号選択部Z205は、受信信号から、通信用の信号、センシング用の信号を生成し、両者を出力することもある。
図19から図37は、本実施の形態における装置が送受信するフレームの構成の例である。図19から図37において、横軸は時間であり、図19、図20、および図22から図37において縦軸は周波数である。縦軸の周波数は、例えば、OFDM(Orthogonal Frequency Division Multiplexing)信号のサブキャリアなど、一つの周波数帯域における一つのチャネル内の周波数であってもよいし、一または複数の周波数帯域内の複数のチャネルであってもよい。また、縦軸の周波数は複数のチャネルにまたがるOFDM信号の複数のサブキャリアであってもよい。したがって、シングルキャリア伝送方式であってもよいし、OFDMなどのマルチキャリア伝送方式であってもよい。また、センシングのためのフレーム、センシングのための信号の場合、例えば、帯域制限されたパルス信号であってもよいし、トーン信号、キャリアであってもよい。したがって、図19から図37のフレームを通信、および/または、センシングのために使用する場合、図19のフレームは、シングルキャリア伝送方式の信号、マルチキャリア伝送方式信号でなくてもよい。
図19から図37に示しているリファレンスシンボルは、本実施の形態における装置がセンシングを実施するためのシンボルである。なお、リファレンスシンボルは、「通信相手が信号検出、時間同期、周波数同期、チャネル推定などを行う」ための機能を有していてもよい。また、リファレンスシンボルは、データ通信を行うための手続きに必要な制御情報、MAC(Media Access Control)フレームであってもよい。
制御情報シンボルは、例えば、データシンボルにおける通信方法を通知するためのシンボルであるものとする。したがって、制御情報シンボルは、例えば、誤り訂正符号化方法(符号化率、ブロック長(符号長)、誤り訂正符号の情報など)の情報、変調方式の情報、送信方法の情報(例えば、シングルストリーム伝送、または、複数ストリーム伝送、いずれを用いているかの情報)(MCS(Modulation and Coding Scheme)の情報)、データ長、などの情報を含んでいる。
データシンボルは、通信相手にデータを伝送するためのシンボルである。
ガード区間は、リファレンス信号の直後に配置し、センシングを補助するための区間である。ガード区間は、例えば、当該ガード区間の前後に配置される信号又はシンボル同士の干渉を回避するため、または、ガード区間前のシンボルとガード区間後のシンボルの送信指向性、受信指向性の変更を行うために設けられる。例えば、ガード区間は、信号が存在していなくてもよい。なお、ガード区間はフレームに対し、設置しなくてもよい。センシング部Z202は、ガード区間において、例えば、自通信装置または他の通信装置がセンシング用の信号または通信用の信号を送信していない状態における信号の受信状態を取得するためなどに用いられる。
なお、図19から図37に示したフレーム構成はあくまでも一例であり、フレーム構成はこれらに限られない。例えば、フレーム内に他のシンボルが含まれていてもよい。また、フレームを送信する際、シングルキャリア伝送方式を用いてもよいし、OFDMなどのマルチキャリア伝送方式を用いてもよい。
リファレンスシンボルにおいて、データを伝送する領域を含んでいてもよい。そのデータを伝送する領域において、送信信号が「通信用の信号を送信しているか」、または、「物体検出のための信号を送信しているか」を識別するためのデータを含んでいてもよい。
また、リファレンスシンボルと名づけているが、呼び方はこれに限ったものではなく、リファレンスシンボルを、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などと呼んでもよい。例えば、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などを用いて、センシングを実施してもよい。
図19は、本実施の形態の装置が、通信を行っているときのフレーム構成である。
図19に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルとを含んでいる。
図20は、本実施の形態の装置が、センシングを行っているときのフレーム構成である。
図20の左の図は、センシングのために、リファレンスシンボルを送信しているフレーム構成である。図20の左の図に示されるフレームは、リファレンスシンボルを含んでいる。
図20の右の図は、センシングのためのリファレンスシンボルに対し、プリアンブル、制御情報シンボルを付加している。図20の右の図に示されるフレームは、プリアンブルと、制御情報シンボルと、リファレンス信号とを含んでいる。
図20の右のフレームを受信した装置は、例えば、通信機能のみしか具備していない装置であっても、プリアンブル、制御情報シンボルを受信することで、センシングの信号が存在していることを知ることができ、これにより、この装置が、干渉しないように、変調信号の送信タイミングを制御することができるという効果を得ることができる。そのときの信号の存在例が、図21のようになる。
図21に示すように、ある周波数帯では、通信用の変調信号とセンシング用の変調信号が存在するようにすることが可能である。
なお、本実施の形態の装置は、図19のフレームの送受信が可能なように、通信機能のみを具備した装置であってもよい。
また、本実施の形態の装置は、図20のフレームの送受信が可能なように、センシングの機能のみを具備した装置であってもよい。
本実施の形態の装置は、図22から図37のフレームの送受信が可能なように、通信とセンシングを並行して処理する装置であってもよい。図22から図37のフレームについて以降で説明する。なお、図22から図37は、センシングを可能とするフレームの例であり、センシングにあわせて通信を可能とする場合もある。また、図22から図37のフレームにおいて、ガード区間が存在するフレームがあるが、ガード区間が存在しないようにしても実施することは可能である。なお、図22から図37のフレームを考える上で、図17の状態を考える。ただし、APを中継器として考えることができるものとする。図22に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、ミッドアンブルと、データシンボルとを含んでいる。このとき、ミッドアンブルは、データシンボルの復調のためのシンボルである、および/または、センシングのためのシンボルである、ものとする。この点については、他の図面でも同様である。また、プリアンブルは、通信を実現するために配置されたものであるが、プリアンブル、および/または、制御情報シンボルをセンシングのために装置が用いてもよい。この点については、他の図面でも同様である。
図23に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、ミッドアンブルと、データシンボルとを含んでいる。また、ミッドアンブルとデータシンボルとの間には、ガード区間が設けられている。なお、ガード区間前のシンボルとガード区間後のシンボルでは、送信指向性が異なっていてもよい。この点については、他の図面でも同様である。また、ミッドアンブルの前にガード区間を設置してもよい。さらに、ガード区間が存在しないようなフレームであってもよい。この点については、他の図面でも同様である。
図24に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、互いに異なる2つの周波数帯F81及びF83に配置されている。リファレンス信号は、データシンボルが配置されている周波数帯とは異なる周波数帯F82に配置されている。また、リファレンス信号は、周波数帯F82において時間間隔をあけて3つ配置されている。リファレンス信号の間には、ガード区間が設けられている。つまり、3つのリファレンス信号は、ガード区間を挟んで配置されている。なお、リファレンス信号は、センシングのために用いられるものとする。なお、この点については、他の図面においても同様である。また、ガード区間前のリファレンス信号とガード区間後のリファレンス信号の送信指向性が異なっていてもよい。なお、この点については、他の図面においても同様である。
そして、2以上の周波数帯、または、2以上のチャネルにデータシンボル又はリファレンス信号が配置される場合、OFDMA(Orthogonal Frequency Division Multiple Access)方式による多重アクセスが採用され得る。この場合、データシンボル又はリファレンスは、時間方向及び周波数方向それぞれにおいて指定された範囲に配置される。ここでは、上記範囲を、時間及び周波数により規定されるリソースである時間周波数リソースともいう。また、通信データを含むシンボルが配置される時間周波数リソースを通信用リソースともいい、電波によるセンシングのためのシンボルが配置される時間周波数リソースをセンシング用リソースともいう。以降も同様とする。
図25に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、互いに異なる5つの周波数帯F91~F95に配置されている。リファレンス信号は、周波数帯F92及びF94に配置されている。周波数帯F92及びF94では、リファレンス信号とデータシンボルとの間にガード区間が設けられている。周波数帯F92、F94のように、一部の周波数リソースにおいて、データシンボルとリファレンス信号が混在していてもよい。このようにすることで、周波数利用効率が向上するという効果を得ることができる。なお、ガード区間前後のリファレンス信号とデータシンボルの送信指向性は異なっていてもよい。この点については、他の図面においても同様である。
図26に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、周波数帯F101及びF103~F105に配置されている。リファレンス信号は、周波数帯F102において、ガード区間を挟んで3つ配置されている。また、周波数帯F101からF105に亘ってリファレンス信号が配置されている。そのリファレンス信号のあと、周波数帯F101~F103及びF105にデータシンボルが配置されており、周波数帯F104には、リファレンス信号が、ガード区間を挟んで2つ配置されている。ひとつの特徴的な点は、広帯域のリファレンス信号と狭帯域のリファレンス信号が存在している点である。これにより、高精度なセンシングができる可能性が高くなる。
図27に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルとを含む。ユーザ宛のデータシンボルは、ユーザ#1、#2、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F111、F112、F113及びF114に配置されている。このフレーム構成は、OFDMAのフレーム例と考えることができる。例えば、AP、中継器などが送信するフレームと考えることができる。
図28に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、ミッドアンブルとを含む。ユーザ宛のデータシンボルは、ユーザ#1、#2、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F121、F122、F123及びF124に配置されている。また、ユーザ宛のデータシンボルは、ミッドアンブルを挟んで配置されている。このフレーム構成は、OFDMAのフレーム例と考えることができる。例えば、AP、中継器などが送信するフレームと考えることができる。
図29に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、ミッドアンブルとを含む。ユーザ宛のデータシンボルは、ユーザ#1、#2、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F131、F132、F133及びF134に配置されている。ユーザ宛のデータシンボルは、ミッドアンブルを挟んで配置されている。ミッドアンブルと、ユーザ宛のデータシンボルとの間には、ガード区間が設けられている。なお、ミッドアンブルの前にガード区間を設置してもよい。このフレーム構成は、OFDMAのフレーム例と考えることができる。例えば、AP、中継器などが送信するフレームと考えることができる。
図30に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ#1、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F141、F143及びF144に配置されている。周波数帯F142には、3つのリファレンス信号が、ガード区間を挟んで配置されている。OFDMAを用いる場合、ユーザ宛のデータシンボルに用いられない周波数帯(例えば図30における周波数帯F142)があることがあり、その場合に、ユーザ宛のデータシンボルに用いられない周波数帯にリファレンス信号を配置したものである。なお、周波数帯F142は、あるユーザ宛のデータシンボルを伝送するために使用することもできる。なお、例えば、AP、中継器などが送信するフレームと考えることができる。図31に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ#1、#2、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F151、F152、F153及びF154に配置されている。また、周波数帯F151では、ユーザ#1宛のデータシンボルのあとに、2つのリファレンス信号がガード区間を挟んで配置されている。周波数帯F152では、ユーザ#2宛のデータシンボルのあとに、リファレンス信号が配置され、そのリファレンス信号のあとにガード区間が設けられている。
OFDMAを用いる場合、ユーザ宛のデータシンボルの時間長がユーザごとに異なることがあり、その場合に、ユーザ宛のデータシンボルに用いられない周波数帯及び時間帯にリファレンス信号を配置したものである。例えば、ユーザ#4宛データシンボルの時間長に比べ、ユーザ#1宛のデータシンボルの時間長は短く、ユーザ#1宛データシンボル後の時間を利用して、リファレンスシンボルを送信することができる。なお、例えば、AP、中継器などが送信するフレームと考えることができる。図32に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ#1、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F161、F163及びF164に配置されている。また、リファレンス信号が周波数帯F161~F164に亘って配置され、そのリファレンス信号のあとにガード区間が設けられている。周波数帯F162では、リファレンス信号の間にガード区間が設けられている。例えば、AP、中継器などが送信するフレームと考えることができる。
図33に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ#1、#2、#3及び#4を宛先とするデータシンボルを含み、それぞれ、周波数帯F171、F172、F173及びF174に配置されている。また、リファレンス信号が周波数帯F171~F174に亘って配置され、そのリファレンス信号のあとにガード区間が設けられている。周波数帯F171では、ガード区間のあとに、ユーザ#1宛てのリファレンス信号が配置され、その後にガード区間が設けられている。周波数帯F172では、ガード区間のあとに、ユーザ#2宛てのリファレンス信号が配置され、その後にガード区間が設けられている。周波数帯F171とF172とにおいて、ユーザ宛のデータシンボル、リファレンス信号及びガード区間の時間長は互いに異なる。例えば、AP、中継器などが送信するフレームと考えることができる。
図34に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ#1が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、(ユーザ#1が保有する端末が送信する)データシンボルとを含む。(ユーザ#1が保有する端末が送信する)データシンボルは、周波数帯F181に配置されている。周波数帯F182は、ユーザ#1が保有する端末には割り当てられていない。ただし、周波数帯F182は、他のユーザが保有する端末(ユーザ#1以外の端末)が、データシンボル、リファレンス信号を送信するのに使用することができる。
図35に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ#1が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、(ユーザ#1が保有する端末が送信する)データシンボルと、リファレンス信号とを含む。(ユーザ#1が保有する端末が送信する)データシンボルは、周波数帯F191に配置されている。周波数帯F192は、ユーザ#1が保有する端末には割り当てられていない。また、(ユーザ#1が保有する端末が送信するデータシンボルの後にはリファレンス信号及びガード区間が設けられている。また、次の(ユーザ#1が保有する端末が送信するデータシンボルの後にも、リファレンス信号及びガード区間が設けられている。ただし、周波数帯F192は、他のユーザが保有する端末(ユーザ#1以外の端末)が、データシンボル、リファレンス信号を送信するのに使用することができる。
図36に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ#1が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、(ユーザ#1が保有する端末が送信する)データシンボルと、リファレンス信号とを含む。(ユーザ#1が保有する端末が送信する)データシンボルは、周波数帯F201及びF202に配置されている。周波数帯F203は、ユーザ#1が保有する端末には割り当てられていない。また、周波数帯F201では、図35の周波数帯F191と同様、(ユーザ#1が保有する端末が送信する)データシンボルの後にリファレンス信号及びガード区間が設けられ、次の(ユーザ#1が保有する端末が送信する)データシンボルの後にもリファレンス信号及びガード区間が設けられている。周波数帯F202では、図34の周波数帯F181と同様、(ユーザ#1が保有する端末が送信する)データシンボルが配置されており、リファレンス信号及びガード区間は設けられていない。ただし、周波数帯F203は、他のユーザが保有する端末(ユーザ#1以外の端末)が、データシンボル、リファレンス信号を送信するのに使用することができる。
図37に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ#1が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、(ユーザ#1が保有する端末が送信する)データシンボルと、リファレンス信号とを含む。(ユーザ#1が保有する端末が送信する)データシンボルは、周波数帯F211及びF212に配置されている。周波数帯F213は、ユーザ#1が保有する端末には割り当てられていない。また、周波数帯F211では、図35の周波数帯F191と同様、(ユーザ#1が保有する端末が送信する)データシンボルの後にリファレンス信号及びガード区間が設けられ、次の(ユーザ#1が保有する端末が送信する)データシンボルの後にもリファレンス信号及びガード区間が設けられている。周波数帯F212では、(ユーザ#1が保有する端末が送信する)のデータシンボルとリファレンス信号とが配置されている。ただし、周波数帯F213は、他のユーザが保有する端末(ユーザ#1以外の端末)が、データシンボル、リファレンス信号を送信するのに使用することができる。ひとつの特徴的な点は、広帯域のリファレンス信号と狭帯域のリファレンス信号が存在している点である。これにより、高精度なセンシングができる可能性が高くなる。
本実施の形態の装置は、図19のフレーム、又は図20のフレームの送受信の処理が可能な装置であってもよい。
本実施の形態の装置は、図19のフレーム、図22から図37のフレームの送受信の処理が可能な装置であってもよい。
本実施の形態の装置は、図20のフレーム、図22から図37のフレームの送受信の処理が可能な装置であってもよい。
本実施の形態の装置は、図19のフレーム、図20のフレーム、図22から図37のフレームの送受信の処理が可能な装置であってもよい。
なお、本実施の形態の装置が、例えば、図19から図37のフレームを送信する場合、本実施の形態の装置が、一つのアンテナから、図19から図37のフレームを送信してもよいし、また、本実施の形態の装置が、複数のアンテナから、図19から図37のフレームを送信してもよい。
また、本実施の形態の装置が、例えば、図19から図37のフレームの変調信号を受信する場合、本実施の形態の装置が、一つのアンテナで、図19から図37のフレームの信号を受信してもよいし、また、本実施の形態の装置が、複数のアンテナで、図19から図37のフレームの信号を受信してもよい。したがって、伝送方式として、SISO(Single-Input Single-Output)、MISO(Multiple-Input Single-Output)、SIMO(Single-Input Multiple-Output)、MIMO(Multiple-Input Multiple-Output)のいずれの方式であってもよい。
以上のようにすることで、AP(または、中継器)、端末は、センシングおよび通信を実施することができるという効果を得ることができる。
以上のように、送信装置は、OFDMA方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部と、フレーム構成部が構成したフレームを電波により送信する送信部とを備え、フレーム構成部は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信部が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
例えば、上記フレームは、2つのセンシング用リソースであって、上記2つのセンシング用リソースの時間が異なり、周波数が同じであり、ガード区間を挟んで時間方向に隣接して配置される2つのセンシング用リソースを少なくとも含んでいてもよい。例えば、図30の周波数帯F142にあるリファレンス信号が、上記2つのセンシング用リソースに相当する。
例えば、上記フレームは、2つのガード区間であって、上記2つのガード区間の時間長が異なり、周波数が異なる2つのガード区間を含んでいてもよい。例えば、図33の周波数帯F171のガード区間と、周波数帯F172のガード区間が、上記2つのガード区間に相当する。
例えば、上記フレームは、2つのセンシング用リソースであって、上記2つのセンシング用リソースの周波数が異なり、時間長が異なる2つのセンシング用リソースを少なくとも含んでいてもよい。例えば、図33の周波数帯F171のリファレンス信号と、周波数帯F172のリファレンス信号が、上記2つのセンシング用リソースに相当する。
さらに、上記センシング処理は、受信部が受信した反射波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含んでもよい。
(実施の形態5)
本実施の形態では、実施の形態1~4で説明した検出装置等を用いて機器の動作を制御する制御システムについて説明する。
本実施の形態では、実施の形態1~4で説明した検出装置等を用いて機器の動作を制御する制御システムについて説明する。
本実施の形態における検出装置は、さらに、処理部によるセンシング処理の結果に基づいて電気機器の駆動を制御する制御部を備える。そして、本実施の形態の制御システムは、検出装置と上記電気機器とを備える。
図38は、本実施の形態における制御システムの構成の一例を示す図である。
図38に示される制御システムは、機器A11と、検出装置A12とを備える。ここで、機器A11は、機器A11の装置からの制御の下で動作し得る電気機器であり、例えば、電動バイク、電動キックボード、掃除機、電気自動車などである。また、機器A11は、スマートフォン又はタブレットなどの情報処理装置である。
機器A11は、インタフェース#1及び#2と、制御部A111と、駆動部A112と、センサA113と、通信部A114とを備える。
インタフェース#1及び#2は、検出装置A12との通信のインタフェース装置である。インタフェース#1及び#2は、図38の例では、中継装置などの他の装置を介さずに通信を行うインタフェースである。なお、ここでの通信は、例えば、Bluetooth(登録商標)、無線LAN、光通信などのような無線通信であってもよいし、例えば、USB(Universal Serial Bus)、PLC(Power Line Communication)などの有線通信であってもよい。また、図38の例とは異なり、中継器などの他の装置を介してもよい。インタフェース#1は、検出装置A12のインタフェース#3から信号(第1の信号ともいう)を受信する。インタフェース#2は、検出装置A12のインタフェース#4に信号(第2の信号ともいう)を送信する。なお、インタフェース#1は、検出装置A12から電力の供給を受けてもよい。
制御部A111は、駆動部A112の駆動の制御、及び、センサA113の制御をする処理部である。制御部A111は、検出装置A12からの信号をインタフェース#1を介して受信し、受信した信号に基づいて駆動部A112の駆動の制御、及び、センサA113の制御をする。また、制御部A111は、駆動部A112及びセンサA113の状態などを示す情報を取得し、インタフェース#2を介して検出装置A12に送信する。なお、制御部A111は、通信部A114を介して、制御部A111を動作させるためのソフトウェアプログラムを取得してもよい。
駆動部A112は、機器A11を駆動させる処理部である。駆動部A112は、例えば、機器A11を移動させるための車輪、車輪の向きを制御する操舵装置、車輪の回転速度を制御する加速装置又は制動装置などを含む。駆動部A112は、車輪の駆動のための動力源である電池などをさらに備えてもよい。駆動部A112は、制御部A111による制御により動作することによって、機器A11の移動速度を加速又は減速させ、また、移動方向を変更する。また、駆動部A112は、駆動部A112の状態などを示す情報を制御部A111に出力する。
センサA113は、機器A11の周囲のセンシングを行うセンサである。センサA113は、例えば、温度、湿度若しくは照度などを計測するセンサ、又は、周囲の物体までの距離を測定する距離センサである。センサA113は、制御部A111による制御により動作し、また、センサ値などを制御部A111に出力する。
通信部A114は、AP(アクセスポイント)との間で無線通信をする通信インタフェースである。ただし、APと記載しているが、基地局、通信装置などであってもよい。
検出装置A12は、インタフェース#3及び#4と、制御部A121と、処理部A122と、イメージセンサA123と、アプリケーション記憶部A124と、通信部#1及び#2と、センシング部A125とを備える。
インタフェース#3及び#4は、機器A11との通信のインタフェース装置である。インタフェース#3及び#4は、図38の例では、中継装置などの他の装置を介さずに通信を行うインタフェースである。なお、ここでの通信は、例えば、Bluetooth(登録商標)、無線LAN、光通信などのような無線通信であってもよいし、例えば、USB、PLCなどの有線通信であってもよい。また、図38の例とは異なり、中継器などの他の装置を介してもよい。インタフェース#3は、機器A11のインタフェース#1に信号を送信する。インタフェース#4は、機器A11のインタフェース#2から信号を受信する。なお、インタフェース#3は、機器A11に電力を供給してもよい。
制御部A121は、機器A11の動作を制御する処理部である。制御部A121は、機器A11からインタフェース#4を介して、例えば、センサA113により取得したセンサ値、又は、駆動部A112の状態などを示す情報を取得し、取得したセンサ値又は情報に基づいて、駆動部A112の駆動、および/または、制御部A111を制御する信号を生成する。制御部A121は、生成した信号をインタフェース#3を介して機器A11に送信し、例えば、制御部A111、および/または、駆動部A112を制御する。
別の方法について説明する。制御部A121は、機器A11の動作を制御する処理部である。制御部A121は、センシング部A125で所得したセンサ値を、処理部A122を介して取得し、取得したセンサ値に基づいて、駆動部A112の駆動、および/または、制御部A111を制御する信号を生成する。なお、制御部A121は、駆動部A112の駆動、および/または、制御部A111を制御する信号を生成する際、駆動部A112、および/または、センサA113から得た情報を用いてもよい。そして、制御部A121は、生成した信号をインタフェース#3を介して機器A11に送信し、例えば、制御部A111、および/または、駆動部A112を制御する。
処理部A122は、検出装置A12における情報処理を行う演算装置である。処理部A122は、例えば、CPUにより構成される。
イメージセンサA123は、検出装置A12の周囲を撮影し、画像を生成するセンサである。イメージセンサA123は、生成した画像に係るデータを処理部A122に提供する。
アプリケーション記憶部A124は、機器A11又は検出装置A12の制御のためのアプリケーション(ソフトウェアプログラム)を記憶している記憶装置である。アプリケーション記憶部A124は、上記アプリケーション(ソフトウェアプログラム)を、例えば、通信部#1又は#2を介して取得する。
なお、アプリケーションを更新することで、制御部A121の制御の精度が向上すると、機器A11、検出装置A12で構成するシステムの駆動関連における安全性が向上するという効果を得ることができる。
通信部#1は、AP(アクセスポイント)との間で無線通信をする通信インタフェースである。
通信部#2は、携帯電話のキャリアネットワークの基地局との間で無線通信をする通信インタフェースである。
センシング部A125は、通信のための電波を用いてセンシングを行う処理部である。センシング部A125は、検出装置A12の周囲の物体、より具体的には、人、車、自転車、障害物などの検出、上記物体の動作の認識をする。センシング部A125は、通信部#1と同一の周波数の電波を送信するというように、実現されてもよい。
図38に示される制御システムにおいて、機器A11は、検出装置A12を搭載していてもよいし、検出装置A12から離れた位置に配置されていてもよい。
機器A11が検出装置A12を搭載している場合、機器A11は、通信部A114、またはインタフェース#1又は#2を介して送受信される信号により制御される。
例えば、インタフェース#1又は#2を介して機器A11が制御される場合、ユーザが外出しているときに使用されるときには、機器A11に検出装置A12を搭載しておく。
また、例えば、通信部A114を介して機器A11が制御される場合、機器A11は、AP(アクセスポイント)を介して検出装置A12から送信される信号に基づいて制御される。ただし、通信部A114を介して機器A11の制御を行う場合は、機能制限を受ける可能性がある。なお、機器A11から通信部A114を介して検出装置A12と通信する場合、AP(アクセスポイント)を介した通信ではなく、検出装置A12の通信部#1との間で直接通信を行ってもよい。
本構成によると、検出装置A12側のアプリケーションを更新することで、機能の更新と、制御アルゴリズムの更新とをすることが可能となる。その結果、アプリケーションの更新により新たな機能の提供を行うことができるという効果を得ることができる。
また、検出装置A12に対して新たにアプリケーションをインストールすることで、従来の機器A11の制御に利用されていなかったスマートフォン又はタブレットなどの装置を、機器A11の制御に利用することが可能となる。この構成により、既存の装置などを機器A11の制御に利用できるようになる。その結果、例えば、使用されずに遊休状態にある装置であっても利用することができ、使用されていない装置が備えるCPU、GPU、メモリ、ストレージ、モデム又はディスプレイなど、無駄になっているリソースを活用できる可能性があるという効果を得ることができる。
なお、検出装置A12側だけではなく、機器A11側においても、ファームウェア又はアプリケーションの更新を行うことができるようにしてもよい。この構成により、検出装置A12側のアプリケーションの更新だけでは対応できない新たな機能の提供、又は、機器A11側でセキュリティ上の課題が発見された場合などに、セキュリティ上の問題を解消したファームウェア又はアプリケーションを提供して速やかに対策を行うことが可能となる。アプリケーションは、通信部#1、通信部#2を介して、例えば、クラウドサーバーなどの外部の装置から入手される。
次に、機器A11に検出装置A12を搭載した状態で、ユーザが外出しているときに機器A11を制御する制御システムの構成の一例を説明する。
図39は、本実施の形態における制御システムの構成の一例を示す図である。
図39に示される制御システムは、機器A11と、検出装置A12と、A21のAPと、ネットワークA22と、基地局A23と、装置A24とを備える。
機器A11と検出装置A12とは、インタフェース#1、#2、#3及び#4を介して信号の送受信を行う。なお、詳細については、すでに説明を行ったとおりである。
A21のAPは、検出装置A12の通信部#1と接続し得るアクセスポイントである。
ネットワークA22は、A21のAPと接続され、また、基地局A23と接続されているネットワークである。ネットワークA22は、携帯電話のキャリアネットワークの一部、又は、インターネットの一部を含んでもよい。また、情報処理を実行するサーバを含むクラウドが接続されていてもよい。
基地局A23は、例えば、携帯電話のキャリアネットワークに接続される基地局装置であり、装置A24と接続される。
装置A24は、例えば、ユーザが所持しているスマートフォン又はタブレットなどの可搬性のある情報処理装置である。
制御システムにおいて、検出装置A12は、通信部#1によってAPA21、ネットワークA22及び基地局A23を介して装置A24と通信可能に接続されている。
例えば、掃除機などの機器A11に対して、検出装置A12がインタフェース#1、#2、#3及び#4を介して接続されている。装置A24は、例えば、一つ以上のネットワークを介して、機器A11に搭載された検出装置A12にアクセスし、検出装置A12を介して機器A11を制御する。
本制御システムの特徴の1つは、検出装置A12が備えているセンシング部A125でセンシングされたデータを利用して、機器A11の制御が行われる点である。この構成により、機器A11の制御に、機器A11が備えていないセンサでセンシングされたデータを用いることができる。これにより、機器A11単体では実現できない機能の実現が可能となりうる。
また、機器A11がインターフェース#1および/または#2を介して、検出装置A12のセンシング部A125でセンシングされたデータを取得することで、通信部A114を介してネットワーク経由でデータを取得する場合と比較してセキュリティを向上させることができ、また、セキュリティ上の制約がある場合に実現できない機能の提供ができるようになる可能性がある。
また、本制御システムの特徴の1つは、機器A11に搭載された検出装置A12を介して、機器A11の制御が行われる点である。この構成により、装置A24から送信された制御用の指示を受け付けるか否かといった判断を検出装置A12で行うことができるようになる。例えば、装置A24と検出装置A12との間で認証などの処理を行うことで、不正なアクセスに対する安全性を向上させることができる。
さらに、前にも述べたように、アプリケーション記憶部A124におけるアプリケーションを更新することで、制御部A121の制御の精度が向上すると、機器A11、検出装置A12で構成するシステムの駆動関連における安全性が向上するという効果を得ることができる。
図40は、本実施の形態における制御システムの外観の一例を示す図である。
図40に示される制御システムは、機器A11に相当する電動キックボードに、検出装置A12が搭載されたものである。検出装置A12は、センシング部A125によるセンシングの結果に基づいて、例えば、機器A11の加減速などの制御を行う。
電動キックボードは、例えば、機器A11(つまり電動キックボード)側または検出装置A12側にある操作入力用の入力部を用いたユーザの入力に応じて、駆動部A112の制御を行うことが可能であってもよい。
制御部A121は、駆動部A112を制御して、機器A11(つまり電動キックボード)の加速または進行方向の変更などの動作を行う。また、制御部A121は、駆動部A112を制御して、機器A11の減速を行ってもよい。減速は、ブレーキによって実現されてもよいし、発電機などの制動力を用いて実現されてもよい。
ここで、制御部A121は、入力部からの入力に応じて、駆動部A112の制御を行ってもよいし、機器A11および/またはセンシング部A125から取得されたセンシングデータに基づいて駆動部A112の制御を行ってもよい。
例えば、センシング部A125は、電波を用いたセンシングを行う。なお、電波を用いたセンシング方法については、他の実施の形態で説明したとおりである。例えば、センシング部A125は、センシングを行い、人を検出したものとする。制御部A121は、センシング部A125から得た、「人を検出」という情報に基づき、速度の減速を行うという情報を含む制御信号を、インタフェース#3、インタフェース#4を介して、機器A11に伝送する。これに伴い、機器A11の制御部A111、駆動部A112は、減速するという制御を行う。
また、センシング部A125は、電波を用いたセンシングを行い、前に障害物がないことを検出したものとする。制御部A121は、センシング部A125から得た、「障害物がない」という情報に基づき、速度の加速を行い、その後、定速走行を行うという情報を含む制御信号を、インタフェース#3、インタフェース#4を介して、機器A11に伝送する。これに伴い、機器A11の制御部A111、駆動部A112は、加速後、定速走行を行うという制御を行う。
さらに、センシング部A125は、電波を用いたセンシングを行い、右側に障害物があることを検出したものとする。制御部A121は、センシング部A125から得た、「右側に障害物あり」という情報に基づき、障害物をよけるような動作を行うという情報を含む制御信号を、インターフェース#3、インタフェース#4を介して、機器A11に伝送する。これに伴い、機器A11の制御部A111、駆動部A112は、障害物をよけるような動作を行うという制御を行う。
別の動作例を説明する。センシング部A125は、電波を用いたセンシングを行い、センシングの結果の情報に基づいて、制御部A121は、自己位置推定又は障害物検出を行い、加速又は減速の制御を行うための制御信号を出力してもよい。このとき、制御部A121は、イメージセンサA123から得た画像情報、センサA113から得た情報を用いて、自己位置推定又は障害物検出を行うことも可能である。制御部A121は、この制御信号を、インタフェース#3、インタフェース#4を介して、機器A11に伝送する。これに伴い、機器A11の制御部A111、駆動部A112は、制御信号に基づいた制御が行われることになる。
センシング部A125から取得されたセンシングデータに基づく制御のさらに別の例として、制御部A121は、速度センサ又は加速度センサで取得された速度又は加速度のデータに基づいてユーザの動作を検出し、加速又は減速の制御を行う。ここでは、センシング部A125を用いて検出されるユーザの動作として、ユーザが地面を蹴るという動作であるが、それ以外の動作であってもよい。例えば、ユーザが身体の重心を移動であってもよいし、ユーザの顔の向きやユーザの顔の向きの変化であってもよい。このとき、センシング部A125として用いることができるセンサは、重量センサ又は無線レーダ、電波によるセンシングであってもよい。
以上のように制御することで、使用するユーザの安全性が向上するという効果を得ることができる。
図41は、本実施の形態における制御システムの処理の一例を示す図である。制御部A121による制御動作の上記の例における制御の一例を、フローチャートを用いて説明する。
機器A11は、例えば、ユーザがスイッチ又はボタンにより制御動作の開始を指示した時点、ユーザが機器A11の電源をONにした時点、ユーザが機器A11に検出装置A12を装着した時点、またはユーザが機器A11であるキックボードに搭乗したことを検出した時点で、フローチャートの制御動作を開始する。
ステップS001において、制御部A121は、制御動作を開始すると、機器A11が備えるセンサA113、および/または、検出装置A12が備えるセンシング部A125から加速度データを取得する。
ステップS002において、制御部A121は、加速度データから機器A11の加速動作を検出する。加速度動作を検出した場合(ステップS002でYes)にはステップS003に移行し、加速動作を検出しない場合(ステップS002でNo)にはステップS004に移行する。
ステップS003において、制御部A121は、駆動部A112を制御し、例えばモーターを回転させて進行方向への加速力を発生させるアシスト処理を実行する。加速力の発生は、例えば加速度データから加速が行われたと判断した時点で、加速度をさらに向上させるために決められた時間に亘って行われてもよいし、加速が行われた後、加速が終わった時点や減速が始まった時点で、決められた時間に亘って速度を維持するように行われてもよい。ステップS003のアシスト処理が終了すると、ステップS001に戻る。
ステップS004において、制御部A121は、駆動部A112の制御を終了するか否かを判定し、駆動部A112の制御を終了する場合は処理を終了し、駆動部A112の制御を終了しない場合はステップS001に戻る。駆動部A112の制御を終了するか否かの判断は、例えば機器A11が完全に停止した場合に駆動部A112の制御を終了すると判断してもよいし、ユーザが機器A11の電源をOFFした場合、ユーザが機器A11から検出装置A12を取り除いた場合、またはユーザが機器A11であるキックボードから降りたことを検出した場合に駆動部A112の制御を終了すると判断してもよい。
図41の別の動作を説明する。機器A11は、例えば、ユーザがスイッチ又はボタンにより制御動作の開始を指示した時点、ユーザが機器A11の電源をONにした時点、ユーザが機器A11に検出装置A12を装着した時点、またはユーザが機器A11であるキックボードに搭乗したことを検出した時点で、フローチャートの制御動作を開始する。
ステップS001において、制御部A111は、制御動作を開始すると、機器A11が備えるセンサA113から加速度データを取得する。
ステップS002において、制御部A111は、加速度データから機器A11の加速動作を検出する。加速度動作を検出した場合(ステップS002でYes)にはステップS003に移行し、加速動作を検出しない場合(ステップS002でNo)にはステップS004に移行する。
ステップS003において、制御部A111は、駆動部A112を制御し、例えばモーターを回転させて進行方向への加速力を発生させるアシスト処理を実行する。加速力の発生は、例えば加速度データから加速が行われたと判断した時点で、加速度をさらに向上させるために決められた時間に亘って行われてもよいし、加速が行われた後、加速が終わった時点や減速が始まった時点で、決められた時間に亘って速度を維持するように行われてもよい。ステップS003のアシスト処理が終了すると、ステップS001に戻る。
ステップS004において、制御部A111は、駆動部A112の制御を終了するか否かを判定し、駆動部A112の制御を終了する場合は処理を終了し、駆動部A112の制御を終了しない場合はステップS001に戻る。駆動部A112の制御を終了するか否かの判断は、例えば機器A11が完全に停止した場合に駆動部A112の制御を終了すると判断してもよいし、ユーザが機器A11の電源をOFFした場合、ユーザが機器A11から検出装置A12を取り除いた場合、またはユーザが機器A11であるキックボードから降りたことを検出した場合に駆動部A112の制御を終了すると判断してもよい。
ユーザの動作に基づいた加速のアシストを行うことで、ユーザの動作に応じた詳細の制御が可能なため、意図していない加速を防止することができるため、安全性が向上するという効果を得ることができる。
(実施の形態6)
本実施の形態において、上記実施の形態における送信装置の構成および処理の別形態について説明する。
本実施の形態において、上記実施の形態における送信装置の構成および処理の別形態について説明する。
図42は、本実施の形態6における送信装置A3の構成の一例を示す図である。
図42に示されるように、送信装置A3は、フレーム構成部A31と、送信部A32と、受信部A33と、処理部A34とを備える。
フレーム構成部A31は、シングルキャリア方式、または、OFDMのようなマルチキャリア方式、または、OFDMA(Orthogonal Frequency-Division Multiple Access)方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成する。
フレーム構成部A31は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信部A32が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
送信部A32は、フレーム構成部A31が構成したフレームを電波により送信する。
図43は、実施の形態6における送信装置の処理の一例を示す図である。
図43に示されるように、ステップS1(フレーム構成ステップ)において、シングルキャリア方式、または、OFDMのようなマルチキャリア方式、または、OFDMA方式に準拠したフレームであって、時間及び/又は周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成する。ここで、フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
ステップS2(送信ステップ)において、フレーム構成ステップで構成したフレームを電波により送信する。
これにより、送信装置は、周囲のセンシングを行うことができる。
(実施の形態7)
本実施の形態では、センシングを行うことができる装置の具体的な実施例について説明する。
本実施の形態では、センシングを行うことができる装置の具体的な実施例について説明する。
図44は、通信機能とセンシング機能の両者を有した装置の構成の一例を示している。
送受信部N102は、データN101および制御信号N100を入力とする。そして、制御信号N100が「通信を実施する」ということを示している場合、送受信部N102は、データN101に対して、誤り訂正符号化、変調などの処理を行い、変調信号N103を出力する。なお、制御信号N100が「センシングを実施する」ということを示している場合、送受信部N102は、動作しないことになる。
センシング部N104は、制御信号N100を入力とし、制御信号N100が「センシングを実施する」ということを示している場合、センシング部X204は、センシング用信号N105を出力する。なお、制御信号N100が「通信を実施する」ということを示している場合、センシング部N104は、例えば、動作しないことになる。
また、センシング部N104は、動作に関する信号N180を入力とし、動作に関する信号N180に基づいて、センシング動作を決定し、その決定に基づいた動作を行うことになる。詳細については、後で説明を行う。
送信用信号選択部N106は、制御信号N100、変調信号N103、センシング用信号N105を入力とする。そして、制御信号N100が「通信を実施する」ということを示している場合、送信用信号選択部N106は、変調信号N103を、選択した信号N107として出力する。また、制御信号N100が「センシングを実施する」ということを示している場合、送信用信号選択部N106は、センシング用信号N105を、選択した信号N107として出力する。
パワー調整部N108は、選択した信号N107、制御信号N100を入力とする。制御信号N100が「通信を実施する」ということを示している場合、選択した信号N107に対し、通信用のパワー調整を行い(例えば、選択信号N107に対し乗算する係数をαとする)、送信信号N109を出力する。
また、制御信号N100が「センシングを実施する」ということを示している場合、選択した信号N107に対し、通信用のパワー調整を行い(例えば、選択信号N107に対し乗算する係数をβとする)、送信信号N109を出力する。
なお、例えば、αとβは0以上の実数であるものとする。このとき、α>β(αはβより大きい)であるものとする。このようにすることで、センシング時の送信電力を低減することができ、これにより、壁などを通過してのセンシングが困難になり、プライバシーが確保できる可能性が高くなり、また、通信時は高いデータの受信品質を得ることができるという効果を得ることができる。
また、αとβは複素数であってもよい。このとき|α|>|β|であるものとする。このときも、センシング時の送信電力を低減することができ、これにより、壁などを通過してのセンシングが困難になり、プライバシーが確保できる可能性が高くなり、また、通信時は高いデータの受信品質を得ることができるという効果を得ることができる。
そして、送信信号N109は、電波として、送受信アンテナ部N110から出力される。
なお、パワー調整部N108はなくてもよい。このとき、選択した信号N107が送受信アンテナ部N110から、電波として出力される。
送受信アンテナ部N110は、受信信号N111を出力する。受信用信号選択部N112は、制御信号N100、受信信号N111を入力とする。制御信号N100が「通信を実施する」ということを示している場合、受信用信号選択部N112は、受信信号N111を信号N113として出力する。
また、制御信号N100が「センシングを実施する」ということを示している場合、受信用信号選択部N112は、受信信号N111を信号N114として出力する。
送受信部N102は、制御信号N100、信号N113を入力とする。制御信号N100が「通信を実施する」ということを示している場合、送受信部N102は、信号N113に対し、復調、誤り訂正復号などの処理を行い、受信データN115を出力する。
センシング部N104は、制御信号N100,信号N114を入力とする。制御信号N100が「センシングを実施する」ということを示している場合、センシング部N104は、信号N114などを用いてセンシングを行い、センシング結果N116を出力する。
制御部N151は、外部信号N150、受信データN115などに基づいて、制御信号N100を生成し、出力する。
制御部N151は、外部信号N150、受信データN115などに基づいて、制御信号N100を生成し、出力する。
登録部N180は、外部信号N150、センシング結果N116を入力とする。例えば、外部信号N150が、動作登録のための動作を行う、ということを示している場合、登録部N180は、動作登録を実施するという情報を含む動作に関する信号N180を出力する。
動作に関する信号N180が動作登録を実施するという情報を含んでいる場合、センシング部N104は、対象となるジェスチャーなどをセンシングするためのセンシング用信号N105を生成し、出力する。
そして、このセンシング用信号N105は、電波として送信されるが、その後、センシング可能な装置は、信号を受信し、センシング部N104は、受信した信号に対し、センシングの推定を行い、センシング結果N116を出力する。
登録部N180は、センシング結果N116を登録することになる。
以下では、具体例を説明する。
例1:
宅内において、第1の人が、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を持ち出し、どこかに置き忘れたものとする。ここで、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を装置#Aと名付ける。なお、装置#Aの具体例については、すでに、説明したとおりである。
宅内において、第1の人が、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を持ち出し、どこかに置き忘れたものとする。ここで、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を装置#Aと名付ける。なお、装置#Aの具体例については、すでに、説明したとおりである。
第1の人は、置き忘れた装置#Aを簡単に探したいという要求がある。以下では、この要求に対する動作例の説明を行う。
図45は、装置#Aと第1の人との関係の例を示している。図45に示すように、まず、装置#Aは、「ジェスチャーを登録することを決定(N201)」する。したがって、装置#Aはセンシング用信号を送信することになる。
これに対し、第1の人は、「装置#Aに登録する動きを実施(N202)」する。なお、このジェスチャーを「第1のジェスチャー」と名付ける。
そして、装置#Aは、「第1のジェスチャーを登録(N203)」する。なお、装置#Aは、ジェスチャーを正しく登録できたかどうかを確認する機能が存在していてもよい。また、装置#Aは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第1の人が利用し、第1のジェスチャーを正しく装置#Aに登録するとしてもよい。
次に、「登録したジェスチャー(例えば、第1のジェスチャー)と装置#Aの動作を連携(N211)」させる。例として、「装置#Aが見当たらないときに人が、第1のジェスチャーを行うと、装置#Aは「音をならす」、または、「振動する」という動作を行う」と連携させるものとする。例えば、上述(「音をならす」、または、「振動する」)を、「第1の動作」と名付けるものとする。なお、装置#Aは、第1の動作と連携させた内容を登録するものとする。
その後、装置#Aは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
そして、例えば、第1の人は、装置#Aが見当たらなくなったため、「第1のジェスチャーを実施(N212)」したものとする。なお、第1のジェスチャーを実施する人を第1の人としたが、別の人が、第1のジェスチャーを実施してもよい。
すると、装置#Aは、センシングを行うことにより、第1のジェスチャーを認識し、第1の動作(N213)を実施することになる。
このようにすることで、装置#Aを簡単に見つけ出すことができるという効果を得ることができる。このとき、人は、特別な装置を持つ必要がないという効果も得ることができる。
次に、ジェスチャーの誤認識を防ぐ方法について説明を行う。
前述のとおり、図45におけるN201、N202、N203により、装置#Aは、人が行ったジェスチャーを登録することができる。このようにして、装置#Aは、複数のジェスチャーを登録するものとする。例えば、装置#Aは、第1のジェスチャー、第2のジェスチャー、第3のジェスチャー、第4のジェスチャーを登録したものとする。
ところで、前述のように、第1のジェスチャーを人が行うのみで、装置#Aは「音をならす」、または、「振動する」としてしまうと、ある人が、意図しないときに第1のジェスチャーを行ってしまうだけで、装置#Aは「音をならす」、または、「振動する」ということが発生しまう可能性がある(ここでは、誤動作と呼ぶ)。
このような誤動作を防止するために、複数のジェスチャーと装置#Aの動作を連携させるという方法をとる。
例えば、装置#Aに登録されている第1のジェスチャーと第4のジェスチャーを、例えば、連続的に行うと、装置#Aは「音をならす」、または、「振動する」という動作を行うと、第1の人が、装置#Aに登録するものとする。
このようにすると、第1の人が、第1のジェスチャーと第4のジェスチャーを実施すると、装置#Aは、これらのジェスチャーを認識し、装置#Aは「音をならす」、または、「振動する」ことになる。
このように、ジェスチャーを複数組み合わせると、登録を行った第1の人以外の人が、組み合わせた動作を偶然行う確率が低くなるため、装置#Aの誤動作を劇的に減らすことができるという効果を得ることができる。
なお、装置#Aに登録するジェスチャーの数は、上記の例に限ったものではなく、複数のジェスチャーを登録していれば、同様に実施することができる。また、組み合わせるジェスチャーの数についても、上記の例に限ったものではなく、複数のジェスチャーを組み合わせ、装置#Aの動作とリンクさせればよい。
なお、装置#Aに登録するジェスチャーの数は、上記の例に限ったものではなく、複数のジェスチャーを登録していれば、同様に実施することができる。また、組み合わせるジェスチャーの数についても、上記の例に限ったものではなく、複数のジェスチャーを組み合わせ、装置#Aの動作とリンクさせればよい。このとき、装置#Aの動作の例として、「音をならす」、または、「振動する」例を説明したが、複数のジェスチャーと装置の動作のリンクはこれに限ったものではなく、図46から図49を用いて、後述する例のように、複数のジェスチャーと装置(端末)の動作をリンクさせてもよい。
また、人が複数のジェスチャーを実施し、装置#Aがこれらの複数のジェスチャーを認識することで、装置#Aが実施する動作として、上記例では「音をならす」、または、「振動する」について説明したが、これに限ったものではなく、図46から図49を用いて、後述する例のように、装置(端末)が動作してもよい。
また、図45では、ジェスチャーを登録し、その後、ジェスチャーと装置#Aの動作をリンクさせているが、手順は、この順番に限っておらず、装置#Aの動作を指定し、その後、リンクさせるジェスチャーの登録を行うとしてもよい。また、装置#Aの動作とリンクさせるジェスチャーは装置#Aが(あらかじめ)保有しているジェスチャーであってもよい。ここでの重要な点は、一つ、または、複数のジェスチャーと端末#Aの動作をリンクさせることである。
例2:
例1では、「ジェスチャー」と「装置#Aの「音をならす」、または、「振動する」という動作」をリンクさせる場合について説明したが、本例では、「ジェスチャー」と「装置#A(端末#A)の通信機能の動作」をリンクさせる場合について説明する。
例1では、「ジェスチャー」と「装置#Aの「音をならす」、または、「振動する」という動作」をリンクさせる場合について説明したが、本例では、「ジェスチャー」と「装置#A(端末#A)の通信機能の動作」をリンクさせる場合について説明する。
図46は、第1の人N301、「センシング可能であり、かつ、通信機能を具備」するN302の端末#A、N303の装置#Bの状態の例を示す。図46では、N302の端末#AとN303の装置#Bは通信を行うことが可能であるものとする。
図47は、図46とは異なる例で、図46と同様に動作するものについては、同一番号を付している。図47では、第1の人N301、「センシング可能であり、かつ、通信装置を具備」するN302の端末#A、AP(アクセスポイント)N401、N303の装置#Bが存在している。また、ネットワークN402が存在していてもよい。図47では、N302の端末#AとN401のAPが通信を行うことが可能であり、また、N303の装置#BとN401のAPが通信を行うことが可能であるものとする。
図48を用いて、図46の各装置の動作について説明する。
まず、N302の端末#Aは、「ジェスチャーを登録することを決定(N501)」する。したがって、N302の端末#Aはセンシング用信号を送信することになる。
これに対し、第1の人N301は、「N302の端末#Aに登録する動きを実施(N502)」する。なお、このジェスチャーを「第2のジェスチャー」と名付ける。
そして、N302の端末#Aは、「第2のジェスチャーを登録(N503)」する。なお、前述のように、N302の端末#Aは、ジェスチャーを正しく登録できたかどうかを確認する機能が存在していてもよい。また、N302の端末#Aは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第1の人N301が利用し、第2のジェスチャーを正しくN302の端末#Aに登録するとしてもよい。
次に、「登録したジェスチャー(例えば、第2のジェスチャー)とN302の端末#Aの動作を連携(N511)」させる。例として、以下のような連携とするものとする。「第1の人N301を含む人が、第2のジェスチャーを行うと、N302の端末#Aは、N303の装置#Bに対し、「第2の動作」の実施を指示するものとする。したがって、N302の端末#Aは、第2の動作実施を指示する情報を、N303の装置#Bに送信する。」以上のような連携を行うものとする。
その後、N302の端末#Aは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
そして、第1の人N301は、N303の装置#Bに「第2の動作」実施を要求したくなったため、「第2のジェスチャーを実施(N512)」したものとする。なお、第2のジェスチャーを実施する人を第1の人N301としたが、別の人が、第2のジェスチャーを実施してもよい。
すると、N0302の端末は、センシングを行うことにより、第2のジェスチャーを認識し(N513)、「第2の動作」実施を指示する情報を、N303の装置#Bに送信することになる(N514)。
そして、N303の装置#Bは、第2の動作を実施することになる(N515)。
このようにすることで、装置#Bに対し、簡単に動作指示を行うことができるといこうかを得ることができる。このとき、人は、特別な装置を持つ必要がないという効果を得ることができる。
図49を用いて、図47の各装置の動作について説明する。なお、図49において、図48と同様に動作するものについては、同一番号を付している。
まず、N302の端末#Aは、「ジェスチャーを登録することを決定(N501)」する。したがって、N302の端末#Aはセンシング用信号を送信することになる。
これに対し、第1の人N301は、「N302の端末#Aに登録する動きを実施(N502)」する。なお、このジェスチャーを「第2のジェスチャー」と名付ける。
そして、N302の端末#Aは、「第2のジェスチャーを登録(N503)」する。なお、前述のように、N302の端末#Aは、ジェスチャーを正しく登録できたかどうか確認する機能が存在していてもよい。また、N302の端末#Aは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第1の人N301が利用し、第2のジェスチャーを正しくN302の端末Aに登録するとしてもよい。
次に、「登録したジェスチャー(例えば、第2のジェスチャー)とN302の端末#Aの動作を連携(N611)」させる。例として、以下のような連携とするものとする。「第1の人N301を含む人が、第2のジェスチャーを行うと、N302の端末#Aは、N303の装置#Bに対し、「第3の動作」の実施を指示するものとする。このために、N302の端末#Aは、第3の動作実施を指示する情報をN401のAPに送信する。そして、N401のAPは、この情報(第3の動作実施を指示)を含む変調信号を、N303の装置#Bに送信する。
その後、N302の端末#Aは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
そして、第1の人N301は、N303の装置#Bに「第3の動作」実施を要求したくなったため、「第2のジェスチャーを実施(N612)」したものとする。なお、第2のジェスチャーを実施する人を第1の人N301としたが、別の人が、第2のジェスチャーを実施してもよい。
すると、N302の端末#Aは、センシングを行うことにより、第2のジェスチャーを認識し(N613)、「第3の動作」実施を指示する情報をN401のAPに送信することになる(N614)。
そして、N401のAPは、この情報(第3の動作実施の指示)を含む変調信号をN303の装置#Bに送信する(N615)。
これにより、N303の装置#Bは、第3の動作を実施することになる(N616)。
なお、図47において、N401のAPは、ネットワークN402と通信を行っていてもよい。例えば、N401のAPは、ネットワークN402を経由し、クラウドサーバと通信を行ってもよい。そして、N401のAPは、クラウドサーバから指示を受けてもよい。
例えば、クラウドサーバは、N302の端末#A、N303の装置#B、N401のAPなどから、センシングに関する情報を得ていてもよい。
この場合、クラウドサーバ自身が、ジェスチャーの登録内容の把握、ジェスチャーの認識の演算を行ってもよい。ただし、N302の端末#Aは、これらのベースとなる情報をクラウドサーバにアップロードする必要がある。また、クラウドサーバーが、ジェスチャーと連携する内容を把握しており、これらに基づいて、N302の端末#A、N303の装置#B、N401のAPに対し、指示を行ってもよい。
このようにすることで、装置#Bに対し、簡単に動作指示を行うことができるという効果を得ることができる。このとき、人は、特別な装置を持つことなく機器に対して指示を行うことができるという効果を得ることができる。
なお、本説明において、ジェスチャーという語を用いて説明しているが、ジェスチャーのかわりに、人の動き、人体の一部分の形状、人体の一部分の動き、人の検出、人の一部の検出、人の認証、人の一部の認証、物体の動き、物体の形状、物体の検出、物体の認証などを用いて、本説明を実施してもよい。
また、センシングの方法は、本明細書に記載している例を用いてもよいし、それ以外の方法であってもよい。
(実施の形態8)
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
図50は、本実施の形態における各装置の状態の例を示している。N700は例と宅内という空間を示している。図50に示すように、例えば、宅内N700には、AP(アクセスポイント)N701、オーディオN702、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N703、照明器具N704が存在するものとする。なお、機器N703を以降では、機器#Cと呼ぶことにする。
また、宅内N700には、人N705が生活していることになる。
N701のAPは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
そして、N701のAPは、例えば、オーディオN702、N703の機器#C、照明N704などと通信を行うものとする。なお、N701のAPは、これら以外の装置と通信を行ってもよい。
また、N701のAPは、ネットワークN710を介し、(クラウド)サーバN720と通信を行っているものとする。
さらに、N701のAPは、ネットワークN710を介し、基地局N730と通信を行っているものとする。
基地局N730は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N731と通信を行っているものとする。なお、機器N731を以降では、機器#Dと呼ぶことにする。
次に、図50におけるN701のAPの詳細の動作例について説明する。
図51は、宅内にN701のAPを設置したときの動作例のフローチャートを示している。
まず、N701のAPは、センシングを行い(N801)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをクラウドサーバにアップロードする(N802)。
これにより、N701のAPは、初期センシングが終了することになる(N803)。なお、初期センシングと記載しているが、N701のAP設置後、定期的、または、不定期的、または、規則的、または、不規則的に図51の動作をN701のAPが行ってもよい。
別の例として、図51が、N703の機器#Cの動作であるものとする。
まず、N703の機器#Cは、センシングを行い(N801)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介して、クラウドサーバにアップロードする(N802)。
これにより、N703の機器#Cは、初期センシングが終了することになる(N803)。なお、初期センシングと記載しているが、N703の機器#Cは、定期的、または、不定期的、または、規則的、または、不規則的に図51の動作を行ってもよい。
図52は、N701のAPの一つの動作例のフローチャートを示している。
N701のAPは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器(当然、N703の機器#Cを含む)の情報をクラウドサーバにアップロードする(N901)。
そして、宅内の機器の動作とN701のAPが行ったセンシングの連携に関する情報をクラウドサーバにアップロードする(N902)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N701のAP)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。以下では、実施の形態7とは異なる、特に、連携の動作例について説明を行う。
別の例として、図52が、N703の機器#Cの動作であるものとする。
N703の機器#Cは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器の情報を、N701のAPを介して、クラウドサーバにアップロードする(N901)。
そして、宅内の機器の動作とN703の機器#Cが行ったセンシングの連携に関する情報をクラウドサーバにアップロードする(N902)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N703の機器#C)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。以下では、実施の形態7とは異なる、特に、連携の動作例について説明を行う。
図53は、システム一連に関する動作例のフローチャートを示している。以下では、図53を用いて、オーディオN702とセンシングの連携、機器#Cとセンシングの連携、照明N704とセンシングの連携の例について説明する。
N701のAPはセンシングを実施する(N1001)。
センシングの結果、N701のAPは、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。
N701のAPは、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。
N701のAPは、宅内の、人を含む動くものを検出した(N1002 YES)場合、N701のAPは、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、N701のAPに、オーディオN702の制御に関する情報、または、N703の機器#Cの制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N701のAP701は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、N701のAPは、対象となる機器(図50の場合、オーディオN702、または、N703の機器#C、または、照明N704)に、制御情報を送信する(N1005)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(N1006)。
そして、N701のAPは、次のセンシングを行っていることになる(N1001)。
一方で、N701のAPは、宅内の、人を含む動くものを検出した(N1002 YES)場合、N701のAPは、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、N701のAPは制御情報を、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、N701のAPは、次のセンシングを行っていることになる(N1001)。
例えば、N1005において、N701のAPが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人の位置の情報に基づいて、クラウドサーバN720は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPに送信する。そして、N701のAPは、音・オーディオの指向性制御に関する情報をオーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
別の例として、N1005において、N701のAPが、照明N704に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバN720は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報をN701のAPに送信する。そして、N701のAPは、「ON/OFF、または、光の照射指向性制御」に関する情報を照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図53の別の例について説明する。
N703の機器#Cはセンシングを実施する(N1001)。
センシングの結果、N703の機器#Cは、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。
N703の機器#Cは、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。
N703の機器#Cは、宅内の、人を含む動くものを検出した(N1002 YES)場合、N703の機器#Cは、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、ネットワークN710、N701のAPを介し、N703の機器#Cに、オーディオN702の制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N703の機器#Cは、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、N703の機器#Cは、対象となる機器(図50の場合、オーディオN702、または、照明N704)に、制御情報を送信する(N1005)。ただし、N701のAPを介すことになる。
これに伴い、対象となる機器は、この制御情報に基づいて制御を行い、制御を終了する(N1006)。
そして、N703の機器#Cは、次のセンシングを行っていることになる(N1001)。
一方で、N703の機器#Cは、宅内の、人を含む動くものを検出した(N1002 YES)場合、N703の機器#Cは、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、N703の機器#Cは制御情報を、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、N703の機器#Cは、次のセンシングを行っていることになる(N1001)。
例えば、N1005において、N703の機器#Cが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人の位置の情報に基づいて、クラウドサーバN720は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、音・オーディオの指向性制御に関する情報を、N701のAPを介し、オーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
別の例として、N1005において、N703の機器#Cが、照明N704に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバN720は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図54は、宅内にN701のAP、N720のクラウドサーバの動作例のフローチャートを示している。
N701のAPは、センシングを行い(N1101)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをクラウドサーバにアップロードする(N1102)。
N720のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、N720のクラウドサーバは、「新しい状態を検出したか」、を確認する(N1103)。
N720のクラウドサーバは、新しい状態が確認できた(N1103 YES)とき、宅内の状況に関する情報を更新する(N1104)。そして、次の、N701のAPのセンシング実施(N1101)となる。
N720のクラウドサーバは、新しい状態が確認できないとき(N1103 NO)とき、次の、N701のAPのセンシング実施(N1101)となる。
別の例として、図54が、N703の機器#C、N720のクラウドサーバの動作であるものとする。
N703の機器#Cは、センシングを行い(N1101)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、クラウドサーバにアップロードする(N1102)。
N720のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、N720のクラウドサーバは、「新しい状態を検出したか」、を確認する(N1103)。
N720のクラウドサーバは、新しい状態が確認できた(N1103 YES)とき、宅内の状況に関する情報を更新する(N1104)。そして、次の、N703の機器#Cのセンシング実施(N1101)となる。
N720のクラウドサーバは、新しい状態が確認できないとき(N1103 NO)とき、次の、N703の機器#Cのセンシング実施(N1101)となる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
なお、図53において、クラウドサーバが関連する動作は、点線で示している。同様に、図54において、クラウドサーバが関連する動作は、点線で示している。
(実施の形態9)
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
図55は、本実施の形態における各装置の状態の例を示している。なお、図50と同様に動作するものについては、同一番号を付している。
N700は例と宅内という空間を示している。図55に示すように、例えば、宅内N700には、AP(アクセスポイント)N701、オーディオN702、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N703、照明器具N704が存在するものとする。なお、機器N703を以降では、機器#Cと呼ぶことにする。そして、例えば、宅内N700にサーバQ101が存在しているものとする。
また、宅内N700には、人N705が生活していることになる。
N701のAPは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
そして、N701のAPは、例えば、オーディオN702、N703の機器#C、照明N704などと通信を行うものとする。なお、N701のAPは、これら以外の装置と通信を行ってもよい。
また、N701のAPは、ネットワークQ102を介し、サーバQ101と通信を行っているものとする。
さらに、N701のAPは、ネットワークN710を介し、基地局N730と通信を行っているものとする。
基地局N730は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N731と通信を行っているものとする。なお、機器N731を以降では、機器#Dと呼ぶことにする。
次に、図55におけるN701のAPの詳細の動作例について説明する。
図56は、宅内にN701のAPを設置したときの動作例のフローチャートを示している。
まず、N701のAPは、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをサーバQ101にアップロードする(Q202)。
これにより、N701のAPは、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、N701のAP設置後、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作をN701のAPが行ってもよい。
別の例として、図56が、N703の機器#Cの動作であるものとする。
まず、N703の機器#Cは、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介して、サーバQ101にアップロードする(Q202)。
これにより、N703の機器#Cは、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、N703の機器#Cは、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作を行ってもよい。
図57は、N701のAPの一つの動作例のフローチャートを示している。
N701のAPは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器(当然、N703の機器#Cを含む)の情報をサーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とN701のAPが行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N701のAP)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。以下では、実施の形態7とは異なる、特に、連携の動作例について説明を行う。
別の例として、図57が、N703の機器#Cの動作であるものとする。
N703の機器#Cは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とN703の機器#Cが行ったセンシングの連携に関する情報をサーバQ101クラウドサーバにアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N703の機器#C)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。以下では、実施の形態7とは異なる、特に、連携の動作例について説明を行う。
図58は、例えば、図55のシステム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、オーディオN702とセンシングの連携、機器#Cとセンシングの連携、照明N704とセンシングの連携の例について説明する。なお、図58において、サーバが関連する動作については、点線で示している。
N701のAPはセンシングを実施する(Q401)。
センシングの結果、N701のAPは、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
N701のAPは、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
N701のAPは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N701のAPは、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAPに、オーディオN702の制御に関する情報、または、N703の機器#Cの制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N701のAP701は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、N701のAPは、対象となる機器(図55の場合、オーディオN702、または、N703の機器#C、または、照明N704)に、制御情報を送信する(Q405)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、N701のAPは、次のセンシングを行っていることになる(Q401)。
一方で、N701のAPは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N701のAPは、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、N701のAPは制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、N701のAPは、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、N701のAPが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人の位置の情報に基づいて、サーバQ101は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPに送信する。そして、N701のAPは、音・オーディオの指向性制御に関する情報をオーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
別の例として、Q405において、N701のAPが、照明N704に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報をN701のAPに送信する。そして、N701のAPは、「ON/OFF、または、光の照射指向性制御」に関する情報を照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図58の別の例について説明する。
N703の機器#Cはセンシングを実施する(Q401)。
センシングの結果、N703の機器#Cは、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
N703の機器#Cは、宅内の、人を含む動くものを検出していない(Q402 NO)場合、センシング実施Q401」に行く。
N703の機器#Cは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N703の機器#Cは、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、ネットワークQ102、N701のAPを介し、N703の機器#Cに、オーディオN702の制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N703の機器#Cは、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、N703の機器#Cは、対象となる機器(図55の場合、オーディオN702、または、照明N704)に、制御情報を送信する(Q405)。ただし、N701のAPを介すことになる。
これに伴い、対象となる機器は、この制御情報に基づいて制御を行い、制御を終了する(Q406)。
そして、N703の機器#Cは、次のセンシングを行っていることになる(Q401)。
一方で、N703の機器#Cは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N703の機器#Cは、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、N703の機器#Cは制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、N703の機器#Cは、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、N703の機器#Cが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人の位置の情報に基づいて、サーバQ101は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、音・オーディオの指向性制御に関する情報を、N701のAPを介し、オーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
別の例として、Q405において、N703の機器#Cが、照明N704に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図59は、宅内にN701のAP、サーバQ101の動作例のフローチャートを示している。なお、図59において、サーバが関連する動作については、点線で示している。
N701のAPは、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをサーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。そして、次の、N701のAPのセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、N701のAPのセンシング実施(Q501)となる。
別の例として、図59が、N703の機器#C、サーバQ101の動作であるものとする。
N703の機器#Cは、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。そして、次の、N703の機器#Cのセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、N703の機器#Cのセンシング実施(Q501)となる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
なお、図55において、N701のAP、Q102のネットワーク、サーバQ101が一つの装置で構成されていてもよい。このとき、ネットワークQ102は、有線、無線通信どちらであってもよく、したがって、N701のAPとサーバQ101が装置内で有線、または、無線で接続されていることになる。
(実施の形態10)
本実施の形態では、少なくともセンシングの機能を持つ装置の具体的な利用方法の例を説明する。
本実施の形態では、少なくともセンシングの機能を持つ装置の具体的な利用方法の例を説明する。
例1:
センシングによって得た物体に基づいてキャラクタを生成し、それを画面上で表示する。
センシングによって得た物体に基づいてキャラクタを生成し、それを画面上で表示する。
キャラクタを、アプリケーションで利用することで、アプリケーションの多様性を実現することができ、また、そのような効果を得ることができる。
図60は、本実施の形態におけるシステムの構成の一例を示す図である。
図60において、第2装置は、モニターを搭載しているものとする。
第1装置が、少なくともセンシングの機能を有する。そして、第1装置は、センシングを行い、例えば、第1の人物の特徴をとらえることにより情報を生成し、その情報を第2装置に伝送する。
そして、第2装置は、第1の人物の特徴の情報から、第2装置のモニターで表示する、第1キャラクタを生成する。そして、第2装置のモニターで、第1キャラクタを表示することができるものとする。なお、第1キャラクタに対し、何らの変形を行うカスタマイズも可能である。
別の方法として、第1装置は、センシングを行い、例えば、第2の物体の特徴をとらえ、第2キャラクタの情報を生成し、その情報を第2装置に伝送する。
そして、第2装置は、第2キャラクタの情報に基づき第2キャラクタを第2装置のモニターで、表示する。なお、第2キャラクタに対し、何らの変形を行うカスタマイズも可能である。
なお、第1装置と第2装置で、一つの装置を形成してもよい。
図61は、図60とは異なる本実施の形態におけるシステムの構成の一例を示す図である。
図61において、第2装置は、外部モニターを接続可能であるものとする。
第1装置が、少なくともセンシングの機能を有する。そして、第1装置は、センシングを行い、例えば、第1の人物の特徴をとらえることにより情報を生成し、その情報を第2装置に伝送する。
そして、第2装置は、第1の人物の特徴の情報から、第2装置と接続するモニターで表示する、第1キャラクタを生成する。そして、モニターで、第1キャラクタを表示することができるものとする。なお、第1キャラクタに対し、何らの変形を行うカスタマイズも可能である。
別の方法として、第1装置は、センシングを行い、例えば、第2の物体の特徴をとらえ、第2キャラクタの情報を生成し、その情報を第2装置に伝送する。
そして、第2装置は、第2キャラクタの情報に基づき第2キャラクタをモニターで、表示する。なお、第2キャラクタに対し、何らの変形を行うカスタマイズも可能である。
例2:
カメラなどの画像撮影できるセンサーにより得た物体の画像(静止画、または、動画)と、例えば、無線を利用したセンシングを行うことにより得た物体の推定情報を利用することで、物体の3次元空間を再生することができる。
カメラなどの画像撮影できるセンサーにより得た物体の画像(静止画、または、動画)と、例えば、無線を利用したセンシングを行うことにより得た物体の推定情報を利用することで、物体の3次元空間を再生することができる。
図62は、本実施の形態におけるシステムの構成の一例を示す図である。
図62において、第3装置は、モニターを搭載しているものとする。
第3装置は、カメラなどの画像撮影できるセンサー、無線によるセンシング部を具備するものとする。
無線によるセンシング部により、物体の3次元の空間推定情報を得る。
カメラなどの画像撮影できるセンサーで画像を撮影することにより、物体の2次元(または、3次元)の画像情報および色情報を得る。
3次元空間推定部は、「物体の3次元の空間推定情報」、「物体の2次元(または、3次元)の画像情報および色情報」から、物体の(色付き)3次元空間の推定情報を生成し、モニターに表示する。
なお、物体の(色付き)3次元空間の推定情報は、3次元の情報を得ているため、モニターに表示する際、物体を表示するための視点を自由に変更することができる利点がある。
図63は、図62とは異なる本実施の形態におけるシステムの構成の一例を示す図である。
図63において、第3装置は、外部モニターに接続可能であるものとする。
各部の基本的な動作は、図62の説明と同様となる。
なお、各実施の形態におけるセンシングの方法について補足的に説明する。
図64及び図65は、各実施の形態におけるセンシングの方法を示す図である。
図64は、空間を3次元的に示す模式図である。図64に示されるように、空間内に物体と検出装置とが存在している。検出装置は、例えば、電波などによる無線によって物体をセンシングする。なお、物体の形状は、どのようなものであってもよい。
図65は、図64においてxy平面に平行な平面であって、物体を貫く平面の一例であり、例えば、検出装置が送信した電波の経路を示したものである。ここで、検出装置が物体から得られる電波は、物体に到来する電波を物体が反射した反射波であってもよいし、物体自身が反射した電波であってもよい。
図65に示されるように、検出装置は、物体自身が反射して直接に検出装置に到達する電波(直接波と呼ぶ)W1を受信する。また、検出装置は電波を送出し、壁に反射されて物体に到達した電波が、物体に反射し、さらに壁に反射して、検出装置に到達する電波(反射波ともいう)W2、W3及びW4を、検出装置は受信する。
図65は、3次元空間を切り出したxy平面という一つの2次元平面を例示したが、3次元空間を切り出し2次元平面において、上記と同様の説明を行うことができるので、検出装置は、直接波及び反射波を用いて、物体の位置及び形状を検出することができる。言い換えれば、検出装置は、カメラなどの画像撮影できるセンサーでは撮影することができない物体の部分を検出することができるという効果を得ることができる。
(実施の形態11)
本実施の形態では、センシングを用いた具体的な実施例について説明する。
本実施の形態では、センシングを用いた具体的な実施例について説明する。
図66は、本実施の形態におけるシステム構成の例を示している。第1装置T101はネットワークT102を介して、サーバ(クラウドサーバ)T103と通信を行っている。また、第2装置T105はネットワークT104を介して、サーバ(クラウドサーバ)T103と通信を行っている。
例として、第2装置T105は、あるユーザが作成した(開発した)アプリケーション(ソフトウェア)を、サーバ(クラウドサーバ)T103に提供する(アップロードする)。
また、サーバ(クラウドサーバ)T103は、第2装置を含む装置からアプリケーション(ソフトウェア)がアップロードされ、それを蓄積しているサーバ(クラウドサーバ)であるものとする。なお、サーバ(クラウドサーバ)T103は、複数の装置で構成されていてもよく、また、その複数の装置は、ネットワークで接続され、分散的に配置されていてもよい。
そして、サーバ(クラウドサーバ)T103は、第1装置を含む装置に対し、アプリケーションを提供する装置である。
第1装置としては、例えば、モバイルフォン、携帯電話、スマートフォン、タブレット、タブレットPC(Personal Computer)、パソコン(ただし、モニタを搭載していてもよいし、モニタを接続できてもよい)、ノートパソコン、テレビ、モニタと接続された装置、ゲーム機、携帯ゲーム機、AR(Augmented Reality)グラス、ARゴーグル、ARを表示できるモニタ、ARを表示できるモニタと接続された装置、VR(Virtual Reality)グラス、VRゴーグル、VRを表示できるモニタ、VRを表示できるモニタと接続された装置、MR(Mixed Reality)グラス、MRを表示できるモニタ、MRを表示できるモニタと接続された装置、カーナビゲーションシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイと接続された装置、モニタ、モニタと接続された装置、プロジェクタ、プロジェクタと接続された装置などが考えられるが、これらに限ったものではない。
図67は本実施の形態におけるシステム構成の第2の例を示している。なお、図67において、図66と同様に動作するものについては、同一番号を付している。図67において、図66と異なる点は、第1装置T101はコンピュータネットワークT111と通信を行っている点である。
図68は、図66、図67における第1装置の構成の一例を示している。通信部T201は、T211、T212に示すように他の装置と通信を行っている。例えば、コンピュータネットワークT111、サーバ(クラウドサーバ)T103と通信を行っている。また、これ以外の装置と通信を行ってもよい。
通信部T201は、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206と接続されているものとする。
記憶部T202は、通信部T201、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206と接続されているものとする。
モニタ部T203は、通信部T201、記憶部T202、位置推定部T204、信号処理部T205、カメラ部T206と接続されているものとする。
位置推定部T204は、通信部T201、記憶部T202、モニタ部T203、信号処理部T205、カメラ部T206と接続されているものとする。
信号処理部T205は、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、カメラ部T206と接続されているものとする。
カメラ部(撮影部)(画像センサー部)T206は、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205と接続されているものとする。
図69は、図66、図67における第1装置の、図68とは異なる構成の一例を示している。通信部T201は、T211、T212に示すように他の装置と通信を行っている。例えば、コンピュータネットワークT111、サーバ(クラウドサーバ)T103と通信を行っている。また、これ以外の装置と通信を行ってもよい。
通信部T201は、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206、センシング部T207と接続されているものとする。
記憶部T202は、通信部T201、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206、センシング部T207と接続されているものとする。
モニタ部T203は、通信部T201、記憶部T202、位置推定部T204、信号処理部T205、カメラ部T206、センシング部T207と接続されているものとする。
位置推定部T204は、通信部T201、記憶部T202、モニタ部T203、信号処理部T205、カメラ部T206、センシング部T207と接続されているものとする。
信号処理部T205は、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、カメラ部T206、センシング部T207と接続されているものとする。
カメラ部(撮影部)(画像センサー部)T206は、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、センシング部T207と接続されているものとする。
センシング部T207は、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206と接続されているものとする。
図66、図67で説明したように、図66、図67の第1装置T101は、ネットワークT102を介し、(クラウド)サーバT103から、アプリケーション(ソフトウェア)をダウンロードする。
図68、図69のいずれかの構成を持つ第1装置T101は、ダウンロードしたアプリケーション(ソフトウェア)を記憶部T202に蓄積することになる。
したがって、図68、図69のいずれかの構成をもつ第1装置T101が具備する通信部T201は、ネットワークT102を介し、(クラウド)サーバT103からアプリケーション(ソフトウェア)を入手し、記憶部T102にアプリケーション(ソフトウェア)を記憶する。
図68、図69における信号処理部T205は、例えば、ユーザから指示に基づいて、記憶部T202に記憶されているアプリケーションを起動し、アプリケーションに基づく実行を行うものとする。なお、ユーザの指示は、例えば、ユーザがモニタ部T203のタッチパネル機能を利用して、実施してもよいし、ユーザが、外部の機器から、通信部T201を介して、指示を与えてもよい。
そして、図68における信号処理部T205は、アプリケーションを実行することにより、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、カメラ部T206に対し、必要に応じて、アクセスすることになる。なお、第1装置T101の構成は図68の構成に限ったものではなく、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206がアクセス可能な他の部分を含んでいてもよい。
図69における信号処理部T205は、アプリケーションを実行することにより、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、カメラ部T206、センシング部T207に対し、必要に応じて、アクセスすることになる。なお、第1装置T101の構成は図69の構成に限ったものではなく、通信部T201、記憶部T202、モニタ部T203、位置推定部T204、信号処理部T205、カメラ部T206、センシング部T207がアクセス可能な他の部分を含んでいてもよい。
図70は、図68、または、図69の構成を持つ第1装置T101の信号処理部T205がアプリケーション(ソフトウェア)を実施したときの、動作のフローの一例を示している。
まず、アプリケーション(ソフトウェア)の実行がスタートする。
次に、実行している「アプリケーションは有効期限か」(T301参照)の確認を行う。
「No」のとき(アプリケーションが有効でない場合)、「アプリケーションは終了する」、または、「アプリケーションの更新を促す。(例えば、アプリケーションの更新を促す表示をモニタ部T203に行う。)」
「YES」のとき(アプリケーションが有効のとき)、次に、「位置情報取得可能か」(T302参照)の確認を行う。(例えば、位置推定部T204により、位置情報が得られる場合、位置情報取得可能ということになる。)
「No」のとき(位置情報が得られないとき(例えば、位置推定部T204が動作していないとき、または、位置情報が得られないとき))、「アプリケーションは終了する」、または、「位置情報取得可能状態になるように変更を促す。(例えば、位置情報取得可能状態になるように促す表示をモニタ部T203に行う。)」
「Yes」のとき、(位置情報が得られるとき(例えば、位置推定部T204が動作している、または、位置情報が得られるとき))、次の動作へ移行することになる。
なお、位置情報を得る方法として、例えば、以下がある。
・位置推定部T204は、GPS(Global Positioning System)を具備しており、GPSが動作することによって、位置情報を得る。
・通信部T201がセルラシステムの基地局から情報を得、その情報を用いて、位置推定部T204は、位置推定を行い、位置情報を得る。
・通信部T201が無線LANのアクセスポイントから情報を得、その情報を用いて、位置推定部T204は、位置推定を行い、位置情報を得る。
・通信部T201が可視光などの光通信システムの基地局、アクセスポイントなどから情報を得、その情報を用いて、位置推定部T204は、位置推定を行い、位置情報を得る。
・センシング部T207がセンシングの動作を行うことで得た情報を用いて、位置推定部T204は、位置推定を行い、位置情報を得る。
ただし、センシング部T207のセンシングの動作については、本明細書の他の実施の形態で詳しく説明を行っているため、説明を省略する。センシングは、電波を利用してもよいし、可視光などの光を用いてもよい。
また、信号処理部T205がアプリケーション(ソフトウェア)を実行の途中で位置情報の取得がオフの設定になった場合(位置情報の取得ができなくなったとき)、「アプリケーションは終了する」、または、「位置情報取得可能状態になるように変更を促す。(例えば、位置情報取得可能状態になるように促す表示をモニタ部T203に行う。)」としてもよい。
第1装置T101の信号処理部T205がアプリケーションを実施しているときの、図70以降の処理の第1の例として図71、第2の例として図72について説明する。
第1の例:
第1の例として、例1-1、例1-2について説明する。
第1の例として、例1-1、例1-2について説明する。
例1-1:
図71に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図71に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、カメラ部T206から得た「静止画、または、動画」から特徴的な物体を検出するなど解析を行う(T402参照)。これにより、「位置情報に基づいた周辺情報」を得る(T403参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、例えば、その位置周辺の「静止画、または、動画」に加え、「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、モニタ部T203に行う(T403参照)。
なお、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例1-2:
図71に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図71に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、カメラ部T206から得た「静止画、または、動画」から特徴的な物体を検出するなど解析を行う(T402参照)。これにより、「位置情報に基づいた周辺情報」を得る(T403参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、モニタ部T203に行う(T403参照)。
なお、例1-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例1-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
第2の例:
第2の例として、例2-1、例2-2、例2-3について説明する。
第2の例として、例2-1、例2-2、例2-3について説明する。
例2-1:
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T411参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、例えば、その位置周辺の「静止画、または、動画」に加え、「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、モニタ部T203に行う(T411参照)。
なお、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例2-2:
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T411参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、モニタ部T203に行う(T411参照)。
なお、例2-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例2-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例2-3:
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図72に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T411参照)。
信号処理部T205は、「位置情報」、「位置情報に基づいた周辺情報」から、「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、モニタ部T203に行う(T411参照)。
なお、例2-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例2-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「広告、第1キャラクタ群およびゲーム実施可能」の表示、または、「広告および第1キャラクタ群」の表示、または、「広告およびゲーム実施可能」の表示、または、「広告」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
この場合、図68、図69において、カメラ部T206が存在しない構成であってもよい。
以下では、具体的なモニタ部T203の表示例について説明する。
図73を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T503参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T503参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図74を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T513参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T513参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図75を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「Bゲーム実施のための表示」を行う(T523参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「Bゲーム実施のための表示」を行い(T523参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「A販売店の広告の表示」「Bゲーム実施のための表示」を行う例を説明したが「A販売店の広告の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「Eゲーム実施のための表示」を行う例を説明したが、「会社Dの広告の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「Hゲーム実施のための表示」を行う例を説明したが、「会社Gの広告の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Jの広告の表示」「Kゲーム実施のための表示」を行う例を説明したが、「会社Jの広告の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図76を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」を行う(T533参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」を行い(T533参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
図77を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T603参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T603参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「A販売店の広告の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「会社Dの広告の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「会社Gの広告の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「会社Jの広告の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図78を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T613参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T613参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「A販売店の広告の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「会社Dの広告の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「会社Gの広告の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「会社Jの広告の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図79を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」「Bゲーム実施のための表示」を行う(T623参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」「Bゲーム実施のための表示」を行い(T623参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「A販売店の広告の表示」「Bゲーム実施のための表示」を行う例を説明したが「A販売店の広告の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Dの広告の表示」「Eゲーム実施のための表示」を行う例を説明したが、「会社Dの広告の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Gの広告の表示」「Hゲーム実施のための表示」を行う例を説明したが、「会社Gの広告の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「会社Jの広告の表示」「Kゲーム実施のための表示」を行う例を説明したが、「会社Jの広告の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図80を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「A販売店の広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「A販売店の広告の表示」を行う(T633参照)。
別の方法として、図68、図69におけるモニタ部T203は、「A販売店の広告の表示」を行い(T633参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「会社Dの広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「会社Dの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Dの広告の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「会社Gの広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Gの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Gの広告の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「会社Jの広告の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「会社Jの広告の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「会社Jの広告の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
第1装置T101の信号処理部T205がアプリケーションを実施しているときの、図70以降の処理の第3の例として図81、第4の例として図82について説明する。
第3の例:
第3の例として、例3-1、例3-2について説明する。
第3の例として、例3-1、例3-2について説明する。
例3-1:
図81に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図81に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、カメラ部T206から得た「静止画、または、動画」から特徴的な物体を検出するなど解析を行う(T402参照)。これにより、「位置情報に基づいた周辺情報」を得る(T703参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、例えば、その位置周辺の「静止画、または、動画」に加え、「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、モニタ部T203に行う(T703参照)。
なお、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例3-2:
図81に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図81に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、カメラ部T206から得た「静止画、または、動画」から特徴的な物体を検出するなど解析を行う(T402参照)。これにより、「位置情報に基づいた周辺情報」を得る(T403参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、モニタ部T203に行う(T703参照)。
なお、例3-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例3-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
第4の例:
第4の例として、例4-1、例4-2、例4-3について説明する。
第4の例として、例4-1、例4-2、例4-3について説明する。
例4-1:
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T711参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、例えば、その位置周辺の「静止画、または、動画」に加え、「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、モニタ部T203に行う(T711参照)。
なお、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例4-2:
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
その後、図68、図69のカメラ部T206は、「静止画、または、動画」を得る(リアルタイムでもよいし、リアルタイムでなくてもよい)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T711参照)。
信号処理部T205は、「位置情報」、「静止画、または、動画」、「位置情報に基づいた周辺情報」から、「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、モニタ部T203に行う(T711参照)。
なお、例4-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例4-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
例4-3:
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
図82に示すように、図70の処理以降、まず、図68、図69の位置推定部T204は、位置情報を得、この位置情報を、信号処理部T205は得る(T401参照)。
そして、信号処理部T205は、位置情報から、「位置情報に基づいた周辺情報」を得る(T711参照)。
信号処理部T205は、「位置情報」、「位置情報に基づいた周辺情報」から、「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、モニタ部T203に行う(T711参照)。
なお、例4-1では、周辺の情報は、「静止画、または、動画」でユーザはみることになるが、例4-2では、周辺の情報は、実像を見ることになる。つまり、「実像」と「「店舗、第1キャラクタ群およびゲーム実施可能」の表示、または、「店舗および第1キャラクタ群」の表示、または、「店舗およびゲーム実施可能」の表示、または、「店舗」の表示」を、ユーザは見ることになる。
また、キャラクタ群と記載しているが、一つ、または、二つ以上のキャラクタを意味している。
この場合、図68、図69において、カメラ部T206が存在しない構成であってもよい。
以下では、具体的なモニタ部T203の表示例について説明する。
図83を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T803参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T803参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図84を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T813参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T813参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図85を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「Bゲーム実施のための表示」を行う(T823参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「Bゲーム実施のための表示」を行い(T823参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「c米販売店の表示」「Bゲーム実施のための表示」を行う例を説明したが「c米販売店の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「Eゲーム実施のための表示」を行う例を説明したが、「d販売店の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「Hゲーム実施のための表示」を行う例を説明したが、「g販売店の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「j販売店の表示」「Kゲーム実施のための表示」を行う例を説明したが、「j販売店の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図86を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」を行う(T833参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」を行い(T833参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
図87を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T903参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T903参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「c米販売店の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「d販売店の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「g販売店の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「j販売店の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図88を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T913参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T913参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「c米販売店の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「d販売店の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「g販売店の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「j販売店の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図89を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」「Bゲーム実施のための表示」を行う(T923参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」「Bゲーム実施のための表示」を行い(T923参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「c米販売店の表示」「Bゲーム実施のための表示」を行う例を説明したが「c米販売店の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「d販売店の表示」「Eゲーム実施のための表示」を行う例を説明したが、「d販売店の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「g販売店の表示」「Hゲーム実施のための表示」を行う例を説明したが、「g販売店の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「j販売店の表示」「Kゲーム実施のための表示」を行う例を説明したが、「j販売店の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図90を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「c米販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「c米販売店の表示」を行う(T933参照)。
別の方法として、図68、図69におけるモニタ部T203は、「c米販売店の表示」を行い(T933参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「d販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「d販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「d販売店の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「g販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「g販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「g販売店の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「j販売店の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「j販売店の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「j販売店の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
図91を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T1003参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T1003参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図92を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T1013参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T1013参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図93を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「Bゲーム実施のための表示」を行う(T1023参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「Bゲーム実施のための表示」を行い(T1023参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「α販売会場入り口の表示」「Bゲーム実施のための表示」を行う例を説明したが「α販売会場入り口の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行う例を説明したが、「β販売会場入り口の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行う例を説明したが、「g販売店の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行う例を説明したが、「j販売店の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図94を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」を行う(T1033参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」を行い(T1033参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報、および/または、カメラ部T206で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、カメラ部T206で得た静止画、または、動画を解析し、一つの建物が「東京タワー」であると認識する。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
図95を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T1103参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行い(T1103参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」を行う例を説明したが、「α販売会場入り口の表示」「Bゲーム実施のための表示」「キャラクタ群の表示(キャラクタ群C)」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「β販売会場入り口の表示」「Eゲーム実施のための表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「γ販売会場入り口の表示」「Hゲーム実施のための表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「δ販売会場入り口の表示」「Kゲーム実施のための表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図96を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群Cと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行う(T1113参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行い(T1113参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」を行う例を説明したが、「α販売会場入り口の表示」「キャラクタ群(キャラクタ群C)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群Fと名付ける)の表示」を表示するようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」を行う例を説明したが、「β販売会場入り口の表示」「キャラクタ群(キャラクタ群F)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群Iと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」を行う例を説明したが、「γ販売会場入り口の表示」「キャラクタ群(キャラクタ群I)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群Lと名付ける)の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」を行う例を説明したが、「δ販売会場入り口の表示」「キャラクタ群(キャラクタ群L)の表示」のうち少なくとも一つ以上表示するようにしてもよい。
図97を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」「Bゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」「Bゲーム実施のための表示」を行う(T1123参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」「Bゲーム実施のための表示」を行い(T1123参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では「α販売会場入り口の表示」「Bゲーム実施のための表示」を行う例を説明したが「α販売会場入り口の表示」「Bゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」「Eゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「β販売会場入り口の表示」「Eゲーム実施のための表示」を行う例を説明したが、「β販売会場入り口の表示」「Eゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」「Hゲーム実施のための表示」をするようなアプリケーションであるものとする。なお、このとき、信号処理部T205は、位置情報を用いて、処理を行ってもよい。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「γ販売会場入り口の表示」「Hゲーム実施のための表示」を行う例を説明したが、「γ販売会場入り口の表示」「Hゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」「Kゲーム実施のための表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、上述では、「δ販売会場入り口の表示」「Kゲーム実施のための表示」を行う例を説明したが、「δ販売会場入り口の表示」「Kゲーム実施のための表示」のうち少なくとも一つ以上表示するようにしてもよい。
図98を例に説明する。
例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、「東京タワー」周辺において、「α販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「α販売会場入り口の表示」を行う(T1133参照)。
別の方法として、図68、図69におけるモニタ部T203は、「α販売会場入り口の表示」を行い(T1133参照)、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
なお、以下のようにしてもよい。
・位置、特徴的なものにより、表示を設定してもよい。
例えば、位置推定部T204で得られた情報により、「スカイツリー」周辺であることを、信号処理部T205が認識したものとする。
このとき、アプリケーションは、「スカイツリー」周辺において、「β販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、スカイツリーなどの周辺の画像、または、動画を表示するとともに、「β販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「β販売会場入り口の表示」を行い、この表示と、スカイツリーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・アプリケーションごとに表示が異なるようにしてもよい。
例えば、図68、または、図69の構成を持つ第1装置T101が上述とは異なるアプリケーションを実行したものとする。そして、例えば、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、この別のアプリケーションは、「東京タワー」周辺において、「γ販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「γ販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「γ販売会場入り口の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
・時間変動に応じて、表示を設定してもよい。
例えば、時間#1において、前述のように図73のT503の表示を行うものとする。
そして、時間#2において、同様に、図68、図69における位置推定部T204において、位置が「東京都港区芝公園4-2-8」周辺であることを推定するものとする(T501参照)。
そして、図68、図69におけるカメラ部T206において、T502に示したような静止画、または、動画を取得したものとする。
これに伴い、図68、図69における信号処理部T205は、位置情報に基づき、「東京タワー近辺」であると認識する。
このとき、アプリケーションは、時間#2において、「東京タワー」周辺において、「δ販売会場入り口の表示」をするようなアプリケーションであるものとする。
したがって、図68、図69におけるモニタ部T203は、東京タワーなどの周辺の画像、または、動画を表示するとともに、「δ販売会場入り口の表示」を行う。
別の方法として、図68、図69におけるモニタ部T203は、「δ販売会場入り口の表示」を行い、この表示と、東京タワーなどの周辺の状況を実像と重ね、ユーザが見るようにしてもよい。
図91、図92、図93、図94、図95、図96、図97、図98における、(第1装置T101の図68、または、図69の)モニタ部T203に表示されている「販売会場入り口」を、例えば、ユーザがタップ、または、クリックしたときに表示される画面の例を図99は示している。図99に表示されている画面は、「販売会場入り口」を、例えば、ユーザがタップ、または、クリックすることにより、例えば、アクセス先のサイトにリンクすることにより得られる画面で構成することができる。ただし、図99に表示されている画面の構成方法については、この例に限ったものではない。そして、画面に、図99のように一つ以上、または、二つ以上の店舗が表示されていることが重要となり、また、その店舗に、ユーザがアクセスできることも重要となる。
図99に示すように、T1201の店舗A、T1202の店舗B、T1203の店舗C、T1204の店舗D、T1205の店舗Eが、第1装置T101の図68、または、図69のモニタ部T203に表示されているものとする。「T1201の店舗A、T1202の店舗B、T1203の店舗C、T1204の店舗D、T1205の店舗E」の各店舗をユーザがタップ、または、クリックしたとき、次の画面が表示されることになる。
図100は、例えば、図99に表示されている店舗をユーザがタップ、または、クリックしたとき、第1装置T101の図68、または、図69のモニタ部T203に表示させる画面の例である。なお、例えば、T1201の店舗Aを、ユーザがタップ、または、クリックしたときに表示される画面であるものとする。
また、図100は、例えば、図83、図84、図85、図86、図87、図88、図89、図90に表示されている「c米販売店」をユーザがタップ、または、クリックしたとき、第1装置T101の図68、または、図69のモニタ部T203に表示させる画面の例でもある。
図100に示すように、
・コシヒカリ#1 6000円
・コシヒカリ#2 6000円
・コシヒカリ#3 6000円
・ササニシキ#A 6000円
・ササニシキ#B 6000円
の6000円均一が読み取れるような表示となっているものとする。
・コシヒカリ#1 6000円
・コシヒカリ#2 6000円
・コシヒカリ#3 6000円
・ササニシキ#A 6000円
・ササニシキ#B 6000円
の6000円均一が読み取れるような表示となっているものとする。
そして、ユーザが、
・コシヒカリ#3 6000円
をタップ、または、クリックすると、図101に示すような、ユーザの精算画面が、第1装置T101の図68、または、図69のモニタ部T203に表示されるものとする。
・コシヒカリ#3 6000円
をタップ、または、クリックすると、図101に示すような、ユーザの精算画面が、第1装置T101の図68、または、図69のモニタ部T203に表示されるものとする。
なお、図99、図100、図101の画面は、あくまでも例であり、モニタ部T203に表示される画面の例は、これに限ったものではない。
以上の説明のように、実空間に、物理的に、広告、店舗、キャラクタ、ゲームなどを設置することなく、拡張空間、仮想空間の所望の位置に、広告、店舗、キャラクタ、ゲームなどを配置することができ、ユーザに、広く情報の提供を行うことができるという効果を得ることができる。
また、観光名所、娯楽施設、イベント会場など、人々が集まる実空間の「もの」とリンクさせて、拡張空間、仮想空間に広告、店舗、キャラクタ、ゲームなどを表示・配置することで、多くのユーザに、「拡張空間、仮想空間の、広告、店舗、キャラクタ、ゲームなど」を提供することができる可能性が高くなるという効果を得ることができる。したがって、上述の説明では、「観光名所、娯楽施設、イベント会場など、人々が集まる実空間」の例として、東京タワー、スカイツリーを例として説明を行っている。
さらに、場所、時間、アプリケーションなどにより、拡張空間、仮想空間に配置する「広告、店舗、キャラクタ、ゲームなど」の事象を変更・更新することで、ユーザに多くの情報を提供することができるという効果を得ることができる。
(実施の形態12)
本実施の形態では、実施の形態11で説明した図66、図67における第2装置T105の動作例について説明する。
本実施の形態では、実施の形態11で説明した図66、図67における第2装置T105の動作例について説明する。
実施の形態11で説明したように、第2装置T105は、第1装置T101が使用するアプリケーションを生成、提供するための装置である。
本実施の形態では、アプリケーションにより表示される内容に関する第2装置T105の関連する動作について説明を行う。
図102は、図66、図67における第2装置T105と通信を行う装置の図である。図102に示すように、第2装置T105は、ネットワークT1501を介し、T1503_1の第3装置#1と通信を行う。
同様に、第2装置T105は、ネットワークT1501を介し、T1503_2の第3装置#2と通信を行う。
第2装置T105は、ネットワークT1501を介し、T1503_Nの第3装置#Nと通信を行う。なお、Nは1以上の整数であるものとする。
このとき、第2装置T105は、実施の形態11で説明したアプリケーションにおいて、第1装置T101のモニタ部T203に表示する内容の情報を、例えば、T1503_1の第3装置#1、T1503_2の第3装置#2、・・・、T1503_Nの第3装置#Nから得ることになる。なお、その例については、以下で説明を行う。
実施の形態11の「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」に記載したように、「東京タワー」周辺では、最大3つの表示が可能となっている。
第1装置T101のモニタ部T203に表示される「この3つの表示」のための領域を図103のように、T1611の表示可能領域#1、T1612の表示可能領域#2、T1613の表示可能領域#3、と名付けるものとする。
そして、本実施の形態では、第2装置T105は、実施の形態11で説明したアプリケーションにおいて、第1装置T101のモニタ部T203に表示する、東京タワー周辺の表示に関する情報を、例えば、T1503_1の第3装置#1、T1503_2の第3装置#2、・・・、T1503_Nの第3装置#Nから得ることになる。
第2装置T105が、東京タワー周辺の「T1611の表示可能領域#1」、「T1612の表示可能領域#2」、「T1613の表示可能領域#3」それぞれに対し、表示意思に関する募集を「T1503_1の第3装置#1、T1503_2の第3装置#2、・・・、T1503_Nの第3装置#N」に行い、その結果の一例を、図104は示している。
T1711の表示可能領域#1には、図104に示すように、入札が、この時点で100件あり、T1711の表示可能領域#1にアプリケーションにおいて表示するために必要な金額(入札額)が、この時点で50000円であり、T1711の表示可能領域#1の募集の〆切が2020年7月1日0時0分(この時点で残り時間が5日0時間0分)となる。
そして、T1712の表示可能領域#2には、図104に示すように、入札が、この時点で50件あり、T1712の表示可能領域#2にアプリケーションにおいて表示するために必要な金額(入札額)が、この時点で30000円であり、T1712の表示可能領域#2の募集の〆切が2020年7月8日0時0分(この時点で残り時間が12日0時間0分)となる。
また、T1713の表示可能領域#3には、図104に示すように、入札が、この時点で80件あり、T1713の表示可能領域#3にアプリケーションにおいて表示するために必要な金額(入札額)が、この時点で20000円であり、T1713の表示可能領域#3の募集の〆切が2020年6月20日0時0分(この時点で、入札は〆切済み)となる。
そして、これらの入札によって決定した表示が、表示可能領域#1、表示可能領域#2、表示可能領域#3において、表示されるように、第2装置T105で、アプリケーション作成され、作成されたアプリケーションは、第2装置T105により、(クラウド)サーバT103にアップロードされる。そして、第1装置T101は、このアプリケーションをダウンロードし、入札に基づいた表示が行われる。このときの表示の例については、実施の形態11で説明したとおりとなる。
なお、上述の入札は、東京タワー周辺の表示に関する例で説明したが、これに限ったものではなく、表示の入札は、どのような場所であってもよい。ただし、多くの人に表示、および、表示による情報の提供を行うためには、人々が集まる観光名所、娯楽施設、イベント会場などは好適な場所の例と考えることができる。
以上のように、情報提供する場所として価値ある実空間に基づいて生成された拡張空間、仮想空間に表示する事象を、競争させて、決定することで、ユーザにより価値のある情報を提供することができる可能性が高くなるという効果を得ることができる。
なお、上述の例では、表示の決定を入札に基づいて決定しているが、入札を行わずに表示を決定する場所が存在していてもよい。また、入札の際の表示例、場所に基づく表示の例は、本実施の形態で説明した例に限ったものではない。
(実施の形態13)
本実施の形態では、実施の形態11の変形例について説明を行う。
本実施の形態では、実施の形態11の変形例について説明を行う。
例えば、実施の形態11において、第1装置T101が、東京タワーのある特定位置周辺において、「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」に記載したような表示を行うものとする。
このとき、この特定位置周辺に、多くのユーザが、第1装置T101を保持して集まり、ネットワークに接続するために、例えば、セルラー通信の基地局にアクセスした場合、データ伝送速度が低下し、第1装置T101のパフォーマンスが低下するという課題が発生する可能性がある。
本実施の形態では、この課題を克服するための実施の形態11の変形例について説明する。
「東京タワー」周辺のある特定位置で、実施の形態11で説明した「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」のいずれかを表示するようにした場合、人々が、そこに集まり、第1装置T101により、「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」に関連するサイトに、セルラー通信の基地局、または、無線LAN(local area network)のアクセスポイントを介しアクセスした場合、アクセスが集中する可能性があり、サイトにアクセスするのが難しい状態を招く可能性がある。
以下では、この課題を克服するための方法について説明を行う。
図105は、東京タワー周辺の地図を示している。矢印T1800のように方角は設定されているものとする。また、T1801は東京タワーの位置を示している。
例えば、第1装置T101が、時刻11時0分から時刻11時15分に、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。このとき、上述の表示を行うために、第1装置T101は、セルラー通信の基地局、または、無線LANのアクセスポイントにアクセスするものとする。
なお、例えば、複数のユーザが存在している場合、それぞれのユーザが第1装置T101を保有しているものとする。すると、ポイントT1802_1付近に存在するセルラー通信の基地局、無線LANのアクセスポイントが混雑する可能性が高くなる。
上記に対し、時刻11時15分以降、第1装置T101がポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われる、としてしまうと、ポイントT1802_1付近に存在するセルラー通信の基地局、無線LANのアクセスポイントが、さらに混雑する可能性が高くなる。
このため、図105に示すように、第1装置T101が、時刻11時15分から時刻11時30分に、ポイントT1802_1とは異なるポイント1802_2に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。このようにすると、第1装置T101は、ポイントT1802_1に存在するときにアクセスするセルラー通信の基地局、無線LANのアクセスポイントとは異なる「セルラー通信の基地局、無線LANのアクセスポイント」と第1装置T101はアクセスする可能性が高くなり、これにより、アクセスの混雑が軽減されるという効果を得ることができる。
同様に、図105に示すように、第1装置T101が、時刻11時30分から時刻11時45分に、ポイント1802_3に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。これにより、アクセスの混雑が軽減されるという効果を得ることができる。
このように、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を実施するポイント(位置)を変更することで、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。なお、例えば、図105のような、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」するポイント(位置)の変更は、第1装置T101が、(クラウド)サーバT103から得たアプリケーションにより、例えば、実現することができる。そして、時刻とポイントの関係は、図105の例に限ったものではない。また、図105は、東京タワー周辺を例について説明しているが、他の場所においても同様に実施することは可能である。
上述の説明において、第1装置T101が、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を実施することを例で説明したが、表示する内容については、この例に限ったものではない。
図106は、図105とは異なる例であるが、同一番号の付与を行っている。図106において、矢印T1800のように方角は設定されているものとする。また、T1801は東京タワーの位置を示している。
例えば、第1装置T101が、時刻11時0分から時刻11時15分に、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。このとき、上述の表示を行うために、第1装置T101は、セルラー通信の基地局、または、無線LANのアクセスポイントにアクセスするものとする。
なお、例えば、複数のユーザが存在している場合、それぞれのユーザが第1装置T101を保有しているものとする。すると、ポイントT1802_1付近に存在するセルラー通信の基地局、無線LANのアクセスポイントが混雑する可能性が高くなる。
上記に対し、時刻11時15分以降、第1装置T101がポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われる、としてしまうと、ポイントT1802_1付近に存在するセルラー通信の基地局、無線LANのアクセスポイントが、さらに混雑する可能性が高くなる。
このため、図106のように、時刻11時15分から時刻11時30分に、第1装置T101が、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を行うポイントが存在していない。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
そして、図106に示すように、第1装置T101が、時刻11時30分から時刻11時45分に、ポイントT1802_1とは異なるポイント1802_2に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。このようにすると、第1装置T101は、ポイントT1802_1に存在するときにアクセスするセルラー通信の基地局、無線LANのアクセスポイントとは異なる「セルラー通信の基地局、無線LANのアクセスポイント」と第1装置T101はアクセスする可能性が高くなり、これにより、アクセスの混雑が軽減されるという効果を得ることができる。
また、図106のように、時刻11時45分から時刻12時00分に、第1装置T101が、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を行うポイントが存在していない。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
そして、図106に示すように、第1装置T101が、時刻12時00分から時刻12時15分に、ポイント1802_3に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
このように、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を実施するポイント(位置)を変更する、または、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」の実施を中止することで、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。なお、例えば、図106のような、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」するポイント(位置)の変更、「「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」」の中止は、第1装置T101が、(クラウド)サーバT103から得たアプリケーションにより、例えば、実現することができる。そして、時刻とポイントの関係は、図106の例に限ったものではない。また、図106は、東京タワー周辺を例について説明しているが、他の場所においても同様に実施することは可能である。
上述の説明において、第1装置T101が、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」を実施することを例で説明したが、表示する内容については、この例に限ったものではない。
図107は、図105、図106におけるポイントT1802_1における時刻における第1装置T101の表示の切り替えの様子の例を示している。
時刻11時00分から時刻11時15分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。図107の「11:00-11:15 第1表示群を表示」がこのことを意味しているものとする。
そして、図107に、「11:15-11:30 第2表示群を表示」と示されているように、時刻11時15分から時刻11時30分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、第1表示群とは異なる第2表示群の表示が行われているものとする。なお、第2表示群は、例えば、実施の形態11で説明した「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」の表示が例として考えられる。
また、図107に、「11:30-11:45 第3表示群を表示」と示されているように、時刻11時30分から時刻11時45分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、第1表示群、第2表示群とは異なる第3表示群の表示が行われているものとする。なお、第3表示群は、例えば、実施の形態11で説明した「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」の表示が例として考えられる。
このように、第1装置T101において、時刻に応じて、表示内容を変更することで、表示内容によるユーザの人気度が変更されるため、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができる可能性がある。なお、例えば、図107のような、表示内容の時刻における変更は、第1装置T101が、(クラウド)サーバT103から得たアプリケーションにより、例えば、実現することができる。なお、時刻と表示する内容の関係は、図107の例に限ったものではない。また、上述の説明では、東京タワー周辺を例について説明しているが、他の場所においても同様に実施することは可能である。
図108は、図105、図106におけるポイントT1802_1における時刻における第1装置T101の表示の切り替えの様子の例を示している。
時刻11時00分から時刻11時15分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。図108の「11:00-11:15 第1表示群を表示」がこのことを意味しているものとする。
時刻11時15分から時刻11時30分に、第1装置T101が、ポイントT1802_1に存在していても、第1装置T101を東京タワー側に向けても、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われないものとする。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
そして、図108に、「11:30-11:45 第2表示群を表示」と示されているように、時刻11時30分から時刻11時45分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、第1表示群とは異なる第2表示群の表示が行われているものとする。なお、第2表示群は、例えば、実施の形態11で説明した「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」の表示が例として考えられる。
時刻11時45分から時刻12時00分に、第1装置T101が、ポイントT1802_1に存在していても、第1装置T101を東京タワー側に向けても、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われないものとする。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
また、図108に、「12:00-12:15 第3表示群を表示」と示されているように、時刻12時00分から時刻12時15分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、第1表示群、第2表示群とは異なる第3表示群の表示が行われているものとする。なお、第3表示群は、例えば、実施の形態11で説明した「図73、図74、図75、図76、図77、図78、図79、図80、図83、図84、図85、図86、図87、図88、図89、図90、図91、図92、図93、図94、図95、図96、図97、図98」の表示が例として考えられる。
このように、第1装置T101において、時刻に応じて、表示内容を変更することで、表示内容によるユーザの人気度が変更されるため、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができる可能性がある。または、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」の実施を中止することで、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。なお、例えば、図108のような、表示内容の時刻における変更は、第1装置T101が、(クラウド)サーバT103から得たアプリケーションにより、例えば、実現することができる。なお、時刻と表示する内容の関係は、図108の例に限ったものではない。また、上述の説明では、東京タワー周辺を例について説明しているが、他の場所においても同様に実施することは可能である。
図109は、図105、図106におけるポイントT1802_1における時刻における第1装置T101の表示の切り替えの様子の例を示している。
時刻11時00分から時刻11時15分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。図109の「11:00-11:15 第1表示群を表示」がこのことを意味しているものとする。
時刻11時15分から時刻11時30分に、第1装置T101が、ポイントT1802_1に存在していても、第1装置T101を東京タワー側に向けても、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われないものとする。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
時刻11時30分から時刻11時45分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。図109の「11:30-11:45 第1表示群を表示」がこのことを意味しているものとする。
時刻11時45分から時刻12時00分に、第1装置T101が、ポイントT1802_1に存在していても、第1装置T101を東京タワー側に向けても、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われないものとする。これにより、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
時刻12時00分から時刻12時15分に、第1装置T101は、ポイントT1802_1に存在し、第1装置T101を東京タワー側に向けている場合、第1装置T101のモニタ部T203には、図73のT503のように、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」が行われているものとする。図109の「12:00-12:15 第1表示群を表示」がこのことを意味しているものとする。
このように、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」の実施を中止することで、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。なお、例えば、図109のような、表示内容の時刻における変更は、第1装置T101が、(クラウド)サーバT103から得たアプリケーションにより、例えば、実現することができる。なお、時刻と表示する内容の関係は、図109の例に限ったものではない。また、上述の説明では、東京タワー周辺を例について説明しているが、他の場所においても同様に実施することは可能である。
以上のように、第1装置T101において、時刻に応じて、表示内容を変更することで、表示内容によるユーザの人気度が変更されるため、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができる可能性がある。または、第1装置T101において、時刻に応じて、「A販売店の広告の表示」、「Bゲーム実施のための表示」、「キャラクタ群Cの表示」の実施を中止することで、例えば、「セルラー通信の基地局、無線LANのアクセスポイント」へのアクセスの混雑を軽減することができることになる。
なお、本実施の形態での説明はあくまでも一例であり、本実施の形態で説明した例に限ったものではない。例えば、本実施の形態で説明した例を複数組み合わせて実施してもよい。また、東京タワー周辺を例について説明したが、この場所に限ったものではなく、また、複数の箇所で、本実施の形態で説明した動作と同様の動作を実施してもよい。
(実施の形態14)
本実施の形態では、実施の形態1から実施の形態4の変形例について説明を行う。
本実施の形態では、実施の形態1から実施の形態4の変形例について説明を行う。
例えば、図21から図37を用いて、通信用の変調信号、センシング変調信号の切り替え、共存について説明を行った。本実施の形態はその変形例である。
図110は、本実施の形態におけるシステム構成の例を示している。基地局U101は、U102_1の端末#1、U102_2の端末#2、U102_3の端末#3と通信を行っている。そして、基地局、または、端末がセンシングによって検出するターゲット(物体)U103が存在している。
図111は、図110の基地局U101の送信状況の例を示しており、横軸は時間であるものとする。そして、図112は、図110のU102_1の端末#1、U102_2の端末#2、U102_3の端末#3の送信状況の例を示しており、横軸は時間であるものとする。
図111、図112に示すように、まず、基地局U101は、U201_1のフレームB1を送信する。
その後、U102_1の端末#1、および/または、U102_2の端末#2、および/または、U102_3の端末#3は、U202_1のフレームT1を送信する。
次に、基地局U101は、U201_2のフレームB2を送信する。
その後、U102_1の端末#1、および/または、U102_2の端末#2、および/または、U102_3の端末#3は、U202_2のフレームT2を送信する。
そして、基地局U101は、U201_3のフレームB3を送信する。
その後、U102_1の端末#1、および/または、U102_2の端末#2、および/または、U102_3の端末#3は、U202_3のフレームT3を送信する。
このように、例えば、TDM(Time Division Multiplexing)、CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)が実施されていてもよいし、図111、図112とは異なる送信状況であってもよい。
また、基地局U101は、OFDMなどのマルチキャリア伝送方式を用いてもよいし、シングルキャリア伝送方式を用いてもよい。なお、基地局U101がマルチキャリア伝送方式を用いているとき、図111において、周波数軸方向にシンボルが存在していてもよい。
そして、U102_1の端末#1、U102_2の端末#2、U102_3の端末#3は、OFDMなどのマルチキャリア伝送方式を用いてもよいし、シングルキャリア伝送方式を用いてもよい。なお、端末がマルチキャリア伝送方式を用いているとき、図112において、周波数軸にシンボルが存在していてもよい。
以下では、図110において、基地局U101、U102_1の端末#1に着目して説明を進める。なお、基地局U101、U102_1の端末#1、U102_2の端末#2、U102_3の端末#3いずれもOFDMなどのマルチキャリア伝送方式を用いているものとする。
図111のU201_1のフレームB1のフレーム構成の例が図113であるものとする。図113は、基地局U101が送信するフレームB1の構成の例を示しており、横軸を時間とし、縦軸を周波数とする。図113において、端末#1宛フレームU301_2は、基地局U101が送信するU102_1の端末#1宛のシンボルであるものとする。そして、図113のその他のフレームU301_1、U301_3には、例えば、U102_2の端末#2宛のシンボル、U102_3の端末#3宛のシンボルなどが含まれていてもよい。
そして、図112のU202_1のフレームT1のフレーム構成例が図114であるものとする。U102_1の端末#1は、図114の端末#1送信フレームU401_2を送信するものとする。なお、例えば、U102_2の端末#2は、図114のその他のフレームU401_1、U401_3の例えば、一部の時間・周波数リソースを用いた変調信号を生成し、基地局U101に送信する。また、U102_3の端末#3は、図114のその他のフレームU401_1、U401_3の例えば、一部の時間・周波数リソースを用いた変調信号を生成し、基地局U101に送信する。
このとき、U102_1の端末#1が送信する「端末#1送信フレームU401_2」には、基地局U101にセンシングの依頼を行うデータが含まれる。(センシングを行うためにセンシング用の変調信号を送信するのは基地局となる。また、センシングについては、他の実施の形態で説明を行っているので、ここでの説明は省略する。)
なお、例えば、センシングには、以下の方法がある。
<1>基地局または端末により単独でセンシングが行われる。
<2>複数の基地局によりセンシングが行われる。
<3>複数の端末によりセンシングが行われる。
<4>基地局と端末によりセンシングが行われる。
本実施の形態は、このいずれの方法をとってもよい。
・基地局U101が、図111のU201_1のフレームB1において、U102_1の端末#1宛に送信したデータに関連する再送要求を行うデータが含まれているものとする。
なお、U102_1の端末#1は、「前記再送要求を行うデータ」のかわりに、基地局U101が送信したデータが正しく受信できなかったことを示す「NACK(Negative ACKnowledgement)」の情報を、基地局U101に送信してもよい。また、U102_1の端末#1は、「前記再送要求を行うデータ」を送信するかわりに、基地局U101が送信したデータが正しく受信できたことを示す「ACK(ACKnowledgement)」の情報を、基地局U101に送信しないとしてもよい。
そして、基地局U101は、これらのデータを含む変調信号を受信することになる。基地局U101は、図111のように、U201_2のフレームB2を送信することになる。このとき、U102_1の端末#1におけるデータ遅延および再送による復調の容易性を考慮すると、U201_2のフレームB2では、例えば、図113のフレームを用いて、再送用のデータを、基地局U101は、U102_1の端末#1に送信することになる。
別の方法として、基地局U101は、図111のU201_2のフレームB2において、図115のフレームを送信するものとする。図115において、横軸は時間であり、縦軸は周波数であるものとする。図115において、「端末#1宛フレーム(データ用)U501_2」では、図112のU202_1のフレームT1において、U102_1の端末#1の再送要求に基づき、再送用のデータを、基地局U101は、U102_1の端末#1に送信することになる。
また、「端末#1関連フレーム(センシング用)U501_4」は、U102_1の端末#1が基地局U101に対し、センシングの依頼を行ったことを受けて、基地局U101が送信するフレームである。したがって、基地局U101は、「端末#1関連フレーム(センシング用)U501_4」の変調信号を送信し、センシングを行う。そして、センシングの結果を、U102_1の端末#1に通知することになる。
このように、基地局U101は、センシング用のシンボルとU102_1の端末#1宛の再送データを含むフレームをU201_2のフレームB2で送信することで、遅延が少なく、また、復調を容易に行うことができるという効果を得ることができ、また、センシングも遅延が少なく実施することができるという効果を得ることができる。
以上のように実施することで、端末は、遅延が少なく、また、復調を容易に行うことができるという効果を得ることができる。なお、上述の説明において、「基地局」を端末と考え、「端末」を基地局と考えて実施しても同様に実施することができるとともに、同様の効果を得ることができる。
なお、図113、図114、図115のフレームの構成はあくまでも例であり、図113、図114、図115で示したフレーム以外のフレームが存在してもよいし、また、各フレームの時間、周波数軸における割り当て方法は、図113、図114、図115に限ったものではない。
例えば、図113には、制御情報を含むフレーム、リファレンス信号、時間・周波数同期を行うためのシンボルが存在していてもよい。このとき、制御情報を含むフレーム、リファレンス信号、時間・周波数同期を行うためのシンボルは、ある時間に割り当ててもよいし、ある周波数に割り当ててもよく、また、ある時間・周波数に割り当ててもよい。そして、端末#1宛フレームU301_2は、複数の周波数リソースを用いて送信してもよい。また、端末#1宛フレームU301_2は、ある時間リソースを用いて、送信してもよいし、ある時間リソースおよびある周波数リソースを用いて、送信してもよい。
また、U102_1の端末#1が送信するフレームの構成は、図114の構成に限ったものではない。例えば、U102_1の端末#1は、複数の周波数リソースを用いて、基地局U101に、データを含む変調信号を送信してもよい。また、U102_1の端末#1は、ある時間リソースを用いて、基地局U101に、データを含む変調信号を送信してもよい。また、U102_1の端末#1は、ある時間リソースおよびある周波数リソースを用いて、基地局U101に、データを含む変調信号を送信してもよい。
そして、基地局U101が送信するフレーム構成は、図115の構成に限ったものではない。例えば、端末#1宛フレーム(データ用)U501_2は、複数の周波数リソースを用いて送信してもよい。また、端末#1宛フレーム(データ用)U501_2は、ある時間リソースを用いて、送信してもよいし、ある時間リソースおよびある周波数リソースを用いて、送信してもよい。
同様に、端末#1関連フレーム(センシング用)U501_4は、複数の周波数リソースを用いて送信してもよい。また、端末#1関連フレーム(センシング用)U501_4は、ある時間リソースを用いて、送信してもよいし、ある時間リソースおよびある周波数リソースを用いて、送信してもよい。さらに、端末#1関連フレーム(センシング用)U501_4は、端末#1宛フレーム(データ用)U501_2とは異なる周波数帯を用いて、「基地局U101」、または、「基地局U101とは異なる基地局」が送信してもよい。このとき、端末#1関連フレーム(センシング用)U501_4が使用する周波数帯では、シングルキャリア伝送方式を用いてもよいし、OFDMなどのマルチキャリア伝送を用いてもよい。
(実施の形態15)
本実施の形態では、実施の形態9の変形例について説明する。
本実施の形態では、実施の形態9の変形例について説明する。
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
図116は、本実施の形態における各装置の状態の例を示している。なお、図50、図55と同様に動作するものについては、同一番号を付している。
N700は例と宅内という空間を示している。図116に示すように、例えば、宅内N700には、AP(アクセスポイント)N701、オーディオN702、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N703、照明器具N704が存在するものとする。なお、機器N703を以降では、機器#Cと呼ぶことにする。そして、例えば、宅内N700にサーバQ101が存在しているものとする。
なお、サーバQ101をエッジサーバ、エッジコンピュータと呼んでもよい。この点については、図55でも同様である。
また、宅内N700には、人N705が生活していることになる。
N701のAPは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
そして、N701のAPは、例えば、オーディオN702、N703の機器#C、照明N704などと通信を行うものとする。なお、N701のAPは、これら以外の装置と通信を行ってもよい。
また、N701のAPは、ネットワークQ102を介し、サーバQ101と通信を行っているものとする。
さらに、N701のAPは、ネットワークN710を介し、基地局N730と通信を行っているものとする。
基地局N730は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N731と通信を行っているものとする。なお、機器N731を以降では、機器#Dと呼ぶことにする。
そして、図50と同様、N701のAPは、ネットワーク710を介し、クラウドサーバN720と通信を行っているものとする。
次に、図116におけるN701のAPの詳細の動作例について説明する。
図56は、宅内にN701のAPを設置したときの動作例のフローチャートを示している。
まず、N701のAPは、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをサーバQ101にアップロードする(Q202)。
これにより、N701のAPは、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、N701のAP設置後、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作をN701のAPが行ってもよい。
別の例として、図56が、N703の機器#Cの動作であるものとする。
まず、N703の機器#Cは、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介して、サーバQ101にアップロードする(Q202)。
これにより、N703の機器#Cは、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、N703の機器#Cは、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作を行ってもよい。
図57は、N701のAPの一つの動作例のフローチャートを示している。
N701のAPは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器(当然、N703の機器#Cを含む)の情報をサーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とN701のAPが行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N701のAP)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。
その後、サーバQ101は、「宅内の機器の動作とN701のAPが行ったセンシングの連携に関する情報」、または、その一部をクラウドサーバ720にアップロードする。このように、サーバQ101は、一部の信号処理を行うことになり、これにより、伝送するためのデータ量を削減して、クラウドサーバN720にデータを伝送することが可能となり、データ伝送効率を改善することができるという効果を得ることができる。
別の例として、図57が、N703の機器#Cの動作であるものとする。
N703の機器#Cは、センシングによって得られた宅内の機器、例えば、家電(当然、オーディオN702、照明N704を含む)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とN703の機器#Cが行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、N703の機器#C)のセンシングの連携、連携の登録に関しては、実施の形態7で例を説明している。以下では、実施の形態7とは異なる、特に、連携の動作例について説明を行う。
その後、サーバQ101は、「宅内の機器の動作とN701のAPが行ったセンシングの連携に関する情報」、または、その一部をクラウドサーバ720にアップロードする。このように、サーバQ101は、一部の信号処理を行うことになり、これにより、伝送するためのデータ量を削減して、クラウドサーバN720にデータを伝送することが可能となり、データ伝送効率を改善することができるという効果を得ることができる。
図58は、例えば、図116のシステム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、オーディオN702とセンシングの連携、機器#Cとセンシングの連携、照明N704とセンシングの連携の例について説明する。なお、図58において、サーバが関連する動作については、点線で示している。
N701のAPはセンシングを実施する(Q401)。
センシングの結果、N701のAPは、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
N701のAPは、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
N701のAPは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N701のAPは、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAPに、オーディオN702の制御に関する情報、または、N703の機器#Cの制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N701のAP701は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、N701のAPは、対象となる機器(図116の場合、オーディオN702、または、N703の機器#C、または、照明N704)に、制御情報を送信する(Q405)。
また、N701のAPは、この制御情報を、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、N701のAPは、次のセンシングを行っていることになる(Q401)。
一方で、N701のAPは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N701のAPは、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、N701のAPは制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、N701のAPは、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、N701のAPが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人の位置の情報に基づいて、サーバQ101は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPに送信する。そして、N701のAPは、音・オーディオの指向性制御に関する情報をオーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
また、N701のAPは、音・オーディオの指向性制御に関する情報を、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在するオーディオN702の状態を把握していることになる。
別の例として、Q405において、N701のAPが、照明N704に対して、制御情報を送信する場合を考える。この場合、N701のAPがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報をN701のAPに送信する。そして、N701のAPは、「ON/OFF、または、光の照射指向性制御」に関する情報を照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、N701のAPは、「ON/OFF、または、光の照射指向性制御」を、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する照明N704の状態を把握していることになる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図58の別の例について説明する。
N703の機器#Cはセンシングを実施する(Q401)。
センシングの結果、N703の機器#Cは、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
N703の機器#Cは、宅内の、人を含む動くものを検出していない(Q402 NO)場合、センシング実施Q401」に行く。
N703の機器#Cは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N703の機器#Cは、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、ネットワークQ102、N701のAPを介し、N703の機器#Cに、オーディオN702の制御に関する情報、または、照明N704の制御に関する情報を送信したものとする。すると、N703の機器#Cは、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、N703の機器#Cは、対象となる機器(図116の場合、オーディオN702、または、照明N704)に、制御情報を送信する(Q405)。ただし、N701のAPを介すことになる。
また、N703の機器#Cは、クラウドサーバN720に、この制御情報を送信する。ただし、N701のAPを介すことになる。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいて制御を行い、制御を終了する(Q406)。
そして、N703の機器#Cは、次のセンシングを行っていることになる(Q401)。
一方で、N703の機器#Cは、宅内の、人を含む動くものを検出した(Q402 YES)場合、N703の機器#Cは、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、N703の機器#Cは制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、N703の機器#Cは、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、N703の機器#Cが、オーディオN702に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人の位置の情報に基づいて、サーバQ101は、オーディオN702の音・オーディオの指向性制御に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、音・オーディオの指向性制御に関する情報を、N701のAPを介し、オーディオN702に送信し、オーディオN702は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
また、N703の機器#Cは、クラウドサーバN720に、音・オーディオの指向性制御に関する情報を送信する。ただし、N701のAPを介すことになる。これにより、クラウドサーバN720は、宅内N700に存在するオーディオN702の状態を把握していることになる。
別の例として、Q405において、N703の機器#Cが、照明N704に対して、制御情報を送信する場合を考える。この場合、N703の機器#Cがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明N704の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、N703の機器#Cに送信する。そして、N703の機器#Cは、「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPを介し、照明N704に送信し、照明N704は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、N703の機器#Cは、クラウドサーバN720に、「ON/OFF、または、光の照射指向性制御」に関する情報を送信する。ただし、N701のAPを介すことになる。これにより、クラウドサーバN720は、宅内N700に存在する照明N704の状態を把握していることになる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図59は、宅内にN701のAP、サーバQ101の動作例のフローチャートを示している。なお、図59において、サーバが関連する動作については、点線で示している。
N701のAPは、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器(当然、N703の機器#Cを含む)の位置の情報、電子機器の形状の情報などをサーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。また、サーバQ101は、更新情報を、N701のAPを介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する宅内N700の状態を把握していることになる。そして、次の、N701のAPのセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、N701のAPのセンシング実施(Q501)となる。
別の例として、図59が、N703の機器#C、サーバQ101の動作であるものとする。
N703の機器#Cは、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(当然、オーディオN702、照明N704を含む)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。また、サーバQ101は、更新情報を、N701のAPを介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する宅内N700の状態を把握していることになる。そして、次の、N703の機器#Cのセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、N703の機器#Cのセンシング実施(Q501)となる。
なお、以下のことが可能となる。
図116におけるスマートフォンN731は、基地局N730、ネットワークN710を介し、クラウドサーバN720に接続することができる。したがって、ユーザは、スマートフォンN731を介し、クラウドサーバN720にアクセスし、宅内N700に存在する各機器の情報を把握することができる(スマートフォンN731がこの情報をクラウドサーバN720から得る)。
そして、ユーザは、スマートフォンN731を介し、クラウドサーバN720にアクセスし、宅内700に存在する各機器に対し、何等かの動作を実施するための情報を、スマートフォンN731がクラウドサーバN720に送信する。
その後、クラウドサーバN720が、宅内700に存在する各機器に対し、何等かの動作を実施するための情報を、例えば、N701のAP、サーバQ101を介し、宅内700に存在する各機器に送信し、宅内700に存在する各機器は、この情報に基づき、動作を実施する。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
なお、図116において、N701のAP、Q102のネットワーク、サーバQ101が一つの装置で構成されていてもよい。このとき、ネットワークQ102は、有線、無線通信どちらであってもよく、したがって、N701のAPとサーバQ101が装置内で有線、または、無線で接続されていることになる。
(実施の形態16)
実施の形態8、実施の形態9、実施の形態15における動作の変形例を説明する。
実施の形態8、実施の形態9、実施の形態15における動作の変形例を説明する。
図51において、「宅内の状況に関する情報をクラウドサーバにアップロード」すること、図52において、「宅内の機器の情報をクラウドサーバにアップロード」することを記載しており、実施の形態8にその具体的な方法の例を記載した。ここでは、別の方法について、説明する。
例えば、図50、図116のN703の機器#C、スマートフォンN731を用いて、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704を含む)の情報をクラウドサーバN720に登録してもよい。また、これらの機器以外の機器を用い、N701のAPを介し、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704を含む)の情報をクラウドサーバN720に登録してもよい。このように、センシングを行うことなく、クラウドサーバN720にN700の宅内に存在する家電の情報を登録してもよい。そして、N700の宅内に存在する家電(オーディオN702、照明N704を含む)が電波を送信し、N701のAPを介し、クラウドサーバN720に、N700の宅内に存在する家電の情報を登録してもよい。
また、図50、図116において、家電(例えば、オーディオN702、照明N704、N703の機器#Cを含む)が、センシングを実施してもよい。
例えば、図51において、「宅内の状況をセンシングN801」と記載しているが、宅内の状況のセンシングを、家電が行ってもよい。この場合、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N802)を行う機器の一つに家電があることになる。
そして、図53において、「センシング実施」(N1001)するのが、家電であってもよい。家電は、その後、「宅内の人を含む動くものを検出したか」(N1002)、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N1003)の動作を行うことになる。
さらに、図54において、「センシングを実施」(N1101)するのが、家電であってもよい。家電は、その後、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N1102)を実施することになる。
また、図56において、「宅内の状況に関する情報をサーバにアップロード」すること、図57において、「宅内の機器の情報をサーバにアップロード」することを記載しており、実施の形態9、実施の形態15にその具体的な例を記載した。ここでは、別の方法について説明する。
例えば、図55、図116のN703の機器#C、スマートフォンN731を用いて、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704を含む)の情報をサーバQ101に登録してもよい。また、これらの機器以外の機器を用い、N701のAPを介し、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704を含む)の情報をサーバQ101に登録してもよい。このように、センシングを行うことなく、サーバQ101にN700の宅内に存在する家電の情報を登録してもよい。そして、N700の宅内に存在する家電(オーディオN702、照明N704を含む)が電波を送信し、N701のAPを介し、サーバQ101に、N700の宅内に存在する家電の情報を登録してもよい。
また、図55、図116において、家電(例えば、オーディオN702、照明N704、N703の機器#Cを含む)が、センシングを実施してもよい。
例えば、図56において、「宅内の状況をセンシングQ201」と記載しているが、宅内の状況のセンシングを、家電が行ってもよい。この場合、「宅内の状況に関する情報をサーバQ101にアップロード」(Q202)を行う機器の一つに家電があることになる。
そして、図58において、「センシング実施」(Q401)するのが、家電であってもよい。家電は、その後、「宅内の人を含む動くものを検出したか」(Q402)、「宅内の状況に関する情報をサーバQ101にアップロード」(Q403)の動作を行うことになる。
さらに、図59において、「センシングを実施」(Q501)するのが、家電であってもよい。家電は、その後、「宅内の状況に関する情報をサーバQ101にアップロード」(Q502)を実施することになる。
(実施の形態17)
本実施の形態では、実施の形態8の変形例について説明する。
本実施の形態では、実施の形態8の変形例について説明する。
図117は、本実施の形態における各装置の状態の例を示している。なお、図50と同様に動作するものについては、同一番号を付している。そして、実施の形態8で、すでに説明を行っているものについては、説明を省略する。
図117において、特徴的な点は、宅内N700に中継器が存在している点である。以下では、この点について詳しく説明を行う。
V201_1の中継器#1は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_1の中継器#1を介して、N701のAPと通信を行うことになる。
また、V201_2の中継器#2は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_2の中継器#2、および、V201_1の中継器#1を介し、N701のAPと通信を行うことになる。
そして、V201_3の中継器#3は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_3の中継器#3を介し、N701のAPと通信を行うことになる。
加えて、V201_1の中継器#1、201_2の中継器#2、V201_3の中継器#3は、センシングの機能を有していてもよい。
例えば、V201_1の中継器#1は、図51の動作を行う。
まず、V201_1の中継器#1は、センシングを行い(N801)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_1)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、クラウドサーバにアップロードする(N802)。
これにより、V201_1の中継器#1は、初期センシングが終了することになる(N803)。なお、初期センシングと記載しているが、V201_1の中継器#1設置後、定期的、または、不定期的、または、規則的、または、不規則的に図51の動作をV201_1の中継器#1が行ってもよい。
また、V201_2の中継器#2は、図51の動作を行う。
まず、V201_2の中継器#2は、センシングを行い(N801)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_2、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、V201_1の中継器#1、N701のAPを介し、クラウドサーバにアップロードする(N802)。
これにより、V201_2の中継器#2は、初期センシングが終了することになる(N803)。なお、初期センシングと記載しているが、V201_2の中継器#2設置後、定期的、または、不定期的、または、規則的、または、不規則的に図51の動作をV201_2の中継器#2が行ってもよい。
そして、V201_3の中継器#3は、図51の動作を行う。
まず、V201_3の中継器#3は、センシングを行い(N801)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_3)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、クラウドサーバにアップロードする(N802)。
これにより、V201_3の中継器#3は、初期センシングが終了することになる(N803)。なお、初期センシングと記載しているが、V201_3の中継器#3設置後、定期的、または、不定期的、または、規則的、または、不規則的に図51の動作をV201_3の中継器#3が行ってもよい。
例えば、V201_1の中継器#1は、図52の動作を行う。
V201_1の中継器#1は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_1)の情報、電子機器の情報を、N701のAPを介して、クラウドサーバにアップロードする(N901)。
そして、宅内の機器の動作とV201_1の中継器#1が行ったセンシングの連携に関する情報をクラウドサーバにアップロードする(N902)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_1の中継器#1)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態8で例を説明しているので説明を省略する。
また、V201_2の中継器#2は、図52の動作を行う。
V201_2の中継器#2は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_2、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)の情報、電子機器の情報を、V201_1の中継器#1、N701のAPを介して、クラウドサーバにアップロードする(N901)。
そして、宅内の機器の動作とV201_2の中継器#2が行ったセンシングの連携に関する情報をクラウドサーバにアップロードする(N902)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_2の中継器#2)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態8で例を説明しているので説明を一部省略する。
そして、V201_3の中継器#3は、図52の動作を行う。
V201_3の中継器#3は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_3)の情報、電子機器の情報を、N701のAPを介して、クラウドサーバにアップロードする(N901)。
そして、宅内の機器の動作とV201_3の中継器#3が行ったセンシングの連携に関する情報をクラウドサーバにアップロードする(N902)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_3の中継器#3)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態8で例を説明しているので説明を省略する。
図53は、システム一連に関する動作例のフローチャートを示している。以下では、図53を用いて、照明V202_1とセンシングの連携の例について説明する。
V201_1の中継器#1はセンシングを実施する(N1001)。
センシングの結果、V201_1の中継器#1は、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。
V201_1の中継器#1は、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。
V201_1の中継器#1は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、ネットワークN710、N701のAPを介し、V201_1の中継器#1に、照明V202_1の制御に関する情報を送信したものとする。すると、V201_1の中継器#1は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、V201_1の中継器#1は、対象となる機器(図117の場合、照明V202_1)に、制御情報を送信する(N1005)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(N1006)。
そして、V201_1の中継器#1は、次のセンシングを行っていることになる(N1001)。
一方で、V201_1の中継器#1は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、V201_1の中継器#1は制御情報を、ネットワークN710、N701のAPを介し、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、V201_1の中継器#1は、次のセンシングを行っていることになる(N1001)。
例えば、N1005において、V201_1の中継器#1が、照明V202_1に対して、制御情報を送信する場合を考える。この場合、V201_1の中継器#1がセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバN720は、照明V202_1の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、ネットワークN710、N701のAPを介し、V201_1の中継器#1に送信する。そして、V201_1の中継器#1は、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_1に送信し、照明V202_1は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
図53は、システム一連に関する動作例のフローチャートを示している。以下では、図53を用いて、照明V202_3とセンシングの連携の例について説明する。
V201_3の中継器#3はセンシングを実施する(N1001)。
センシングの結果、V201_3の中継器#3は、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。
V201_3の中継器#3は、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。
V201_3の中継器#3は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、ネットワークN710、N701のAPを介し、V201_3の中継器#3に、照明V202_3の制御に関する情報を送信したものとする。すると、V201_3の中継器#3は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、V201_3の中継器#3は、対象となる機器(図117の場合、照明V202_3)に、制御情報を送信する(N1005)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(N1006)。
そして、V201_3の中継器#3は、次のセンシングを行っていることになる(N1001)。
一方で、V201_3の中継器#3は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、V201_3の中継器#3は制御情報を、ネットワークN710、N701のAPを介し、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、V201_3の中継器#3は、次のセンシングを行っていることになる(N1001)。
例えば、N1005において、V201_3の中継器#3が、照明V202_3に対して、制御情報を送信する場合を考える。この場合、V201_3の中継器#3がセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバN720は、照明V202_3の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、ネットワークN710、N701のAPを介し、V201_3の中継器#3に送信する。そして、V201_3の中継器#3は、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_3に送信し、照明V202_3は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
図53は、システム一連に関する動作例のフローチャートを示している。以下では、図53を用いて、照明V202_2とセンシングの連携、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203とセンシングの連携、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204とセンシングの連携、の例について説明する。
V201_2の中継器#2はセンシングを実施する(N1001)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、V201_2の中継器#2は、対象となる機器(図117の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(N1005)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(N1006)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(N1001)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、V201_2の中継器#2は制御情報を、ネットワークN710、N701のAP、V201_1の中継器#1を介し、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(N1001)。
例えば、N1005において、V201_2の中継器#2が、照明V202_2に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバN720は、照明V202_2の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に送信する。そして、V201_2の中継器#2は、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_2に送信し、照明V202_2は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、N1005において、V201_2の中継器#2が、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人の位置の情報に基づいて、クラウドサーバN720は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に送信する。そして、V201_2の中継器#2は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に送信し、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報に基づいて、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
そして、N1005において、V201_2の中継器#2が、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人の位置の情報に基づいて、クラウドサーバN720は「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に送信する。そして、V201_2の中継器#2は、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に送信し、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204は、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報に基づいて、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図53を用いて、別の動作について説明する。
例えば、V201_2の中継器#2はセンシングを実施する(N1001)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(N1002)。特に、人および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の検出を行うものとする。このとき、動かない家電を検出してもよいものとする。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(N1002 NO)場合、「センシング実施N1001」に行く。特に、ここでは、人および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出していないものとする。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードする(N1003)。特に、ここでは、V201_2の中継器#2は、宅内の、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出したものとする。V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報(「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出できたということ)をアップロードする(N1003)。
これに伴い、クラウドサーバN720は、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
特に、ここでは、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出できたことから、クラウドサーバN720は、ネットワークN710、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。
なお、照明V202_2の制御に関する情報については、上述で説明したとおりであるものとする。
「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報としては、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203が検出できたため、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204と接続できるようにするために、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204をONにすると情報を、クラウドサーバN720は、送信するものとする。あわせて、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203と接続するための起動実施に関する制御情報をクラウドサーバN720は、送信してもよい。
したがって、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(N1004 YES)。
すると、V201_2の中継器#2は、対象となる機器(図117の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(N1005)。特に、ここでは、V201_2の中継器#2は、照明V202_2、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に、上述の制御情報を送信する。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(N1006)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(N1001)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(N1002 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークN710を介し、クラウドサーバN720に、宅内の状況に関する情報をアップロードしたが(N1003)、V201_2の中継器#2は制御情報を、ネットワークN710、N701のAP、V201_1の中継器#1を介し、クラウドサーバN720から得なかったものとする(N1004 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(N1001)。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。また、センシングに伴い、複数の機器が連動して、制御されることによって、ユーザの利便性が、さらに改善するという効果を得ることができる。
図54は、V201_1の中継器#1、N720のクラウドサーバの動作例のフローチャートを示している。
V201_1の中継器#1は、センシングを行い(N1101)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークN710を介し、クラウドサーバにアップロードする(N1102)。
N720のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、N720のクラウドサーバは、「新しい状態を検出したか」、を確認する(N1103)。
N720のクラウドサーバは、新しい状態が確認できた(N1103 YES)とき、宅内の状況に関する情報を更新する(N1104)。そして、次の、V201_1の中継器#1のセンシング実施(N1101)となる。
N720のクラウドサーバは、新しい状態が確認できないとき(N1103 NO)とき、次の、V201_1の中継器#1のセンシング実施(N1101)となる。
また、図54は、V201_2の中継器#2、N720のクラウドサーバの動作例のフローチャートと考えてもよい。
V201_2の中継器#2は、センシングを行い(N1101)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、V201_1の中継器#1、N701のAP、ネットワークN710を介し、クラウドサーバにアップロードする(N1102)。
N720のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、N720のクラウドサーバは、「新しい状態を検出したか」、を確認する(N1103)。
N720のクラウドサーバは、新しい状態が確認できた(N1103 YES)とき、宅内の状況に関する情報を更新する(N1104)。そして、次の、V201_2の中継器#2のセンシング実施(N1101)となる。
N720のクラウドサーバは、新しい状態が確認できないとき(N1103 NO)とき、次の、V201_2の中継器#2のセンシング実施(N1101)となる。
そして、図54は、V201_3の中継器#3、N720のクラウドサーバの動作例のフローチャートと考えてもよい。
V201_3の中継器#3は、センシングを行い(N1101)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、V201_1の中継器#1、N701のAP、ネットワークN710を介し、クラウドサーバにアップロードする(N1102)。
N720のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、N720のクラウドサーバは、「新しい状態を検出したか」、を確認する(N1103)。
N720のクラウドサーバは、新しい状態が確認できた(N1103 YES)とき、宅内の状況に関する情報を更新する(N1104)。そして、次の、V201_3の中継器#3のセンシング実施(N1101)となる。
N720のクラウドサーバは、新しい状態が確認できないとき(N1103 NO)とき、次の、V201_3の中継器#3のセンシング実施(N1101)となる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
例えば、図117のN703の機器#C、スマートフォンN731を用いて、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をクラウドサーバN720に登録してもよい。また、これらの機器以外の機器を用い、少なくともN701のAPを介し、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をクラウドサーバN720に登録してもよい。このように、センシングを行うことなく、クラウドサーバN720にN700の宅内に存在する家電の情報を登録してもよい。そして、N700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が電波を送信し、N701のAPを介し、クラウドサーバN720に、N700の宅内に存在する家電の情報を登録してもよい。
また、図117において、家電(例えば、オーディオN702、照明N704、N703の機器#C、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が、センシングを実施してもよい。
例えば、図51において、「宅内の状況をセンシングN801」と記載しているが、宅内の状況のセンシングを、家電が行ってもよい。この場合、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N802)を行う機器の一つに家電があることになる。
そして、図53において、「センシング実施」(N1001)するのが、家電であってもよい。家電は、その後、「宅内の人を含む動くものを検出したか」(N1002)、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N1003)の動作を行うことになる。
さらに、図54において、「センシングを実施」(N1101)するのが、家電であってもよい。家電は、その後、「宅内の状況に関する情報をクラウドサーバN720にアップロード」(N1102)を実施することになる。
また、以下のようなことを実施することが可能である。
例として、図117の照明V202_3に着目して説明する。
上記で説明したように、V201_3の中継器#3は、センシングを行うことにより、照明V203_3のセンシングに関連する情報を得る。そして、V201_3の中継器#3は、照明V203_3のセンシングに関する情報を、V201_1の中継器#1、および/または、V201_2の中継器#2、および/または、N701のAP、および/または、クラウドサーバN720に伝送するものとする。
そして、例えば、V201_1の中継器#1も、センシングを行うことにより、照明V203_3のセンシングに関する情報を、V201_2の中継器#2、および/または、V201_3の中継器#3、および、または、N701のAP、および/または、クラウドサーバN720に伝送するものとする。
例えば、クラウドサーバN702が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、クラウドサーバN702は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。
同様に、N701のAPが、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、N701のAPは、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、N701のAPは、三角測量を行った結果の情報をクラウドサーバN720に伝送してもよい。
V201_2の中継器#2が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、V201_2の中継器#2は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_2の中継器#2は、三角測量を行った結果の情報をクラウドサーバN720に伝送してもよい。
V201_1の中継器#1が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_1の中継器#1は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_1の中継器#1は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_1の中継器#1は、三角測量を行った結果の情報をクラウドサーバN720に伝送してもよい。
V201_3の中継器#3が、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_3の中継器#3は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_3の中継器#3は、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_3の中継器#3は、三角測量を行った結果の情報をクラウドサーバN720に伝送してもよい。
なお、上述において、センシングによって、照明V203_3のセンシングに関連する情報を得る例で説明したが、あくまでもこれは例であり、AP、中継器が、センシングにより、家電のセンシングに関連する情報、人のセンシングに関連する情報、宅内に存在する物体のセンシングに関連する情報を、AP、中継器、クラウドサーバに伝送し、これらの情報を共有し、AP、中継器、クラウドサーバが三角測量を行うことで、対象物のより正確な位置を求めることができるという効果を得ることができる。
本実施の形態において、図117のシステム構成を例として説明したが、これに限ったものではなく、例えば、宅内にAPが複数存在していてもよく、また、宅内に中継器は存在していなくてもよく、また、宅内に中継器が一つ以上存在するようなシステムであってもよい。また、AP、中継器などがセンシングによって、検出、測定する対象物は、本実施の形態で説明したものに限ったものではない。また、図117において、AP、中継器を配置している場所を宅内として説明しているが、これに限ったものではなく、例えば、コンビニエンスストア、スーパーマーケット、駐車場、競技場、スタジアム、ホール、ビル、ビル内、駅、空港、工場、航空機内、船舶内、車内、鉄道内などにAP,中継器を配置して、本実施の形態で説明した内容を実施しても、同様に実施することは可能である。
(実施の形態18)
本実施の形態では、実施の形態9の変形例について説明する。
本実施の形態では、実施の形態9の変形例について説明する。
図118は、本実施の形態における各装置の状態の例を示している。なお、図55、図117と同様に動作するものについては、同一番号を付している。そして、実施の形態9で、すでに説明を行っているものについては、説明を省略する。
図118において、特徴的な点は、宅内N700に中継器が存在している点である。以下では、この点について詳しく説明を行う。
V201_1の中継器#1は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_1の中継器#1を介して、N701のAPと通信を行うことになる。
また、V201_2の中継器#2は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_2の中継器#2、および、V201_1の中継器#1を介し、N701のAPと通信を行うことになる。
そして、V201_3の中継器#3は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_3の中継器#3を介し、N701のAPと通信を行うことになる。
加えて、V201_1の中継器#1、201_2の中継器#2、V201_3の中継器#3は、センシングの機能を有していてもよい。
例えば、V201_1の中継器#1は、図56の動作を行う。
まず、V201_1の中継器#1は、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_1)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、サーバQ101にアップロードする(Q202)。
これにより、V201_1の中継器#1は、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、V201_1の中継器#1設置後、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作をV201_1の中継器#1が行ってもよい。
また、V201_2の中継器#2は、図56の動作を行う。
まず、V201_2の中継器#2は、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_2、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、V201_1の中継器#1、N701のAPを介し、サーバQ101にアップロードする(Q202)。
これにより、V201_2の中継器#2は、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、V201_2の中継器#2設置後、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作をV201_2の中継器#2が行ってもよい。
そして、V201_3の中継器#3は、図56の動作を行う。
まず、V201_3の中継器#3は、センシングを行い(Q201)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電(ここでは、例えば、照明V202_3)の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAPを介し、サーバQ101にアップロードする(Q202)。
これにより、V201_3の中継器#3は、初期センシングが終了することになる(Q203)。なお、初期センシングと記載しているが、V201_3の中継器#3設置後、定期的、または、不定期的、または、規則的、または、不規則的に図56の動作をV201_3の中継器#3が行ってもよい。
例えば、V201_1の中継器#1は、図57の動作を行う。
V201_1の中継器#1は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_1)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_1の中継器#1が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_1の中継器#1)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を省略する。
また、V201_2の中継器#2は、図57の動作を行う。
V201_2の中継器#2は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_2、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)の情報、電子機器の情報を、V201_1の中継器#1、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_2の中継器#2が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_2の中継器#2)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を一部省略する。
そして、V201_3の中継器#3は、図57の動作を行う。
V201_3の中継器#3は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_3)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_3の中継器#3が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_3の中継器#3)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を省略する。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_1とセンシングの連携の例について説明する。
V201_1の中継器#1はセンシングを実施する(Q401)。
センシングの結果、V201_1の中継器#1は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_1の中継器#1は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_1の中継器#1は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102を介し、V201_1の中継器#1に、照明V202_1の制御に関する情報を送信したものとする。すると、V201_1の中継器#1は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_1の中継器#1は、対象となる機器(図118の場合、照明V202_1)に、制御情報を送信する(Q405)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_1の中継器#1は、次のセンシングを行っていることになる(Q401)。
一方で、V201_1の中継器#1は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_1の中継器#1は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_1の中継器#1は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_1の中継器#1が、照明V202_1に対して、制御情報を送信する場合を考える。この場合、V201_1の中継器#1がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_1の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_1に送信し、照明V202_1は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_3とセンシングの連携の例について説明する。
V201_3の中継器#3はセンシングを実施する(Q401)。
センシングの結果、V201_3の中継器#3は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_3の中継器#3は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_3の中継器#3は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102を介し、V201_3の中継器#3に、照明V202_3の制御に関する情報を送信したものとする。すると、V201_3の中継器#3は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_3の中継器#3は、対象となる機器(図118の場合、照明V202_3)に、制御情報を送信する(Q405)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_3の中継器#3は、次のセンシングを行っていることになる(Q401)。
一方で、V201_3の中継器#3は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_3の中継器#3は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_3の中継器#3は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_3の中継器#3が、照明V202_3に対して、制御情報を送信する場合を考える。この場合、V201_3の中継器#3がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_3の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_3の中継器#3を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_3に送信し、照明V202_3は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_2とセンシングの連携、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203とセンシングの連携、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204とセンシングの連携、の例について説明する。
V201_2の中継器#2はセンシングを実施する(Q401)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_2の中継器#2は、対象となる機器(図118の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(Q405)。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_2の中継器#2は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_2の中継器#2が、照明V202_2に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_2の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_2に送信し、照明V202_2は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、例えば、Q405において、V201_2の中継器#2が、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に送信し、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203は、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
そして、例えば、Q405において、V201_2の中継器#2が、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に送信し、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204は、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図58を用いて、別の動作について説明する。
例えば、V201_2の中継器#2はセンシングを実施する(Q401)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。特に、人および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の検出を行うものとする。このとき、動かない家電を検出していないものとする。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。特に、ここでは、V201_2の中継器#2は、宅内の、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出したものとする。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
特に、ここでは、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出できたことから、サーバQ101は、ネットワークQ102、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。
なお、照明V202_2の制御に関する情報については、上述で説明したとおりであるものとする。
「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報としては、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203が検出できたため、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204と接続できるようにするために、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204をONにすると情報を、サーバQ101は、送信するものとする。あわせて、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203と接続するための起動実施に関する制御情報をクラウドサーバN720は、送信してもよい。
すると、V201_2の中継器#2は、対象となる機器(図118の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(Q405)。特に、ここでは、V201_2の中継器#2は、照明V202_2、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に、上述の制御情報を送信する。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_2の中継器#2は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。また、センシングに伴い、複数の機器が連動して、制御されることによって、ユーザの利便性が、さらに改善するという効果を得ることができる。
図59は、V201_1の中継器#1、サーバQ101の動作例のフローチャートを示している。
V201_1の中継器#1は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。そして、次の、V201_1の中継器#1のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_1の中継器#1のセンシング実施(Q501)となる。
また、図59は、V201_2の中継器#2、サーバQ101の動作例のフローチャートと考えてもよい。
V201_2の中継器#2は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。そして、次の、V201_2の中継器#2のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_2の中継器#2のセンシング実施(Q501)となる。
そして、図59は、V201_3の中継器#3、サーバQ101の動作例のフローチャートと考えてもよい。
V201_3の中継器#3は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。そして、次の、V201_3の中継器#3のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_3の中継器#3のセンシング実施(Q501)となる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
なお、図118において、N701のAP、Q102のネットワーク、サーバQ101が一つの装置で構成されていてもよい。このとき、ネットワークQ102は、有線、無線通信どちらであってもよく、したがって、N701のAPとサーバQ101が装置内で有線、または、無線で接続されていることになる。
例えば、図118のN703の機器#C、スマートフォンN731を用いて、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をサーバQ101に登録してもよい。また、これらの機器以外の機器を用い、少なくともN701のAPを介し、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をサーバQ101に登録してもよい。このように、センシングを行うことなく、サーバQ101にN700の宅内に存在する家電の情報を登録してもよい。そして、N700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が電波を送信し、N701のAPを介し、サーバQ101に、N700の宅内に存在する家電の情報を登録してもよい。
また、図118において、家電(例えば、オーディオN702、照明N704、N703の機器#C、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が、センシングを実施してもよい。
例えば、図56において、「宅内の状況をセンシングQ201」と記載しているが、宅内の状況のセンシングを、家電が行ってもよい。この場合、「宅内の状況に関する情報をサーバQ101にアップロード」(Q202)を行う機器の一つに家電があることになる。
そして、図58において、「センシング実施」(Q401)するのが、家電であってもよい。家電は、その後、「宅内の人を含む動くものを検出したか」(Q402)、「宅内の状況に関する情報をサーバQ101にアップロード」(Q403)の動作を行うことになる。
さらに、図59において、「センシングを実施」(Q501)するのが、家電であってもよい。家電は、その後、「宅内の状況に関する情報をサーバQ101にアップロード」(Q502)を実施することになる。
また、以下のようなことを実施することが可能である。
例として、図118の照明V202_3に着目して説明する。
上記で説明したように、V201_3の中継器#3は、センシングを行うことにより、照明V203_3のセンシングに関連する情報を得る。そして、V201_3の中継器#3は、照明V203_3のセンシングに関する情報を、V201_1の中継器#1、および/または、V201_2の中継器#2、および/または、N701のAP、および/または、サーバQ101に伝送するものとする。
そして、例えば、V201_1の中継器#1も、センシングを行うことにより、照明V203_3のセンシングに関する情報を、V201_2の中継器#2、および/または、V201_3の中継器#3、および、または、N701のAP、および/または、サーバQ101に伝送するものとする。
例えば、サーバQ101が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、クラウドサーバN702は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。
同様に、N701のAPが、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、N701のAPは、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、N701のAPは、三角測量を行った結果の情報をサーバQ101に伝送してもよい。
V201_2の中継器#2が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、V201_2の中継器#2は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_2の中継器#2は、三角測量を行った結果の情報をサーバQ101に伝送してもよい。
V201_1の中継器#1が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_1の中継器#1は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_1の中継器#1は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_1の中継器#1は、三角測量を行った結果の情報をサーバQ101に伝送してもよい。
V201_3の中継器#3が、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_3の中継器#3は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_3の中継器#3は、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_3の中継器#3は、三角測量を行った結果の情報をサーバQ101に伝送してもよい。
なお、上述において、センシングによって、照明V203_3のセンシングに関連する情報を得る例で説明したが、あくまでもこれは例であり、AP、中継器が、センシングにより、家電のセンシングに関連する情報、人のセンシングに関連する情報、宅内に存在する物体のセンシングに関連する情報を、AP、中継器、サーバに伝送し、これらの情報を共有し、AP、中継器、サーバが三角測量を行うことで、対象物のより正確な位置を求めることができるという効果を得ることができる。
本実施の形態において、図118のシステム構成を例として説明したが、これに限ったものではなく、例えば、宅内にAPが複数存在していてもよく、また、宅内に中継器は存在していなくてもよく、また、宅内に中継器が一つ以上存在するようなシステムであってもよい。また、AP、中継器などがセンシングによって、検出、測定する対象物は、本実施の形態で説明したものに限ったものではない。また、図118において、AP、中継器を配置している場所を宅内として説明しているが、これに限ったものではなく、例えば、コンビニエンスストア、スーパーマーケット、駐車場、競技場、スタジアム、ホール、ビル、ビル内、駅、空港、工場、航空機内、船舶内、車内、鉄道内などにAP、中継器を配置して、本実施の形態で説明した内容を実施しても、同様に実施することは可能である。
(実施の形態19)
本実施の形態では、実施の形態18の変形例について説明する。
本実施の形態では、実施の形態18の変形例について説明する。
本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
図119は、本実施の形態における各装置の状態の例を示している。なお、図117、図118と同様に動作するものについては、同一番号を付している。
N700は例と宅内という空間を示している。図116に示すように、例えば、宅内N700には、AP(アクセスポイント)N701、オーディオN702、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N703、照明器具N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204が存在するものとする。なお、機器N703を以降では、機器#Cと呼ぶことにする。そして、例えば、宅内N700にサーバQ101が存在しているものとする。
なお、サーバQ101をエッジサーバ、エッジコンピュータと呼んでもよい。この点については、図117でも同様である。
図119において、特徴的な点は、宅内N700に中継器が存在している点である。
V201_1の中継器#1は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_1の中継器#1を介して、N701のAPと通信を行うことになる。
また、V201_2の中継器#2は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_2の中継器#2、および、V201_1の中継器#1を介し、N701のAPと通信を行うことになる。
そして、V201_3の中継器#3は、通信機能を搭載している機器(ただし、中継器を除く)と通信を行っているものとする。このとき、この通信機能を搭載している機器は、V201_3の中継器#3を介し、N701のAPと通信を行うことになる。
加えて、V201_1の中継器#1、201_2の中継器#2、V201_3の中継器#3は、センシングの機能を有していてもよい。
また、宅内N700には、人N705が生活していることになる。
N701のAPは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
そして、N701のAPは、例えば、オーディオN702、N703の機器#C、照明N704、V201_1の中継器#1、V201_3の中継器#3などと通信を行うものとする。なお、N701のAPは、これら以外の装置と通信を行ってもよい。
また、N701のAPは、ネットワークQ102を介し、サーバQ101と通信を行っているものとする。
さらに、N701のAPは、ネットワークN710を介し、基地局N730と通信を行っているものとする。
基地局N730は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器N731と通信を行っているものとする。なお、機器N731を以降では、機器#Dと呼ぶことにする。
そして、図117と同様、N701のAPは、ネットワーク710を介し、クラウドサーバN720と通信を行っているものとする。
なお、以下では、他の実施の形態で、すでに説明を行っている内容については、説明を省略する。このため、以下では、特に、V201_1の中継器#1、V201_2の中継器#2、V201_3の中継器#3に関連する動作について説明を行う。
V201_1の中継器#1、V201_2の中継器#2、V201_3の中継器#3は、図56の動作を行う。このときの動作については、すでに説明を行っているので説明を省略する。
例えば、V201_1の中継器#1は、図57の動作を行う。
V201_1の中継器#1は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_1)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_1の中継器#1が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_1の中継器#1)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を省略する。
その後、サーバQ101は、「宅内の機器の動作とV201_1の中継器#1が行ったセンシングの連携に関する情報」、または、その一部をクラウドサーバ720にアップロードする。このように、サーバQ101は、一部の信号処理を行うことになり、これにより、伝送するためのデータ量を削減して、クラウドサーバN720にデータを伝送することが可能となり、データ伝送効率を改善することができるという効果を得ることができる。
また、V201_2の中継器#2は、図57の動作を行う。
V201_2の中継器#2は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_2、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)の情報、電子機器の情報を、V201_1の中継器#1、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_2の中継器#2が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_2の中継器#2)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を一部省略する。
その後、サーバQ101は、「宅内の機器の動作とV201_2の中継器#2が行ったセンシングの連携に関する情報」、または、その一部をクラウドサーバ720にアップロードする。このように、サーバQ101は、一部の信号処理を行うことになり、これにより、伝送するためのデータ量を削減して、クラウドサーバN720にデータを伝送することが可能となり、データ伝送効率を改善することができるという効果を得ることができる。
そして、V201_3の中継器#3は、図57の動作を行う。
V201_3の中継器#3は、センシングによって得られた宅内の機器、例えば、家電(ここでは、例えば、照明V202_3)の情報、電子機器の情報を、N701のAPを介して、サーバQ101にアップロードする(Q301)。
そして、宅内の機器の動作とV201_3の中継器#3が行ったセンシングの連携に関する情報をサーバQ101にアップロードする(Q302)。なお、宅内の機器の動作とセンシング可能な機器(ここでは、V201_3の中継器#3)のセンシングの連携、連携の登録に関しては、実施の形態7、実施の形態9で例を説明しているので説明を省略する。
その後、サーバQ101は、「宅内の機器の動作とV201_3の中継器#3が行ったセンシングの連携に関する情報」、または、その一部をクラウドサーバ720にアップロードする。このように、サーバQ101は、一部の信号処理を行うことになり、これにより、伝送するためのデータ量を削減して、クラウドサーバN720にデータを伝送することが可能となり、データ伝送効率を改善することができるという効果を得ることができる。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_1とセンシングの連携の例について説明する。
V201_1の中継器#1はセンシングを実施する(Q401)。
センシングの結果、V201_1の中継器#1は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_1の中継器#1は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_1の中継器#1は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102を介し、V201_1の中継器#1に、照明V202_1の制御に関する情報を送信したものとする。すると、V201_1の中継器#1は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_1の中継器#1は、対象となる機器(図119の場合、照明V202_1)に、制御情報を送信する(Q405)。
また、V201_1の中継器#1は、この制御情報を、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_1の中継器#1は、次のセンシングを行っていることになる(Q401)。
一方で、V201_1の中継器#1は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_1の中継器#1は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_1の中継器#1は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_1の中継器#1は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_1の中継器#1が、照明V202_1に対して、制御情報を送信する場合を考える。この場合、V201_1の中継器#1がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_1の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_1に送信し、照明V202_1は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、V201_1の中継器#1は、照明V202_1の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_3とセンシングの連携の例について説明する。
V201_3の中継器#3はセンシングを実施する(Q401)。
センシングの結果、V201_3の中継器#3は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_3の中継器#3は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_3の中継器#3は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102を介し、V201_3の中継器#3に、照明V202_3の制御に関する情報を送信したものとする。すると、V201_3の中継器#3は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_3の中継器#3は、対象となる機器(図119の場合、照明V202_3)に、制御情報を送信する(Q405)。
また、V201_3の中継器#3は、この制御情報を、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_3の中継器#3は、次のセンシングを行っていることになる(Q401)。
一方で、V201_3の中継器#3は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_3の中継器#3は、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_3の中継器#3は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_3の中継器#3は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_3の中継器#3が、照明V202_3に対して、制御情報を送信する場合を考える。この場合、V201_3の中継器#3がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_3の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_3の中継器#3を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_3に送信し、照明V202_3は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、V201_3の中継器#3は、照明V202_1の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
図58は、システム一連に関する動作例のフローチャートを示している。以下では、図58を用いて、照明V202_2とセンシングの連携、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203とセンシングの連携、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204とセンシングの連携、の例について説明する。
V201_2の中継器#2はセンシングを実施する(Q401)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
すると、V201_2の中継器#2は、対象となる機器(図119の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(Q405)。
また、V201_2の中継器#2は、この制御情報を、V201_1の中継器#1、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_2の中継器#2は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
例えば、Q405において、V201_2の中継器#2が、照明V202_2に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、照明V202_2の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「ON/OFF、または、光の照射指向性制御」に関する情報を照明V202_2に送信し、照明V202_2は、「ON/OFF、または、光の照射指向性制御」に関する情報に基づいて、照明のON/OFF、または、照明の照らす方向制御を行う。
また、V201_2の中継器#2は、照明V202_2の照明の「ON/OFF、または、光の照射指向性制御」に関する情報を、V201_1の中継器#1、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
例えば、Q405において、V201_2の中継器#2が、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203に送信し、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203は、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
また、V201_2の中継器#2は、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の例えば「ON/OFF」制御に関する情報を、V201_1の中継器#1、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
そして、例えば、Q405において、V201_2の中継器#2が、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に対して、制御情報を送信する場合を考える。この場合、V201_2の中継器#2がセンシングによって得た、人・動きもの位置の情報に基づいて、サーバQ101は、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を、N701のAPに送信する。そして、N701のAPは、V201_1の中継器#1、V201_2の中継器#2を介し、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に送信し、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204は、「ON/OFF」の制御を行う。なお、ここでは「ON/OFF」の制御の例を記載しているが、この制御以外の制御を行ってもよい。
また、V201_2の中継器#2は、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の例えば「ON/OFF」制御に関する情報を、V201_1の中継器#1、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
図58を用いて、別の動作について説明する。
例えば、V201_2の中継器#2はセンシングを実施する(Q401)。
センシングの結果、V201_2の中継器#2は、宅内の、人を含む動くものを検出したかどうかを確認する(Q402)。
V201_2の中継器#2は、宅内の、人を含む動くものを検出していない(Q402 NO)場合、「センシング実施Q401」に行く。特に、人および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の検出を行うものとする。このとき、動かない家電を検出していないものとする。
V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、N701のAP、V201_1の中継器#1、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードする(Q403)。特に、ここでは、V201_2の中継器#2は、宅内の、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出したものとする。
これに伴い、サーバQ101は、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、V201_2の中継器#2に、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203の制御に関する情報、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。すると、V201_2の中継器#2は、制御に関する情報(制御情報)を得ることになる(Q404 YES)。
特に、ここでは、「人」および「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を検出できたことから、サーバQ101は、ネットワークQ102、N701のAP、V201_1の中継器#1を介し、V201_2の中継器#2に、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報、または、照明V202_2の制御に関する情報を送信したものとする。
なお、照明V202_2の制御に関する情報については、上述で説明したとおりであるものとする。
「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報としては、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203が検出できたため、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203を「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204と接続できるようにするために、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204をONにすると情報を、サーバQ101は、送信するものとする。あわせて、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204の制御に関する情報として、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203と接続するための起動実施に関する制御情報をクラウドサーバN720は、送信してもよい。
すると、V201_2の中継器#2は、対象となる機器(図119の場合、照明V202_2、または、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器」V203、または、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204)に、制御情報を送信する(Q405)。特に、ここでは、V201_2の中継器#2は、照明V202_2、「ディスプレイ、プロジェクタ、テレビ、ヘッドマウントディスプレイ、ARグラス、ARゴーグル、VRグラス、VRゴーグルなどの表示装置」V204に、上述の制御情報を送信する。
また、V201_2の中継器#2は、上述の制御情報を、V201_1の中継器#1、N701のAP、ネットワーク710を介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する各機器の状態を把握していることになる。
これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する(Q406)。
そして、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
一方で、V201_2の中継器#2は、宅内の、人を含む動くものを検出した(Q402 YES)場合、V201_2の中継器#2は、V201_1の中継器#1、N701のAP、ネットワークQ102を介し、サーバQ101に、宅内の状況に関する情報をアップロードしたが(Q403)、V201_2の中継器#2は制御情報を、サーバQ101から得なかったものとする(Q404 NO)。この場合、V201_2の中継器#2は、次のセンシングを行っていることになる(Q401)。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。また、センシングに伴い、複数の機器が連動して、制御されることによって、ユーザの利便性が、さらに改善するという効果を得ることができる。
図59は、V201_1の中継器#1、サーバQ101の動作例のフローチャートを示している。
V201_1の中継器#1は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。また、サーバQ101は、更新情報を、N701のAPを介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する宅内N700の状態を把握していることになる。そして、次の、V201_1の中継器#1のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_1の中継器#1のセンシング実施(Q501)となる。
また、図59は、V201_2の中継器#2、サーバQ101の動作例のフローチャートと考えてもよい。
V201_2の中継器#2は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102、V201_1の中継器#1を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。また、サーバQ101は、更新情報を、N701のAPを介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する宅内N700の状態を把握していることになる。そして、次の、V201_2の中継器#2のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_2の中継器#2のセンシング実施(Q501)となる。
そして、図59は、V201_3の中継器#3、サーバQ101の動作例のフローチャートと考えてもよい。
V201_3の中継器#3は、センシングを行い(Q501)、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、N701のAP、ネットワークQ102を介し、サーバQ101にアップロードする(Q502)。
サーバQ101は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバQ101は、「新しい状態を検出したか」、を確認する(Q503)。
サーバQ101は、新しい状態が確認できた(Q503 YES)とき、宅内の状況に関する情報を更新する(Q504)。また、サーバQ101は、更新情報を、N701のAPを介し、クラウドサーバN720に送信する。これにより、クラウドサーバN720は、宅内N700に存在する宅内N700の状態を把握していることになる。そして、次の、V201_3の中継器#3のセンシング実施(Q501)となる。
サーバQ101は、新しい状態が確認できないとき(Q503 NO)とき、次の、V201_3の中継器#3のセンシング実施(Q501)となる。
なお、以下のことが可能となる。
図119におけるスマートフォンN731は、基地局N730、ネットワークN710を介し、クラウドサーバN720に接続することができる。したがって、ユーザは、スマートフォンN731を介し、クラウドサーバN720にアクセスし、宅内N700に存在する各機器の情報を把握することができる(スマートフォンN731がこの情報をクラウドサーバN720から得る)。
そして、ユーザは、スマートフォンN731を介し、クラウドサーバN720にアクセスし、宅内700に存在する各機器に対し、何等かの動作を実施するための情報を、スマートフォンN731がクラウドサーバN720に送信する。
その後、クラウドサーバN720が、宅内700に存在する各機器に対し、何等かの動作を実施するための情報を、例えば、N701のAP、V201_1の中継器#1、V201_2の中継器#2、V201_3の中継器#3、サーバQ101を介し、宅内700に存在する各機器に送信し、宅内700に存在する各機器は、この情報に基づき、動作を実施する。
以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
なお、図119において、N701のAP、Q102のネットワーク、サーバQ101が一つの装置で構成されていてもよい。このとき、ネットワークQ102は、有線、無線通信どちらであってもよく、したがって、N701のAPとサーバQ101が装置内で有線、または、無線で接続されていることになる。
例えば、図119のN703の機器#C、スマートフォンN731を用いて、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をサーバQ101に登録してもよい。また、これらの機器以外の機器を用い、少なくともN701のAPを介し、ユーザがN700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)の情報をサーバQ101に登録してもよい。このように、センシングを行うことなく、サーバQ101にN700の宅内に存在する家電の情報を登録してもよい。そして、N700の宅内に存在する家電(オーディオN702、照明N704、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が電波を送信し、N701のAPを介し、サーバQ101に、N700の宅内に存在する家電の情報を登録してもよい。
また、図119において、家電(例えば、オーディオN702、照明N704、N703の機器#C、照明V202_1、V202_2、V202_3、「スマートフォン、または、タブレット、または、コンピュータ、または映像機器V203」、表示装置V204を含む)が、センシングを実施してもよい。
例えば、図56において、「宅内の状況をセンシングQ201」と記載しているが、宅内の状況のセンシングを、家電が行ってもよい。この場合、「宅内の状況に関する情報をサーバQ101にアップロード」(Q202)を行う機器の一つに家電があることになる。
そして、図58において、「センシング実施」(Q401)するのが、家電であってもよい。家電は、その後、「宅内の人を含む動くものを検出したか」(Q402)、「宅内の状況に関する情報をサーバQ101にアップロード」(Q403)の動作を行うことになる。
さらに、図59において、「センシングを実施」(Q501)するのが、家電であってもよい。家電は、その後、「宅内の状況に関する情報をサーバQ101にアップロード」(Q502)を実施することになる。
また、以下のようなことを実施することが可能である。
例として、図119の照明V202_3に着目して説明する。
上記で説明したように、V201_3の中継器#3は、センシングを行うことにより、照明V203_3のセンシングに関連する情報を得る。そして、V201_3の中継器#3は、照明V203_3のセンシングに関する情報を、V201_1の中継器#1、および/または、V201_2の中継器#2、および/または、N701のAP、および/または、サーバQ101、および/または、クラウドサーバN720に伝送するものとする。
そして、例えば、V201_1の中継器#1も、センシングを行うことにより、照明V203_3のセンシングに関する情報を、V201_2の中継器#2、および/または、V201_3の中継器#3、および、または、N701のAP、および/または、サーバQ101、および/または、クラウドサーバN720に伝送するものとする。
例えば、サーバQ101が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、クラウドサーバN702は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、サーバQ101は、三角測量を行った結果の情報をクラウドサーバN720に伝送してもよい。
同様に、クラウドサーバN720が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、クラウドサーバN702は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、クラウドサーバN720は、三角測量を行った結果の情報をサーバQ101に伝送してもよい。
N701のAPが、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、N701のAPは、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、N701のAPは、三角測量を行った結果の情報をサーバQ101、クラウドサーバN720に伝送してもよい。
V201_2の中継器#2が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとする。すると、V201_2の中継器#2は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_2の中継器#2は、三角測量を行った結果の情報をサーバQ101、クラウドサーバN720に伝送してもよい。
V201_1の中継器#1が、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_1の中継器#1は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_1の中継器#1は、「V201_3の中継器#3が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_1の中継器#1は、三角測量を行った結果の情報をサーバQ101、クラウドサーバN720に伝送してもよい。
V201_3の中継器#3が、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」を得たものとし、また、V201_3の中継器#3は、自身で照明V203_3のセンシングに関連する情報を得ている。すると、V201_3の中継器#3は、「V201_1の中継器#1が送信した照明V203_3のセンシングに関連する情報」、および、「自身で得た照明V203_3のセンシングに関連する情報」により、他の実施の形態等で説明した三角測量を実施することができ、より正確な位置の情報などを求めることができるという効果を得ることができる。なお、V201_3の中継器#3は、三角測量を行った結果の情報をサーバQ101、クラウドサーバN720に伝送してもよい。
なお、上述において、センシングによって、照明V203_3のセンシングに関連する情報を得る例で説明したが、あくまでもこれは例であり、AP、中継器が、センシングにより、家電のセンシングに関連する情報、人のセンシングに関連する情報、宅内に存在する物体のセンシングに関連する情報を、AP、中継器、サーバ、クラウドサーバに伝送し、これらの情報を共有し、AP、中継器、サーバ、クラウドサーバが三角測量を行うことで、対象物のより正確な位置を求めることができるという効果を得ることができる。
本実施の形態において、図119のシステム構成を例として説明したが、これに限ったものではなく、例えば、宅内にAPが複数存在していてもよく、また、宅内に中継器は存在していなくてもよく、また、宅内に中継器が一つ以上存在するようなシステムであってもよい。また、AP、中継器などがセンシングによって、検出、測定する対象物は、本実施の形態で説明したものに限ったものではない。また、図119において、AP、中継器を配置している場所を宅内として説明しているが、これに限ったものではなく、例えば、コンビニエンスストア、スーパーマーケット、駐車場、競技場、スタジアム、ホール、ビル、ビル内、駅、空港、工場、航空機内、船舶内、車内、鉄道内などにAP、中継器を配置して、本実施の形態で説明した内容を実施しても、同様に実施することは可能である。
(実施の形態20)
他の実施の形態において、センシング用の信号を送信する装置について説明を行った。このとき、この装置が送信する変調信号について説明を行う。
他の実施の形態において、センシング用の信号を送信する装置について説明を行った。このとき、この装置が送信する変調信号について説明を行う。
図120は、本実施の形態における「センシングシステム」、または、「センシングおよび通信システム」の例を示している。
W101_1の第1_1装置、および、W101_2の第1_2装置は、センシングおよび(無線)通信を行うことができる装置であるものとする。
第2装置W102は、W101_1の第1_1装置、W101_2の第1_2装置のいずれかに、「ターゲット(物体)W103をセンシングする」ことの依頼を行うものとする。
例えば、第2装置W102は、W101_1の第1_1装置に、「ターゲット(物体)W103をセンシングする」ことの依頼を行う場合を考える。
図121は、図120におけるW101_1の第1_1装置、第1_2装置W101_2が送信するセンシング能力に関する情報W201の構成例である。なお、センシング能力に関する情報W201を含む制御情報を、例えば、PBCH(Physical Broadcast Channel)、PDSCH(Physical Downlink Shared Channel)、PDCCH(Physical Downlink Control Channel)を用いて、基地局は送信するとしてもよい。なお、この制御情報を送信するために用いるチャネルは、上述の例に限ったものではない。
図121に示すように、センシング能力に関する情報W201は、「センシング可能/不可に関する情報W211」、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」のうち少なくとも一つ含んでいるものとする。
「センシング可能/不可に関する情報W211」、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」の具体的な例として、以下であるものとする。
「センシング可能/不可に関する情報W211」:
基地局が、センシングの実施が可能であるか否か、を、例えば、端末、中継器、他の基地局など(図120の場合、例えば、第2装置W102。なお、W101_1の第1_X装置でもよい(X=1、2))に通知するための情報が、「センシング可能/不可に関する情報W211」である。
基地局が、センシングの実施が可能であるか否か、を、例えば、端末、中継器、他の基地局など(図120の場合、例えば、第2装置W102。なお、W101_1の第1_X装置でもよい(X=1、2))に通知するための情報が、「センシング可能/不可に関する情報W211」である。
したがって、少なくとも、「「センシング可能/不可に関する情報W211」として、「センシングの実施が可能である」という情報が含まれているとき、W101_1の第1_1装置、第1_2装置W101_2は、センシング機能を有しているものとする。また、このW101_1の第1_1装置、第1_2装置W101_2は、通信機能を有しているものとする。なお、具体的な構成については、他の実施の形態で、すでに説明を行っているので、説明を省略する。
「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」:
第1_X装置が、第2装置W102からセンシングの依頼(第1_X装置がセンシングを行うという端末の要求)があったとき、「センシングの実施が可能であるか否か」という情報を、例えば、第2装置W102などに通知するための情報が、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」である。
第1_X装置が、第2装置W102からセンシングの依頼(第1_X装置がセンシングを行うという端末の要求)があったとき、「センシングの実施が可能であるか否か」という情報を、例えば、第2装置W102などに通知するための情報が、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」である。
なお、ここでは、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」と名付けているが、「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」は、「第2装置W102以外の装置、例えば、中継器、他の基地局からのセンシングの依頼に対する実施可能/不可に関する情報」であってもよい。
「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」:
第1_X装置が、第2装置W102からセンシングの依頼(第1_X装置がセンシングを行うという第2装置W102の要求)があったとき、「第2装置W102からのセンシングの受付を行うか否か」という情報を、例えば、第2装置W102などに通知するための情報が、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」である。
第1_X装置が、第2装置W102からセンシングの依頼(第1_X装置がセンシングを行うという第2装置W102の要求)があったとき、「第2装置W102からのセンシングの受付を行うか否か」という情報を、例えば、第2装置W102などに通知するための情報が、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」である。
したがって、第1_X装置は、第2装置W102からセンシングの依頼があっても、「受け付けるとき」と「受け付けない」ときのモードが存在することになる。
なお、ここでは、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」と名付けているが、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」は「第2装置W102以外の装置、例えば、中継器、他の基地局からのセンシング依頼の受付が可能/不可に関する情報」であってもよい。
以上のようにすることで、第1_X装置、第2装置W102などは、第1_X装置のセンシング、および、センシングの依頼に対する状態を知ることができるため、好適な「センシングに関する制御、および、第1_X装置との通信」を行うことができるという効果を得ることができる。
なお、上述では、図121のセンシング能力に関する情報W201を送信する装置を第1_X装置として説明を行っているが、これは、あくまでも例であり、センシング能力に関する情報W201を、基地局、中継器、端末、アクセスポイントなどの通信装置が送信してもよい。
また、図121のセンシング能力に関する情報W201を送信する装置が送信する「第2装置W102からのセンシング依頼に対する実施可能/不可に関する情報W212」、「第2装置W102からのセンシング依頼の受付が可能/不可に関する情報W213」において、「第2装置W102からのセンシング依頼・・・」と記載しているが、第2装置W102以外、例えば、基地局、中継器、アクセスポイント、端末などの通信装置からのセンシング依頼であってもよい。したがって、W212は「通信装置からのセンシング依頼に対する実施可能/不可に関する情報」、W213は「通信装置からのセンシング依頼の受付が可能/不可に関する情報」としても実施可能である。
次に、図120におけるターゲットW103の位置を推定する方法について説明を行う。
第2装置W102は、W101_1の第1_1装置、W101_2の第1_2装置が送信した図121のセンシング能力に関する情報W201を得、W101_1の第1_1装置、W101_2の第1_2装置のセンシングの対応状況を知ることになる。以下では、例として、W101_1の第1_1装置、W101_2の第1_2装置、いずれもセンシングの実施が可能であるものとし、第2装置W102からセンシングの依頼がある場合、W101_1の第1_1装置、W101_2の第1_2装置、いずれもセンシング実施の依頼に対し、センシングの動作を実施することが可能であるものとする。
図122は、W101_1の第1_1装置と第2装置W102の動作の例を示している。なお、第2装置W102は、ターゲット(物体)W103の位置などの推定の実施を、W101_1の第1_1装置に依頼するものとする。
図122のように、第2装置W102は、W101_1の第1_1装置に、「ターゲット(物体)W103をセンシングするという依頼」の情報を送信する(W301)。
W101_1の第1_1装置は、この情報を受信する。そして、W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングするか否かの情報」を送信する(W311)。なお、ここでの例では、W101_1の第1_1装置は「センシングの依頼を受ける」として、説明を行う。
W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングする」ために、センシング用の信号を送信する(W312)。
そして、W101_1の第1_1装置は、センシング用の信号を受信し、例えば、ターゲット(物体)W103の位置を推定する(W313)。
なお、「W101_1の第1_1装置は位置推定を行う」と記載しているが、位置推定以外の推定、例えば、「ターゲット(物体)W103の形状の推定、ターゲット(物体)W103を構成している物体の推定、ターゲット(物体)W103の点群の推定、ターゲット(物体)W103の一部を抽出した部分の推定、ターゲット(物体)W103の動きの推定、ターゲット(物体)W103の点群の動きの推定、ターゲット(物体)W103の一部を抽出した部分の動きの推定」を、W101_1の第1_1装置は行ってもよい。このとき、各推定方法については、すでに他の実施の形態で説明を行っているので、説明を省略する。
W101_1の第1_1装置は、W313で得られた推定結果の情報を第2装置W102に送信する。
そして、第2装置W102は、この推定結果の情報を受信することになる(W303)。
なお、第2装置W102と「W313で得られた推定結果の情報」を共有する必要がない場合、W101_1の第1_1装置は、「W313で得られた推定結果の情報」を、第2装置W102に送信しなくてもよい。
以上のように、実施することで、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
図123は、図122とは異なる例を示しており、W101_1の第1_1装置、第2装置W102、ターゲット(物体)W103の動作の例を示している。なお、第2装置W102は、ターゲット(物体)W103の位置などの推定の実施を、W101_1の第1_1装置に依頼するものとする。
図123のように、第2装置W102は、W101_1の第1_1装置に、「ターゲット(物体)W103をセンシングするという依頼」の情報を送信する(W401)。
W101_1の第1_1装置は、この情報を受信する。そして、W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングするか否かの情報」を送信する(W411)。なお、ここでの例では、W101_1の第1_1装置は「センシングの依頼を受ける」として、説明を行う。
ターゲット(物体)W103は、第1_1装置にセンシングをしてもらうためのセンシング用の信号を送信する(W421)。
そして、W101_1の第1_1装置は、センシング用の信号を受信し、例えば、ターゲット(物体)W103の位置を推定する(W412)。
なお、「W101_1の第1_1装置は位置推定を行う」と記載しているが、位置推定以外の推定、例えば、「ターゲット(物体)W103の形状の推定、ターゲット(物体)W103を構成している物体の推定、ターゲット(物体)W103の点群の推定、ターゲット(物体)W103の一部を抽出した部分の推定、ターゲット(物体)W103の動きの推定、ターゲット(物体)W103の点群の動きの推定、ターゲット(物体)W103の一部を抽出した部分の動きの推定」を、W101_1の第1_1装置は行ってもよい。このとき、各推定方法については、すでに他の実施の形態で説明を行っているので、説明を省略する。
W101_1の第1_1装置は、W412で得られた推定結果の情報を第2装置W102に送信する。
そして、第2装置W102は、この推定結果の情報を受信することになる(W403)。
なお、第2装置W102と「W412で得られた推定結果の情報」を共有する必要がない場合、W101_1の第1_1装置は、「W412で得られた推定結果の情報」を、第2装置W102に送信しなくてもよい。
以上のように、実施することで、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
なお、上述において、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103は、センシングのために、センシング用の信号を送信するが、この信号をリファレンス信号、リファレンスシンボル、パイロットシンボル、パイロット信号、プリアンブルと呼んでもよい。ただし、呼び方は、この例に限ったものではない。
以下では、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の構成例について説明する。
図124A、図124Bは、「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103」の装置の構成例を示している。
信号生成部W502は、制御信号W500を入力とし、制御信号W500の情報に基づいて信号を生成し、出力する。その具体例について説明する。
第1の例:
例えば、制御信号W500が「通信用の変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポート(antenna port)からW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
例えば、制御信号W500が「通信用の変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポート(antenna port)からW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
制御信号W500が「通信用の変調信号、センシング用の信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、変調信号を、電波として送信するとともに、信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する。
制御信号W500が「センシング用の信号を送信する」ということを示している場合、信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する。
そして、センシング用の信号が、アンテナポート2106から送信されている場合、ターゲットW510にセンシング用の信号が例えば反射し、アンテナポートW512に反射波が届くことになる。(図124A)
なお、図124Bの場合、ターゲットW510が送信したセンシング用の信号が、アンテナポートW512に届くことになる。
例えば、制御信号W500が「通信用の復調を行う」ということを示している場合、アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、受信データW516を出力する。なお、Mは1以上の整数であるものとする。
制御信号W500が、「通信用の復調を行い、また、センシング用の処理を行う」ということを示している場合、アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、受信データW516を出力するとともに、信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する。
制御信号W500が、「センシング用の処理を行う」ということを示している場合、信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する。
なお、「ターゲットの距離情報などを出力」と記載しているが、距離推定以外の推定、例えば、「ターゲットの形状の推定、ターゲットを構成している物体の推定、ターゲットの点群の推定、ターゲットの一部を抽出した部分の推定、ターゲットの動きの推定、ターゲットの点群の動きの推定、ターゲットの一部を抽出した部分の動きの推定」であってもよいよく、これらの推定情報を出力するとしてもよい。
上記の例では、アンテナポートW505_1からW505_Nは通信用の送信アンテナポートであり、アンテナポートW506はセンシング用の送信アンテナポートである。また、アンテナポートW511_1からW511_Mは通信用の受信アンテナポートであり、アンテナポートW512はセンシング用の受信アンテナポートである。
なお、例えば、図124Aの構成をもつ「W101_1の第1_1装置、W101_2の第1_2装置」の装置が、センシング用の動作を行っているときの状態の例を図125A、図125Bに示す。例えば、図125Aのように、図124Aの構成をもつ「W101_1の第1_1装置、W101_2の第1_2装置」の装置が、センシング用の信号を送信する区間は、時刻v1と時刻v2の間に存在する信号送信区間W601であるものとする。
図124Aの構成をもつ「W101_1の第1_1装置、W101_2の第1_2装置」の装置は、「時刻v1と時刻v2の間に存在する信号送信区間W601」の信号を受信し、信号処理を行うことで、ターゲットのセンシングを行うことになる。したがって、図125Bのように、「時刻v1と時刻v2の間に存在する受信関連動作W602」の区間で、図124Aの構成をもつ「W101_1の第1_1装置、W101_2の第1_2装置」の装置は、センシングに関連する受信動作を実施することになる。
つまり、センシングを実施する際、「W101_1の第1_1装置、W101_2の第1_2装置」の装置は、信号送信区間の動作と信号受信関連動作の両者の処理を行う時間区間が存在する可能性がある。したがって、通信用のアンテナポートとセンシング用のアンテナポートを別々に具備するような装置構成であるとよい可能性がある。
なお、アンテナポートとは、1本または複数の物理アンテナから構成される論理的なアンテナ(アンテナグループ)であってもよい。すなわち、アンテナポートは必ずしも1本の物理アンテナを指すとは限らず、複数のアンテナから構成されるアレイアンテナ等を指すことがある。例えば、アンテナポートが何本の物理アンテナから構成されるかは規定されず、端末局が基準信号(リファレンス信号(Reference signal))を送信できる最小単位として規定されることがある。また、アンテナポートは、プリコーディングベクトル(Precoding vector)、または、プリコーディング行列の重み付けを乗算する単位、または、最小単位として規定されることもある。なお、アンテナポートに関する上述内容は、本明細書全体に関連する内容となる。
例えば、送信用のアンテナがあり、この送信用のアンテナが、複数の送信用のアンテナポートで使用されていてもよい。そして、例えば、受信用のアンテナがあり、この受信用のアンテナが、複数の受信用のアンテナポートで使用されていてもよい。また、例えば、アンテナがあり、このアンテナが、複数のアンテナポートで使用されていてもよい。なお、アンテナポートに関する上述内容は、本明細書全体に関連する内容となる。
第2の例:
次に、以下のように第1モード、第2モードを定義する。
次に、以下のように第1モード、第2モードを定義する。
第1モード(例えば、第1リリースの規格に対応したモード):
第1モードは、第1の通信方式に対応したモードであるものとする。
第1モードは、第1の通信方式に対応したモードであるものとする。
第2モード(例えば、第2リリースの規格に対応したモード):
第2モードは、第2の通信方式に対応するとともにセンシングに対応したモードであるものとする。
第2モードは、第2の通信方式に対応するとともにセンシングに対応したモードであるものとする。
ケース1:
図124A、図124Bにおいて、例えば、制御信号W500が「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
図124A、図124Bにおいて、例えば、制御信号W500が「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
制御信号W500が、「第2モードの「変調信号、および/または、センシング用の信号」を送信する」ということを示している場合、「信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W506のアンテナポートを用いて、第2モードの変調信号を、電波として送信する」、および/または、「信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する」。
制御信号W500が「第1モードの変調信号を送信し、かつ、第2モードの「変調信号、および/または、センシング用の信号」を送信する」ということを示している場合、以下の2つの動作を実施することになる。
(1)信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートから2105_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
(2)「信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W506のアンテナポートを用いて、第2モードの変調信号を、電波として送信する」、および/または、「信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する」。
また、図124A、図124Bにおいて、例えば、制御信号W500が「第1モードの復調を行う」ということを示している場合、アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第1モードの受信データW516を出力する。なお、Mは1以上の整数であるものとする。
制御信号W500が、「第2モードの処理を行う」ということを示している場合、「信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する」、および/または、「アンテナポートW512を用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第2モードの受信データW516を出力する」。
制御信号W500が、「第1モードの復調を行い、かつ、第2モードの処理を行う」ということを示している場合、以下の2つの動作を実施することになる。
(3)アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第1モードの受信データW516を出力する。
(4)「信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する」、および/または、「アンテナポートW512を用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第2モードの受信データW516を出力する」。
上記の例では、アンテナポートW505_1からW505_Nは第1モードの送信アンテナポートであり、アンテナポートW506は第2モードの送信アンテナポートである。また、アンテナポートW511_1からW511_Mは第1モードの受信アンテナポートであり、アンテナポートW512は第2モードの受信アンテナポートである。
ケース2:
図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_(N-1)のアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは2以上の整数であるものとする。
図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_(N-1)のアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは2以上の整数であるものとする。
制御信号W500が、「第2モードの少なくとも「通信用の変調信号」を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、アンテナポートW505_Nを用いて、第2モードの変調信号を、電波として送信する。
制御信号W500が、「第2モードの少なくとも「センシング用の信号」を送信する」ということを示している場合、信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する。
また、図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの復調を行う」ということを示している場合、アンテナポートW511_1からW511_(M-1)のアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第1モードの受信データW516を出力する。なお、Mは2以上の整数であるものとする。
制御信号W500が、少なくとも「第2モードの復調を行う」ということを示している場合、アンテナポートW511_Mを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第2モードの受信データW516を出力する。
制御信号W500が、少なくとも「第2モードのセンシング用の処理を行う」ということを示している場合、信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する。
上記の例では、アンテナポートW505_1からW505_(N-1)は第1モードの送信アンテナポートであり、アンテナポートW505_Nは第2モードの通信用の送信アンテナポートであり、アンテナポートW506は第2モードのセンシング用の送信アンテナポートである。また、アンテナポートW511_1からW511_(M-1)は第1モードの受信アンテナポートであり、アンテナポートW511_Mは第2モードの通信用の受信アンテナポートであり、アンテナポートW512は第2モードのセンシング用の受信アンテナポートである。
ケース3:
図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの変調信号を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第1モードの変調信号を、電波として送信する。なお、Nは1以上の整数であるものとする。
制御信号W500が、「第2モードの少なくとも「通信用の変調信号」を送信する」ということを示している場合、信号生成部W502は、データW501に対し、誤り訂正符号化、変調(マッピング)、送信方法に基づく処理などの処理を行い、W505_1のアンテナポートからW505_Nのアンテナポートの少なくとも一つのアンテナポートを用いて、第2モードの変調信号を、電波として送信する。
制御信号W500が、「第2モードの少なくとも「センシング用の信号」を送信する」ということを示している場合、信号生成部W502は、センシング用の信号を生成し、アンテナポートW506から電波として送信する。
また、図124A、図124Bにおいて、例えば、制御信号W500が少なくとも「第1モードの復調を行う」ということを示している場合、アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第1モードの受信データW516を出力する。なお、Mは1以上の整数であるものとする。
制御信号W500が、少なくとも「第2モードの復調を行う」ということを示している場合、アンテナポートW511_1からW511_Mのアンテナポートの少なくとも一つのアンテナポートを用いて変調信号を受信し、信号処理部W515は、この変調信号を入力とし、復調などの処理を行い、第2モードの受信データW516を出力する。
制御信号W500が、少なくとも「第2モードのセンシング用の処理を行う」ということを示している場合、信号処理部W515は、アンテナポートW512で受信した信号を入力とし、センシング用の処理を行い、例えば、ターゲットの距離情報などW517を出力する。
上記の例では、アンテナポートW505_1からW505_Nは第1モードの送信アンテナポート、第2モードの通信用の送信アンテナポートであり、アンテナポートW506は第2モードのセンシング用の送信アンテナポートである。また、アンテナポートW511_1からW511_Mは第1モードの受信アンテナポート、第2モードの通信用の受信アンテナポートであり、アンテナポートW512は第2モードのセンシング用の受信アンテナポートである。
以上のように、通信時に使用するアンテナポートとセンシング時に使用するアンテナポートを使い分けることで、高品質な通信と高精度なセンシングの両立が可能になるという効果を得ることができる。
上述のように、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の構成として図124A、図124Bを示し、アンテナポートの使用方法について説明した。「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の構成」、および、「アンテナポートの使用方法」については、当然であるが、この実施の形態以外の実施の形態に対しても適用可能である。
なお、第1_1装置、第2装置の動作フローの例として、図122を示しているが、あくまでも例であり、動作の順番が、図に示した順番と異なるものであってもよい。また、第1_1装置、第2装置、ターゲットの動作フローの例として、図123を示しているが、あくまでも例であり、動作の順番が、図に示した順番と異なるものであってもよい。
(実施の形態21)
他の実施の形態において、センシング用の信号を送信する装置について説明を行った。このとき、センシング用の信号に関連する信号の送信方法について説明を行う。
他の実施の形態において、センシング用の信号を送信する装置について説明を行った。このとき、センシング用の信号に関連する信号の送信方法について説明を行う。
図126は、センシング、および、通信システムの状況の一例を示している。W701_1の第3_1装置、W701_2の第3_2装置、W701_3の第3_3装置は、センシング用の信号を送信することができ、通信を行うことができる装置であるものとする。そして、ターゲット(物体)W702は、センシングによって測定される対象物であるものとする。
他の実施の形態でも説明を行ったセンシング用の信号を送信する装置、つまり、図126におけるW701_1の第3_1装置、W701_2の第3_2装置、W701_3の第3_3装置が送信する信号の構成の例を、図127に示す。図127において、縦軸は周波数であり、横軸は時間であるものとする。
例えば、図126のW701_1の第3_1装置は、ターゲット(物体)W702に対し、センシングによる測定・推定を行うものとする。このとき、図127に示すように、W701_1の第3_1装置は、第1周波数領域を用いて、制御情報シンボル(制御情報信号)W801、および、センシング用シンボル(センシング用の信号)W802を送信する。
図128Aは、図127の制御情報シンボルW801の構成の一例を示しており、図128Bは、図127のセンシング用シンボルW802の構成の一例を示している。
図128Aに示すように、例えば、制御情報シンボルW801は、「信号の種類に関する情報W901」、「センシング方法に関する情報W902」、「周波数に関する情報W903」を含んでいるものとする。
なお、制御情報シンボルW801は、「信号の種類に関する情報W901」、「センシング方法に関する情報W902」、「周波数に関する情報W903」のいずれか一つを含む構成であってもよい。
「信号の種類に関する情報W901」、「センシング方法に関する情報W902」、「周波数に関する情報W903」の具体的な例として、以下であるものとする。
「信号の種類に関する情報W901」:
この情報を送信するW701_Xの第3_X装置が、「データ伝送を実施するのか、または、センシングを実施するのか」を、他の装置に通知するための情報が、「信号の種類に関する情報W901」である。なお、図126の場合、Xは、1、または、2、または、3となる。
この情報を送信するW701_Xの第3_X装置が、「データ伝送を実施するのか、または、センシングを実施するのか」を、他の装置に通知するための情報が、「信号の種類に関する情報W901」である。なお、図126の場合、Xは、1、または、2、または、3となる。
「センシング方法に関する情報W902」:
この情報を送信するW701_Xの第3_X装置が、「自分自身がセンシングを実施するのか、または、他の装置センシングを実施することを依頼しているか」を、他の装置に通知するための情報が、「センシング方法に関する情報W902」である。なお、図126の場合、Xは、1、または、2、または、3となる。
この情報を送信するW701_Xの第3_X装置が、「自分自身がセンシングを実施するのか、または、他の装置センシングを実施することを依頼しているか」を、他の装置に通知するための情報が、「センシング方法に関する情報W902」である。なお、図126の場合、Xは、1、または、2、または、3となる。
「周波数に関する情報W903」:
この情報を送信するW701_Xの第3_X装置が、信号の送信に使用する周波数帯域(使用するチャネル数であってもよい)を、他の装置に通知するための情報が、「周波数に関する情報W903」である。なお、図126の場合、Xは、1、または、2、または、3となる。
この情報を送信するW701_Xの第3_X装置が、信号の送信に使用する周波数帯域(使用するチャネル数であってもよい)を、他の装置に通知するための情報が、「周波数に関する情報W903」である。なお、図126の場合、Xは、1、または、2、または、3となる。
以上のように、他の装置に対し、上述のような制御情報を送信することで、他の装置は、好適な制御、例えば、信号の干渉を抑圧するために、送信動作の制御を行うことで、通信、センシングを好適な条件で実施することが可能であるという効果を得ることができる。
また、図128Bに示すように、例えば、センシング用シンボルW802は、「信号を送信する装置の情報W911」、「リファレンス信号(リファレンスシンボル)W912」を含んでいるものとする。
なお、センシング用シンボルW802は、少なくとも「リファレンス信号(リファレンスシンボル)W912」を含んでいるものとする。
「信号を送信する装置の情報W911」、「リファレンス信号(リファレンスシンボル)W912」の具体的な例として、以下であるものとする。
「信号を送信する装置の情報W911」:
この情報を送信するW701_Xの第3_X装置が、自身のことを他の装置が識別することが可能な、例えば、固有の番号(固有のID(identification))の情報を伝送するための領域が、「信号を送信する装置の情報W911」である。なお、図126の場合、Xは、1、または、2、または、3となる。
この情報を送信するW701_Xの第3_X装置が、自身のことを他の装置が識別することが可能な、例えば、固有の番号(固有のID(identification))の情報を伝送するための領域が、「信号を送信する装置の情報W911」である。なお、図126の場合、Xは、1、または、2、または、3となる。
例えば、W701_Xの第3_X装置が、センシング用シンボルW802の信号を送信し、ターゲットにこの信号があたり、反射し、W701_Xの第3_X装置が、センシング用シンボルW802の信号を受信したものとする。このとき、W701_Xの第3_X装置は、「信号を送信する装置の情報W911」を得ることで、センシング用シンボルW802の信号が、所望の信号であるか否かを判断することができ、精度良いセンシングを実施することが可能となる。
「リファレンス信号(リファレンスシンボル)W912」:
この情報を送信するW701_Xの第3_X装置、または、他の装置が、センシングにおける測定を実施するために使用する信号(シンボル)が、「リファレンス信号(リファレンスシンボル)W912」である。
この情報を送信するW701_Xの第3_X装置、または、他の装置が、センシングにおける測定を実施するために使用する信号(シンボル)が、「リファレンス信号(リファレンスシンボル)W912」である。
他の実施の形態でも説明を行ったセンシング用の信号を送信する装置、つまり、図126におけるW701_1の第3_1装置、W701_2の第3_2装置、W701_3の第3_3装置が送信する信号の、図127とは異なる構成の例を、図129に示す。図129において、縦軸は周波数であり、横軸は時間であるものとする。
例えば、図126のW701_1の第3_1装置は、ターゲット(物体)W702に対し、センシングによる測定・推定を行うものとする。このとき、図129に示すように、W701_1の第3_1装置は、第1周波数領域を用いて、制御情報シンボル#1(制御情報信号#1)W1001_1、および、センシング用シンボル#1(センシング用の信号#1)W1002_1を送信する。
また、図126のW701_1の第3_1装置は、他のターゲットに対し、センシングによる測定・推定を行うものとする。このとき、図129に示すように、W701_1の第3_1装置は、第2周波数領域を用いて、制御情報シンボル#2(制御情報信号#2)W1001_2、および、センシング用シンボル#2(センシング用の信号#2)W1002_2を送信する。
なお、制御情報シンボル#1(制御情報信号#1)W1001_1、制御情報シンボル#2(制御情報信号#2)W1001_2の構成方法は、図128Aを用いて説明した制御情報シンボルW801の構成方法と同様であるものとする。
また、センシング用シンボル#1(センシング用の信号#1)W1002_1、センシング用シンボル#2(センシング用の信号#2)W1002_2の構成方法は、図128Bを用いて説明したセンシング用シンボルW802の構成方法と同様であるものとする。
図129では、「制御情報シンボル#1(制御情報信号#1)W1001_1」と「制御情報シンボル#2(制御情報信号#2)W1001_2」が存在する時間区間が存在する例となっており、また、「センシング用シンボル#1(センシング用の信号#1)W1002_1」と「センシング用シンボル#2(センシング用の信号#2)W1002_2」が存在する時間区間が存在する例となっている。
なお、図129において、「制御情報シンボル#1(制御情報信号#1)W1001_1、および、センシング用シンボル#1(センシング用の信号#1)W1002_1」を送信する時間的なタイミングと「制御情報シンボル#2(制御情報信号#2)W1001_2、および、センシング用シンボル#2(センシング用の信号#2)W1002_2」を送信する時間的なタイミングは、図129のようなタイミングに限ったものではない。例えば、時間分割を行ってもよい。
また、図129において、第1周波数領域と第2周波数領域は隣接しているが、第1周波数領域と第2周波数領域は、周波数軸において、離散的に配置してもよい。
他の実施の形態でも説明を行ったセンシング用の信号を送信する装置、つまり、図126におけるW701_1の第3_1装置、W701_2の第3_2装置、W701_3の第3_3装置が送信する信号の、図127、図129とは異なる構成の例を、図130に示す。図130において、縦軸は周波数であり、横軸は時間であるものとする。
例えば、図126のW701_1の第3_1装置は、ターゲット(物体)W702に対し、センシングによる測定・推定を行うものとする。このとき、図130に示すように、W701_1の第3_1装置は、第1周波数領域を用いて、制御情報シンボル#1(制御情報信号#1)W1001_1を送信し、第2周波数領域を用いて、制御情報シンボル#2(制御情報信号#2)W1001_2を送信し、第1周波数領域および第2周波数領域を用いて、センシング用シンボルW1102を送信する。
なお、制御情報シンボル#1(制御情報信号#1)W1001_1、制御情報シンボル#2(制御情報信号#2)W1001_2の構成方法は、図128Aを用いて説明した制御情報シンボルW801の構成方法と同様であるものとする。
また、センシング用シンボルW1102の構成方法は、図128Bを用いて説明したセンシング用シンボルW802の構成方法と同様であるものとする。
図130では、「制御情報シンボル#1(制御情報信号#1)W1001_1」と「制御情報シンボル#2(制御情報信号#2)W1001_2」が存在する時間区間が存在する例となっている。
なお、図130において、「制御情報シンボル#1(制御情報信号#1)W1001_1」を送信する時間的なタイミングと「制御情報シンボル#2(制御情報信号#2)W1001_2」を送信する時間的なタイミングは、図130のようなタイミングに限ったものではない。例えば、時間分割を行ってもよい。
また、図130において、第1周波数領域と第2周波数領域は隣接しているが、第1周波数領域と第2周波数領域は、周波数軸において、離散的に配置してもよい。
そして、「制御情報シンボル#1(制御情報信号#1)W1001_1に含まれるデータ」と「制御情報シンボル#2(制御情報信号#2)W1001_2におけるデータ」において、同一のデータ内容が存在していてもよい。
例えば、「制御情報シンボル#1(制御情報信号#1)W1001_1に含まれる「信号の種類に関する情報」」と「制御情報シンボル#2(制御情報信号#2)W1001_2に含まれる「信号の種類に関する情報」」は、同一データ内容となる。
また、「制御情報シンボル#1(制御情報信号#1)W1001_1に含まれる「センシング方法に関する情報」」と「制御情報シンボル#2(制御情報信号#2)W1001_2に含まれる「センシング方法に関する情報」」は、同一データ内容となる。
そして、「制御情報シンボル#1(制御情報信号#1)W1001_1に含まれる「周波数に関する情報」」と「制御情報シンボル#2(制御情報信号#2)W1001_2に含まれる「周波数に関する情報」」は、同一データ内容となる。
なお、図127、図128A、図129、図130に示した制御情報シンボルは、例えば、PBCH(Physical Broadcast Channel)、PDSCH(Physical Downlink Shared Channel)、PDCCH(Physical Downlink Control Channel)、PUSCH(Physical Uplink Shared Channel)、PUCCH(Physical Uplink Control Channel)、または、ビーコン、プリアンブルを用いて、装置から、送信されることになるとしてもよい。
次に、他の実施の形態で説明した到来方向推定の動作例について説明を行う。
図131は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の構成の一例であり、図124と同様に動作するものについては、同一番号を付しており、説明を省略する。W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置は、図131に示すように、送信アンテナ1202_1から1202_Lを具備するものとする。なお、Lは1以上の整数であるものとする。
送信アンテナ1202_i(iは1以上L以下の整数)に関連する構成例を図132に示す。
図132に示すように、送信アンテナW1302_iは、例えば、アンテナW1304_1、W1304_2、W1304_3、W1305_4のように4つのアンテナで構成されているものとする。ただし、ここでは、送信アンテナW1302_iは、4つで構成されている例を示しているが、2つ以上のアンテナで構成されていれば、アンテナの数は、この例に限ったものではない。
処理部W1302は、信号W1301(図131の信号W1201_iに相当する)、制御信号W1300(図131の制御信号W500に相当する)を入力とし、制御信号W1300が「センシング用の信号を送信する」ことを示している場合、信号W1301に対し、送信指向性制御の処理を行い、送信指向性制御処理後の信号W1303_iを出力する。なお、iは1以上4以下の整数である。そして、送信指向性制御処理後の信号W1303_iは、アンテナW1304_iから電波として出力される。
W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置が送信するセンシング用の信号の具体的な構成例について説明を行う。
図133は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置が送信するセンシング用の信号のフレームW1401の具体的な例を示している。
センシング用の信号のフレームW1401は、例えば、「第1アンテナを用いて送信されるセンシング用の信号W1411_1」、「第2アンテナを用いて送信されるセンシング用の信号W1411_2」、・・・、「第Lアンテナを用いて送信されるセンシング用の信号W1411_L」で構成されているものとする。
「第1アンテナを用いて送信されるセンシング用の信号W1411_1」は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の送信アンテナW1202_1から送信される信号である。
「第Lアンテナを用いて送信されるセンシング用の信号W1411_L」は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の送信アンテナW1202_Lから送信される信号である。
つまり、「第iアンテナを用いて送信されるセンシング用の信号W1411_i」は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の送信アンテナW1202_iから送信される信号である。なお、iは1以上L以下の整数である。
図134は、図133における「第iアンテナを用いて送信されるセンシング用の信号W1411_i」の構成の一例を示している。
図134に示すように、「第iアンテナを用いて送信されるセンシング用の信号W1411_i」は、「第iアンテナ、第1パラメータを用いて送信されるセンシング用の信号W1501_1」、「第iアンテナ、第2パラメータを用いて送信されるセンシング用の信号W1501_2」、・・・、「第iアンテナ、第zパラメータを用いて送信されるセンシング用の信号W1501_z」で構成されているものとする。なお、zは、「1以上の整数」、または、「2以上の整数」であるものとする。
W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の図131の送信アンテナW1202_iにおける、図132の処理部W1302は、第1パラメータを用いて、送信指向性制御を行い、「第iアンテナ、第1パラメータを用いて送信されるセンシング用の信号W1501_1」を生成し、「第iアンテナ、第1パラメータを用いて送信されるセンシング用の信号W1501_1」は、図132のアンテナW1304_1からW1304_4を用いて送信される。なお、「第iアンテナ、第1パラメータを用いて送信されるセンシング用の信号W1501_1」は、信号W1303_1、W1303_2、W1303_3、W13503_4の4つの信号で構成されていることになる。
W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の図131の送信アンテナW1202_iにおける、図132の処理部W1302は、第2パラメータを用いて、送信指向性制御を行い、「第iアンテナ、第2パラメータを用いて送信されるセンシング用の信号W1501_2」を生成し、「第iアンテナ、第2パラメータを用いて送信されるセンシング用の信号W1501_2」は、図132のアンテナW1304_1からW1304_4を用いて送信される。なお、「第iアンテナ、第2パラメータを用いて送信されるセンシング用の信号W1501_2」は、信号W1303_1、W1303_2、W1303_3、W1303_4の4つの信号で構成されていることになる。
W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置の図131の送信アンテナW1202_iにおける、図132の処理部W1302は、第zパラメータを用いて、送信指向性制御を行い、「第iアンテナ、第zパラメータを用いて送信されるセンシング用の信号W1501_z」を生成し、「第iアンテナ、第zパラメータを用いて送信されるセンシング用の信号W1501_z」は、図132のアンテナW1304_1からW1304_4を用いて送信される。なお、「第iアンテナ、第zパラメータを用いて送信されるセンシング用の信号W1501_z」は、信号W1303_1、W1303_2、W1303_3、W1303_4の4つの信号で構成されていることになる。
図134における「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」の構成例を図135に示す。なお、jは1以上z以下の整数となる。
図135に示すように、「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号2701_j」は、例えば、「アンテナの情報W1601」、「パラメータの情報W1602」を含むものとする。なお、図135に示していないが、「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」は、センシングを行うための信号を含んでいるものとする。
「アンテナの情報W1601」は、「第iアンテナ」を使用していることを識別することができる情報(例えば、アンテナID(identification)などの情報)を含んでいるものとする。したがって、「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」を受信することができた装置(自分自身であることもあるし、他の装置であることもある)は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置がセンシング用の信号を送信した際に使用したアンテナの情報を得ることができる。
また、「パラメータの情報W1602」は、送信指向性制御に用いたパラメータを識別することができる情報(パラメータID(identification)などの情報)を含んでいるものとする。したがって、「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」を受信することができた装置(自分自身であることもあるし、他の装置であることもある)は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置がセンシング用の信号を送信した際に使用した送信指向性制御のパラメータの情報を得ることができる。
なお、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置は、上記の情報とあわせて、図135の(センシング用の)リファレンス信号W1699を送信してもよい。なお、リファレンス信号W1699は、第iアンテナ、第jパラメータを用いて送信されることになる。
他の装置が上記信号を受信する場合、(その)装置は、W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置が送信したセンシング用のフレームW1401のうち、「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」のうちのいずれかの信号が受信することができる。そして、前記装置は、受信することができた「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」の「アンテナの情報W1601」、「パラメータの情報W1602」をフィードバック情報とし、このフィードバック情報を「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」に送信する。
「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」は、このフィードバック情報を得、前記装置が受信することができた、信号の送信指向性、つまり、方向を知ることができる。したがって、(到来)方向の推定が可能となり、(到来)方向に基づくセンシングの実施が容易になるという効果を得ることができる。
なお、図135において、「アンテナの情報W1601」、「パラメータの情報W1602」を別々として説明しているが、区別をせずに情報を生成してもよい。
例えば、「第1アンテナ、第1パラメータ」の場合ID♭1とし、「第1アンテナ、第2パラメータ」の場合ID♭2とし、「第2アンテナ、第1パラメータ」の場合ID♭3とし、「第2アンテナ、第2パラメータ」の場合ID♭4とし、・・・、とIDを付与する。
そして、例えば、「第1アンテナ、第1パラメータを用いて送信されるセンシング用に信号」では、ID♭1の情報を含むようにして、「第1アンテナ、第1パラメータを用いて送信されるセンシング用に信号」を、「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」は送信する。
「第1アンテナ、第2パラメータを用いて送信されるセンシング用に信号」では、ID♭2の情報を含むようにして、「第1アンテナ、第2パラメータを用いて送信されるセンシング用に信号」を、「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」は送信する。
「第2アンテナ、第1パラメータを用いて送信されるセンシング用に信号」では、ID♭3の情報を含むようにして、「第2アンテナ、第1パラメータを用いて送信されるセンシング用に信号」を、「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」は送信する。
「第2アンテナ、第2パラメータを用いて送信されるセンシング用に信号」では、ID♭4の情報を含むようにして、「第2アンテナ、第2パラメータを用いて送信されるセンシング用に信号」を、「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」は送信する。
そして、前記装置は、受信することができた「第iアンテナ、第jパラメータを用いて送信されるセンシング用の信号W1501_j」のIDの情報(例えば、ID♭1、ID♭2、・・・)をフィードバック情報とし、このフィードバック情報を「W101_1の第1_1装置、W101_2の第1_2装置、ターゲット(物体)W103の装置」に送信するとしてもよい。
(実施の形態22)
本実施の形態では、実施の形態9、実施の形態15、実施の形態16、実施の形態17、実施の形態18、実施の形態19などの変形例について説明する。
本実施の形態では、実施の形態9、実施の形態15、実施の形態16、実施の形態17、実施の形態18、実施の形態19などの変形例について説明する。
図136は、本実施の形態におけるシステムの構成の一例を示している。なお、図136において、図50、図55、図116、図117、図118、図119などと同様に動作するものについては、同一番号を付しており、すでに説明を行っている部分については説明を省略する。
N700は、例として宅内という空間を示している。ただし、N700は宅内以外の屋内であってもよく、この点については、他の実施の形態でも同様であるものとする。そして、例えば、宅内N700にサーバQ101が存在しているものとする。なお、サーバQ101をエッジサーバ、エッジコンピュータと呼んでもよい。また、宅内N700には、人N705が生活していることになる。
宅内N700には、宅内システム(屋内システム)W1700が存在しているものとする。宅内システム(屋内システム)W1700は、例えば、図50、図55、図116、図117、図118、図119などで示しているオーディオ、照明、スマートフォン、スマートスピーカ、タブレット、コンピュータ、映像機器、表示装置、中継器などで構成されたネットワークで構成されているものとする。具体的なネットワークの構成、動作例については、図50、図55、図116、図117、図118、図119などを用いて説明を行っているので、詳細の説明を省略する。なお、宅内システム(屋内システム)W1700は、例えば、図50、図55、図116、図117、図118、図119などで示しているオーディオ、照明、スマートフォン、スマートスピーカ、タブレット、コンピュータ、映像機器、表示装置、中継器以外の装置が存在していてもよい。例えば、宅内システム(屋内システム)W1700は、ゲートウェイ、通信装置、APなどが含んでいてもよい。
宅内システムW1700は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、宅内システムW1700は、AP(ゲートウェイ)N701と、例えば、PLC(Power Line Communication)(電力線通信)を行っていてもよい。
そして、宅内(屋内)N700には、通信装置W1701、W1711のスイッチ#1、W1712のスイッチ#2が存在しているものとする。
通信装置W1701は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、通信装置W1701は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、通信装置W1701は宅内システムW1700と、無線通信、電力線通信を行っていてもよい。
W1711のスイッチ#1は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、W1711のスイッチ#1は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、W1711のスイッチ#1は宅内システムW1700と、無線通信、電力線通信を行ってもよい。
また、W1711のスイッチ#1は、コネクタ(コンセント)W1713への電力の供給をする/しないの制御が可能であるものとする。なお、詳細の動作については、後で説明する。
W1712のスイッチ#2は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、W1712のスイッチ#2は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、W1712のスイッチ#2は宅内システムW1700と、無線通信、電力線通信を行ってもよい。
また、W1712のスイッチ#2は、送電装置W1714への電力の供給をする/しないの制御が可能であるものとする。なお、詳細の動作については、後で説明する。
そして、屋外、または、車庫に車W1750が存在するものとする。なお、ここでは、車を例に動作を説明するが、車(自動車)の代わりに、電動バイク(e-バイク)、電動キックボード、掃除機、電気自動車、電動アシスト自転車、電動アシストキックボード、バイク、船、飛行機、ドローン、ベビーカー、電気製品、家電(家庭用電気器具)、コンピュータ、サーバ、タブレット、スマートフォンなどであってもよい。
以下では、車W1750が具備する電池に対し、充電を行う場合の動作について説明を行う。なお、車W1750が具備する電池の充電は、車をコネクタW1713に接続することで行ってもよいし、例えば、無線給電を利用し、車W1750が具備する電池の充電は、送電装置W1714に近づく、または、接触することで、行われてもよい。
本実施の形態のケースでは、車W1750が、充電を行う関連動作時以外では、W1711のスイッチ#1は、W1711のスイッチ#1より右側の電力線およびコネクタW1713には電力を供給しないものとする。同様に、車W1750が、充電を行う関連動作時以外では、W1712のスイッチ#2は、W1712のスイッチ#2より右側の電力線および送電装置W1714には電力を供給しないものとする。このようにすることで、盗電を防ぐことができるという効果を得ることができる。当然であるが、W1711のスイッチ#1の左側の電力線、W1712のスイッチ#2の左側の電力線は、電力が供給されているものとする。
次に、車W1750の充電を行う場合の動作について説明を行う。
図137Aは、図136において、車W1750の充電を行う場合の動作の一例を示している。図137Aに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Aに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。
図137Aに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図137Aに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図137Aのように、センシング装置は、車W1750の充電を行おうとしている(例えば、屋外の)人W1799の関連の動作の検出を行う(W1801)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報を、装置に対して送信する(1802)。なお、センシング装置と装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
装置は、この情報を得、「人W1799が行おうとしている車の充電が不正なものであるかどうか」、の認証を実施する(W1811)。なお、認証の方法としては、人W1799の特徴を抽出して、不正かどうかの判定をしてもよいし、人W1799が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。なお、認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、装置は、上記で行った認証の結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する(W1812)。なお、装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この認証結果の情報を受信する。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力を供給する。また、W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施しないと判定した場合、コネクタ(コンセント)W1713に対し、電力を供給しない(W1821)。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定した場合、送電装置W1714に対し、電力を供給する。また、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施しないと判定した場合、送電装置W1714に対し、電力を供給しない(W1821)。
別の方法について、説明する。W1711のスイッチ#1において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。そして、W1712のスイッチ#2において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。
図137Aの装置は、認証した結果、電力供給に対し、不正ではないと判定したものとする。すると、装置は、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に対し、認証の結果の情報として、「電力供給開始」の情報を送信する(W1812)。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定し、コネクタ(コンセント)W1713に対し、電力を供給する(W1821)。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定し、送電装置W1714に対し、電力を供給する(W1821)。
図137Bは、図136において、車W1750の充電を行う場合の動作の図137Aとは異なる例を示している。
図137Bに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Bに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図137Bに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図137Bのように、センシング装置は、車W1750の充電を行おうとしている「(例えば、屋外の)人W1799の関連の動作の検出を行う(W1801)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報を、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。(W1802)なお、センシング装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この「人W1799の関連の動作の検出(W1801)」で得られた情報を受信する。
W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力を供給する。また、W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施しないと判定した場合、コネクタ(コンセント)W1713に対し、電力を供給しない(W1821)。
同様に、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施すると判定した場合、送電装置W1714に対し、電力を供給する。また、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施しないと判定した場合、送電装置W1714に対し、電力を供給しない。(W1821)。
別の方法として、センシング装置が、認証を実施してもよい。例えば、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力を供給するか否かの判定を行ってもよい。そして、センシング装置は、判定結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。
そして、W1711のスイッチ#1は、この判定の結果の情報に基づき、電力の供給を実施するか否かを判断する。
同様に、W1712のスイッチ#2は、この判定の結果の情報に基づき、電力の供給を実施するか否かを判断する。
別の方法について、説明する。W1711のスイッチ#1において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。そして、W1712のスイッチ#2において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。
図137Bのセンシング装置は、認証した結果、電力供給に対し、不正ではないと判定したものとする。すると、センシング装置は、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に対し、認証の結果の情報として、「電力供給開始」の情報を送信する(W1812)。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定し、コネクタ(コンセント)W1713に対し、電力を供給する。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定し、送電装置W1714に対し、電力を供給する。
図137Cは、図136において、車W1750の充電を行う場合の動作の図137A、図137Bとは異なる例を示している。
図137Cに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Cに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。
図137Cに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図137Cに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図137Cにおいて、図137Aと異なる点は、図137Cでは、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」において、一次認証W1851を行う点である。したがって、以下では、一次認証W1851について説明し、その他の動作については、図137Aにおける説明において、説明を行っているので、説明を省略する。
例えば、図136における車W1750は、例えば、コネクタ(コンセント)W1713とケーブルで接続され、車W1750は、車W1750のID(identifier)また、接続のためのカギの情報を、ケーブル、コネクタ(コンセント)W1719、電力線を介し、W1711のスイッチ#1に送信する。そして、図137Cのように、W1711のスイッチ#1は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
図136における車W1750は、例えば、車W1750のID(identifier)また、接続のためのカギの情報を、送電装置W1714、電力線を介し、W1712のスイッチ#2に送信する。そして、図137Cのように、W1712のスイッチ#2は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
別の方法として、車W1750は、通信装置を具備しており、車W1750が具備する通信装置は、例えば、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置に、車W1750のID(identifier)また、接続のためのカギの情報を送信する。そして、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置は、例えば、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置に、車W1750のID(identifier)また、接続のためのカギの情報を転送し、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、車W1750のID(identifier)また、接続のためのカギの情報により、車W1750と「コネクタ(コンセント)W1713、および/または、送電装置W1714」との接続の認証を行う。そして、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、認証の結果を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に伝送し、一次認証実施を行う。(W1851)なお、この認証で、認証ができれば、次の手続きに進むことになる。
このように一次認証を行い、さらに、認証を行うことで、不正な車への充電を抑制することができるという効果を得ることができる。
図137Dは、図136において、車W1750の充電を行う場合の動作の図137A、図137B、図137Cとは異なる例を示している。
図137Dに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Dに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図137Dに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図137Dにおいて、図137Bと異なる点は、図137Dでは、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」において、一次認証W1851を行う点である。したがって、以下では、一次認証W1851について説明し、その他の動作については、図137Bにおける説明において、説明を行っているので、説明を省略する。
例えば、図136における車W1750は、例えば、コネクタ(コンセント)W1713とケーブルで接続され、車W1750は、車W1750のID(identifier)また、接続のためのカギの情報を、ケーブル、コネクタ(コンセント)W1719、電力線を介し、W1711のスイッチ#1に送信する。そして、図137Dのように、W1711のスイッチ#1は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
図136における車W1750は、例えば、車W1750のID(identifier)また、接続のためのカギの情報を、送電装置W1714、電力線を介し、W1712のスイッチ#2に送信する。そして、図137Dのように、W1712のスイッチ#2は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
別の方法として、車W1750は、通信装置を具備しており、車W1750が具備する通信装置は、例えば、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置に、車W1750のID(identifier)また、接続のためのカギの情報を送信する。そして、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置は、例えば、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置に、車W1750のID(identifier)また、接続のためのカギの情報を転送し、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、車W1750のID(identifier)また、接続のためのカギの情報により、車W1750と「コネクタ(コンセント)W1713、および/または、送電装置W1714」との接続の認証を行う。そして、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、認証の結果を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に伝送し、一次認証実施を行う。(W1851)なお、この認証で、認証ができれば、次の手続きに進むことになる。
このように一次認証を行い、さらに、認証を行うことで、不正な車への充電を抑制することができるという効果を得ることができる。
以上のように、図137A、図137B、図137C、図137Dを用いた説明のとおり、図136の人W1799の「人の特徴の検出」、「人のジェスチャーの検出」を宅内(屋内)に存在するセンシング装置で検出することにより、屋外に電力を使用するセンシング装置などの装置を設置する必要がなくなり、これにより、盗電が行われる可能性を低くすることができるという効果を得ることができる。さらに、電力を使用するセンシング装置などの装置が宅内(屋内)にあるため、装置および電力系に対し、防塵、防水などのシーリングの処理を行わなくてもよいため、装置のコストを下げることができるという効果を得ることができる。
次に、図136の車W1750が、上述で説明したように充電を開始した場合の充電を終了する動作の例について説明する。
図138Aは、図136において、車W1750の充電を終了する動作の一例を示している。
図138Aに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図138Aに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。
図138Aに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図138Aに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図138Aのように、センシング装置は、車W1750の充電が完了したものとする。そして、センシング装置は、(例えば、屋外の)人W1799の関連の動作の検出を行う(W1901)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報を、装置に対して送信する(W1902)。なお、センシング装置と装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
装置は、この情報を得、「人W1799が行おうとしている車の充電完了が正しい作業であるかどうか」、の認証を実施する(W1911)。なお、認証の方法としては、人W1799の特徴を抽出して、判定をしてもよいし、人W1799が行う動作、ジェスチャーを検出して、判定をしてもよい。なお、認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。
そして、装置は、上記で行った認証の結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する(W1912)。なお、装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この認証結果の情報を受信する。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給停止を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力の供給停止を行う(W1921)。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給停止を実施すると判定した場合、送電装置W1714に対し、電力の供給停止を行う(W1921)。
図138Bは、図136において車W1750の充電を終了する動作の図138Aとは異なる例を示している。
図138Bに記載している「センシング装置」は、宅内N700に存在する装置であり、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図138Bに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図138Bに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図138Bのように、センシング装置は、車W1750の充電が完了したものとする。そして、センシング装置は、(例えば、屋外の)人W1799の関連の動作の検出を行う(W1901)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報を、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。(W1902)なお、センシング装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この「人W1799の関連の動作の検出(W1901)」で得られた情報を受信する。
W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力の供給停止を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力の供給停止を行う。(W1921)
同様に、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力の供給停止を実施すると判定した場合、送電装置W1714に対し、電力の供給停止を行う(W1921)。
別の方法として、センシング装置が、認証を実施してもよい。例えば、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力供給を停止するか否かの判定を行ってもよい。そして、センシング装置は、判定結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。
そして、W1711のスイッチ#1は、この判定の結果の情報に基づき、電力供給を停止するか否かを判断する。
同様に、W1712のスイッチ#2は、この判定の結果の情報に基づき、電力供給を停止するか否かを判断する。
なお、電力供給の停止方法については、図138A、図138Bで説明した方法以外として、例えば、タイマーで設定された電力供給時間を過ぎた場合、W1711のスイッチ#1は、電力の供給を停止するとしてもよい。同様に、タイマーで設定された電力供給時間を過ぎた場合、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。なお、タイマーは、W1711のスイッチ#1、W1712のスイッチ#2が具備してもよいし、「W1711のスイッチ#1、W1712のスイッチ#2」以外の機器がタイマーを具備し、この機器が、W1711のスイッチ#1、W1712のスイッチ#2に対し、時間の情報、制御情報などを通知してもよい。
また、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報をW1711のスイッチ#1に伝送し、W1711のスイッチ#1は、電力の供給を停止するとしてもよい。同様に、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報をW1712のスイッチ#2に伝送し、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。
なお、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報を「W1711のスイッチ#1、W1712のスイッチ#2」以外の通信装置へ伝送してもよい。そして、この通信装置は、ネットワークを介し、W1711のスイッチ#1、W1712のスイッチ#2に対し、充電が完了したことに関する情報を送信し、W1711のスイッチ#1、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。
以上のように充電の停止を行うことで、ユーザ(人)が望む、電力の停止を行うことができ、また、電力が停止している状態をつくることで、盗電を防ぐことができるという効果を得ることができる。
図139は、本実施の形態におけるシステムの構成の図136とは異なる例を示している。なお、図139において、図50、図55、図116、図117、図118、図119などと同様に動作するものについては、同一番号を付しており、すでに説明を行っている部分については説明を省略する。
N700は、例として宅内という空間を示している。ただし、N700は宅内以外の屋内であってもよく、この点については、他の実施の形態でも同様であるものとする。そして、例えば、宅内N700にサーバQ101が存在しているものとする。なお、サーバQ101をエッジサーバ、エッジコンピュータと呼んでもよい。また、宅内N700には、人N705が生活していることになる。
宅内N700には、宅内システム(屋内システム)W1700が存在しているものとする。宅内システム(屋内システム)W1700は、例えば、図50、図55、図116、図117、図118、図119などで示しているオーディオ、照明、スマートフォン、スマートスピーカ、タブレット、コンピュータ、映像機器、表示装置、中継器などで構成されたネットワークで構成されているものとする。具体的なネットワークの構成、動作例については、図50、図55、図116、図117、図118、図119などを用いて説明を行っているので、詳細の説明を省略する。なお、宅内システム(屋内システム)W1700は、例えば、図50、図55、図116、図117、図118、図119などで示しているオーディオ、照明、スマートフォン、スマートスピーカ、タブレット、コンピュータ、映像機器、表示装置、中継器以外の装置が存在していてもよい。例えば、宅内システム(屋内システム)W1700は、ゲートウェイ、通信装置、APなどが含んでいてもよい。
図139における宅内N700のシステムおよび機器は、例えば、AP(ゲートウェイ)N701を介し、N710のネットアークを介し、クラウドサーバN720と通信を行っており、この点が、図139の特徴的な点である。「宅内N700のシステムおよび機器」としては、例えば、サーバQ101、宅内システムW1700、AP(ゲートウェイ)N701、通信装置W1701、W1711のスイッチ#1、W1712のスイッチ#2などがある。
また、図139のコネクタ(コンセント)W1713、送電装置W1714、車W1750についても、例えば、サーバQ101、AP(ゲートウェイN701)などを介し、クラウドサーバN720と通信を行っていてもよい。
宅内システムW1700は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、宅内システムW1700は、AP(ゲートウェイ)N701と、例えば、PLC(Power Line Communication)(電力線通信)を行っていてもよい。
そして、宅内(屋内)N700には、通信装置W1701、W1711のスイッチ#1、W1712のスイッチ#2が存在しているものとする。
通信装置W1701は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、通信装置W1701は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、通信装置W1701は宅内システムW1700と、無線通信、電力線通信を行っていてもよい。
W1711のスイッチ#1は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、W1711のスイッチ#1は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、W1711のスイッチ#1は宅内システムW1700と、無線通信、電力線通信を行ってもよい。
また、W1711のスイッチ#1は、他の装置、ネットワークN710などを介し、クラウドサーバN720と通信を行ってもよい。
そして、W1711のスイッチ#1は、コネクタ(コンセント)W1713への電力の供給をする/しないの制御が可能であるものとする。なお、詳細の動作については、後で説明する。
W1712のスイッチ#2は、AP(ゲートウェイ)N701と、例えば、無線通信を行っているものとする。また、W1712のスイッチ#2は、AP(ゲートウェイ)N701と、例えば、電力線通信を行っていてもよい。さらに、W1712のスイッチ#2は宅内システムW1700と、無線通信、電力線通信を行ってもよい。
また、W1712のスイッチ#2は、他の装置、ネットワークN710などを介し、クラウドサーバN720と通信を行ってもよい。
そして、W1712のスイッチ#2は、送電装置W1714への電力の供給をする/しないの制御が可能であるものとする。なお、詳細の動作については、後で説明する。
屋外、または、車庫に車W1750が存在するものとする。なお、ここでは、車を例に動作を説明するが、車(自動車)の代わりに、電動バイク(e-バイク)、電動キックボード、掃除機、電気自動車、電動アシスト自転車、電動アシストキックボード、バイク、船、飛行機、ドローン、ベビーカー、電気製品、家電(家庭用電気器具)、コンピュータ、サーバ、タブレット、スマートフォンなどであってもよい。
以下では、車W1750が具備する電池に対し、充電を行う場合の動作について説明を行う。なお、車W1750が具備する電池の充電は、車をコネクタW1713に接続することで行ってもよいし、例えば、無線給電を利用し、車W1750が具備する電池の充電は、送電装置W1714に近づく、または、接触することで、行われてもよい。
本実施の形態のケースでは、車W1750が、充電を行う関連動作時以外では、W1711のスイッチ#1は、W1711のスイッチ#1より右側の電力線およびコネクタW1713には電力を供給しないものとする。同様に、車W1750が、充電を行う関連動作時以外では、W1712のスイッチ#2は、W1712のスイッチ#2より右側の電力線および送電装置W1714には電力を供給しないものとする。このようにすることで、盗電を防ぐことができるという効果を得ることができる。当然であるが、W1711のスイッチ#1の左側の電力線、W1712のスイッチ#2の左側の電力線は、電力が供給されているものとする。
次に、車W1750の充電を行う場合の動作について説明を行う。
図137Aは、図139において、車W1750の充電を行う場合の動作の一例を示している。図137Aに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Aに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2、クラウドサーバN720などであってもよい。
図137Aに記載している「スイッチ#1」は図139のW1711のスイッチ#1であり、図137Aに記載している「スイッチ#2」は図139のW1712のスイッチ#2である。
図137Aのように、センシング装置は、車W1750の充電を行おうとしている(例えば、屋外の)人W1799の関連の動作の検出を行う(W1801)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報を、装置に対して送信する(W1802)。なお、センシング装置と装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
装置は、この情報を得、「人W1799が行おうとしている車の充電が不正なものであるかどうか」、の認証を実施する(W1811)。なお、認証の方法としては、人W1799の特徴を抽出して、不正かどうかの判定をしてもよいし、人W1799が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、装置は、上記で行った認証の結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する(W1812)。なお、装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この認証結果の情報を受信する。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力を供給する。また、W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施しないと判定した場合、コネクタ(コンセント)W1713に対し、電力を供給しない(W1821)。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定した場合、送電装置W1714に対し、電力を供給する。また、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施しないと判定した場合、送電装置W1714に対し、電力を供給しない(W1821)。
別の方法について、説明する。W1711のスイッチ#1において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。そして、W1712のスイッチ#2において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。
図137Aの装置は、認証した結果、電力供給に対し、不正ではないと判定したものとする。すると、装置は、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に対し、認証の結果の情報として、「電力供給開始」の情報を送信する(W1812)。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定し、コネクタ(コンセント)W1713に対し、電力を供給する。(W1821)
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定し、送電装置W1714に対し、電力を供給する(W1821)。
なお、図137Aの装置、センシング装置、スイッチ#1、スイッチ#2は、自身の状態に関する情報、動作を実施することによって得られた情報を、他の装置を介し、クラウドサーバN720に伝送してもよい。
図137Bは、図139において、車W1750の充電を行う場合の動作の図137Aとは異なる例を示している。
図137Bに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Bに記載している「スイッチ#1」は図139のW1711のスイッチ#1であり、図137Bに記載している「スイッチ#2」は図139のW1712のスイッチ#2である。
図137Bのように、センシング装置は、車W1750の充電を行おうとしている「(例えば、屋外の)人W1799の関連の動作の検出を行う(W1801)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報を、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。(W1802)なお、センシング装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この「人W1799の関連の動作の検出(W1801)」で得られた情報を受信する。
W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力を供給する。また、W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施しないと判定した場合、コネクタ(コンセント)W1713に対し、電力を供給しない(W1821)。
同様に、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施すると判定した場合、送電装置W1714に対し、電力を供給する。また、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力の供給を実施しないと判定した場合、送電装置W1714に対し、電力を供給しない(W1821)。
別の方法として、センシング装置が、認証を実施してもよい。例えば、センシング装置は、「人W1799の関連の動作の検出(W1801)」で得られた情報に基づき、電力を供給するか否かの判定を行ってもよい。そして、センシング装置は、判定結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。
そして、W1711のスイッチ#1は、この判定の結果の情報に基づき、電力の供給を実施するか否かを判断する。
同様に、W1712のスイッチ#2は、この判定の結果の情報に基づき、電力の供給を実施するか否かを判断する。
別の方法について、説明する。W1711のスイッチ#1において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。そして、W1712のスイッチ#2において、デフォルトの状態を、コネクタ(コンセント)W1713に対し、電力を供給しない、とする。
図137Bのセンシング装置は、認証した結果、電力供給に対し、不正ではないと判定したものとする。すると、センシング装置は、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に対し、認証の結果の情報として、「電力供給開始」の情報を送信する(W1812)。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給を実施すると判定し、コネクタ(コンセント)W1713に対し、電力を供給する。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給を実施すると判定し、送電装置W1714に対し、電力を供給する。
なお、図137Bのセンシング装置、スイッチ#1、スイッチ#2は、自身の状態に関する情報、動作を実施することによって得られた情報を、他の装置を介し、クラウドサーバN720に伝送してもよい。
図137Cは、図139において、車W1750の充電を行う場合の動作の図137A、図137Bとは異なる例を示している。
図137Cに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Cに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2、クラウドサーバN720などであってもよい。
図137Cに記載している「スイッチ#1」は図136のW1711のスイッチ#1であり、図137Cに記載している「スイッチ#2」は図136のW1712のスイッチ#2である。
図137Cにおいて、図137Aと異なる点は、図137Cでは、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」において、一次認証W1851を行う点である。したがって、以下では、一次認証W1851について説明し、その他の動作については、図137Aにおける説明において、説明を行っているので、説明を省略する。
例えば、図139における車W1750は、例えば、コネクタ(コンセント)W1713とケーブルで接続され、車W1750は、車W1750のID(identifier)また、接続のためのカギの情報を、ケーブル、コネクタ(コンセント)W1719、電力線を介し、W1711のスイッチ#1に送信する。そして、図137Cのように、W1711のスイッチ#1は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
図139における車W1750は、例えば、車W1750のID(identifier)また、接続のためのカギの情報を、送電装置W1714、電力線を介し、W1712のスイッチ#2に送信する。そして、図137Cのように、W1712のスイッチ#2は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
別の方法として、車W1750は、通信装置を具備しており、車W1750が具備する通信装置は、例えば、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置に、車W1750のID(identifier)また、接続のためのカギの情報を送信する。そして、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置は、例えば、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置に、車W1750のID(identifier)また、接続のためのカギの情報を転送し、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、車W1750のID(identifier)また、接続のためのカギの情報により、車W1750と「コネクタ(コンセント)W1713、および/または、送電装置W1714」との接続の認証を行う。そして、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、認証の結果を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に伝送し、一次認証実施を行う。(W1851)なお、この認証で、認証ができれば、次の手続きに進むことになる。
なお、図137Cの装置、センシング装置、スイッチ#1、スイッチ#2は、自身の状態に関する情報、動作を実施することによって得られた情報を、他の装置を介し、クラウドサーバN720に伝送してもよい。
このように一次認証を行い、さらに、認証を行うことで、不正な車への充電を抑制することができるという効果を得ることができる。
図137Dは、図139において、車W1750の充電を行う場合の動作の図137A、図137B、図137Cとは異なる例を示している。
図137Dに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図137Dに記載している「スイッチ#1」は図139のW1711のスイッチ#1であり、図137Dに記載している「スイッチ#2」は図139のW1712のスイッチ#2である。
図137Dにおいて、図137Bと異なる点は、図137Dでは、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」において、一次認証W1851を行う点である。したがって、以下では、一次認証W1851について説明し、その他の動作については、図137Bにおける説明において、説明を行っているので、説明を省略する。
例えば、図139における車W1750は、例えば、コネクタ(コンセント)W1713とケーブルで接続され、車W1750は、車W1750のID(identifier)また、接続のためのカギの情報を、ケーブル、コネクタ(コンセント)W1719、電力線を介し、W1711のスイッチ#1に送信する。そして、図137Dのように、W1711のスイッチ#1は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
図139における車W1750は、例えば、車W1750のID(identifier)また、接続のためのカギの情報を、送電装置W1714、電力線を介し、W1712のスイッチ#2に送信する。そして、図137Dのように、W1712のスイッチ#2は、これらの情報を入手し、車W1750との接続の認証を行う(W1851)。なお、この認証で、認証ができれば、次の手続きに進むことになる。
別の方法として、車W1750は、通信装置を具備しており、車W1750が具備する通信装置は、例えば、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置に、車W1750のID(identifier)また、接続のためのカギの情報を送信する。そして、「基地局N730、AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2」などの通信装置は、例えば、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置に、車W1750のID(identifier)また、接続のためのカギの情報を転送し、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、車W1750のID(identifier)また、接続のためのカギの情報により、車W1750と「コネクタ(コンセント)W1713、および/または、送電装置W1714」との接続の認証を行う。そして、「AP(ゲートウェイ)N701、通信装置W1701、宅内システム(屋内システム)W1700が具備する通信装置、W1711のスイッチ#1、W1712のスイッチ#2、サーバQ101」などの認証装置は、認証の結果を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に伝送し、一次認証実施を行う。(W1851)なお、この認証で、認証ができれば、次の手続きに進むことになる。
なお、図137Dの装置、センシング装置、スイッチ#1、スイッチ#2は、自身の状態に関する情報、動作を実施することによって得られた情報を、他の装置を介し、クラウドサーバN720に伝送してもよい。
このように一次認証を行い、さらに、認証を行うことで、不正な車への充電を抑制することができるという効果を得ることができる。
以上のように、図137A、図137B、図137C、図137Dを用いた説明のとおり、図139の人W1799の「人の特徴の検出」、「人のジェスチャーの検出」を宅内(屋内)に存在するセンシング装置で検出することにより、屋外に電力を使用するセンシング装置などの装置を設置する必要がなくなり、これにより、盗電が行われる可能性を低くすることができるという効果を得ることができる。さらに、電力を使用するセンシング装置などの装置が宅内(屋内)にあるため、装置および電力系に対し、防塵、防水などのシーリングの処理を行わなくてもよいため、装置のコストを下げることができるという効果を得ることができる。
次に、図139の車W1750が、上述で説明したように充電を開始した場合の充電を終了する動作の例について説明する。
図138Aは、図139において、車W1750の充電を終了する動作の一例を示している。
図138Aに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図138Aに記載している「装置」は、センシング装置自身であってもよいし、AP(ゲートウェイ)N701、サーバQ101、W1711のスイッチ#1、W1712のスイッチ#2、クラウドサーバN720などであってもよい。
図138Aに記載している「スイッチ#1」は図139のW1711のスイッチ#1であり、図138Aに記載している「スイッチ#2」は図139のW1712のスイッチ#2である。
図138Aのように、センシング装置は、車W1750の充電が完了したものとする。そして、センシング装置は、(例えば、屋外の)人W1799の関連の動作の検出を行う(W1901)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報を、装置に対して送信する(W1902)。なお、センシング装置と装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
装置は、この情報を得、「人W1799が行おうとしている車の充電完了が正しい作業であるかどうか」、の認証を実施する(W1911)。なお、認証の方法としては、人W1799の特徴を抽出して、判定をしてもよいし、人W1799が行う動作、ジェスチャーを検出して、判定をしてもよい。なお、認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。
そして、装置は、上記で行った認証の結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する(W1912)。なお、装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この認証結果の情報を受信する。
W1711のスイッチ#1は、認証の結果の情報に基づき、電力の供給停止を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力の供給停止を行う(W1921)。
同様に、W1712のスイッチ#2は、認証の結果の情報に基づき、電力の供給停止を実施すると判定した場合、送電装置W1714に対し、電力の供給停止を行う(W1921)。
図138Bは、図139において車W1750の充電を終了する動作の図138Aとは異なる例を示している。
図138Bに記載している「センシング装置」は、宅内N700に存在する装置であってもよいし、クラウドサーバN720であってもよい。また、N701のAP、通信装置W1701、サーバQ101であってもよいし、宅内システム(屋内システム)W1700に存在していてもよい。また、「センシング装置」は、W1711のスイッチ#1、W1712のスイッチ#2などであってもよい。なお、センシング装置は、他の実施の形態で説明しているようなセンシングを行う装置である。
図138Bに記載している「スイッチ#1」は図139のW1711のスイッチ#1であり、図138Bに記載している「スイッチ#2」は図139のW1712のスイッチ#2である。
図138Bのように、センシング装置は、車W1750の充電が完了したものとする。そして、センシング装置は、(例えば、屋外の)人W1799の関連の動作の検出を行う(W1901)。なお、センシング装置が検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。なお、センシング装置が検出するものは、他の実施の形態で説明している検出であってもよい。
そして、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報を、「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。(W1902)なお、センシング装置とスイッチの通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
「W1711のスイッチ#1、および/または、W1712のスイッチ#2」は、この「人W1799の関連の動作の検出(W1901)」で得られた情報を受信する。
W1711のスイッチ#1は、この「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力の供給停止を実施すると判定した場合、コネクタ(コンセント)W1713に対し、電力の供給停止を行う(W1921)。
同様に、W1712のスイッチ#2は、この「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力の供給停止を実施すると判定した場合、送電装置W1714に対し、電力の供給停止を行う(W1921)。
別の方法として、センシング装置が、認証を実施してもよい。例えば、センシング装置は、「人W1799の関連の動作の検出(W1901)」で得られた情報に基づき、電力供給を停止するか否かの判定を行ってもよい。そして、センシング装置は、判定結果の情報を「W1711のスイッチ#1、および/または、W1712のスイッチ#2」に送信する。
そして、W1711のスイッチ#1は、この判定の結果の情報に基づき、電力供給を停止するか否かを判断する。
同様に、W1712のスイッチ#2は、この判定の結果の情報に基づき、電力供給を停止するか否かを判断する。
なお、電力供給の停止方法については、図138A、図138Bで説明した方法以外として、例えば、タイマーで設定された電力供給時間を過ぎた場合、W1711のスイッチ#1は、電力の供給を停止するとしてもよい。同様に、タイマーで設定された電力供給時間を過ぎた場合、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。なお、タイマーは、W1711のスイッチ#1、W1712のスイッチ#2が具備してもよいし、「W1711のスイッチ#1、W1712のスイッチ#2」以外の機器がタイマーを具備し、この機器が、W1711のスイッチ#1、W1712のスイッチ#2に対し、時間の情報、制御情報などを通知してもよい。
また、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報をW1711のスイッチ#1に伝送し、W1711のスイッチ#1は、電力の供給を停止するとしてもよい。同様に、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報をW1712のスイッチ#2に伝送し、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。
なお、車W1750が、充電を完了したことを認識し、充電が完了したことに関する情報を「W1711のスイッチ#1、W1712のスイッチ#2」以外の通信装置へ伝送してもよい。そして、この通信装置は、ネットワークを介し、W1711のスイッチ#1、W1712のスイッチ#2に対し、充電が完了したことに関する情報を送信し、W1711のスイッチ#1、W1712のスイッチ#2は、電力の供給を停止するとしてもよい。
以上のように充電の停止を行うことで、ユーザ(人)が望む、電力の停止を行うことができ、また、電力が停止している状態をつくることで、盗電を防ぐことができるという効果を得ることができる。
なお、図136、図139では、宅内N700に、「W1711のスイッチ#1とコネクタ(コンセント)W1713」、「W1712のスイッチ#2と送電装置W1714」の両者が存在する構成としているが、宅内N700は、「W1711のスイッチ#1とコネクタ(コンセント)W1713」の構成を具備しているとしてもよいし、宅内N700は、「W1712のスイッチ#2と送電装置W1714」の構成を具備しているとしてもよい。
また、図136、図139において、W1711のスイッチ#1とW1712のスイッチ#2が一つの装置で構成されていてもよい。したがって、一つの装置が複数のスイッチを具備するとしてもよい。
本実施の形態におけるシステムの構成例として、図136、図139を例に説明したが、これらの図は例であり、システムの構成方法は、これに限ったものではない。例えば、図136、図139は、車の充電のための方法について説明したが、コネクタ(コンセント)W1713、送電装置W1714は、電力を必要とする装置に対し、電力を供給してもよい。このとき、電力供給の方法、電力供給の停止方法については、図137A、図137B、図137C、図137D、図138A、図138Bを用いた説明を適用することが可能である。
(実施の形態23)
本実施の形態では、実施の形態22などの変形例について説明する。
本実施の形態では、実施の形態22などの変形例について説明する。
図140は、本実施の形態におけるシステムの構成の一例を示している。車W2100、および、人W2199が存在するものとする。そして、車W2100には、車内W2101が存在することになる。
車内W2101には、AP(アクセスポイント)W2111、ドアロックシステム(ドア管理システム)W2112、駆動システムW2113が少なくとも存在するものとする。
W2111のAPは、通信機能とセンシング機能を有しているものとする。なお、詳細の構成については、他の実施の形態で説明を行っているので、説明を省略する。また、W2111のAPの通信機能は、無線通信であってもよいし、有線通信であってもよい。
ドアロックシステム(ドア管理システム)W2112は、車のドアを車のトランクのドアのロック、および、ロックの解除を行うシステムである。
駆動システムW2113は、車の駆動を開始、および、車の駆動の終了を管理するためのシステムである。
このとき、W2111のAPはドアロックシステム(ドア管理システム)W2112と直接通信を行ってもよいし、W2111のAPは、他の装置、ネットワークを介し、ドアロックシステムW2112と通信を行ってもよい。
また、W2111のAPは駆動システムW2113と直接通信を行ってもよいし、W2111のAPは、他の装置、ネットワークを介し、駆動システムW2113と通信を行ってもよい。
なお、W2111をAPと名付けているが、呼び名はこれに限ったものではなく、端末、ゲートウェイ、通信装置、センシング装置、コンピュータ、サーバなどと呼んでもよい。また、車の代わりとして、トラック、ハイブリッドカー、電気自動車、軽油・ガソリン・水素・ガスを用いた車、電動バイク(e-バイク)、電動キックボード、電動アシスト自転車、電動アシストキックボード、バイク、船、飛行機などと考えてもよい。そして、例として、車を扱い、車内としているが、家、ビル、オフィス、倉庫を扱い、車内を、宅内、屋内と考えてもよい。
以下では、システムの動作例の説明を行う。
図141Aは、図140において、車W2100の車内W2101のドアロックを解除する動作の一例を示している。図141Aに記載している「AP」は、図140のW2111のAPを示している。図141Aに記載している「装置」は、W2111のAP、ドアロックシステム(ドア管理システム)W2112であってもよいし、その他の装置であってもよい。図141Aに記載している「ドアロックシステム」は、ドアロックシステム(ドア管理システム)W2112を示している。
図141Aを説明するにあたり、図140において、車W2100のドアはロックされているものとする。そして、人W2199は、車W2100のドアロックを解除しようとしているものとする。
図141Aにおいて、装置は、一次認証を実施するものとする(W2210)。具体的には、図140において、人W2199が「認証のための装置」を保持しているものとする。そして、認証のための装置が、鍵となる情報を送信し、例えば、W2111のAP、または、図141Aの「装置」が、この情報を受信し、ドアロック解除のための認証を行うものとする。なお、図141Aの一次認証が完了すると、次の手続きを行うことになる。また、一次認証を実施する装置は、上記の装置でなく、他の装置が行ってもよい。
そして、図141Aのように、APは、人W2199の関連の動作の検出を行う(W2201)。なお、APが検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。APが検出するものは、他の実施の形態で説明している検出であってもよい。
図141AのAPは、「人W2199の関連の動作の検出(W2101)」で得られた情報を、装置に対して送信する(W2102)。なお、APと装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
図141Aの装置は、この情報を得、「人W2199が行おうとしている車のドアロック解除が不正なものであるかどうか」、の認証を実施する(W2211)。なお、認証の方法としては、人W2199の特徴を抽出して、不正かどうかの判定をしてもよいし、人W2199が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、装置は、上記で行った認証の結果の情報を「ドアロックシステム(ドア管理システム)W2112」に送信する(W2212)。なお、装置とドアロックシステム(ドア管理システム)W2112の通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、図141Aのように、「ドアロックシステム(ドア管理システム)W2112」は、この認証結果の情報を受信する。「ドアロックシステム(ドア管理システム)W2112」は、認証の結果の情報に基づき、ドアのロックを解除すると判定した場合、車W2100のドアのロックを解除する。また。「ドアロックシステム(ドア管理システム)W2112」は、認証の結果の情報に基づき、ドアのロックを解除しないと判定した場合、車W2100のドアのロックを解除しないことになる(W2221)。
図141Bは、図140において、車W2100の車内W2101のドアロックを解除する動作の図141Aとは異なる例を示している。
図141Bに記載している「AP」は、図140のW2111のAPを示している。図141Bに記載している「ドアロックシステム」は、ドアロックシステム(ドア管理システム)W2112を示している。
図141Bを説明するにあたり、図140において、車W2100のドアはロックあれているものとする。そして、人W2199は、車W2100のドアロックを解除しようとしているものとする。
図141Bにおいて、APは、一次認証を実施するものとする(W2200)。具体的には、図140において、人W2199が「認証のための装置」を保持しているものとする。そして、認証のための装置が、鍵となる情報を送信し、例えば、W2111のAP、または、図140の他の装置が、この情報を受信し、ドアロック解除のための認証を行うものとする。なお、図141Bの一次認証が完了すると、次の手続きを行うことになる。また、一次認証を実施する装置は、上記の装置でなく、他の装置が行ってもよい。
そして、図141Bのように、APは、人W2199の関連の動作の検出を行う(W2201)。なお、APが検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。APが検出するものは、他の実施の形態で説明している検出であってもよい。
図141BのAPは、「人W2199の関連の動作の検出(W2101)」で得られた情報を、「ドアロックシステム(ドア管理システム)」に対して送信する(W2102)。なお、APと「ドアロックシステム(ドア管理システム)」の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
図141Bの「ドアロックシステム(ドア管理システム)W2112」は、この情報を得、「人W2199が行おうとしている車のドアロック解除が不正なものであるかどうか」、の認証を実施する(W2222)。
なお、認証の方法としては、人W2199の特徴を抽出して、不正かどうかの判定をしてもよいし、人W2199が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、「ドアロックシステム(ドア管理システム)W2112」は、認証の結果の情報に基づき、ドアのロックを解除すると判定した場合、車W2100のドアのロックを解除する。また、「ドアロックシステム(ドア管理システム)W2112」は、認証の結果の情報に基づき、ドアのロックを解除しないと判定した場合、車W2100のドアのロックを解除しないことになる(W2221)。
以上のように、図141A、図141Bを用いた説明のとおり、図140の人W2199の「人の特徴の検出」、「人のジェスチャーの検出」を車内(屋内)に存在するAPで検出することにより、ドアロックを所望の動作に制御することができ、これにより、車内(屋内)における盗難、いたずらなどのる可能性を低くすることができるという効果を得ることができる。さらに、電力を使用するAPなどの装置が車内(屋内)にあるため、装置および電力系に対し、防塵、防水などのシーリングの処理を行わなくてもよいため、装置のコストを下げることができるという効果を得ることができる。
図142は、本実施の形態におけるシステムの構成の一例を示しているなお、図140と同様の動作するものについては、同一番号を付している。車W2100、および、人W2199が存在するものとする。そして、車W2100には、車内W2101が存在することになる。
車内W2101には、AP(アクセスポイント)W2111、ドアロックシステム(ドア管理システム)W2112、駆動システムW2113が少なくとも存在するものとする。
W2111のAPは、通信機能とセンシング機能を有しているものとする。なお、詳細の構成については、他の実施の形態で説明を行っているので、説明を省略する。また、W2111のAPの通信機能は、無線通信であってもよいし、有線通信であってもよい。
ドアロックシステム(ドア管理システム)W2112は、車のドアを車のトランクのドアのロック、および、ロックの解除を行うシステムである。
駆動システムW2113は、車の駆動を開始、および、車の駆動の終了を管理するためのシステムである。
このとき、W2111のAPはドアロックシステム(ドア管理システム)W2112と直接通信を行ってもよいし、W2111のAPは、他の装置、ネットワークを介し、ドアロックシステムW2112と通信を行ってもよい。
また、W2111のAPは駆動システムW2113と直接通信を行ってもよいし、W2111のAPは、他の装置、ネットワークを介し、駆動システムW2113と通信を行ってもよい。
なお、W2111をAPと名付けているが、呼び名はこれに限ったものではなく、端末、ゲートウェイ、通信装置、センシング装置、コンピュータ、サーバなどと呼んでもよい。また、車の代わりとして、トラック、ハイブリッドカー、電気自動車、軽油・ガソリン・水素・ガスを用いた車、電動バイク(e-バイク)、電動キックボード、電動アシスト自転車、電動アシストキックボード、バイク、船、飛行機などと考えてもよい。そして、例として、車を扱い、車内としているが、家、ビル、オフィス、倉庫を扱い、車内を、宅内、屋内と考えてもよい。
以下では、システムの動作例の説明を行う。
図143Aは、図142において、車W2100の車内W2101の駆動システムW2113を動作させるための一例を示している。図143Aに記載している「AP」は、図142のW2111のAPを示している。図143Aに記載している「装置」は、W2111のAP、駆動システムW2113であってもよいし、その他の装置であってもよい。図143Aに記載している「駆動システム」は、駆動システムW2113を示している。
図143Aを説明するにあたり、図142において、車W2100の駆動システムは動作していないものとする。そして、車内にいる人W2199は、車W2100の駆動システムを動作させようとしているものとする。
図143Aにおいて、装置は、一次認証を実施するものとする(W2410)。具体的には、図142において、人W2199が「認証のための装置」を保持しているものとする。そして、認証のための装置が、鍵となる情報を送信し、例えば、W2111のAP、または、図143Aの「装置」が、この情報を受信し、駆動システムを動作させるための認証を行うものとする。なお、図143Aの一次認証が完了すると、次の手続きを行うことになる。また、一次認証を実施する装置は、上記の装置でなく、他の装置が行ってもよい。
そして、図143Aのように、APは、人W2199の関連の動作の検出を行う(W2401)。なお、APが検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。APが検出するものは、他の実施の形態で説明している検出であってもよい。
図143AのAPは、「人W2199の関連の動作の検出(W2401)」で得られた情報を、装置に対して送信する(W2402)。なお、APと装置の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
図143Aの装置は、この情報を得、「人W2199が行おうとしている駆動システムの動作が不正なものであるかどうか」、の認証を実施する(W2411)。なお、認証の方法としては、人W2199の特徴を抽出して、不正かどうかの判定をしてもよいし、人W2199が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、装置は、上記で行った認証の結果の情報を「駆動システムW2113」に送信する(W2412)。なお、装置と駆動システムW2113の通信は、無線通信であってもよいし、有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
そして、図143Aのように、「駆動システムW2113」は、この認証結果の情報を受信する。「駆動システムW2112」は、認証の結果の情報に基づき、駆動システムを動作させると判定した場合、車W2100の駆動システムを動作させる。また、「駆動システムW2113」は、認証の結果の情報に基づき、駆動システムを動作させないと判定した場合、車W2100の駆動システムを動作させないことになる(W2421)。
図143Bは、図142において、車W2100の車内W2101の駆動システムW2113を動作させるための図143Aとは異なる例を示している。
図143Bに記載している「AP」は、図142のW2111のAPを示している。図143Bに記載している「駆動システム」は、駆動システムW2113を示している。
図143Bを説明するにあたり、図142において、車W2100の駆動システムは動作していないものとする。そして、車内にいる人W2199は、車W2100の駆動システムを動作させようとしているものとする。
図143Bにおいて、APは、一次認証を実施するものとする(W2400)。具体的には、図142において、人W2199が「認証のための装置」を保持しているものとする。そして、認証のための装置が、鍵となる情報を送信し、例えば、W2111のAP、または、図142の他の装置が、この情報を受信し、駆動システムを動作させるための認証を行うものとする。なお、図143Bの一次認証が完了すると、次の手続きを行うことになる。また、一次認証を実施する装置は、上記の装置でなく、他の装置が行ってもよい。
そして、図143Bのように、APは、人W2199の関連の動作の検出を行う(W2401)。なお、APが検出するものは、「人の特徴の検出」であってもよいし、「人のジェスチャーの検出」であってもよい。APが検出するものは、他の実施の形態で説明している検出であってもよい。
図143BのAPは、「人W2199の関連の動作の検出(W2401)」で得られた情報を、「駆動システム」に対して送信する(W2402)。なお、APと「駆動システム」の通信は、無線通信であってもよいし、例えば、電力線通信(ただし、これに限ったものではない)などの有線通信であってもよい。また、無線通信、有線通信両者を用いてもよい。
図143Bの「駆動システム」は、この情報を得、「人W2199が行おうとしている車の駆動システムの動作が不正なものであるかどうか」、の認証を実施する(W2422)。なお、認証の方法としては、人W2199の特徴を抽出して、不正かどうかの判定をしてもよいし、人W2199が行う動作、ジェスチャーを検出して、不正かどうかの判定をしてもよい。認証方法はこの例に限ったものではなく、他の実施の形態において説明している方法を利用してもよい。したがって、人が関連する動作、特徴抽出が、暗号、鍵として利用されていることになる。そして、「駆動システム」は、認証の結果の情報に基づき、駆動システムを動作させると判定した場合、車W2100の駆動システムを動作させる。また、「駆動システム」は、認証の結果の情報に基づき、駆動システムを動作させないと判定した場合、車W2100の駆動システムを動作させないことになる(W2421)。
以上のように、図143A、図143Bを用いた説明のとおり、図142の人W2199の「人の特徴の検出」、「人のジェスチャーの検出」を車内(屋内)に存在するAPで検出することにより、駆動システムを所望の動作に制御することができ、これにより、車の盗難、いたずらなどのる可能性を低くすることができるという効果を得ることができる。さらに、電力を使用するAPなどの装置が車内(屋内)にあるため、装置および電力系に対し、防塵、防水などのシーリングの処理を行わなくてもよいため、装置のコストを下げることができるという効果を得ることができる。
本実施の形態におけるシステムの構成例として、図140、図142を例に説明したが、これらの図は例であり、システムの構成方法は、これに限ったものではない。例えば、図140、図142において、W2111のAPとドアロックシステム(ドア管理システム)W2112は一つの装置で構成されていてもよい。また、W2111のAPと駆動システムW2113は一つの装置で構成されていてもよい。そして、ドアロックシステム(ドア管理システム)W2112と駆動システムW2113は一つの装置で構成されていてもよい。W2111のAP、ドアロックシステム(ドア管理システム)W2112、駆動システムは、一つの装置で構成されていてもよい。
(実施の形態24)
本実施の形態では、実施の形態1、実施の形態2の変形例について説明する。
本実施の形態では、実施の形態1、実施の形態2の変形例について説明する。
図144は、本実施の形態におけるシステムの構成の例を示す図である。
制御装置W2500は、信号W2501、受信データW2514、センシング推定信号W2523、画像データW2531を入力とし、これらの信号に基づき、制御信号W2502を生成し、出力する。
通信装置W2510は、データW2511、制御信号W2502を入力とし、制御信号W2502が「通信モード」である場合、データW2511に対し、誤り訂正符号化、変調(マッピング)などの信号処理を行い、送信信号(W2512)を生成し、出力する。そして、送信信号はアンテナW2513から電波として送信される。
また、通信装置W2510は、制御信号W2502を入力とし、制御信号W2502が「通信モード」である場合、アンテナW2513で受信した受信信号(W2512)を入力とし、復調、誤り訂正復号などの信号処理を行い、受信データW2514を得、出力する。
センシング装置W2520は、制御信号W2502が「センシングモード」を示していた場合、センシング用の信号(W2522)を生成し、出力する。そして、センシング用の信号はアンテナW2521から、例えば、電波として送信される。
また、センシング装置W2520は、制御信号W2502を入力とし、制御信号W2502が「センシングモード」を示している場合、アンテナW2521で受信した受信信号(W2522)を入力とし、センシングのための信号処理を行い、センシング推定信号W2523を出力するとともに、必要な場合、動画・静止画撮影装置W2530に、センシング推定信号W2524を出力する。
そして、センシング装置W2520は、信号W2532を入力とし、信号W2532に基づき、センシングを行うことがあるものとする。
なお、アンテナW2513とW2521は共用されており、一つのアンテナであってもよい。
動画・静止画撮影装置W2530は、制御信号W2502を入力とし、制御信号W2502が、「撮影モード」のとき、対象物W2599をとらえ、動画、または、静止画の撮影を行う、「動画、または、静止画の情報」W2531を出力する。
なお、動画・静止画撮影装置W2530は、図1から図6で示している「レンズ制御部」、「センサー部」、「シャッター部」、「レンズ部」、「シャッター機能付センサー部」のいずれか一つ以上を具備することになる。
次に、本実施の形態の特長的な点について、いくつかの例をあげて説明を行う。
第1の例:
制御装置W2500は、信号W2501、受信データW2514、センシング推定信号W2523、画像データW2531を入力とし、これらの信号に基づき、制御信号W2502を生成し、出力する。なお、信号W2501は、図144を使用するユーザがモード設定した際のモードの情報が含まれていてもよい。
制御装置W2500は、信号W2501、受信データW2514、センシング推定信号W2523、画像データW2531を入力とし、これらの信号に基づき、制御信号W2502を生成し、出力する。なお、信号W2501は、図144を使用するユーザがモード設定した際のモードの情報が含まれていてもよい。
そして、制御信号W2502は、例えば、「通信モード」、「センシングモード」、「撮影モード」が少なくとも存在するものとする。そして、制御信号W2502は、少なくとも一つ以上のモードを設定することができるものとする。
制御信号W2502が、「撮影モード」に設定することの情報が含まれているとき、制御信号W2502は、「センシングモード」に設定することの情報を含まないものとする。
つまり、「「撮影モード」におけるセンシング」を実施するとき、「センシングモード」を設定することにはならない。なお、「センシングモード」は「「撮影モード」におけるセンシング」以外のセンシングを実施するためのモードである。なお、この点については、本実施の形態の説明において、適用可能であるものとする。そして、「「撮影モード」におけるセンシング」の動作の具体例については、実施の形態1、実施の形態2において、説明を行っている。
このようにすることで、動画・静止画の動作に影響を与える可能性を低くすることができ、これにより、高精細の撮影を行うことができるという効果を得ることができる。
第2の例:
制御信号W2502は、例えば、「通信モード」、「センシングモード」、「撮影モード」が少なくとも存在するものとする。そして、制御信号W2502は、少なくとも一つ以上のモードを設定することができるものとする。
制御信号W2502は、例えば、「通信モード」、「センシングモード」、「撮影モード」が少なくとも存在するものとする。そして、制御信号W2502は、少なくとも一つ以上のモードを設定することができるものとする。
そして、「通信装置W2510が使用する周波数帯」と「センシングが使用する周波数帯」が共通であるものとする。例として、「通信装置W2510が使用する周波数帯が60GHz帯」、「センシングが使用する周波数帯が60GHz帯」とする。このとき、制御信号W2502が、「撮影モード」に設定することの情報が含まれているとき、制御信号W2502は、「センシングモード」に設定することの情報を含まないものとし、また、制御信号W2502は、「通信モード」に設定することの情報が含まれないものとする。
このようにすることで、動画・静止画の動作に対し、通信装置W2510が、センシング装置W2520に対し、電波の干渉を与える可能性を低くすることができ、これにより、高精細の撮影が可能となるという効果を得ることができる。
第3の例:
制御信号W2502は、例えば、「通信モード」、「センシングモード」、「撮影モード」が少なくとも存在するものとする。そして、制御信号W2502は、少なくとも一つ以上のモードを設定することができるものとする。
制御信号W2502は、例えば、「通信モード」、「センシングモード」、「撮影モード」が少なくとも存在するものとする。そして、制御信号W2502は、少なくとも一つ以上のモードを設定することができるものとする。
そして、「通信装置W2510が使用する周波数帯」と「センシングが使用する周波数帯」が共通であるものとする。例として、「通信装置W2510が使用する周波数帯が60GHz帯」、「センシングが使用する周波数帯が60GHz帯」とする。
このとき、制御信号W2502に、「通信モード」に設定することの情報が含まれているとき、制御信号W2502は、「センシングモード」に設定することの情報を含むことが可能である。これは、他の実施の形態で説明したように、「通信モード」のときの信号と「センシングモード」のときの信号が、互いに干渉しないように、制御可能であるからとする。しかし、「撮影モード」のときは、センシング装置W2520が、撮影を優先するため、通信装置W2520が動作するように設定するのを避けたほうがよいことになる。
制御信号W2502が、「センシングモード」に設定することの情報が含まれているとき、制御信号W2502は、「通信モード」に設定することの情報を含むことが可能である。これは、他の実施の形態で説明したように、「通信モード」のときの信号と「センシングモード」のときの信号が、互いに干渉しないように、制御可能であるからとする。
このようにすることで、動画・静止画の動作に対し、通信装置W2510が、センシング装置W2520に対し、電波の干渉を与える可能性を低くすることができ、これにより、高精細の撮影が可能となるという効果を得ることができる。
なお、図144において、センシング装置W2520は、電波によるセンシングを例について説明したが、光を用いたセンシングのための装置であってもよいし、電波を用いたセンシング、光を用いたセンシングの両者の機能を搭載した装置であってもよい。なお、光を用いたセンシングを行う際、フォトダイオード、イメージセンサが用いられてもよいし、LED、有機ELなどが用いられてもよい。この点については、他の実施の形態においても説明を行っている。
(実施の形態25)
本実施の形態では、実施の形態20の補足説明、変形例の説明を行う。
本実施の形態では、実施の形態20の補足説明、変形例の説明を行う。
図120において、W101_1の第1_1装置、W101_2の第1_2装置、第2装置W102をイニシエータ(Initiator)、レスポンダー(Responder)、センシングイニシエータ(Sensing initiator)、センシングレスポンダー(Sensing responder)と呼んでもよい。なお、この点については、他の実施の形態でも同様である。
2つの通信装置が存在し、第1の通信装置をイニシエータまたはセンシングイニシエータと呼び、第2の通信装置をレスポンダーまたはセンシングレスポンダーと呼んでもよい。このとき、第1の通信装置、第2の通信装置の少なくとも一つの装置が、センシングを実施することになる。
3つ以上の通信装置が存在し、これに属する通信装置は、「イニシエータまたはセンシングイニシエータ」、または、「レスポンダーまたはセンシングレスポンダー」のいずれかに属することになる。
また、実施の形態20は、無線LANシステムの一つの機能として、動作させることも可能である。この点については、他の実施の形態にも適用可能である。
次に、実施の形態20の変形例について説明する。
図122において、W101_1の第1_1装置は、ターゲットW103の位置などの推定を行う例を説明しているが、W101_1の第1_1装置は、ターゲットW103の代わりに、第2装置W102の位置などの推定を行ってもよい。
したがって、このとき、W101_1の第1_1装置は、センシング信号を送信し(W312)、第2装置W102の位置などの推定を行ってもよい(W313)。
そして、W101_1の第1_1装置は、第2装置W102の位置などの推定情報を第2装置W102に送信する(W314)。
第2装置は、この情報を受信することになる(W303)。
なお、図122において、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けている(W301)としているが、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けていなくてもよい。
したがって、W101_1の第1_1装置は、「他の装置からセンシングの依頼を受けてセンシングを行うモード」と「他の装置からセンシングの依頼がなく、センシングを行うモード」が存在し、それらを切り替えて、W101の第1_1装置は、センシングを実施してもよい。
図123において、W101の第1_1装置は、ターゲットW103の位置などの推定を行う例を説明しているが、W101_1の第1_1装置は、ターゲットW103の代わりに、第2装置W102の位置などの推定を行ってもよい。
したがって、このとき、W101_1の第1_1装置は、センシング用の信号を送信し(W412)、第2装置W102の位置などの推定を行ってもよい(W412)。
そして、W101_1の第1_1装置は、第2装置W102の位置などの推定情報を第2装置W102に送信する(W413)。
第2装置は、この情報を受信することになる(W403)。
なお、図123において、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けている(W401)としているが、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けていなくてもよい。
したがって、W101_1の第1_1装置は、「他の装置からセンシングの依頼を受けてセンシングを行うモード」と「他の装置からセンシングの依頼がなく、センシングを行うモード」が存在し、それらを切り替えて、W101の第1_1装置は、センシングを実施してもよい。
次に、実施の形態20に対し、他の実施の形態で説明した三角測量を用いたセンシングを適用したときの実施例について説明する。
図145Aは、W101_1の第1_1装置、W101_2の第1_2装置と第2装置W102の動作の例を示している。
なお、第2装置W102は、ターゲット(物体)W103の位置などの推定の実施を、W101_1の第1_1装置に依頼することを例に説明を行う。
図145Aのように、第2装置W102は、W101_1の第1_1装置に、「ターゲット(物体)W103をセンシングするという依頼」の情報を送信する(W2601)。
W101_1の第1_1装置は、この情報を受信する。そして、W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングするか否かの情報」を送信する(W2611)。第2装置W102は、「ターゲット(物体)W103をセンシングするか否かの情報」を受信する(W2602)。
なお、ここでの例では、W101_1の第1_1装置は「センシングの依頼を受ける」として、説明を行う。
W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングする」ために、W101_2の第1_2装置に、「三角測量の依頼、情報共有の依頼の情報」を送信する(W2612)。
なお、ここでは、W101_1の第1_1装置とW101_2の第1_2装置で三角測量を行うものとする。したがって、情報共有の依頼では、例えば、「W101_1の第1_1装置とW101_2の第1_2装置の距離の情報」、また、その他の距離の情報、送信信号の照射角度、受信到来方向などの三角測量に必要となる情報の共有を依頼することになる。
ここでは、W101_1の第1_1装置は、「センシングによる推定の実施の依頼」、つまり、「W101_1の第1_1装置が送信するセンシング用の信号の受信の依頼」を、W101_2の第1_2装置に行うことになる。
W101_2の第1_2装置は、W101_1の第1_1装置が送信した「三角測量の依頼、情報共有の依頼の情報」を受信する。そして、W101_2の第1_2装置は、「三角測量の依頼を受けるか否かの情報」を送信するとともに、共有に必要な情報があれば、その情報を送信する(W2621)。そして、これらの情報をW101_1の第1_1装置は受信する。なお、ここでは、W101_2の第1_2装置は、「三角測量の依頼を受ける」ことを例に説明する。ただし、W101_2の第1_2装置は、三角測量の依頼を受けなくてもよい。
そして、W101_1の第1_1装置は、センシング用の信号の送信を行う(W2613)。W101_2の第1_2装置は、この信号を受信し、その後、ターゲットW103の位置推定を行うために、三角測量を実施する(W2622)。なお、三角測量の具体的な方法については、他の実施の形態で説明を行っているので、説明を省略する。
W101_2の第1_2装置は、W2622で得られた推定結果の情報をW101_1の第1_1装置に送信する(W2623)。
W101_1の第1_1装置は、W2622で得られた推定結果の情報を受信し、この情報を第2装置W102に送信する(W2614)。
そして、第2装置W102は、この推定結果の情報を受信することになる(W2603)。
なお、第2装置W102と「W2614で得られた推定結果の情報」を共有する必要がない場合、W101_1の第1_1装置は、「W2614で得られた推定結果の情報」を、第2装置W102に送信しなくてもよい。
以上のように、実施することで、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
図145Aにおいて、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の位置などの推定を行う例を説明しているが、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の代わりに、第2装置W102の位置などの推定を行ってもよい。
したがって、このとき、W101_1の第1_1装置は、センシング信号を送信し(W2612)、W101_2の第1_2装置は、第2装置W102の位置などの推定を行ってもよい(W2622)。
なお、図145Aにおいて、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けている(W2601)としているが、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けていなくてもよい。
したがって、W101_1の第1_1装置は、「他の装置からセンシングの依頼を受けてセンシングを行うモード」と「他の装置からセンシングの依頼がなく、センシングを行うモード」が存在し、それらを切り替えて、W101の第1_1装置は、センシングを実施してもよい。
図145Bは、W101_1の第1_1装置、W101_2の第1_2装置と第2装置W102の動作の図145Aとは異なる例を示している。
なお、第2装置W102は、ターゲット(物体)W103の位置などの推定の実施を、W101_1の第1_1装置に依頼することを例に説明を行う。そして、図145Bにおいて、図145Aと同様に動作するものについては、同一番号を付しており、説明を省略する。したがって、以下では、図145Bにおいて、図145Aと異なる部分のみ説明を行う。
図145Bでは、101_2の第1_2装置は、W2622で得られた推定結果の情報を第2装置W102に送信する(W2623)。
なお、このために、W101_1の第1_1装置は、第2装置W102から「センシングの依頼があったことの情報」を、W2612において、W101_2の第2_2装置に送信することになる。
そして、第2装置W102は、この推定結果の情報を受信することになる(W2603)。
なお、第2装置W102と「W2622で得られた推定結果の情報」を共有する必要がない場合、W101_2の第1_2装置は、「W2622で得られた推定結果の情報」を、第2装置W102に送信しなくてもよい。
以上のように、実施することで、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
図145Bにおいて、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の位置などの推定を行う例を説明しているが、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の代わりに、第2装置W102の位置などの推定を行ってもよい。
したがって、このとき、W101_1の第1_1装置は、センシング信号を送信し(W2612)、W101_2の第1_2装置は、第2装置W102の位置などの推定を行ってもよい(W2622)。
なお、図145Bにおいて、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けている(W2601)としているが、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けていなくてもよい。
したがって、W101_1の第1_1装置は、「他の装置からセンシングの依頼を受けてセンシングを行うモード」と「他の装置からセンシングの依頼がなく、センシングを行うモード」が存在し、それらを切り替えて、W101の第1_1装置は、センシングを実施してもよい。
図146は、W101_1の第1_1装置、W101_2の第1_2装置と第2装置W102の動作の例を示している。図146において、図145A、図145Bと同様に動作するものについては、同一番号を付している。
なお、第2装置W102は、ターゲット(物体)W103の位置などの推定の実施を、W101_1の第1_1装置に依頼することを例に説明を行う。
図146のように、第2装置W102は、W101_1の第1_1装置に、「ターゲット(物体)W103をセンシングするという依頼」の情報を送信する(W2601)。
W101_1の第1_1装置は、この情報を受信する。そして、W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングするか否かの情報」を送信する(W2611)。なお、ここでの例では、W101_1の第1_1装置は「センシングの依頼を受ける」として、説明を行う。
W101_1の第1_1装置は、「ターゲット(物体)W103をセンシングする」ために、W101_2の第1_2装置に、「三角測量の依頼、情報共有の依頼などの情報」を送信する(W2711)。
なお、ここでは、W101_1の第1_1装置とW101_2の第1_2装置で三角測量を行うものとする。したがって、情報共有の依頼では、例えば、「W101_1の第1_1装置とW101_2の第1_2装置の距離の情報」、また、その他の距離の情報、送信信号の照射角度、受信到来方向などの三角測量に必要となる情報の共有を依頼することになる。
ここでは、W101_1の第1_1装置は、「センシング用の信号の送信の依頼」を、W101_2の第1_2装置に行うことになる。
W101_2の第1_2装置は、W101_1の第1_1装置が送信した「三角測量の依頼、情報共有の依頼の情報など」を受信する。そして、W101_2の第1_2装置は、「三角測量の依頼を受けるか否かの情報」を送信するとともに、共有に必要な情報があれば、その情報を送信する(W2621)。そして、これらの情報をW101_1の第1_1装置は受信する(W2712)。
なお、ここでは、W101_2の第1_2装置は、「三角測量の依頼を受ける」ことを例に説明する。ただし、W101_2の第1_2装置は、三角測量の依頼を受けなくてもよい。また、W101_2の第1_2装置は、センシング用の信号の送信の依頼を受けることになる。
そして、W101_2の第1_2装置は、センシング用の信号の送信を行う(W2721)。W101_1の第1_1装置は、この信号を受信し、その後、ターゲットW103の位置推定を行うために、三角測量を実施する(W2713)。なお、三角測量の具体的な方法については、他の実施の形態で説明を行っているので、説明を省略する。
W101_1の第1_1装置は、W2713で得られた推定結果の情報を第2装置W102に送信する(W2714)。
そして、第2装置W102は、この推定結果の情報を受信することになる(W2701)。
なお、第2装置W102と「W2713で得られた推定結果の情報」を共有する必要がない場合、W101_1の第1_1装置は、「W2713で得られた推定結果の情報」を、第2装置W102に送信しなくてもよい。
以上のように、実施することで、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
図146において、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の位置などの推定を行う例を説明しているが、W101_1の第1_1装置、W101_2の第1_2装置は、ターゲットW103の代わりに、第2装置W102の位置などの推定を行ってもよい。
したがって、このとき、W101_2の第1_2装置は、センシング信号を送信し(W2712)、W101_1の第1_1装置は、第2装置W102の位置などの推定を行ってもよい(W2713)。
なお、図146において、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けている(W2601)としているが、W101_1の第1_1装置は、第2装置W102から、センシングの依頼を受けていなくてもよい。
したがって、W101_1の第1_1装置は、「他の装置からセンシングの依頼を受けてセンシングを行うモード」と「他の装置からセンシングの依頼がなく、センシングを行うモード」が存在し、それらを切り替えて、W101の第1_1装置は、センシングを実施してもよい。
なお、図145A、図145B、図146などにおいて、第1_1装置W101_1、第1_2装置W101_2、第2装置W102が、ターゲットW103の測量を行う際、「第1_1装置W101_1、第1_2装置W101_2、第2装置W102」のいずれかの装置が、測量を行う位置の情報、測量を行うターゲットの情報などを、他の装置に送信してもよい。
また、ターゲットW103は、例えば、GPS(Global positioning system)を具備しており、ターゲットW103は、GPSを用いて、位置を測定し、この位置情報を、他の装置に通知してもよい。これを行うことで、第1_1装置W101_1、第1_2装置W101_2、第2装置W102は、ターゲットW103の情報を共有することが可能となる。また、ターゲットW103は、ターゲットW103自身の情報(例えば、ターゲットW103のID情報、ターゲットW103が存在する場所の周辺情報、ターゲットW103を所有しているユーザ情報など)を第1_1装置W101_1、第1_2装置W101_2、第2装置W102などの他の装置に通知してもよい。
次に、W101_1の第1_1装置、W101_2の第1_2装置、第2装置W102が送信する情報の例について説明する。
図147は、W101_1の第1_1装置、W101_2の第1_2装置、第2装置W102が送信するセンシング関連情報W2801の構成の例を示している。
センシング関連情報W2801は、例えば、「センシング依頼情報W2811」、「センシング依頼応答情報W2812」、「センシング結果関連情報W2813」、「三角測量依頼情報W2814」、「三角測量依頼応答情報W2815」、「三角測量結果関連情報W2816」、「センシング方式に関する情報W2817」、「フレームの種類に関する情報W2818」などを含んでいる。
図148Aは、データシンボルW2903を送信し、通信を行うときのフレームの例を示している。
プリアンブルW2901は、通信相手が、信号の検出、時間同期、周波数同期、周波数オフセット推定、位相雑音の推定などを行うための信号であるものとする。
制御情報シンボルW2902は、制御情報を伝送するためのシンボルである。例えば、制御情報シンボルW2902は、図147のセンシング関連情報W2801を含んでいるものとする。
また、制御情報シンボルW2902は、データシンボルW2903の「送信方法に関する情報」、「変調方式の方法の情報」、「誤り訂正符号化方式に関する情報」、「データ量に関する情報」などを含んでいる。
データシンボルW2903は、通信相手にデータを伝送するためのシンボルである。
なお、通信を行うときのフレームの例は、図148Aの構成に限ったものではない。また、制御情報シンボルW2902は、図147のセンシング関連情報W2801の一部を含んでいる構成であってもよい。
図148Bは、装置が、センシングのための信号を送信するときのフレームの例を示している。なお、図148Bにおいて、図148Aと同様に動作するものについては、同一番号を付しており、説明を省略する。
センシング用シンボルW2913は、自身、または、他の装置がセンシングによる推定を行うために送信するシンボルである。
制御情報シンボルW2902は、図147のセンシング関連情報W2801を含んでいるものとする。また、制御情報シンボルW2902は、送信した装置の情報を含んでいてもよい。これにより、例えば、三角測量を実施する際、このフレームを受信した装置は、送信した装置を識別することができるという効果を得ることができる。
なお、制御情報シンボルW2902は、図147のセンシング関連情報W2801の一部を含んでいる構成であってもよい。
以下では、「センシング依頼情報W2811」、「センシング依頼応答情報W2812」、「センシング結果関連情報W2813」、「三角測量依頼情報W2814」、「三角測量依頼応答情報W2815」、「三角測量結果関連情報W2816」、「センシング方法に関する情報W2817」、「フレームの種類に関する情報W2818」の各情報について、例を用いて説明する。
「フレームの種類に関する情報W2818」は、例えば、「図148Aの通信を行うときのフレーム」と「センシングのための信号を送信するときのフレーム」を識別するための情報であるものとする。
したがって、例えば、装置が通信を行うときのフレームを送信する場合、フレームの種類に関する情報W2818には、「図148Aの通信を行うときのフレーム」である、という情報が含まれることになる。
また、装置がセンシングのための信号を送信する場合、フレームの種類に関する情報W2818には、「センシングのための信号を送信するときのフレーム」である、という情報が含まれることになる。
なお、フレームの種類に関する情報W2818に含まれる情報は、この例に限ったものではなく、例えば、「センシングを実施するために必要な情報を伝送するフレーム」である、という情報が、フレームの種類に関する情報W2818に含まれていてもよい。
図122の例のように、装置がセンシングのための信号を送信し、その装置自身がこの信号を受信し、センシングを行う方法(第1の方法と呼ぶ)がセンシング方法としてある。
また、図123の例のように、第2の装置が信号を送信し、第1の装置が、この信号を受信し、第2の装置をセンシングする方法(第2の方法と呼ぶ)がセンシング方法としてある。
そして、図145A、図145Bのように、三角測量を行う方法(第3の方法と呼ぶ)がセンシング方法としてある。
図147の「センシング方法に関する情報W2817」は、いずれの方法のセンシング方法を用いているかを識別するための情報であるものとする。
例えば、装置が第1の方法を実施するためにセンシング用のフレームの送信を行う際、「センシング方法に関する情報W2817」には、「第1の方法のセンシングのフレームである」ことを示す情報が含まれているものとする。
また、装置が第2の方法のためにセンシング用のフレームを送信する場合、「センシング方法に関する情報W2817」には、「第2の方法のセンシングのフレームである」ことを示す情報が含まれているものとする。
そして、装置が第3の方法のためにセンシング用のフレームを送信する場合、「センシング方法に関する情報W2817」には、「第3の方法のセンシングのフレームである」ことを示す情報が含まれているものとする。
なお、センシング方法は、第1から第3の方法に限ったものではなく、それ以外の方法のために、センシング用のフレームを装置が送信する場合、「センシング方法に関する情報W2817」にセンシング方法の情報を埋め込み、装置はセンシング用のフレームを送信することになる。
図122、図123、図145A、図145B、図146のように、第2装置W102が、W101_1の第1_1装置に、センシングの依頼を行う場合、図147の「センシング依頼情報」W2811に、センシングの依頼を行っていることを示す情報を含め、第2装置W102は、センシング依頼情報W2811を含むセンシング関連情報W2801を含む制御情報シンボルW2902を送信することになる。
なお、装置が、センシング依頼を行っていない場合、その装置は、センシング依頼を行っていないことを示す情報を含むセンシング依頼情報W2811を含むセンシング関連情報W2801を含む制御情報シンボルW2902を送信してもよいし、センシング依頼情報W2811を送信しなくてもよい。
そして、図122、図123、図145A、図145B、図146のように、W101_1の第1_1装置が、第2装置W102のセンシング依頼を受けたとき、その応答情報を送信することになる。その応答情報が、図147のセンシング依頼応答情報W2812となる。したがって、「センシング依頼応答情報W2812」には、センシング依頼を引き受けるか否かの情報が含まれることになる。
図122、図123、図145A、図145B、図146のように、第2装置W102が、W101_1の第1_1装置に、センシングの依頼を行っている場合、例えば、図122のように、W101_1の第1_1装置は、ターゲットを推定した結果の情報を送信する(W314)。このように、ターゲットの推定結果を送信する場合、図147のセンシング結果関連情報W2813で、「ターゲットの推定結果が含まれている」という情報を伝送する。
図145A、図145B、図146のように、W101_1の第1_1装置が、W101_2の第1_2装置に三角測量の依頼を行う場合、図147の「三角測量依頼情報」W2814に、三角測量の依頼を行っていることを示す情報を含め、W101_1の第1_1装置は、「三角測量依頼情報」W2814を含むセンシング関連情報W2801を含む制御情報シンボルW2902を送信することになる。
なお、W101_1の第1_1装置などの装置が、三角測量に依頼を行っていない場合、その装置は、三角測量の依頼を行っていないことを示す情報を含む三角測量依頼情報W2814を含むセンシング関連情報W2801を含む制御情報シンボルW2902を送信してもよいし、三角測量依頼情報W2814を送信しなくてもよい。
そして、図145A、図145B、図146のように、W101_2の第1_2装置が、W101_1の第1_1装置の三角測量依頼を受けたとき、その応答情報を送信することになる。その応答情報が、図147の三角測量依頼応答情報W2815となる。したがって、「三角測量依頼応答情報W2815」には、三角測量の依頼を引き受けるか否かの情報が含まれることになる。
図145A、図145B、図146のように、W101_2の第1_2装置が、W101_1の第1_1装置、または、第2装置W102に、三角測量の結果を送信する場合(W2623)、図147の三角測量結果関連情報W2816で、「三角測量の結果が含まれている」という情報を伝送する。
以上のように、センシングおよび通信を行うことにより、各装置は、センシングによって得られた情報を得ることができるようになり、これにより、センシングによって得られた情報を用いて、他の装置の制御などを行うことができるという効果を得ることができる。
また、図147のように、センシング関連情報W2801を伝送することで、センシング関連の制御をより正確に実施することができ、また、センシング結果を複数の装置で共有することができるという効果を得ることができる。なお、図147に示した情報において、各情報の呼び方は、図147の例に限ったものではなく、他の呼び方をしてもよい。したがって、各情報に含まれている情報が重要な役割を果たすことになる。
(実施の形態26)
本実施の形態では、センシング結果の精度の向上についての説明を行う。
本実施の形態では、センシング結果の精度の向上についての説明を行う。
図149は、本実施の形態におけるシステムの構成を示す図である。
第1_1装置、第1_2装置、・・・、第1_M装置は、ターゲットのセンシングを行う。なお、センシング方法は、例えば、実施の形態25で説明した、第1の方法、第2の方法、第3の方法、他の実施の形態で説明したセンシング方法、いずれの方法であってもよい。
ただし、第2の方法を用いる場合、ターゲットがセンシング用の信号を送信する必要がある。
また、第3の方法で三角測量を行う場合、第1_i(iは1以上M以下の整数)装置自身で三角測量を実施してもよいし、第1_i装置は、第1_j装置(i≠j)と三角測量を実施してもよいし、他の装置と三角測量を実施してもよい。そして、第1_i装置は、複数の装置を用いて、複数回の三角測量を実施してもよい。第1_i装置と第1_j装置とによって三角測量を実施する場合には、iとjとのさまざまな組み合わせを用いながら、第1_i装置と第1_j装置とによって三角測量を実施してもよい。
第1_i装置は、第2_k装置(kは1以上N以下の整数)、ネットワークなどを介し、(クラウド)サーバに、センシング結果の情報を伝送する。なお、第1_i装置は、センシング結果の情報以外の情報を、(クラウド)サーバに伝送してもよい。(例えば、第1_i装置の位置情報、ターゲットの位置情報など)また、(クラウド)サーバは、他の装置から、センシング結果の情報を得てもよい。
これにより、(クラウド)サーバは、複数のターゲットのセンシング結果を得ることができる。そして、(クラウド)サーバは、これらの複数のセンシング結果から、ターゲットのセンシング結果を算出する。これにより、ターゲットのセンシング結果の精度が向上するという効果を得ることができる。例えば、(クラウド)サーバは、複数の第1_i装置、他の装置から得たセンシング結果を統計処理(例えば、平均化処理)することにより、ターゲットのセンシング結果の精度を向上させる。
そして、(クラウド)サーバが求めたセンシングの結果は、第2_k装置、第1_i装置に伝送されてもよい。
第1_i装置と第2_k装置の通信は、無線通信であってもよいし、有線の通信であってもよい。
第1_i装置のターゲットのセンシングは、電波による無線であってもよいし、可視光などの光を用いてもよい。
なお、図149などにおいて、第1_i装置、第2_k装置などが、ターゲットの測量を行う際、「第1_i装置、第2_k装置など」のいずれかの装置が、測量を行う位置の情報、測量を行うターゲットの情報などを、他の装置に送信してもよい。
また、ターゲットは、例えば、GPSを具備しており、ターゲットは、GPSを用いて、位置を測定し、この位置情報を、他の装置に通知してもよい。これを行うことで、第1_i装置、第2_j装置は、ターゲットの情報を共有することが可能となるそして、ターゲットは、ターゲット自身の情報(例えば、ターゲットのID情報、ターゲットが存在する場所の周辺情報、ターゲットを所有しているユーザ情報など)を第1_i装置、第2_k装置などの他の装置に通知してもよい。
(実施の形態27)
本実施の形態では、センシング用の信号の切り替え方法の例について、説明する。
本実施の形態では、センシング用の信号の切り替え方法の例について、説明する。
図150は、第1装置ay301、第2装置ay302の構成の一例を示している。第1センシング装置ay201は、第1制御信号ay231を入力とし、第1制御信号ay231が、センシング用の信号の送信を指示しているとき、第1センシング装置ay201は、センシング用の信号を含む送信信号を出力し(ay202)、センシング用の信号を含む送信信号は、電波として、アンテナay203から出力される。
また、第1制御信号ay231が、センシング用の信号の受信を指示しているとき、第1センシング装置ay201は、アンテナay203で受信した受信信号(ay202)を入力とし、受信信号などに基づいて、センシング用の処理を行い、第1のセンシング結果情報を含む情報ay234を出力する。
なお、第1センシング装置ay201が使用する周波数は、第1周波数(帯)であるものとする。
第2センシング装置ay211は、第2制御信号ay232を入力とし、第2制御信号ay232が、センシング用の信号の送信を指示しているとき、第2センシング装置ay211は、センシング用の信号を含む送信信号を出力し(ay212)、センシング用の信号を含む送信信号は、電波として、アンテナay213から出力される。
また、第2制御信号ay232が、センシング用の信号の受信を指示しているとき、第2センシング装置ay211は、アンテナay213で受信した受信信号(ay212)を入力とし、受信信号などに基づいて、センシング用の処理を行い、第2のセンシング結果情報を含む情報ay235を出力する。
なお、第2センシング装置ay211が使用する周波数は、第2周波数(帯)であるものとする。
通信装置ay221は、第3制御信号ay233、データay242を入力とし、第3制御信号ay233が、通信の実施を指示しているとき、データay242に対し、誤り訂正符号化、変調、通信のための処理などを施し、送信信号を生成、出力し(ay222)、送信信号は、電波として、アンテナay223から出力される。なお、第1のセンシング結果情報を含む情報ay234、第2のセンシング結果情報を含む情報ay235を他の装置に伝送する必要がある場合、通信装置ay221は、第1のセンシング結果情報を含む情報ay234、第2のセンシング結果情報を含む情報ay235を入力とし、第1のセンシング結果情報を含む情報ay234、第2のセンシング結果情報を含む情報ay235を含む送信信号を生成し、出力してもよい。
また、第3制御信号ay233が、通信の実施を指示しているとき、通信装置ay221は、アンテナay223で受信した受信信号(ay222)を入力とし、復調、誤り訂正復号などの処理を施し、受信データay241を出力する。
制御部ay230は、信号ay251、第1のセンシング結果情報を含む情報ay234、第2のセンシング結果情報を含む情報ay235、受信データay241を入力とし、第1センシング装置ay201、第2センシング装置ay211、通信装置ay221を制御するための、第1制御信号ay231、第2制御信号ay232、第3制御信号ay233を出力し、また、制御情報ay252を出力する。なお、具体的な、「第1センシング装置ay201、第2センシング装置ay211、通信装置ay221」の制御については、以降で説明を行う。
図151Aは、図150の構成をもつ第1装置ay301、図150の構成をもつ第2装置ay302の状態の例を示している。このとき、第2装置ay302は、第1周波数(帯)を用いてセンシング用の信号を送信しているものとする。
そして、第1装置ay301は、第2装置ay302が送信した第1周波数(帯)のセンシング用の信号を受信し、第2装置ay302のセンシングを行っているものとする。
なお、第2装置ay302が送信したセンシング用の信号を用いて、第1装置ay301が、第2装置ay302をセンシングするまでの手順については、他の実施の形態で説明しているので、ここでの説明を省略する。
また、以降の説明では、第1周波数(帯)のセンシング用の信号のセンシング可能な範囲は、第2周波数(帯)のセンシング用の信号のセンシング可能な範囲より広いものとする。
例として、第1周波数(帯)を60GHz帯のUnlicensed bandとし、第2周波数(帯)を2.4GHz帯のUnlicensed band(または、5GHz帯、6GHz帯のlicensed band)とする方法が考えられる。このとき、第2周波数(帯)のセンシング用の信号の周波数帯域は、第1周波数(帯)のセンシング用の信号の周波数帯域より広く確保できる可能性が高く、この場合、第2周波数(帯)でセンシングを行うと、高精度なセンシングの推定を行うことができる。
別の例として、第1周波数(帯)を5GHz帯(または、6GHz帯)とし、第2周波数(帯)を2.4GHz帯とする方法が考えられる。
第1装置ay301は、図150の第1センシング装置ay201で、第2装置ay302が送信した第1周波数(帯)のセンシング用の信号の処理を行うことになるが、このとき、「第1のセンシング結果情報を含む情報ay234」に、「第1周波数(帯)のセンシング用の信号の受信品質が低下していることを示す情報」が含まれたものとする。
第1装置ay301が具備する図150の制御部ay230は、「第1周波数(帯)のセンシング用の信号の受信品質が低下していることを示す情報」を含む「第1のセンシング結果情報を含む情報ay234」を入力とし、「第1周波数(帯)のセンシング用の信号の受信品質が低下していることを示す情報」に基づき、センシング用の信号の周波数を第2周波数(帯)に変更することを決定する。したがって、第1装置ay301が具備する図150の制御部ay230は、制御情報ay252として、「センシング用の信号の周波数を第2周波数(帯)に変更する」という情報を出力する。また、第1装置ay301が具備する図150の制御部ay230は、第3制御信号ay233として、「通信の実施を指示」の情報を出力することになる。
これに伴い、図151Bに示すように、図150の構成をもつ第1装置ay301の通信装置ay221は、第3制御信号ay233の「通信の実施を指示」に伴い、制御情報ay252に含まれる「センシング用の信号の周波数を第2周波数(帯)に変更する」という依頼に関わる情報を含む変調信号を生成し、第2装置ay302に送信する。
図150の構成をもつ第2装置ay302の通信装置ay221は、この変調信号を受信し、復調、誤り訂正符号の復号などの処理を行い、受信データay242を得るが、このとき、受信データay242には、「センシング用の信号の周波数を第2周波数(帯)への変更する」という依頼に関わる情報が含まれていることになる。
第2装置ay302の制御部ay230は、受信データay242を入力とし、「センシング用の信号の周波数を第2周波数(帯)に変更する」という依頼に関わる情報に基づき、センシング用の信号の送信指示情報を含む第2制御信号ay232を出力する。
したがって、図151Cに示すように、図150の構成をもつ第2装置ay302の第2センシング装置ay211は、第2制御信号ay232を入力とし、第2制御信号ay232に含まれるセンシング用の信号の送信指示情報に基づき、センシング用の信号を生成し、出力することになる。そして、センシング用の信号は、電波として、アンテナay213から出力される。なお、ここでのセンシング用の信号は、第2周波数(帯)の信号である。
なお、上記において、第1装置ay301と第2装置ay302と通信を行う際、通信距離を確保するという点を考慮すると、第2周波数を用いるのが好適な方法の一つとなる。また、第1装置ay301と第2装置ay302と通信を行う際、「第1周波数(帯)、第2周波数(帯)」以外の周波数を用いてもよい。ただし、第1装置ay301と第2装置ay302と通信を行う際に使用する周波数(帯)は、これらの例に限ったものではない。
また、第1装置ay301は、他の装置(例えば、アクセスポイント、中継器、基地局など)を介し、第2装置ay302と通信を行ってもよい。そして、第2装置ay302は、他の装置(例えば、アクセスポイント、中継器、基地局など)を介し、第1装置ay301と通信を行ってもよい。
図151A、図151Bおよび図151Cに示される第1装置ay301および第2装置ay302は、以下のようにも表現され得る。
図151Dは、図150の構成をもつ第1装置ay301と、第2装置ay302との別の例(つまり、第1装置ay311と第2装置ay312)を示している。
第1装置ay311は、通信部ay315と、制御部ay316とを備える。
通信部ay315は、第2装置ay312が電波によって送信するフレームを受信し、受信したフレームを用いて第2装置ay312をセンシングする。
制御部ay316は、第2装置ay312が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した周波数を第2装置ay312に通知し、かつ、上記周波数を用いて通信部ay315がセンシングをするよう制御する。周波数の通知は、周波数の変更の依頼であってもよい。
ここで、制御部ay316は、周波数を選択する際には、通信部ay315が通信に用いている周波数とは独立に、周波数を選択してもよい。
また、センシングは、通信部ay315が受信した電波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含んでもよい。
第2装置ay312は、通信部ay317と、制御部ay318とを備える。
通信部ay317は、センシングのためのフレームを電波で送信する。
制御部ay318は、第1装置ay311から周波数の通知を受け、通知により示される周波数を用いて通信部ay317が電波によってフレームを送信するよう制御する。
ここで、通信部ay317は、上記フレームとして、プリアンブルを含み、かつ、データフィールドを含まないフレームを送信してもよい。
以上のようにして、センシング用の信号が使用する周波数帯を切り替えることで、第1装置ay301は、第2装置ay302のセンシングを継続的に実施することが可能となるという効果を得ることができる。
なお、第2装置ay302の通信装置ay221は、「センシング用の信号の周波数を第2周波数(帯)(または、第1周波数(帯))への変更する」という依頼に関わる情報を送信することになるが、このとき、第1装置ay301の通信装置ay221は、「センシング用の信号の周波数を第2周波数(帯)(または、第1周波数(帯))への変更する」という依頼に関わる情報を受けたのち、「センシング用の信号の周波数を第2周波数(帯)(または、第1周波数(帯))への変更」を行うか、否かの応答情報を、第2装置ay302に送信してもよい。
以下では、別の動作例を説明する。
図151Aは、図150の構成をもつ第1装置ay301、図150の構成をもつ第2装置ay302の状態の例を示している。このとき、第2装置ay302は、第2周波数(帯)を用いてセンシング用の信号を送信しているものとする。
そして、第1装置ay301は、第2装置ay302が送信した第2周波数(帯)のセンシング用の信号を受信し、第2装置ay302のセンシングを行っているものとする。
なお、第2装置ay302が送信したセンシング用の信号を用いて、第1装置ay301が、第2装置ay302をセンシングするまでの手順については、他の実施の形態で説明しているので、ここでの説明を省略する。
また、以降の説明では、第1周波数(帯)のセンシング用の信号のセンシング可能な範囲は、第2周波数(帯)のセンシング用の信号のセンシング可能な範囲より広いものとする。
例として、第1周波数(帯)は60GHz帯のUnlicensed bandとし、第2周波数(帯)は2.4GHz帯のUnlicensed band(または、5GHz帯、6GHz帯のlicensed band)とする方法が考えられる。このとき、第2周波数(帯)のセンシング用の信号の周波数帯域は、第1周波数(帯)のセンシング用の信号の周波数帯域より広く確保できる可能性が高く、この場合、第2周波数(帯)でセンシングを行うと、高精度なセンシングの推定を行うことができる。
第1装置ay301は、図150の第2センシング装置ay211で、第2装置ay302が送信した第2周波数(帯)のセンシング用の信号の処理を行うことになるが、このとき、「第2のセンシング結果情報を含む情報ay235」に、「第2周波数(帯)のセンシング用の信号の受信品質が向上していることを示す情報」が含まれたものとする。
第1装置ay301が具備する図150の制御部ay230は、「第2周波数(帯)のセンシング用の信号の受信品質が向上していることを示す情報」を含む「第2のセンシング結果情報を含む情報ay235」を入力とし、「第2周波数(帯)のセンシング用の信号の受信品質が向上していることを示す情報」に基づき、センシング用の信号の周波数を第1周波数(帯)に変更することを決定する。したがって、第1装置ay301が具備する図150の制御部ay230は、制御情報ay252として、「センシング用の信号の周波数を第1周波数(帯)に変更する」という情報を出力する。また、第1装置ay301が具備する図150の制御部ay230は、第3制御信号ay233として、「通信の実施を指示」の情報を出力することになる。
これに伴い、図151Bに示すように、図150の構成をもつ第1装置ay301の通信装置ay221は、第3制御信号ay233の「通信の実施を指示」に伴い、制御情報ay252に含まれる「センシング用の信号の周波数を第1周波数(帯)に変更する」という依頼に関わる情報を含む変調信号を生成し、第2装置ay302に送信する。
図150の構成をもつ第2装置ay302の通信装置ay221は、この変調信号を受信し、復調、誤り訂正符号の復号などの処理を行い、受信データay242を得るが、このとき、受信データay242には、「センシング用の信号の周波数を第1周波数(帯)への変更する」という依頼に関わる情報が含まれていることになる。
第2装置ay302の制御部ay230は、受信データay242を入力とし、「センシング用の信号の周波数を第1周波数(帯)に変更する」という依頼に関わる情報に基づき、センシング用の信号の送信指示情報を含む第2制御信号ay232を出力する。
したがって、図151Aに示すように、図150の構成をもつ第2装置ay302の第2センシング装置ay211は、第2制御信号ay232を入力とし、第2制御信号ay232に含まれるセンシング用の信号の送信指示情報に基づき、センシング用の信号を生成し、出力することになる。そして、センシング用の信号は、電波として、アンテナay213から出力される。なお、ここでのセンシング用の信号は、第1周波数(帯)の信号である。
図152Aは、第1装置ay301、第2装置ay302の構成の一例を示しており、第1装置ay301、第2装置ay302は、例えば、センシングおよび通信装置ay401、撮影装置ay402、表示部ay403、信号処理部ay404を具備しているものとする。なお、センシングおよび通信装置ay401は、例えば、図150の構成を具備するものとする。(通信装置を具備しない構成であってもよい。)
図152Bは、第1装置ay301、第2装置ay302の構成の図152Aと異なる例を示しており、図152Aと同様に動作するものについては、同一番号を付しており、説明を省略する。第1装置ay301、第2装置ay302は、GPS(Global Positioning System)などの位置推定部ay405を具備しているものとする。なお、第1装置ay301、第2装置ay302は、図152A、図152Bに示したもの以外のものを具備していてもよい。
例えば、図151A、図151Cのような場合、第1装置ay301は、第2装置ay302が送信したセンシング用の信号を受信し、位置などの推定を行ったものとする。第1装置ay301が、図152の構成を具備している場合、センシングおよび通信装置ay401が、センシングの結果情報を推定する。
あわせて、第1装置ay301の撮影装置ay402は、周辺の静止画、動画などの画像情報を取得し、出力するものとする。
そして、信号処理部ay404は、センシングの結果情報と画像情報を入力とし、画像上のどの位置に第2装置ay302が存在するか、を推定し、第2装置ay302の位置情報付画像を出力するものとする。なお、第2装置ay302の位置を求めるために、位置推定部ay405が出力する位置情報を利用してもよい。
表示部ay403は、第2装置ay302の位置情報付画像を入力とし、画像および画像上における第2装置ay302の位置を表示する。
図153Aは、表示部ay403に、「画像および画像上における第2装置ay302の位置」を表示したときの例である。画面ay500には、例えば、人、建物、道路ay503などが表示されているものとする。そして、第2装置ay302は、例えば、二重丸ay501の方向に存在するため、図153Aのように、二重丸ay501を画面ay500に表示するものとする。なお、距離を示すために、二重丸の大きさを変更してもよい。
例えば、二重丸の大きさには、図154Aのように、「小」の二重丸ay601、「中」の二重丸ay602、「大」の二重丸ay603が存在するものとする。そして、第1装置ay301から第2装置ay302が10m以内に存在する場合、表示部ay403に画像とともに「大」の二重丸ay603を表示する。第1装置ay301から第2装置ay302が10m以上20m以下に存在する場合、表示部ay403に画像とともに「中」の二重丸ay602を表示する。第1装置ay301から第2装置ay302が20m以上離れている場合、表示部ay403に画像とともに「小」の二重丸ay601を表示する。あわせて、第1装置ay301から第2装置ay302の推定値を画像とともに表示してもよい。
なお、図154Aでは、二重丸の大きさを3段階で表示しているが、あくまでも例であり、これに限ったものではなく、1段階以上で表示することが可能であればよい。また、実施方法は、上述に限ったものではない。例として二重丸としているが、その他の記号、画像、文字などを用いても同様に実施することは可能である。
図153Bは、表示部ay403に、「画像および画像上における第2装置ay302の位置」を表示したときの図153Aと異なる例である。画面ay500には、例えば、人、建物、道路ay503などが表示されているものとする。そして、第2装置ay302は、例えば、矢印ay502の方向に存在するため、図153Bのように、矢印ay502を画面ay500に表示するものとする。なお、距離を示すために、矢印の長さ、大きさを変更してもよい。
例えば、矢印の大きさには、図154Bのように、「小」の矢印ay611、「中」の矢印ay612、「大」の矢印ay613が存在するものとする。
そして、第1装置ay301から第2装置ay302が10m以内に存在する場合、表示部ay403に画像とともに「大」の矢印ay613を表示する。第1装置ay301から第2装置ay302が10m以上20m以下に存在する場合、表示部ay403に画像とともに「中」の矢印ay612を表示する。第1装置ay301から第2装置ay302が20m以上離れている場合、表示部ay403に画像とともに「小」の矢印ay611を表示する。あわせて、第1装置ay301から第2装置ay302の推定値を画像とともに表示してもよい。
なお、図154Bでは、矢印の大きさを3段階で表示しているが、あくまでも例であり、これに限ったものではなく、1段階以上で表示することが可能であればよい。また、矢印の大きさに代わり、矢印の太さで、距離を表現してもよい。また、実施方法は、上述に限ったものではない。例として矢印としているが、その他の記号、画像、文字などを用いても同様に実施することは可能である。
以上のように、文字の大きさ、矢印などの記号の大きさなどで、自身からターゲットの距離(例えば、第1装置ay301から第2装置ay302の距離)を判別することができるようにすることで、ユーザは、容易にターゲットの位置を知ることができるという効果を得ることができる。
なお、表示部ay403に、自身(例えば、第1装置ay301)が存在する位置周辺の地図を表示し、その地図上に、ターゲット(例えば、第2装置ay302)の位置を示し、表示部ay403に表示してもよい。このとき、第1装置ay301の位置に関する情報は、図152Bの位置推定部ay405から得られることになる。
また、図152A、図152Bにおいて、表示部ay403は、別の装置であってもよく、このとき、第1装置ay301、第2装置ay302は、表示部ay403と無線による接続、または、有線による接続を行うためのインタフェースを具備していてもよい。
そして、表示部ay403は、ディスプレイであってもよいし、AR/VR/MRグラスなどであってもよい。
上述の説明では、「撮影装置ay402で得られた画像にターゲットの位置を表示する表示方法(第1の表示方法ともいう)」と「自身の周辺の地図にターゲットの位置を表示する方法(第2の表示方法ともいう)」について説明したが、例えば、第1装置ay301は、第1の表示方法と第2の表示方法を切り替えて表示してもよいし、第1の表示方法と第2の表示方法を同時に表示部に表示してもよい。
上述の例では、第2装置ay302が送信した信号を受信した第1装置ay301が第2装置ay302のセンシングを行うセンシングを例に説明したが、第1の表示方法と第2の表示方法の適用は、他のセンシング方法を実施したときについても、同様に実施することが可能である。なお、他のセンシング方法については、他の実施の形態で説明したとおりである。
例えば、第1装置ay301が、センシング用の信号を送信し、その後、センシング用の信号を受信することで、ターゲットのセンシングを行う場合、第1装置ay301において、第1の表示方法、第2の表示方法いずれにおいても、ターゲットの位置が表示されることになる。
また、第1装置ay301と第3装置により三角測量を実施し、第1装置ay301は、ターゲットの位置などを推定する場合、第1装置ay301において、第1の表示方法、第2の表示方法いずれにおいても、ターゲットの位置が表示されることになる。
電動バイク(e-バイク)、電動キックボード、掃除機、電気自動車、電動アシスト自転車、電動アシストキックボード、バイク、自動車、ロボット、自転車などの駆動部を持つ動く装置が第1装置ay301を具備する場合、第1装置ay301は、第2装置ay302やターゲットをセンシングし、第2装置ay302やターゲットの位置などの推定をすることになるが、このとき、第1装置ay301は、第2装置ay302やターゲットの位置推定を継続的に行い、第1装置ay301を具備する動く装置は、駆動部を制御し、第2装置ay302やターゲット移動に追従するように、動いてもよい。
(実施の形態28)
センシング方法、センシングによる推定方法は、本明細書に記載した方法に限ったものではない。例えば、以下のような方法であってもよい。
センシング方法、センシングによる推定方法は、本明細書に記載した方法に限ったものではない。例えば、以下のような方法であってもよい。
物体の凹凸を検出するためのセンシングを例とするセンシングの際、絶対的な距離の情報は、必ずしも必要ない。例えば、装置が一定間隔で、センシング用の信号を送信するものとする。そして、これらのセンシング用の信号を受信する装置は、センシング用の信号の一定間隔からのずれを検出する。このずれを距離換算することで、物体の凹凸を検出することが可能である。
以下で、動作の具体的な例を説明する。
図155は、本実施の形態におけるシステムの構成図の例を示している。第1装置ay701は、センシング用の信号を送信して、ターゲットay701の形状、凹凸などを推定するものとする。具体的には、第1装置ay701が、ターゲットay702に対して、センシング用の信号を送信し、ターゲットに反射した、センシング用の信号を、第1装置ay701が受信し、ターゲットay701の形状、凹凸などを推定することになる。このとき、第1装置ay701は、例えば、送信指向性制御(送信ビームフォーミング)を行う。そして、送信ビームを時間的に変更することになる。
図156Aは、ターゲットay702を9つの領域に区切った図である。例えば、第1装置ay701は、図156Aの領域ay801をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
その後、第1装置ay701は、図156Aの領域ay802をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
以降、以下の順に、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay803をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay804をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay805をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay806をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay807をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay808をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
第1装置ay701は、図156Aの領域ay809をターゲットとし、送信指向性制御(送信ビームフォーミング)を行い、センシング用の信号を送信する。
なお、領域に対し、第1装置ay701がセンシング用の信号を送信する順番は上記に限ったものではなく、あくまでも例である。
図156Bは、第1装置ay701がセンシング用の信号を送信する様子の例を示しており、横軸は時間であるものとする。
図156Bに示すように、第1装置ay701は、領域ay801に対し、センシング用の信号として、「領域ay801用フレーム」ay811を送信する。
次に、第1装置ay701は、領域ay802に対し、センシング用の信号として、「領域ay802用フレーム」ay812を送信する。
その後、第1装置ay701は、以下のように、送信を行う。
第1装置ay701は、領域ay803に対し、センシング用の信号として、「領域ay803用フレーム」ay813を送信する。
第1装置ay701は、領域ay804に対し、センシング用の信号として、「領域ay804用フレーム」ay814を送信する。
第1装置ay701は、領域ay805に対し、センシング用の信号として、「領域ay805用フレーム」ay815を送信する。
第1装置ay701は、領域ay806に対し、センシング用の信号として、「領域ay806用フレーム」ay816を送信する。
第1装置ay701は、領域ay807に対し、センシング用の信号として、「領域ay807用フレーム」ay817を送信する。
第1装置ay701は、領域ay808に対し、センシング用の信号として、「領域ay808用フレーム」ay818を送信する。
第1装置ay701は、領域ay809に対し、センシング用の信号として、「領域ay809用フレーム」ay819を送信する。
ただし、図156Bでは、「領域ay801用フレーム」ay811、「領域ay802用フレーム」ay812、「領域ay803用フレーム」ay813、「領域ay804用フレーム」ay814のみ示している。
このとき、図156Bに示すように、「領域ay801用フレーム」ay811と「領域ay802用フレーム」ay812の時間の間隔をT1とする。なお、時間の間隔は、フレームの先頭同士で示している。
そして、「領域ay802用フレーム」ay812と「領域ay803用フレーム」ay813の時間の間隔をT2とする。
「領域ay803用フレーム」ay813と「領域ay804用フレーム」ay814の時間の間隔をT3とする。
同様にして、時間間隔を設定するものとするが、ここでは、説明を省略する。
そして、第1装置ay701は、図156Bのように送信したセンシング用の信号を受信することになる。図156Cは、第1装置ay701が受信したときの様子の例を示している。
図156Cのように、第1装置ay701は、「領域ay801用フレーム」ay821_1、「領域ay802用フレーム」ay822_1、「領域ay803用フレーム」ay823_1、「領域ay804用フレーム」ay824_1、・・・、と受信することになる。
図156Bで、「領域ay801用フレーム」ay811と「領域ay802用フレーム」ay812の時間間隔がT1であるのに対し、図156Cで、「領域ay801用フレーム」ay821_1と「領域ay802用フレーム」ay822_1の時間間隔がT1であるものとする。
この場合、送信時の時間間隔(T1)に対し、受信時の時間間隔に変化がないことから、「第1装置ay701と領域ay801の距離」に対し、「第1装置ay701と領域ay802の距離」は変化がないことがわかる。つまり、図157Aのように、領域ay801と領域ay802はフラット(凹凸がない)であることがわかる。なお、図157Aにおいて、縦軸は距離を示し、横軸は領域を示す。
図156Bで、「領域ay802用フレーム」ay812と「領域ay803用フレーム」ay813の時間間隔がT2であるのに対し、図156Cで、「領域ay802用フレーム」ay822_1と「領域ay803用フレーム」ay823_1の時間間隔がT2であるものとする。
この場合、送信時の時間間隔(T2)に対し、受信時の時間間隔に変化がないことから、「第1装置ay701と領域ay802の距離」に対し、「第1装置ay701と領域ay803の距離」は変化がないことがわかる。つまり、図157Aのように、領域ay802と領域ay803はフラット(凹凸がない)であることがわかる。
図156Bで、「領域ay803用フレーム」ay813と「領域ay804用フレーム」ay814の時間間隔がT3であるのに対し、図156Cで、「領域ay803用フレーム」ay823_1と「領域ay804用フレーム」ay824_1の時間間隔がT3であるものとする。
この場合、送信時の時間間隔(T3)に対し、受信時の時間間隔に変化がないことから、「第1装置ay701と領域ay803の距離」に対し、「第1装置ay701と領域ay804の距離」は変化がないことがわかる。つまり、領域ay803と領域ay804はフラット(凹凸がない)であることがわかる。そして、領域ay801と領域ay804の関係は、図157Aを考慮すると、図157Bのように、フラット(凹凸がない)ことになる。なお、図157Bにおいて、縦軸は距離を示し、横軸は領域を示す。
次に、別の例を説明する。
第1装置ay701は、図156Bのように送信したセンシング用の信号を受信することになる。図156Dは、第1装置ay701が受信したときの様子の図156Cとは異なる例を示している。
図156Dのように、第1装置ay701は、「領域ay801用フレーム」ay821_2、「領域ay802用フレーム」ay822_2、「領域ay803用フレーム」ay823_2、「領域ay804用フレーム」ay824_2、・・・、と受信することになる。
図156Bで、「領域ay801用フレーム」ay811と「領域ay802用フレーム」ay812の時間間隔がT1であるのに対し、図156Dで、「領域ay801用フレーム」ay821_2と「領域ay802用フレーム」ay822_2の時間間隔がT1―ΔTx1であるものとする。
この場合、送信時の時間間隔(T1)に対し、受信時の時間間隔がT1―ΔTx1となり、―ΔTx1分の変化があることから、「第1装置ay701と領域ay801の距離」に対し、「第1装置ay701と領域ay802の距離」は―ΔTx1分に相当する距離の変化があることになる。つまり、図157Cのように、領域ay801と領域ay802は―ΔTx1分の距離の変化、つまり、凹みがあることになる。なお、図157Cにおいて、縦軸は距離を示し、横軸は領域を示す。
図156Bで、「領域ay802用フレーム」ay812と「領域ay803用フレーム」ay813の時間間隔がT2であるのに対し、図156Dで、「領域ay802用フレーム」ay822_2と「領域ay803用フレーム」ay823_2の時間間隔がT2+ΔTx2であるものとする。
この場合、送信時の時間間隔(T2)に対し、受信時の時間間隔がT2+ΔTx2となり、+ΔTx2分の変化があることから、「第1装置ay701と領域ay802の距離」に対し、「第1装置ay701と領域ay803の距離」は+ΔTx2分に相当する距離の変化があることになる。つまり、図157Cのように、領域ay802と領域ay803は+ΔTx2分の距離の変化、つまり、凸があることになる。
図156Bで、「領域ay803用フレーム」ay813と「領域ay804用フレーム」ay814の時間間隔がT3であるのに対し、図156Cで、「領域ay803用フレーム」ay823_1と「領域ay804用フレーム」ay824_1の時間間隔がT3+ΔTx3であるものとする。
この場合、送信時の時間間隔(T3)に対し、受信時の時間間隔がT3+ΔTx3となり、「第1装置ay701と領域ay803の距離」に対し、「第1装置ay701と領域ay804の距離」は+ΔTx3分に相当する距離の変化があることになる。つまり、領域ay803と領域ay804は+ΔTx3分の距離の変化、つまり、凸があることになる。そして、領域ay801と領域ay804の関係は、図157Cを考慮すると、図157Dのように、凸があることになる。なお、図157Dにおいて、縦軸は距離を示し、横軸は領域を示す。
以上のような例を実施することで、領域の絶対的な距離を推定しなくても、複数領域の凹凸、つまり、物体の凹凸を知ることができるという効果を得ることができる。
上述の例では、「第1のフレーム」と「第1のフレームの一つ前のフレーム(第2フレームと名付ける)」があるとき、「第1のフレームに対応する領域」と「第2のフレームに対応する領域」の距離の差を求めている。このとき、第2のフレームを基準に「第1のフレームに対応する領域」との距離の差を求めていることになるが、基準とするフレームは、他のフレームであってもよい。
例えば、上述の説明では、「領域ay804用フレーム」と「領域ay803用のフレーム」を用い、領域ay804と領域ay803の距離の差を求めているが、「領域ay804用フレーム」と「領域ay802用のフレーム」を用い、領域ay804と領域ay802の距離の差を求めてもよいし、「領域ay804用フレーム」と「領域ay801用のフレーム」を用い、領域ay804と領域ay801の距離の差を求めてもよい。なお、二つの領域の距離の差を求めるために使用するフレームは、これらの例に限ったものではない。
なお、上述のような凹凸を推定する際に使用するセンシング方法は、どのような方法であってもよい。
また、第1装置ay701が送信するセンシング用の信号の送信の様子は、図156Bに限ったものではない。例を説明する。
図155のように、第1装置ay701が、ターゲットay702のセンシングを行う際、図156Aとは異なり、図158Aのようにターゲットay702を16個の領域に区切り、図158B、図158Cのようにセンシング用の信号を第1装置ay701が送信してもよい。
図158B、図158Cは、第1装置ay701がセンシング用の信号を送信する例を示しており、横軸は時間であるものとする。
図158Bに示すように、第1装置ay701は、領域ay1001に対し、センシング用の信号として、「領域ay1001用フレーム」ay1051を送信する。なお、「領域ay1001用フレーム」ay1051は、第1装置ay701が、領域ay1001の凹凸を推定するためのフレームとなる。
その後、第1装置ay701は、以下のように、送信を行う。
第1装置ay701は、領域ay1002に対し、センシング用の信号として、「領域ay1002用フレーム」ay1052を送信する。なお、「領域ay1002用フレーム」ay1052は、第1装置ay701が、領域ay1002の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1003に対し、センシング用の信号として、「領域ay1003用フレーム」ay1053を送信する。なお、「領域ay1003用フレーム」ay1053は、第1装置ay701が、領域ay1003の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1004に対し、センシング用の信号として、「領域ay1004用フレーム」ay1054を送信する。なお、「領域ay1004用フレーム」ay1054は、第1装置ay701が、領域ay1004の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1005に対し、センシング用の信号として、「領域ay1005用フレーム」ay1055を送信する。なお、「領域ay1005用フレーム」ay1055は、第1装置ay701が、領域ay1005の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1006に対し、センシング用の信号として、「領域ay1006用フレーム」ay1056を送信する。なお、「領域ay1006用フレーム」ay1056は、第1装置ay701が、領域ay1006の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1007に対し、センシング用の信号として、「領域ay1007用フレーム」ay1057を送信する。なお、「領域ay1007用フレーム」ay1057は、第1装置ay701が、領域ay1007の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1008に対し、センシング用の信号として、「領域ay1008用フレーム」ay1058を送信する。なお、「領域ay1008用フレーム」ay1058は、第1装置ay701が、領域ay1008の凹凸を推定するためのフレームとなる。
このとき、「領域ay1001用フレーム」ay1051、「領域ay1002用フレーム」ay1052、「領域ay1003用フレーム」ay1053、「領域ay1004用フレーム」ay1054、「領域ay1005用フレーム」ay1055、「領域ay1006用フレーム」ay1056、「領域ay1007用フレーム」ay1057、「領域ay1008用フレーム」ay1058は、第1時間区間に存在するものとする。
また、図158Cに示すように、第1装置ay701は、領域ay1009に対し、センシング用の信号として、「領域ay1009用フレーム」ay1079を送信する。なお、「領域ay1009用フレーム」ay1079は、第1装置ay701が、領域ay1009の凹凸を推定するためのフレームとなる。
その後、第1装置ay701は、以下のように、送信を行う。
第1装置ay701は、領域ay1010に対し、センシング用の信号として、「領域ay1010用フレーム」ay1080を送信する。なお、「領域ay1010用フレーム」ay1080は、第1装置ay701が、領域ay1010の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1011に対し、センシング用の信号として、「領域ay1011用フレーム」ay1081を送信する。なお、「領域ay1011用フレーム」ay1081は、第1装置ay701が、領域ay1011の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1012に対し、センシング用の信号として、「領域ay1012用フレーム」ay1082を送信する。なお、「領域ay1012用フレーム」ay1082は、第1装置ay701が、領域ay1012の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1013に対し、センシング用の信号として、「領域ay1013用フレーム」ay1083を送信する。なお、「領域ay1013用フレーム」ay1083は、第1装置ay701が、領域ay1013の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1014に対し、センシング用の信号として、「領域ay1014用フレーム」ay1084を送信する。なお、「領域ay1014用フレーム」ay1084は、第1装置ay701が、領域ay1014の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1015に対し、センシング用の信号として、「領域ay1015用フレーム」ay1085を送信する。なお、「領域ay1015用フレーム」ay1085は、第1装置ay701が、領域ay1015の凹凸を推定するためのフレームとなる。
第1装置ay701は、領域ay1016に対し、センシング用の信号として、「領域ay1016用フレーム」ay1086を送信する。なお、「領域ay1016用フレーム」ay1086は、第1装置ay701が、領域ay1016の凹凸を推定するためのフレームとなる。
このとき、「領域ay1009用フレーム」ay1079、「領域ay1010用フレーム」ay1080、「領域ay1011用フレーム」ay1081、「領域ay1012用フレーム」ay1082、「領域ay1013用フレーム」ay1083、「領域ay1014用フレーム」ay1084、「領域ay1015用フレーム」ay1085、「領域ay1016用フレーム」ay1086も、第1時間区間に存在するものとする。
そして、第1時間区間に、同一時間帯に複数のフレームを送信している時間区間が存在しているものとする。
このように、複数の送信ビームを同一時間帯に送信して、複数の領域の凹凸を推定するように実施してもよい。
図156B、図158B、図158Cにおいて、例として、例えば、T1、T2、・・・などのフレームの間隔を設定しているが、この間隔の値は、第1装置ay701が、設定できてもよい。(ただし、固定値であってもよい。)この点について、説明を行う。
図159は、図155における第1装置ay701が送信する信号の例を示している。なお、図159において、横軸は時間であるものとする。
図159において、ay1111_1の凹凸推定用フレーム(1)、ay1111_2の凹凸推定用フレーム(2)、・・・は、図156B、図158B、図158Cの領域を推定するためのフレーム(例えば、領域ay801用フレームなど)であるものとする。
そして、トレーニングシンボルay1101は、図159における「T」(フレーム間の長さ)を設定するためのシンボルであるものとする、つまり、例えば、図156Bにおける「T1」、「T2」、「T3」、・・・、図158B、図158Cにおける「T1」、「T2」、「T3」、・・・、および、「T9」、「T10」、「T11」、・・・を設定するためのシンボルであるものとする。
図155における第1装置ay701が、図159におけるトレーニングシンボルay1101を送信するものとする。すると、ターゲットay702に反射したトレーニングシンボルay1101を、第1装置ay701は受信する。第1装置ay701は、トレーニングシンボルay1101の送信時間と受信時間がわかり、送信タイミングと受信タイミングの時間間隔がXであるものとする。すると、「図156Bにおける「T1」、「T2」、「T3」、・・・、図158B、図158Cにおける「T1」、「T2」、「T3」、・・・、および、「T9」、「T10」、「T11」、・・・、図159の「T」、・・・」をXより大きく設定すると、送信信号と受信信号の干渉を低減することができることになる。このようにして、「図156Bにおける「T1」、「T2」、「T3」、・・・、図158B、図158Cにおける「T1」、「T2」、「T3」、・・・、および、「T9」、「T10」、「T11」、・・・、図159の「T」、・・・」を設定することになる。
また、図155において、第1装置ay701は、第2装置の依頼により、ターゲットay702の凹凸の推定を行っているものとする。このとき、第1装置ay701が、第2装置にターゲットay702の凹凸の推定情報を送信する場合、第1装置ay701は、距離の変化分の情報(距離の差分の情報)を、第2装置に送信することになる。また、他の実施の形態で説明したように、サーバ、クラウドサーバなどの他の装置に送信する必要がある場合についても、第1装置ay701は、距離の変化分の情報(距離の差分の情報)を他の装置に送信することになる。
なお、本実施の形態は、他の実施の形態と組み合わせて実施することが可能である。例えば、実施の形態10と組み合わせた場合、3次元で物体の凹凸を検出すること、陰になっており、人の目では確認することが困難な部分の凹凸についても検出することが可能となる。
図156A、図158Aの領域は四角形で示しているが、これは、説明を簡単に行うために、例として示しているものであり、この例に限ったものではない。
また、第1装置ay791は、いずれかの時点で、ターゲットay702の図156Aにおけるいずれかの領域と第1装置ay791(または、他の装置)との距離を推定するためのセンシングを実施し、あわせて、上述のようなターゲットay702の各領域の凹凸の推定を実施することで、第1装置ay791は、ターゲットay702の各領域と第1装置ay791(または、他の装置)との距離の推定を行うことが可能となる。
例えば、図156Bにおいて、いずれかの時点で、第1装置ay791は、ターゲットay702の図156Aにおけるいずれかの領域と第1装置ay791(または、他の装置)との距離を推定するためのセンシングを実施することになる。なお、距離推定のためのセンシング方法については、他の実施の形態で例を説明している。
(実施の形態29)
本実施の形態において、図155の第1装置ay701が複数のセンシング部を備える構成について説明する。
本実施の形態において、図155の第1装置ay701が複数のセンシング部を備える構成について説明する。
図160Aは、第1装置ay701の構成の例を示す図である。
図160Aに示されるように、第1装置ay701は、複数のセンシング部と、複数の処理・制御部と、信号処理部とを備える。
複数のセンシング部それぞれは、ターゲットのセンシングを電波によって行う。なお、各センシング部では、送信時および受信時に使用する周波数を設定できてもよい。また、複数のセンシング部において、送信時および受信時に使用する周波数が異なっていてもよい。(同じであってもよい。)
例えば、最上段のセンシング部では、送信時および受信時に第1周波数を用い、最下段のセンシング部では、送信時および受信時に第2周波数を用いてもよい。また、複数のセンシング部の一部が、可視光などの光を用いたセンシング部であってもよい。
複数の処理・制御部は、複数のセンシング部に1対1に対応する関係で設けられており、複数のセンシング部の後段に設けられている。
複数の処理・制御部それぞれは、当該処理・制御部に対応するセンシング部が出力したセンシング結果に対し、物体の認識、または、物体の凹凸の推定を行う。
信号処理部は、複数の処理・制御部で得た、物体認識の情報を統合した物体認識情報を生成、出力する。または、信号処理部は、複数の処理・制御部で得た、物体の凹凸の推定情報を統合した物体凹凸情報を生成、出力する。また、信号処理部は、複数の処理・制御部で得た物体認識情報、または、物体の凹凸の推定情報に基づき、複数のセンシング部が、具体的にどの位置のセンシングを行うか、のスケジューリングを行う。
図160Bは、第1装置ay701の構成の別の例を示す図である。
図160Bに示される構成では、第1装置ay701は、図160Aに示される構成と同様に、複数のセンシング部と、複数の処理・制御部と、信号処理部とを備える。また、複数の処理・制御部は、互いに接続され、信号の送受信を行い得る。
図160Bの構成の場合、一の処理・制御部が、他の処理・制御部による推定情報の取得を指示したり、センシング部がどの位置のセンシングを行うかについての制御をしたりすることが可能となる。
なお、電波によるセンシングに代わり、可視光などの光によるセンシングも同様に実施可能である。
また、複数のセンシング部ごとに、異なるターゲットをセンシングしてもよい。
(実施の形態30)
実施の形態8(図50等)などにおいて、センシングの結果に基づいて、オーディオN702の制御例について説明したが、本実施の形態では、別の実施例を説明する。
実施の形態8(図50等)などにおいて、センシングの結果に基づいて、オーディオN702の制御例について説明したが、本実施の形態では、別の実施例を説明する。
図161は、スピーカの配置の例を示す図である。
図161に示されるように、複数のスピーカ(スピーカ#1、スピーカ#2、・・・、スピーカ#M(Mは1以上の整数、または2以上の整数とする))は、通路などに配列されている。なお、スピーカが配列される場所は、通路、廊下、部屋または階段などがあり得る。
ただし、スピーカ#i(iは1以上M以下の整数とする)は、複数のスピーカで構成されていてもよい。また、スピーカはアンプ機能を有していてもよいし、スピーカは、オーディオであってもよい。
他の実施の形態におけるオーディオN702は、複数のスピーカで構成されていてもよい。
スピーカ、または、オーディオN702は一つ以上のマイク、あるいは、2つ以上のマイクを有しており、センシングに基づいて、音(オーディオ)を録音してもよい。そして、録音された音(オーディオ)の情報を、クラウドサーバN720、サーバQ101にアップロードしてもよい。また、クラウドサーバN720、サーバQ101は、音(オーディオ)の情報を、オーディオN702、スピーカに伝送し、音を生成してもよい。
スピーカは、AP、中継器、端末と通信を行う。また、スピーカ同士が通信可能であってもよい。なお、通信は、無線通信であってもよいし、有線の通信であってもよい。
スピーカは、AP、中継器、端末、クラウドサーバN702、サーバQ101の指示に基づいて、音、音声などのオーディオを鳴らすことになる。
スピーカが、センシング機能を有していてもよい。センシング結果は、AP、中継器、端末、ネットワークを介し、クラウドサーバN702、サーバQ101にアップロードすることができる。
図161に示されるように、複数のスピーカ#1等は、例えば、通路、廊下、部屋、階段に設置される。そして、センシングの結果に応じて、例えば、(人などの)動体の動きを検出し、動体の動きに合わせて、音または音声などのオーディオを鳴らす。
具体例として、複数のスピーカ#1等は、館内放送または非常誘導指示に用いられる。
複数のスピーカ#1等のうち、センシングにより検出された人の位置に近いスピーカがオーディオを鳴らすように制御されてもよい。
また、人を特定の向きに誘導したい場合には、複数のスピーカ#1等のうち、センシングにより検出された人の位置から、その誘導したい向きに進んだ位置に配置されているスピーカがオーディオを鳴らすように制御されてもよい。そのオーディオは、例えば「こちらに移動してください」、「右に曲がってください」、「直進してください」というような案内に係る音声を含んでもよい。
以上のようにすることで、周囲の空間の状態に基づいて、存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、ユーザは、高音質の音をきくことができるという効果を得ることができる。
(補足1)
当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
本開示においては、検出装置A12をカメラとして実施する場合を例に挙げて説明したが、本開示における検出装置A12はそれ以外の形態で実現されてもよい。検出装置A12は、例えば、スマートフォンやパーソナルコンピュータであってもよいし、車やロボット、ドローンなどであってもよい。
(補足2)
当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
そして、端末、アクセスポイント(AP)が通信を行うために、変調信号を送信する際、一つの変調信号を送信してもよいし、複数の変調信号を、複数のアンテナを用いて送信してもよい。したがって、MIMO(Multiple-Input Multiple-Output)の伝送方式を用いてもよい。したがって、端末、APは、複数の受信のアンテナを具備する構成であってもよい。
(補足3)
なお、装置が、センシング用の信号を送信する際、位置推定、場所推定などの推定の補助などのために、時刻情報、位置情報をあわせて送信してもよい。これにより、センシング用の信号を受信した装置は、これらの情報を利用して、センシングを行うことができるとともに、受信した装置は、これらの複数の情報により、より詳細な周囲の環境を知ることが可能となる。
なお、装置が、センシング用の信号を送信する際、位置推定、場所推定などの推定の補助などのために、時刻情報、位置情報をあわせて送信してもよい。これにより、センシング用の信号を受信した装置は、これらの情報を利用して、センシングを行うことができるとともに、受信した装置は、これらの複数の情報により、より詳細な周囲の環境を知ることが可能となる。
また、装置が、アンテナを具備しているとき、アンテナは一つのアンテナを具備していてもよいし、二つ以上のアンテナを具備していてもよい。また、アンテナは、一つのアンテナ、アンテナ素子で構成されていてもよいし、二つ以上のアンテナ、アンテナ素子で構成されていてもよい。
実施の形態11、実施の形態12、実施の形態13などにおいて、通貨に基づいた金額の表示、通貨に基づいた取引・売買について説明したが、「通貨に基づく」に代えて、仮想通貨に基づいた金額の表示、仮想通貨に基づいた取引・売買を実施することで、実施の形態11、実施の形態12、実施の形態13などを実施してもよい。
このとき、例えば、図100、図101、図104などにおいて、金額の代わりに、仮想通貨の金額が表示されることになる。
また、実施の形態11、実施の形態12、実施の形態13などにおいて、通貨に基づいた金額の表示、通貨に基づいた取引・売買について説明したが、「通貨に基づいた金額の表示」に代わって、「所属団体が発行するポイントに基づいたポイントの表示」、「通貨に基づいた取引・売買」に代わって、「所属団体が発行するポイントに基づいた取引・売買」を実施することで、実施の形態11、実施の形態12、実施の形態13などを実施してもよい。
このとき、例えば、図100、図101、図104などにおいて、金額の代わりに、所属団体が発行するポイントに基づいたポイントが表示されることになる。
図68や図69における第1装置の位置検出部T204の説明では、第1装置の位置検出を行う方法について幾つか例を挙げて説明したが、位置検出を行うことができる方法であればどのような方法を用いてもよいことは言うまでもない。
例えば、位置検出部T204は、カメラやLidarを用いて取得されたデータを用いてSimultaneous Localization and Mapping(SLAM)などの方法で作成された3次元地図データと、予め準備された実空間に対応する3次元地図データとのマッチングを行って、実空間における位置と方向を推定してもよい。また、位置検出部T204は、カメラで撮影された画像と実空間における位置と方向が既知である複数の参照画像との画像マッチングにより、実空間における位置と方向を推定してもよい。ここで、位置検出部T204は、参照画像として、実際に撮影された画像ではなく、複数の撮影画像から作成された合成画像や実空間の3次元地図データから生成された画像を用いてもよい。なお、このとき、位置推定に用いる実空間に対応する3次元地図データは、記憶部T202に予め記憶されていてもよいし、GPSなどから推定された位置情報に基づいて、通信部T201を介してサーバから取得された第1装置周辺のデータであってもよい。
なお、ここで用いる3次元地図データの形式は、例えば、点群データであってもよいし、メッシュデータやベクトルデータ、モデル化されたオブジェクトデータなどの形式であってもよい。3次元地図データは、点群データ、メッシュデータ、ベクトルデータ、オブジェクトデータなどのうちの2種類以上のデータを含んでいてもよい。
また、実施の形態11、12、13においては位置検出部T204が検出する位置情報の一例として、位置情報を住所で表記したが、位置情報のフォーマットはこれに限られない。例えば、World Geodetic System(WGS)84などの任意の測地系に基づく座標値であってもよいし、建物内などの特定の範囲で利用するために設定された独自の座標系の座標値を用いてもよい。
上記説明では、図68や図69における第1装置の位置検出部T204で行われる位置推定方法の別の例について説明したが、図152Bに示す第1装置ay301および第2装置ay302が備える位置推定部ay405が上記の位置推定方法を実施してもよい。
また、実施の形態11、12、13では、推定した位置情報に基づいて、例えば、広告画像、キャラクター画像、ゲームなどのアプリケーションの画像などの重畳画像を、カメラで撮影された画像などの重畳先の画像に重畳して表示する場合について説明した。
ここで、信号処理部T205が生成する重畳後の画像は、重畳先の画像の画素値を重畳画像の画素値で置き換えた画像であってもよいし、重畳先の画像の画素値を重畳画像の画素値で補正した画像であってもよい。ここで、信号処理部T205が重畳先の画像の画素値を重畳画像の画素値で補正する処理の例について説明する。信号処理部T205は、例えば、重畳先の画像の画素値と重畳画像の画素値とに対して、それぞれに設定された係数を乗じた後、係数乗算後の2つの画素値を加算した値を、重畳後の画像の画素値として用いてもよい。また、信号処理部T205は、重畳先の画像の画素値と重畳画像の画素値のいずれか一方に対してのみ係数を乗じてもよいし、重畳先の画像の画素値と重畳画像の画素値を加算した和に対して係数を乗じてもよい。なお、重畳後の画像の生成に用いる係数は、予め設定されていてもよいし、重畳先の画像に基づいて導出されてもよいし、重畳画像に設定されたパラメータに基づいて導出されてもよい。また、信号処理部T205は、重畳画像やその他のセンサーなどから推定された周囲の光源の位置や光の色と強度などに基づいて重畳画像の画素値を補正してもよい。このように、信号処理部T205が、重畳先の画像の画素値と重畳画像の画素値とを用いて重畳後の画像を生成することにより、ユーザに対して、重畳画像が表示する領域においてもカメラなどで撮影された重畳先の画像の情報を提示することが可能になる。その結果、必要な情報が重畳画像によって隠されてユーザが把握できなくなる可能性を低減することができる。なお、以降の説明では、重畳画像の画素値と重畳先の画像の画素値から合成された画素値とを用いる表示方式を透過性を有する表示と呼び、重畳画像が表示される領域の画素値が重畳先の画像の画素値の成分を含まない表示方式を透過性を有さない表示と呼ぶ。
また、AR/MRグラスなどの透過型のディスプレイに重畳画像を表示する場合は、信号処理部T205が、AR/MRグラスに対して送信するプリケーションを用いなくてもよい。重畳後の画像は制御信号により重畳画像を表示する領域において周囲から入射する光が透過されるようにディスプレイを制御すれば、ユーザに対して重畳画像を表示する領域においても周囲の光景を提供することができる。すなわち、ユーザに対して透過性を有する表示を提供することができる。その結果、必要な情報が重畳画像によって隠されてユーザが把握できなくなる可能性を低減することができる。
なお、信号処理部T205が生成する重畳後の画像は、重畳画像の全体を含んでいなくてもよい。重畳画像の全体を含まない重畳後の画像を生成する処理の一例として、重畳先の画像で撮影された空間内で重畳画像を配置する位置が指定されている場合について説明する。この場合、信号処理部T205は、重畳先の画像中の重畳画像を表示するべき領域内に、撮影位置から見て重畳画像を配置する位置よりも手前に位置する遮蔽物に対応する遮蔽領域を含んでいるか否かを判定する。重畳画像を表示するべき領域内に遮蔽領域を含んでいると判断された場合、信号処理部T205は、遮蔽領域には重畳画像を表示せずに重畳画像を生成する。ここで、重畳先の画像に撮影された周囲の物体が遮蔽物であるか否かの判定は、例えば、Lidarなどの測距方法やVSLAMなどの方法で取得された周囲の物体の距離情報や距離情報から生成された距離画像と、重畳画像を表示する空間内での位置から導出される重畳画像までの距離とを比較することによって実現される。本構成によると、ユーザに対して重畳画像の一部が遮蔽物によって隠されたように見える重畳画像を提示することが可能となる。その結果、例えば、遮蔽物よりも奥に位置するはずの重畳画像が遮蔽物に重畳して表示されることに起因する違和感をユーザに与える可能性を低減することができる。
また、AR/MRグラスなどの透過型のディスプレイに重畳画像を表示する場合は、信号処理部T205が、重畳画像のうちユーザの眼と遮蔽物との間に位置するディスプレイ内の領域に対応する部分を除去した表示画像を生成して、生成した画像をAR/MRグラスに表示させることにより、ユーザに対して重畳画像が遮蔽物によって隠れているように見せることが可能となる。その結果、例えば、遮蔽物よりも奥に位置するはずの重畳画像が遮蔽物に重畳して表示されることに起因する違和感をユーザに与える可能性を低減することができる。
次に、重畳画像を表示する実空間における位置を指定する方法の例について説明する。
重畳画像を表示する空間内の位置は、3次元地図データを用いて指定されていてもよい。例えば、3次元地図データに含まれる、ビルなどの建築物、塀、電柱、および信号などの構造物、道路、および植物などの3次元オブジェクトや地面、水面などに対して重畳画像の表示が許可されているか否かを示す情報や表示が許可される重畳画像の種類を示す識別子などの情報が付加されていてもよい。また、3次元地図データに含まれる建築物、構造物、道路、地面、水面、植物などの表面の一部に対して、重畳画像の表示が許可されているか否かを示す情報や表示が許可される重畳画像の種類を示す識別子などの制御情報が付加されていてもよい。ここで、表示が許可される重畳画像の種類とは、例えば、広告画像、キャラクター画像、ゲームなどのアプリケーションの画像などであるが、ここで例示した分類はあくまでも一例であり、重畳画像の種類として上記の例とは異なる分類がされていてもよい。このとき、制御情報が付加される面は、他の面と区別できるようにまとめられた一つのデータ単位として3次元地図に格納されている。3次元地図として点群データを用いる場合、データ単位としてスライス、タイル、またはオブジェクトなどの点群圧縮を行う際の処理単位を用いてもよい。
上記の3次元地図データを用いて重畳画像を表示する空間内の位置を指定する構成によると、3次元地図データに格納された制御情報に基づいて、実空間に存在する物体の表面に重畳画像を表示することが可能となる。また、実空間に存在する物体の表面に重畳画像が表示されるため、重畳画像が表示される面以外の実空間上の物体が重畳画像により表示が妨げられることを防止することができる。そのため、重畳画像を表示する空間内の位置として実空間に存在する物体の表面が指定された場合は、透過性を有さない表示を利用しやすくなるという効果が得られる。
また、制御情報は重畳画像の表示が許可されているか否かを示す情報ではなく、重畳画像の表示が禁止されていることを示す情報を含んでいてもよい。本構成によると、ユーザが重畳画像を表示する領域を新たに追加できるようなシステムにおいても、重畳画像の表示が好ましくない領域を予め指定して、重畳画像の表示を防止することができる。
また、重畳画像を表示する領域を指定するために、実空間上に対応する物体の表面ではなく、3次元地図空間に仮想的に配置された面や空間を用いてもよい。ここで、仮想的に配置された面は、例えば矩形の平面を構成する一つの頂点の座標と当該頂点に隣接する2つの頂点まで変位を示す2つのベクトルで表現されていてもよいし、矩形の平面の中心や任意の頂点の座標、矩形の平面の縦と横の長さ、および3つの回転角度で表現されていてもよい。なお、面の形状は矩形である必要はなく、円形であってもよい。また面は平面でなくてもよく、例えば、点群の集合で表現された任意の形状の面であってもよい。また、仮想的に配置された空間は、例えば直方体を構成する一つの頂点の座標と当該頂点に隣接する3つの頂点まで変位を示す3つのベクトルで表現されていてもよいし、直方体の中心や任意の頂点の座標、直方体の縦、横、奥行きのそれぞれの長さ、および3つの回転角度で表現されていてもよい。なお、空間の形状は直方体である必要はなく、例えば、球であってもよい。また平面で区切られた空間でなくてもよく、例えば、点群の集合で境界面が表現された任意の形状の空間であってもよい。
重畳画像を表示する領域として3次元地図に格納される仮想的な面や空間には、当該データが仮想オブジェクトであることを示す情報、重畳画像の表示が許可されていることを示す情報、および表示が許可される重畳画像の種類を示す識別子などのうちのいずれか一つまたは複数を制御情報として含んでいてもよい。仮想的な面や空間に対して、当該データが仮想オブジェクトであることを示す情報を付加することにより、当該オブジェクトが仮想オブジェクトであることが容易に把握できるようになる。なお、ここでは実空間に存在しない面や空間を仮想オブジェクトと呼んでいるが、異なる名称であってもよい。例えば、実空間に存在しない面や空間を不可視オブジェクトなどと呼んでもよく、実空間に存在するオブジェクトと区別することができればどのような名称であってもよい。
重畳画像を表示する領域として、3次元地図空間に仮想的に配置された面や空間を用いる構成によると、実空間上は何も存在しない領域に重畳画像を表示させることが可能となる。また、重畳画像を表示させることが可能な領域を指定することができるので、重畳画像を表示することが好ましくない領域に誤って重畳画像を表示させてしまうことを防止できる。
また、3次元地図データは、重畳画像の表示が禁止されていることを示す制御情報が付加された空間を含んでいてもよい。本構成によると、ユーザが重畳画像を表示する領域を新たに追加できるようなシステムにおいても、重畳画像の表示が好ましくない領域を予め指定して、重畳画像の表示を防止することができる。
なお、重畳画像の表示が許可される面または空間などの領域には、制御情報として互いに識別可能な領域の識別子が付与されていてもよい。例えば、実施の形態11、12、13で説明した広告の表示を行う場合、信号処理部T205は領域の識別子に対応する広告画像を取得または生成して表示する。本構成によると、領域ごとに異なる広告画像を表示することが可能となるため、例えば、広告主がどの領域に広告を表示するかを指定することが可能となる。また、信号処理部T205は、領域の識別子と起動中のアプリケーションの識別子の組み合わせに応じて、取得または生成する広告を切り替えてもよい。本構成によると、アプリケーションごとに表示する広告を変更することが可能となるため、アプリケーションごとに広告スペースを販売することが可能となる。その結果、より多くのユーザを抱えるサービスのアプリケーションほど広告が表示される回数が増加して広告料収入が増加する可能性があるため、サービスやアプリケーションの改善が促進されることが期待される。
なお、各領域の識別子は領域ごとに固有であってもよいし、複数の領域に共通の識別子が付与されていてもよい。複数の領域に共通の識別子が付与されている場合、共通の識別子を有する領域を一つのグループとして扱って、同一の広告を表示することが可能となる。
また、広告画像を表示する領域に付加される制御情報は、表示可能な広告の種類を示す情報を含んでいてもよい。ここで、広告の種類とは、例えば食品の広告、家電機器の広告、本の広告、ゲームソフトの広告などである。ただし、ここで例示した分類はあくまでも一例であり、広告の種類として上記の例とは異なる分類がされていてもよい。本構成によると、領域ごとに表示が許可される広告の種類を制限することが可能となる。なお、広告の種類の指定や制限は個別の表示領域ごとに設定される必要はなく、特定の道路やブロックに対応するより大きな空間に対して広告の種類の指定や制限を設定することで、当該大きな空間に包含される複数表示領域に対して、当該大きな空間に設定された広告の種類の指定や制限を適用してもよい。
上記の説明では、重畳画像を表示する空間内の位置を示す情報が3次元地図データに含まれる場合について説明したが、重畳画像を表示する空間内の位置を示す情報は3次元地図データと一緒に利用される付加データとして提供されてもよい。このとき、付加データは、3次元地図における位置を示すために用いられている座標系と同じ座標系を用いて位置情報を示してもよい。この場合、付加データには位置情報の指定に用いられた座標系を示す情報または一緒に用いるべき3次元地図データを示す情報のいずれか一方、または両方を制御情報として含んでいればよい。また、付加データにおける位置情報は、3次元地図空間の任意の位置に設定された基準点からの相対位置によって示されていてもよい。この場合、付加データは一緒に用いるべき3次元地図データを示す情報および当該3次元知座内に指定された複数の基準点のうちの一つの基準点を示す情報を制御情報として含んでいればよい。ただし、3次元地図データ内に基準点が一つしか含まない場合は、付加データは制御情報として基準点を示す情報を含んでいなくてもよい。
なお、付加データに含まれる重畳画像を表示する領域は、対応する3次元地図データに含まれる実空間に存在する物体の表面の一部と一致する面であってもよいし、実空間に存在する物体の表面とは一致しない仮想オブジェクトとして登録された面や空間であってもよい。また、重畳画像を表示する領域は、3次元地図データと付加データの両方に含まれていてもよい。
上記の付加データとを用いて重畳画像を表示する領域を指定する構成によると、付加データを用いて重畳画像を表示する領域を作成できるようになるので、3次元地図データの管理者でなくても重畳画像を表示する領域を作成することが可能となる。また、共通の3次元地図データを用いる複数のアプリケーションであっても、それぞれ異なる付加データを利用することで、重畳画像を表示する領域をアプリケーションごとに異ならせることができる。
また、前述した通り、3次元地図データまたは付加データで提供される重畳画像を表示可能な面や空間などの領域は、複数の互いに異なるアプリケーションで共通に用いられてもよい。この構成によると、アプリケーションの開発者は、予め指定された重畳画像が表示可能な領域の中から重畳画像を表示する領域を選択することができるので重畳画像を表示するアプリケーションの開発が容易になる。また、3次元地図データまたは付加データの製作者側で重畳画像を表示が許可される領域や重畳画像を表示が禁止される領域の設定を制御することができるので、無制限に重畳画像の表示を許可することで生じる問題の発生を抑制することができる。
以上の説明では重畳画像を表示すると説明したが、重畳表示されるのは2次元画像だけでなく3次元のオブジェクトであってもよい。その場合、重畳表示される画像および3次元オブジェクトを、重畳オブジェクトと呼んでもよく、上記の説明における重畳画像を重畳オブジェクトに置き換えて実施してもよい。
実施の形態10、実施の形態28において、図65、図66などを用いて、物体の形状を3次元で検出する方法、物体の凹凸を検出する方法について説明した。このとき、物体の形状・凹凸を3次元で検出することで得られた情報を得た装置は、視点を(都度)設定して、物体の形状・凹凸をディスプレイ、AR/VR/MRグラスなどに表示する機能、または、視点を(都度)設定して、表示デバイスに、物体の形状・凹凸の情報を伝送する機能を有していてもよい。
また、取得された物体の形状・凹凸のデータに基づいて、設定された仮想の視点から見える物体の形状・凹凸を表現した画像を生成して表示デバイスに表示するのではなく、検出装置の位置からカメラで撮影された画像の一部の領域に対して物体の形状・凹凸を表現した画像を重畳して表示してもよい。例えば、画像内のうち、検出装置が送信した電波W2及びW3を反射した壁に対応する領域に、電波W2及びW3により検出された距離データから生成された距離画像を重畳してもよい。この構成によると、電波が壁に反射して検出された物体の形状・凹凸が、画像内の電波を反射した壁に対応する領域に表示されるため、ユーザに対して鏡に反射した物体を観察する場合と類似した状態で情報を提示することができるため、ユーザとって物体の形状・凹凸の把握が容易になる可能性がある。
実施の形態20において、図120における第1_1装置W101_1、第1_2装置W101_2が送信するセンシング能力に関する情報W201の構成例である図121について説明を行った。このとき、図121のセンシング能力に関する情報W201を送信する第1_1装置W101_1、第1_2装置W101_2が端末であってもよい。このとき、センシング能力に関する情報W201を含む制御情報を、例えば、PUSCH(Physical Uplink Shared Channel)、PRACH(Physical Random Access Channel)、PUCCH(Physical Uplink Control Channel)を用いて、端末は送信するとしてもよい。この制御情報を送信するために用いるチャネルは、上述の例に限ったものではない。
図162に、第1_1装置W101_1、第1_2装置W101_2が送信するセンシング能力に関する情報W201の構成例の図121とは異なる例を示す。
なお、このセンシング能力に関する情報W201を含む制御情報を、例えば、PBCH、PDSCH、PDCCHを用いて、基地局は送信するとしてもよい。なお、この制御情報を送信するチャネルは、上述の例に限ったものではない。
また、このセンシング能力に関する情報W201を含む制御情報を、例えば、PUSCH、PRACH、PUCCHを用いて、端末は送信するとしてもよい。なお、この制御情報を送信するために用いるチャネルは、上述の例に限ったものではない。
そして、センシング能力に関する情報W201は、「この情報を送信する装置のセンシングに対する能力を、他の装置に通知するための情報」ということもできる。
図162に示すように、センシング能力に関する情報W201は、「センシング用信号送信可能か否かに関する情報W16301」、「送信するセンシング用信号の周波数帯に関する情報W16302」、「センシング可能な周波数帯に関する情報W16303」のうち少なくとも一つを含んでいるものとする。
「センシング用信号送信可能か否かに関する情報W16301」、「送信するセンシング用信号の周波数帯に関する情報W16302」、「センシング可能な周波数帯に関する情報W16303」の具体的な例について、以下で説明する。
「センシング用信号送信可能か否かに関する情報W16301」:
装置が、センシング用信号の送信が可能であるか否か、を他の装置に対して送信(通知)するときの情報が、「センシング用信号送信可能か否かに関する情報W16301」である。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
装置が、センシング用信号の送信が可能であるか否か、を他の装置に対して送信(通知)するときの情報が、「センシング用信号送信可能か否かに関する情報W16301」である。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
「送信するセンシング用信号の周波数帯に関する情報W16302」:
装置がセンシング用信号を送信する際に使用する周波数帯に関する情報が、「送信するセンシング用信号の周波数帯に関する情報W16302」である。例えば、装置が、2.4GHz帯のセンシング用信号の送信に対応しているか否かの情報、装置が5GHz帯のセンシング用信号の送信に対応しているか否かの情報、装置が60GHz帯のセンシング用信号の送信に対応しているか否かの情報が、「送信するセンシング用信号の周波数帯に関する情報W16302」に含まれることが考えられる。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
装置がセンシング用信号を送信する際に使用する周波数帯に関する情報が、「送信するセンシング用信号の周波数帯に関する情報W16302」である。例えば、装置が、2.4GHz帯のセンシング用信号の送信に対応しているか否かの情報、装置が5GHz帯のセンシング用信号の送信に対応しているか否かの情報、装置が60GHz帯のセンシング用信号の送信に対応しているか否かの情報が、「送信するセンシング用信号の周波数帯に関する情報W16302」に含まれることが考えられる。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
「センシング可能な周波数帯に関する情報W16303」:
装置がセンシング可能な周波数帯に関する情報が、「センシング可能な周波数帯に関する情報W16303」である。例えば、装置が、2.4GHz帯のセンシング用信号のセンシングに対応しているか否かの情報、装置が5GHz帯のセンシング用信号のセンシングに対応しているか否かの情報、装置が60GHz帯のセンシング用信号のセンシングに対応しているか否かの情報が、「センシング可能な周波数帯に関する情報W16303」に含まれることが考えられる。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
装置がセンシング可能な周波数帯に関する情報が、「センシング可能な周波数帯に関する情報W16303」である。例えば、装置が、2.4GHz帯のセンシング用信号のセンシングに対応しているか否かの情報、装置が5GHz帯のセンシング用信号のセンシングに対応しているか否かの情報、装置が60GHz帯のセンシング用信号のセンシングに対応しているか否かの情報が、「センシング可能な周波数帯に関する情報W16303」に含まれることが考えられる。なお、センシング用信号が対応するセンシング方法は、どのような方法であってもよい。
なお、図121、図162などに示したセンシング能力に関する情報W201は、第2装置W102が送信してもよい。別の表現をすると、図121、図162などに示したセンシング能力に関する情報W201は、基地局、端末、AP、中継器などが送信してもよい。
また、センシング関連の信号の送信、および/または、受信が可能な装置は、センシング能力に関する情報W201の送信は可能であるが、他の装置と通信を行うことができない装置であってもよい。このとき、センシング能力に関する情報W201の構成は、図121、図162の例に限ったものではない。
また、本明細書において、説明を簡略化するために、端末、AP、基地局、装置、検出装置、機器と名づけて実施の形態の説明を行ったが、呼び名はこれに限ったものではない。例えば、「端末」は、基地局、アクセスポイント、携帯電話(mobile phone)・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。また、「AP」は、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバ、eNB(e Node B)、gNB(g Node B)と呼んでもよい。そして、「基地局」は、AP、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。さらに、センシングを行う機器は、AP、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバ、eNB、gNBと呼んでもよい。「装置」、「検出装置」は、AP、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。「機器」「機器A」は、AP、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバ、電動バイク(e-バイク)、電動キックボード、掃除機、電気自動車、電動アシスト自転車、電動アシストキックボード、バイク、自動車、船、飛行機と呼んでもよい。
各実施の形態については、あくまでも例であり、例えば、「変調方式、誤り訂正符号化方式(使用する誤り訂正符号、符号長、符号化率等)、制御情報など」を例示していても、別の「変調方式、誤り訂正符号化方式(使用する誤り訂正符号、符号長、符号化率等)、制御情報など」を適用した場合でも同様の構成で実施することが可能である。
変調方式については、本明細書で記載している変調方式以外の変調方式を使用しても、本明細書において説明した実施の形態、その他の内容を実施することが可能である。例えば、APSK(例えば、16APSK, 64APSK, 128APSK, 256APSK, 1024APSK, 4096APSKなど)、PAM(例えば、4PAM, 8PAM, 16PAM, 64PAM, 128PAM, 256PAM, 1024PAM, 4096PAMなど)、PSK(例えば、BPSK, QPSK, 8PSK, 16PSK, 64PSK, 128PSK, 256PSK, 1024PSK, 4096PSKなど)、QAM(例えば、4QAM, 8QAM, 16QAM, 64QAM, 128QAM, 256QAM, 1024QAM, 4096QAMなど)などを適用してもよいし、各変調方式において、均一マッピング、非均一マッピングとしてもよい。また、I-Q平面における2個、4個、8個、16個、64個、128個、256個、1024個等の信号点の配置方法(2個、4個、8個、16個、64個、128個、256個、1024個等の信号点をもつ変調方式)は、本明細書で示した変調方式の信号点配置方法に限ったものではない。
また、本開示における送信装置、受信装置は、通信機能を有している機器であって、その機器が、テレビ、ラジオ、パーソナルコンピュータ、携帯電話等のアプリケーションを実行するための装置に何らかのインターフェースを解して接続できるような形態であることも考えられる。また、本実施の形態では、データシンボル以外のシンボル、例えば、パイロットシンボル(プリアンブル、ユニークワード、ポストアンブル、リファレンスシンボル、ミッドアンブル等)、制御情報用のシンボル、ヌルシンボルなどが、フレームにどのように配置されていてもよい。そして、ここでは、リファレンスシンボル、制御情報用のシンボルと名付けているが、どのような名付け方を行ってもよく、機能自身が重要となっている。
リファレンスシンボル、リファレンス信号は、例えば、送受信機において、PSK変調を用いて変調した既知のシンボルであればよく、受信機は、このシンボルを用いて、周波数同期、時間同期、各変調信号のチャネル推定(CSI(Channel State Information)の推定)、信号の検出等を行う。または、リファレンスシンボル、リファレンス信号は、受信機が同期することによって、受信機は、送信機が送信したシンボルを知ることができてもよい。
また、制御情報用のシンボルは、データ(アプリケーション等のデータ)以外の通信を実現するための、通信相手に伝送する必要がある情報(例えば、通信に用いている変調方式、誤り訂正符号化方式、誤り訂正符号化方式の符号化率、上位レイヤーでの設定情報等)を伝送するためのシンボルである。
なお、本開示は各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態では、通信装置として行う場合について説明しているが、これに限られるものではなく、この通信方法をソフトウェアとして行うことも可能である。
例えば、上記通信方法を実行するプログラムを予めROMに格納しておき、そのプログラムをCPUによって動作させるようにしても良い。
また、上記通信方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのRAMに記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
そして、上記の各実施の形態などの各構成は、典型的には、入力端子及び出力端子を有する集積回路であるLSIとして実現されてもよい。これらは、個別に1チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGAや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
なお、AP、端末が対応している送信方法は、OFDMなどのマルチキャリア方式であってもよいし、シングルキャリア方式であってもよい。また、AP、端末は、マルチキャリア方式、シングルキャリア方式の両者に対応していてもよい。このときシングルキャリア方式の変調信号を生成する方法は、複数あり、いずれの方式の場合についても実施が可能である。例えば、シングルキャリア方式の例として、「DFT(Discrete Fourier Transform)-Spread OFDM(Orthogonal Frequency Division Multiplexing)」、「Trajectory Constrained DFT-Spread OFDM」、「OFDM based SC(Single Carrier)」、「SC(Single Carrier)-FDMA(Frequency Division Multiple Access)」、「Guard interval DFT-Spread OFDM」などがある。
また、FPGA(Field Programmable Gate Array)およびCPU(Central Processing Unit)の少なくとも一方が、本開示において説明した通信方法を実現するために必要なソフトウェアの全部あるいは一部を無線通信または有線通信によりダウンロードできるような構成であってもよい。さらに、更新のためのソフトウェアの全部あるいは一部を無線通信または有線通信によりダウンロードできるような構成であってもよい。そして、ダウンロードしたソフトウェアを記憶部に格納し、格納されたソフトウェアに基づいてFPGAおよびCPUの少なくとも一方を動作させることにより、本開示において説明したデジタル信号処理を実行するようにしてもよい。
このとき、FPGAおよびCPUの少なくとも一方を具備する機器は、通信モデムと無線または有線で接続し、この機器と通信モデムにより、本開示において説明した通信方法を実現してもよい。
例えば、本明細書で記載したAP、端末などの通信装置が、FPGA、および、CPUのうち、少なくとも一方を具備しており、FPGA及びCPUの少なくとも一方を動作させるためのソフトウェアを外部から入手するためのインターフェースを通信装置が具備していてもよい。さらに、通信装置が外部から入手したソフトウェアを格納するための記憶部を具備し、格納されたソフトウェアに基づいて、FPGA、CPUを動作させることで、本開示において説明した信号処理を実現するようにしてもよい。
なお、本明細書で記載した「センシング」又は「センシング処理」は、物体の位置を検出する処理、物体の有無を検出する処理、物体の材質を予測する処理、物体の動きを検出する処理、センシング実施可能な装置周辺の状況を推定する処理、センシング実施可能な装置と物体の距離を推定する処理、又は、物体の外形を検出する処理、を少なくとも含む。なお、物体の位置を検出する処理では、物体の検出、物体の動きも同時に検出することが可能である場合がある。また、物体の有無を検出する処理、又は、物体の外形を検出する処理では、対象物を特定することも可能である。
なお、上記実施の形態において、物体(人、動物、車など)を検出したら、シャッターをきる、つまり、静止画を撮影してもよい。また、物体を検出したら、動画を撮影してもよい。検出するのは、予め定められたジェスチャーであってもよい。
また、センシングは、例えば、電波を用いた無線によるセンシングであってもよいし、より高い周波数を用いた、例えば、光を用いた無線によるセンシングであってもよい。
図14のようなセンシング用の装置と図15のような通信用の装置を、例えば、インタフェースを介し、接続することで、センシングと通信が可能な図16のようなセンシングと通信が可能な装置を実現してもよい。
なお、空間のセンシングを利用する目的や用途、利用環境は多様化しており、用途や利用環境に応じて、検出対象となる物体や検出対象となる物体との距離、検出したい距離の精度、許容される遅延時間、または物体の検出と同時に取得したい情報などが異なる。そのため、空間のセンシングを利用する目的や用途、利用環境に応じて、センシング方法を切り替えたり、複数のセンシング方法を組み合わせたりして、目的に応じたセンシング結果を得られる送信装置および送信方法が必要とされている。
上記態様の検出装置によると、電波を用いた物体との間の距離の検出と、画像情報を用いた検出位置の制御とを行うことで、距離の検出対象の物体を容易に特定して距離の検出を行うこともできる。
例えば、タッチパネル等の表示部と入力部の機能を有する装置に表示された映像に基づいてユーザが検出対象の物体を指定、または選択する信号を入力する場合、電波を用いたセンシングを行う対象物をユーザが容易に指定できるようになる。
また、例えば、撮像部で取得された画像情報を用いた画像処理により、検出対象となる物体を検出して、検出された物体との間の距離の測定を行う場合、画像情報に含まれる色や形状などの特徴量を物体の検出に用いることが可能となり、電波による検出のみを行う場合と比較して、物体の検出精度の向上や、物体の識別能力の向上を促進することができる。
本開示において、三角測量について例を挙げて説明した。以下で、三角測量を用いて位置を測定または推定する別の方法について、図163を用いて説明を行う。
処理A:
図163において、第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、第2装置6602に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601と第2装置6602の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601と第2装置6602の距離」の情報を共有してもよい。
図163において、第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、第2装置6602に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601と第2装置6602の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601と第2装置6602の距離」の情報を共有してもよい。
処理B:
第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601とターゲット(物体)6603の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601とターゲット(物体)6603の距離」の情報を共有してもよい。
第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601とターゲット(物体)6603の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601とターゲット(物体)6603の距離」の情報を共有してもよい。
処理C:
第2装置6602は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第2装置6602は、反射したこの信号を得ることで、「第2装置6602とターゲット(物体)6603の距離」を知ることになる。なお、第2装置6602は、第1装置6601と、「第2装置6602とターゲット(物体)6603の距離」の情報を共有してもよい。
第2装置6602は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第2装置6602は、反射したこの信号を得ることで、「第2装置6602とターゲット(物体)6603の距離」を知ることになる。なお、第2装置6602は、第1装置6601と、「第2装置6602とターゲット(物体)6603の距離」の情報を共有してもよい。
処理D:
第1装置6601、および/または、第2装置6602は、処理A、処理B、処理Cによって「第1装置6601と第2装置6602の距離」の情報、「第1装置6601とターゲット(物体)6603の距離」の情報、「第2装置6602とターゲット(物体)6603の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット(物体)6603の位置を知ることができることになる。
第1装置6601、および/または、第2装置6602は、処理A、処理B、処理Cによって「第1装置6601と第2装置6602の距離」の情報、「第1装置6601とターゲット(物体)6603の距離」の情報、「第2装置6602とターゲット(物体)6603の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット(物体)6603の位置を知ることができることになる。
次に、上記と別の手法について説明する。
処理E:
第1装置6601、および/または、第2装置6602は、例えば、設置している時点で、「第1装置6601と第2装置6602の距離」の情報を保持しているものとする。
第1装置6601、および/または、第2装置6602は、例えば、設置している時点で、「第1装置6601と第2装置6602の距離」の情報を保持しているものとする。
処理F:
第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601とターゲット(物体)6603の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601とターゲット(物体)6603の距離」の情報を共有してもよい。
第1装置6601は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第1装置6601は、反射したこの信号を得ることで、「第1装置6601とターゲット(物体)6603の距離」を知ることになる。なお、第1装置6601は、第2装置6602と、「第1装置6601とターゲット(物体)6603の距離」の情報を共有してもよい。
処理G:
第2装置6602は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第2装置6602は、反射したこの信号を得ることで、「第2装置6602とターゲット(物体)6603の距離」を知ることになる。なお、第2装置6602は、第1装置6601と、「第2装置6602とターゲット(物体)6603の距離」の情報を共有してもよい。
第2装置6602は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット(物体)6603に反射し、第2装置6602は、反射したこの信号を得ることで、「第2装置6602とターゲット(物体)6603の距離」を知ることになる。なお、第2装置6602は、第1装置6601と、「第2装置6602とターゲット(物体)6603の距離」の情報を共有してもよい。
処理H:
第1装置6601、および/または、第2装置6602は、処理E、処理F、処理Gによって「第1装置6601と第2装置6602の距離」の情報、「第1装置6601とターゲット(物体)6603の距離」の情報、「第2装置6602とターゲット(物体)6603の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット(物体)6603の位置を知ることができることになる。なお、第1装置6601おとび第2装置6602で一つの装置を構成していてもよい。
第1装置6601、および/または、第2装置6602は、処理E、処理F、処理Gによって「第1装置6601と第2装置6602の距離」の情報、「第1装置6601とターゲット(物体)6603の距離」の情報、「第2装置6602とターゲット(物体)6603の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット(物体)6603の位置を知ることができることになる。なお、第1装置6601おとび第2装置6602で一つの装置を構成していてもよい。
本開示では、ジェスチャーと装置の動作とを連携させることについて説明した。以下では、ジェスチャーと装置の動作とを連携させるための登録処理の例について説明する。
本開示の実施の形態7において、登録された第1のジェスチャーと、装置#Aの「音をならす」、または「振動する」などの動作である第1の動作とを連携させる例を説明した。このとき、第1のジェスチャーと装置#Aの動作とを組み合わせて連携動作として登録する処理は、例えば、機器#Aにおける機器の連携動作を設定するための設定画面などを用いて行われてもよい。
例えば、ジェスチャーと機器の動作とを連携させるために、ユーザが機器#Aを操作して設定画面を開くと、設定画面に一または複数の候補ジェスチャーが表示される。ここで、ユーザが、設定画面に表示された一または複数の候補ジェスチャーの中から第1のジェスチャーを選択すると、装置#Aにおいて利用が許されている一または複数の候補動作が設定画面に表示される。ユーザが複数の候補動作の中から第1の動作を選択すると、第1のジェスチャーと第1の動作とを連携させるジェスチャーと機器動作の組み合わせとして決定するか否かの確認画面が表示され、ユーザが確認の入力を行うことで登録が行われる。
なお、上述した設定画面を用いたジェスチャーと機器動作の連携の登録方法は、複数ある連携登録方法の一例であり、本開示におけるジェスチャーと機器動作の連携登録方法は、上記の方法に限定されない。
例えば、ジェスチャーの選択後に連携させる動作を選択するのではなく、連携させる動作の選択後に、ジェスチャーを選択してもよい。この場合、連携させる動作を選択後に、連携させることが可能な複数のジェスチャー候補が設定画面に表示される。
なお、この例のように、ジェスチャーと装置の動作とを連携させるための複数の処理の手順、複数の処理の順番は、本明細書で記載されているものに限ったものではない。
また、ジェスチャーと機器動作の連携登録方法は、グラフィカルユーザインタフェイス(GUI)を用いて提供されてもよい。GUIを用いる場合、例えば、複数のジェスチャー候補のそれぞれに対応するアイコンやブロック、複数の機器の動作候補のそれぞれに対応するアイコンやブロックなどが画面上に表示されており、これらのアイコンやブロックをタッチパネルやマウスなどの操作により移動させて接続したり、アイコンやブロック間を線などで表されるコネクタで接続したりすることで連携処理を記述し、記述された連携処理を登録できるようにしてもよい。
なお、上記説明では、ジェスチャーと機器の動作を連携させる場合について説明したが、設定画面においてジェスチャーだけでなく、音声による指示など機器#Aが備える他のセンサーで検出可能な周囲の環境やユーザの行動などが、機器動作と連携可能な入力の候補として選択可能に提示されていてもよい。上記構成によると、ジェスチャー以外のユーザの行動や機器を利用している場所などに基づいて機器の動作を制御することが可能となるので、操作の簡略化や誤操作の抑制を実現できる可能性が高くなり、操作性の向上に貢献できる可能性がある。
なお、上記説明では、ジェスチャーと機器動作の連携を機器#Aの設定画面で行う場合について説明したが、機器#Aとは異なる他の機器を用いて設定が行われてもよい。この場合、他の機器の設定画面において、他の機器から連携動作の設定が可能な複数の候補機器の中から設定を行う対象となる機器の選択がユーザにより行われる。
また、例えば、実施の形態8で説明したセンシング可能な機器が存在する宅内などの空間において、センシング可能な機器が検出したジェスチャーなどのユーザの動作と、機器の動作との組み合わせを連携動作としてサーバなどに登録を行う場合、センシング可能な複数の機器またはセンサーの中からどの機器またはセンサーを連携登録するのかの選択と、利用可能な動作を提供する複数の機器の中からどの機器を連携登録するのかの選択がユーザにより行われる。
例えば、連携登録を行うために、ユーザがスマートフォン、タブレット、コンピュータ、携帯電話などの機器で設定画面を開くと、設定画面に連携登録に利用可能な一または複数の候補機器または候補センサーが表示される。ユーザが、設定画面に表示された候補機器または候補センサーの中から第1の機器を選択すると、選択された第1の機器において検出可能な一または複数の候補ジェスチャーが表示される。ユーザが、設定画面に表示された一または複数の候補ジェスチャーの中から第1のジェスチャーを選択すると、連携させることができる一または複数の候補装置が設定画面に表示される。ユーザが、表示された複数の候補装置の中から装置#Aを選択すると、装置#Aにおいて利用が許されている一または複数の候補動作が設定画面に表示される。ユーザが複数の候補動作の中から第1の動作を選択すると、第1のジェスチャーと第1の動作とを連携させるジェスチャーと機器動作の組み合わせとして決定するか否かの確認画面が表示され、ユーザが確認の入力を行うことで登録が行われる。
上記の構成によると、例えば、宅内などの対象空間に配置された連携可能な任意の機器またはセンサーで検出されたジェスチャーと、連携可能な任意の機器の動作との連携登録が可能となる。その結果、例えば、ジェスチャーの検出機能を備えていない機器に対してもジェスチャーに基づく動作の制御を行うことが可能となり、機器の操作性の向上などが可能となる。
なお、上述した設定画面を用いたジェスチャーと機器及び機器動作の組み合わせの連携登録方法は、複数ある連携登録方法の一例であり、本開示におけるジェスチャーと機器及び機器動作の組み合わせの連携登録方法は、上記の方法に限定されない。
例えば、連携させる機器またはセンサーを選択した後に選択された機器またはセンサーで検出可能なジェスチャー候補が表示される代わりに、複数の機器またはセンサーについて、機器またはセンサーごとに検出可能な一または複数のジェスチャー候補が同時に設定画面に表示されてもよい。同様に、連携させる機器を選択した後に選択された機器の動作候補が表示される代わりに、複数の機器について、機器ごとに選択可能な複数の動作が同時に設定画面に表示されてもよい。上記の構成によると、ユーザが一度の入力操作で連携させる機器と動作の組み合わせを選択できるようになり、操作が簡略化され、操作性が向上する可能性がある。また、ジェスチャーを選択後に、機器の動作を選択するのではなく、機器の動作を選択後に、ジェスチャーを選択してもよい。この場合、機器の動作を選択後に、連携させることが可能な複数の候補ジェスチャーが設定画面に表示される。
また、複数のジェスチャーの組み合わせを機器動作と対応付ける場合、互いに異なる複数の機器またはセンサーで検出可能なジェスチャーを組み合わせて用いてもよい。
複数の機器またはセンサーで検出可能なジェスチャーを組み合わせた連携動作の一例として、図50または図55において、AP(アクセスポイント)N701、オーディオN702のそれぞれがセンシング機能を備えている場合について説明する。
AP(アクセスポイント)N701は、AP(アクセスポイント)N701が備える第1のセンサーで取得される第1のセンシングデータの時間的変化から事前に登録された第1の変化パターンを検出する。ここで、第1の変化パターンは、ユーザが第1のジェスチャーを行った場合に検出されるパターンであるものとする。なお、ここでは第1のセンシングデータから第1の変化パターンを検出する処理をAP(アクセスポイント)N701が実施するとして説明しているが、検出処理は、例えば図50のクラウドサーバN720、図55のサーバQ101センシングデータまたはその他の機器など他の機器で行われてもよい。この場合、AP(アクセスポイント)N701が、第1のセンシングデータをネットワークを介して他の機器に転送し、当該他の機器において第1のセンシングデータを用いて、第1の変化パターンを含む、一または複数の変化パターンの検出処理を行う。
オーディオN702は、オーディオN702が備える第2のセンサーで取得される第2のセンシングデータの時間的変化から事前に登録された第2の変化パターンを検出する。ここで、第2の変化パターンは、ユーザが第1のジェスチャーを行った場合に検出されるパターンであるものとする。なお、ここでは第2のセンシングデータから第2の変化パターンを検出する処理をオーディオN702が実施するとして説明しているが、検出処理は、例えばAP(アクセスポイント)N701、図50のクラウドサーバN720、図55のサーバQ101センシングデータまたはその他の機器など他の機器で行われてもよい。この場合、オーディオN702が、第1のセンシングデータをネットワークを介して他の機器に転送し、当該他の機器において第1のセンシングデータを用いて、第2の変化パターンを含む、一または複数の変化パターンの検出処理を行う。なお、検出処理を行う他の機器は、セキュリティなどを考慮して、AP(アクセスポイント)N701のような直接無線通信が可能な機器や、直接有線の通信ケーブルで接続された機器に制限してもよい。
ここで、互いに異なる複数の機器またはセンサーを組み合わせてジェスチャー検出に用いる第1の例について説明する。第1の例では、連携機能登録の際に、第1のセンシングデータからの第1の変化パターンの検出と、第2のセンシングデータからの第2の変化パターンの検出との両方が発生した場合に、例えば「オーディオN702が搭載している、例えば、スピーカから出力される音の音量を上げる、または、オーディオ出力端子から出力される音声信号で伝送される音声成分の振幅を大きくする」または「オーディオN702が搭載している、例えば、スピーカから出力される音の音量を下げる、または、オーディオ出力端子から出力される音声信号で伝送される音声成分の振幅を小さくする」などの第4の動作を行うように対応付けて登録する。すなわち、第1のセンシングデータから第1の変化パターンが検出され、第2のセンシングデータから第2の変化パターンが検出された場合に、オーディオN702で第4の動作が行われる。
上記の構成における連携動作の一例として、ユーザが、第1のジェスチャーとは異なる第2のジェスチャーを行った場合について説明する。ユーザが第2のジェスチャーを行うと、AP(アクセスポイント)N701の位置からは第1のジェスチャーと類似したセンシング結果が取得され、オーディオN702の位置からは第1のジェスチャーと類似しないセンシング結果が取得されるとする。この場合、第1のセンシングデータのみを用いた判断では、第1の変化パターンが検出されてオーディオN702において第4の動作が実行される。これは、第2のジェスチャーを行ったユーザにとって意図しない動作である。一方、第1のセンシングデータに加えて第2のセンシングデータを用いる判断であれば、第2のセンシングデータからは第2の変化パターンが検出されないことになり、第4の動作は行われない。すなわち、上述した複数のセンシング機能を有する機器またはセンサーを用いてユーザのジェスチャーの判断を行い、判断結果を任意の機器の動作の連携させる構成によると、ユーザの意図しない機器動作の発生を抑制できる可能性がある。
次に、互いに異なる複数の機器またはセンサーを組み合わせてジェスチャー検出に用いる第2の例について説明する。第2の例では、連携機能登録の際に、第1のセンシングデータから第1の変化パターンが検出され、且つ、第2のセンシングデータから第2の変化パターンが検出されなかった場合に、第4の動作を行うように対応付けて登録する。すなわち、第1のセンシングデータから第1の変化パターンが検出され、第2のセンシングデータから第2の変化パターンが検出されなかった場合に、オーディオN702で第4の動作が行われる。
上記の構成における連携動作の一例として、ユーザが、オーディオN702の近い位置などの、AP(アクセスポイント)N701からセンシング可能であり、且つ、オーディオN702からもセンシング可能な位置で第1のジェスチャーを行う場合について説明する。この場合、第1のセンシングデータから第1の変化パターンが検出され、第2のセンシングデータから第2の変化パターンが検出されるため、オーディオN702は第4の動作を実行しない。次に、上記の構成における連携動作の別の例として、ユーザが、オーディオN702から離れた位置などの、AP(アクセスポイント)N701からセンシング可能であり、且つ、オーディオN702からはセンシングできない、つまり、オーディオN702のセンシング領域外の位置で第1のジェスチャーを行う場合について説明する。この場合、第1のセンシングデータから第1の変化パターンが検出され、第2のセンシングデータから第2の変化パターンが検出されないため、オーディオN702は第4の動作を実行する。
上記説明では、AP(アクセスポイント)N701のセンシング結果から第1のジェスチャーが検出され、オーディオN702のセンシング結果から第1のジェスチャーが検出されない場合に、オーディオN702が第4の動作を行う場合を例に挙げて説明したが、本開示における複数のセンシング機能を有する機器またはセンサーを用いてユーザのジェスチャーが行われたかの判断を行い、判断結果を任意の機器の動作と連携させる構成はこの例に限定されない。
例えば、オーディオN702の実施するセンシングがジェスチャーの検出は行わず、周囲に物体があるか否かのみを判断するセンシングであってもよい。この場合、「オーディオN702のセンシング結果から第1のジェスチャーが検出されない」という条件の代わりに、例えば、「オーディオN702のセンシング結果から周囲に物体が検出されない」という条件を用いる。ここで、「オーディオN702のセンシング結果から周囲に物体が検出されない」とは、例えば、実施の形態8または9で説明した初期センシングにおいて検出された物体以外の物体が検出されていない状態や、初期センシングの際に得られた第2のセンシングデータと類似した第2のセンシングデータが取得されている状態を示す。
また、AP(アクセスポイント)N701のセンシング結果から第1のジェスチャーが検出され、オーディオN702のセンシング結果から第1のジェスチャーが検出された場合に、オーディオN702が第4の動作と異なる第5の動作を実施し、AP(アクセスポイント)N701のセンシング結果から第1のジェスチャーが検出され、オーディオN702のセンシング結果から第1のジェスチャーが検出されない場合に、オーディオN702が第4の動作を実施するとしてもよい。
以上で説明したように、複数のセンシング機能を有する機器またはセンサーを用いてユーザがジェスチャーを行ったか否かの判断を行い、判断結果を任意の機器の動作の連携させる構成によると、ユーザが同じジェスチャーを行ってもユーザの位置や向き、姿勢などに応じて連携動作を実施するか否かを切り替えたり、ユーザの位置や向き、姿勢などに応じて実施する機器動作を切り替えたりすることができる。その結果、ユーザによる機器の操作性を向上させ、ユーザの意図しない機器動作の発生を抑制できる可能性がある。
また、上述した、複数の機器またはセンサーのセンシングデータで検出可能な事象と機器動作の連携登録方法は、グラフィカルユーザインタフェイス(GUI)を用いて提供されてもよい。GUIを用いる場合、例えば、複数の機器またはセンサーのセンシングデータで検出可能な事象の候補のそれぞれに対応するアイコンやブロック、複数の機器の動作候補のそれぞれに対応するアイコンやブロックなどが画面上に表示されており、これらのアイコンやブロックをタッチパネルやマウスなどの操作により移動させて接続したり、アイコンやブロック間を線などで表されるコネクタで接続したりすることで連携処理を記述し、記述された連携処理を登録できるようにしてもよい。
上述した設定画面および連携登録方法では、例えば、指定されたジェスチャーが検出されたか否か、または指定された事象がセンシングデータを用いて検出されたか否かという条件判定を行い、検出された場合、または検出されなかった場合に指定された機器動作を行うという連携処理を記述して登録する機能を提供する例について説明した。しかしながら、本開示で登録可能な連携処理はこれに限られない。例えば、上述した設定画面および連携登録方法は、複雑な連携処理を記述するために、例えば、論理和、論理積、排他的論理和、否定などの任意の論理演算子を用いて、複数のジェスチャー間やジェスチャーと機器動作間の関係性を記述する機能を提供していてもよい。また、上述した設定画面および連携登録方法は、複雑な連携処理を記述するために、例えば、論理和、論理積、排他的論理和、否定などの任意の論理演算子を用いて、複数の事象間や事象と機器動作間の関係性を記述できる機能を提供してもよい。また、センシングデータに基づく条件判定に加えて、例えば、時刻情報に基づく条件判定やネットワークに接続されている機器の数や機器が備える機能などに基づく条件判定など任意の条件判定を組み合わせて用いてもよい。
また、本開示において、センシングに用いるセンサーは電波を用いたセンシングに限定されない。例えば、LIDAR(Light Detection and Ranging)などの光を用いたセンシングであってもよい。また、複数のセンサーを組み合わせて用いる場合、組み合わせるセンサーはどのようなものであってもよい。例えば、センサーとしてカメラを用いて、撮影された映像自体、当該映像に対して特徴量を抽出するための画像処理またはパターン認識などの画像処理を施して得られた結果をセンシングデータとして用いてもよい。また、例えばユーザが装着しているウェアラブル端末が備える、例えば、マイク、位置センサー、加速度センサー、筋電位センサー、温度センサーなどの任意のセンサーで得られたデータをセンシングデータとして用いてもよい。
また、上記の説明では、複数のセンシングデータを用いて検出された事象を組み合わせた連携動作の登録を、ユーザが設定画面やGUIなどを用いて登録する場合を例に挙げて説明したが、その他の方法で登録されてもよい。例えば、実施の形態7に記載された機器へのジェスチャーの登録処理において、自動的に作成されてもよい。例えば、実施の形態8または9で説明したシステムにおいて、ユーザがジェスチャーの登録開始を指示すると、ユーザがジェスチャーを行っている期間に、同一または互いに異なる複数の機器に備えられた第1のセンサーと第2のセンサーがそれぞれセンシングデータの取得を行い、それぞれのセンサーで得られたセンシングデータの時間的変化のパターンを記憶する。その後、登録されたジェスチャーが行われたか否かを判定は、第1のセンサーで得られたセンシングデータと第2のセンサーで取得されたセンシングデータを用いて行われる。上記構成によると、複数のセンシングデータを用いて検出された事象を組み合わせた連携動作の登録を簡単化することができるという効果が得られる。
なお、電波を用いたセンシングを実施するセンサーを用いる場合、上述の処理において用いられるセンシングデータは、例えば点群やメッシュなどの任意の形式で表現される3次元の位置や形状を示すデータであってもよいし、受信信号に対して任意の信号処理を施して得られる、例えば、パイロットやリファレンス信号から推定された伝送路特性、基準信号と受信信号との相関値またはOFDM信号におけるサブキャリア間の位相差などのデータであってもよい。また、センシングデータは、例えば、上述した初期センシングなどの移動する対象物が無い状態で得られたセンシング結果と、対象物の検出などのために行われている通常のセンシングで得られたセンシング結果との差分を抽出したデータであってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の送信装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、OFDMA(Orthogonal Frequency-Division Multiple Access)方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成ステップと、前記フレーム構成ステップで構成した前記フレームを電波により送信する送信ステップとを含み、前記フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する送信方法を実行させるプログラムである。
以上、一つまたは複数の態様に係る送信装置などについて、実施の形態に基づいて説明したが、本開示に基づいて把握されるであろう発明は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、例えば、無線通信装置、有線通信装置およびそれらの装置を備える端末や機器において適用可能な発明を含む。
ay301、ay311 第1装置
ay302、ay312 第2装置
ay315、ay317 通信部
ay316、ay318 制御部
A3、X101、X201、X301、Y101 送信装置
A11、N703、N731 機器
A111、A121、N151、Z206 制御部
A112 駆動部
A113 センサ
A114 通信部
A12 検出装置
A122、A34 処理部
A123 イメージセンサ
A124 アプリケーション記憶部
A125、N104、X204、Z202 センシング部
A21、N701、Y1104、Z100 AP
A22、N402、N710 ネットワーク
A23、N730 基地局
A24、X100、X200、X300、Y1101 装置
A31 フレーム構成部
A32 送信部
A33 受信部
F81、F82、F83、F91、F92、F93、F94、F95、F101、F102、F103、F104、F105、F111、F112、F113、F114、F121、F122、F123、F124、F131、F132、F133、F134、F141、F142、F143、F144、F151、F152、F153、F154、F161、F162、F163、F164、F171、F172、F173、F174、F181、F182、F191、F192、F201、F202、F203、F211、F212、F213 周波数帯
N100、X109、X309、Y100 制御信号
N102、Z201 送受信部
N103、Y1302 変調信号
N106、Z204 送信用信号選択部
N110、Z203 送受信アンテナ部
N112、Z205 受信用信号選択部
N720 サーバ
X102_1、X102_N、X202_1、X202_N、Y102 送信信号
X103_1、X103_N、X104_1、X104_N、Y103_1、Y103_M、Y104_1、Y104_N アンテナ
X105_1、X105_N、X205_1、X205_N 受信信号
X106、X206、X306、Y106 受信装置
X107、X207 推定信号
X108、X208、X308 推定部
X210 送信データ
Y1002 第4装置
Y105_1、Y105_N 受信信号群
Y107 物体推定情報
Y108 第1処理部
Y109 物体推定信号
Y110 レンズ制御部
Y1102 物体
Y1103、Z101_1、Z101_2、Z101_3 端末
Y111 エリア情報
Y112 選択部
Y113 表示部
Y114 エリア信号
Y115 選択エリア信号
Y116 第2処理部
Y117 推定距離情報
Y118 動作制御信号
Y119 レンズ部
Y120、Y122 物体信号
Y1201 通信用リファレンスシンボル
Y1202 通信用制御情報シンボル
Y1203 通信用データシンボル
Y121 シャッター部
Y123 センサー部
Y124 画像情報
Y125 記憶部
Y200 シャッター機能付センサー部
Y400 通信装置
Y401 データベース
Y402 照会データ部
Y403 データ群
Y404 認識情報
Y701 第1装置
Y702 第2装置
Y703 第1インターフェース
Y704 第2インターフェース
Y801 第1’装置
Y802 第3装置
Y803 第3インターフェース
Y804 第4インターフェース
Y901 第1’’装置
ay302、ay312 第2装置
ay315、ay317 通信部
ay316、ay318 制御部
A3、X101、X201、X301、Y101 送信装置
A11、N703、N731 機器
A111、A121、N151、Z206 制御部
A112 駆動部
A113 センサ
A114 通信部
A12 検出装置
A122、A34 処理部
A123 イメージセンサ
A124 アプリケーション記憶部
A125、N104、X204、Z202 センシング部
A21、N701、Y1104、Z100 AP
A22、N402、N710 ネットワーク
A23、N730 基地局
A24、X100、X200、X300、Y1101 装置
A31 フレーム構成部
A32 送信部
A33 受信部
F81、F82、F83、F91、F92、F93、F94、F95、F101、F102、F103、F104、F105、F111、F112、F113、F114、F121、F122、F123、F124、F131、F132、F133、F134、F141、F142、F143、F144、F151、F152、F153、F154、F161、F162、F163、F164、F171、F172、F173、F174、F181、F182、F191、F192、F201、F202、F203、F211、F212、F213 周波数帯
N100、X109、X309、Y100 制御信号
N102、Z201 送受信部
N103、Y1302 変調信号
N106、Z204 送信用信号選択部
N110、Z203 送受信アンテナ部
N112、Z205 受信用信号選択部
N720 サーバ
X102_1、X102_N、X202_1、X202_N、Y102 送信信号
X103_1、X103_N、X104_1、X104_N、Y103_1、Y103_M、Y104_1、Y104_N アンテナ
X105_1、X105_N、X205_1、X205_N 受信信号
X106、X206、X306、Y106 受信装置
X107、X207 推定信号
X108、X208、X308 推定部
X210 送信データ
Y1002 第4装置
Y105_1、Y105_N 受信信号群
Y107 物体推定情報
Y108 第1処理部
Y109 物体推定信号
Y110 レンズ制御部
Y1102 物体
Y1103、Z101_1、Z101_2、Z101_3 端末
Y111 エリア情報
Y112 選択部
Y113 表示部
Y114 エリア信号
Y115 選択エリア信号
Y116 第2処理部
Y117 推定距離情報
Y118 動作制御信号
Y119 レンズ部
Y120、Y122 物体信号
Y1201 通信用リファレンスシンボル
Y1202 通信用制御情報シンボル
Y1203 通信用データシンボル
Y121 シャッター部
Y123 センサー部
Y124 画像情報
Y125 記憶部
Y200 シャッター機能付センサー部
Y400 通信装置
Y401 データベース
Y402 照会データ部
Y403 データ群
Y404 認識情報
Y701 第1装置
Y702 第2装置
Y703 第1インターフェース
Y704 第2インターフェース
Y801 第1’装置
Y802 第3装置
Y803 第3インターフェース
Y804 第4インターフェース
Y901 第1’’装置
Claims (7)
- 電波によって第2装置をセンシングする第1装置である通信装置であって、
前記第2装置が電波によって送信するフレームを受信し、受信した前記フレームを用いて前記第2装置をセンシングする通信部と、
前記第2装置が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した前記周波数を前記第2装置に通知し、かつ、前記周波数を用いて前記通信部が前記センシングをするよう制御する制御部とを備える
通信装置。 - 前記制御部は、前記周波数を選択する際には、前記通信部が通信に用いている周波数とは独立に、前記周波数を選択する
請求項1に記載の通信装置。 - 前記センシングは、前記通信部が受信した前記電波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含む
請求項1又は2に記載の通信装置。 - 第1装置に電波によってセンシングされる第2装置である通信装置であって、
前記センシングのためのフレームを電波で送信する通信部と、
前記第1装置から周波数の通知を受け、前記通知により示される前記周波数を用いて前記通信部が電波によって前記フレームを送信するよう制御する制御部とを備える
通信装置。 - 前記通信部は、前記フレームとして、プリアンブルを含み、かつ、データフィールドを含まないフレームを送信する
請求項4に記載の通信装置。 - 電波によって第2装置をセンシングする第1装置である通信装置が実行する通信方法であって、
前記第2装置が電波によって送信するフレームを受信し、受信した前記フレームを用いて前記第2装置をセンシングする通信ステップと、
前記第2装置が送信する電波の周波数を所定の複数の周波数のうちから選択し、選択した前記周波数を前記第2装置に通知し、かつ、前記周波数を用いて前記通信ステップで前記センシングをするよう制御する制御ステップとを含む
通信方法。 - 第1装置に電波によってセンシングされる第2装置である通信装置が実行する通信方法であって、
前記センシングのためのフレームを電波で送信する通信ステップと、
前記第1装置から周波数の通知を受け、前記通知により示される前記周波数を用いて前記通信ステップで電波によって前記フレームを送信するよう制御する制御ステップとを含む
通信方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20861447.9A EP4027163A4 (en) | 2019-09-04 | 2020-09-04 | COMMUNICATION DEVICE AND METHOD FOR COMMUNICATION |
| CN202080060222.6A CN114303330A (zh) | 2019-09-04 | 2020-09-04 | 通信装置以及通信方法 |
| JP2021544043A JPWO2021045181A1 (ja) | 2019-09-04 | 2020-09-04 | |
| US17/682,481 US12588011B2 (en) | 2019-09-04 | 2022-02-28 | Communication apparatus and communication method |
| JP2025244641A JP2026042782A (ja) | 2019-09-04 | 2025-12-10 | 管理装置、および、管理方法 |
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962895673P | 2019-09-04 | 2019-09-04 | |
| US62/895,673 | 2019-09-04 | ||
| JP2019-204317 | 2019-11-11 | ||
| JP2019204317 | 2019-11-11 | ||
| JP2020023816 | 2020-02-14 | ||
| JP2020-023816 | 2020-02-14 | ||
| JP2020-105635 | 2020-06-18 | ||
| JP2020105635 | 2020-06-18 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/682,481 Continuation US12588011B2 (en) | 2019-09-04 | 2022-02-28 | Communication apparatus and communication method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021045181A1 true WO2021045181A1 (ja) | 2021-03-11 |
Family
ID=74852223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/033555 Ceased WO2021045181A1 (ja) | 2019-09-04 | 2020-09-04 | 通信装置、および通信方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12588011B2 (ja) |
| EP (1) | EP4027163A4 (ja) |
| JP (2) | JPWO2021045181A1 (ja) |
| CN (1) | CN114303330A (ja) |
| WO (1) | WO2021045181A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4369671A4 (en) * | 2021-07-09 | 2024-10-30 | Panasonic Intellectual Property Corporation of America | WIRELESS DEVICE AND MEASUREMENT METHODS |
| WO2025134211A1 (ja) * | 2023-12-18 | 2025-06-26 | 株式会社Nttドコモ | 中継装置、無線システム、および、中継方法 |
| EP4533879A4 (en) * | 2022-05-30 | 2026-04-01 | Qualcomm Inc | TRANSFER DETECTION IN ISAC SYSTEMS |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7562564B2 (ja) * | 2019-12-20 | 2024-10-07 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置及び測距装置の制御方法、並びに、電子機器 |
| US12167392B2 (en) * | 2020-09-21 | 2024-12-10 | Qualcomm Incorporated | NACK based feedback for semi-persistent scheduling transmissions |
| US20240027572A1 (en) | 2022-07-19 | 2024-01-25 | Samsung Electronics Co., Ltd. | Method and apparatus to enable radar mode for wi-fi devices |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002064404A (ja) * | 2000-06-12 | 2002-02-28 | Supersensor Pty Ltd | 電子無線周波数識別システム |
| JP2007071819A (ja) * | 2005-09-09 | 2007-03-22 | Hitachi Ltd | 受信装置および周波数偏差計測ユニットおよび測位測距システム |
| JP2008026310A (ja) * | 2006-07-24 | 2008-02-07 | Mitsubishi Electric Research Laboratories Inc | 環境内の物体を検出するための方法およびシステム |
| JP2010078527A (ja) * | 2008-09-26 | 2010-04-08 | Brother Ind Ltd | 移動局測位システム |
| JP2011080799A (ja) * | 2009-10-05 | 2011-04-21 | Mitsubishi Electric Corp | 到来方向推定装置、端末装置、無線通信システムおよび到来方向推定方法 |
| JP2013072732A (ja) * | 2011-09-27 | 2013-04-22 | Denso Wave Inc | 無線タグ方向探知システム |
| US20130316730A1 (en) * | 2012-04-28 | 2013-11-28 | Huawei Device Co., Ltd | Method for Positioning Wireless Terminal, and Related Device and System |
| US20190162817A1 (en) * | 2016-07-26 | 2019-05-30 | Sony Mobile Communications Inc. | Frequency hop based positioning measurement |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0593844A (ja) | 1991-03-20 | 1993-04-16 | Asahi Optical Co Ltd | ズームレンズ内蔵型カメラ |
| JP3427619B2 (ja) | 1996-06-14 | 2003-07-22 | 朝日航洋株式会社 | 架空線撮影装置及び方法 |
| DE19749167A1 (de) | 1996-11-19 | 1998-06-25 | Walter Neudert | Filmkamera |
| JP2004322809A (ja) | 2003-04-24 | 2004-11-18 | Sony Corp | 電動アシスト自転車 |
| TWI302501B (en) | 2005-02-15 | 2008-11-01 | Honda Motor Co Ltd | Power control unit |
| JP4182068B2 (ja) | 2005-02-17 | 2008-11-19 | 本田技研工業株式会社 | トルクアシスト制御装置 |
| WO2009038797A2 (en) * | 2007-09-20 | 2009-03-26 | Evolution Robotics | Robotic game systems and methods |
| JP2014138290A (ja) | 2013-01-17 | 2014-07-28 | Sharp Corp | 撮像装置及び撮像方法 |
| US9696421B2 (en) * | 2013-03-15 | 2017-07-04 | Src, Inc. | Through wall sensing system using WiFi/cellular radar |
| GB201319151D0 (en) * | 2013-10-30 | 2013-12-25 | Ucl Business Plc | Apparatus and method for performing passive sesing |
| US10564258B2 (en) * | 2014-10-09 | 2020-02-18 | Utc Fire & Security Corporation | Advanced identification techniques for security and safety systems |
| EP3274736A4 (en) * | 2015-03-27 | 2018-05-02 | Telefonaktiebolaget LM Ericsson (PUBL) | Radar detection and/or protection in a wireless communication system operating in a spectrum shared with at least one radar system |
| JP6553387B2 (ja) * | 2015-03-27 | 2019-07-31 | 株式会社Soken | 対象物検出装置 |
| US10310617B2 (en) | 2015-06-11 | 2019-06-04 | Intel Corporation | Drone controlling device and method |
| KR101615319B1 (ko) | 2015-07-07 | 2016-04-25 | 주식회사 무지개연구소 | 스마트폰을 이용한 스마트 드론 독 시스템 |
| JP6973085B2 (ja) * | 2016-01-25 | 2021-11-24 | 日本電気株式会社 | 電波環境推定装置、電波環境推定システム、電波環境推定方法、およびプログラム |
| WO2017207042A1 (en) * | 2016-06-01 | 2017-12-07 | Sony Mobile Communications Inc. | Coexistence of radio communication and radar probing |
| US10598763B2 (en) | 2016-07-27 | 2020-03-24 | Raytheon Company | System and method for concurrent communication of different signal types by a radar |
| WO2018056819A2 (en) | 2016-09-22 | 2018-03-29 | Bolt Mobility B.V. | Scooter |
| US10467509B2 (en) * | 2017-02-14 | 2019-11-05 | Microsoft Technology Licensing, Llc | Computationally-efficient human-identifying smart assistant computer |
| JP7103346B2 (ja) | 2017-03-31 | 2022-07-20 | ソニーグループ株式会社 | 制御装置、撮像装置、制御方法及びプログラム |
| KR20200003204A (ko) * | 2017-05-26 | 2020-01-08 | 엘지전자 주식회사 | 무선 통신 시스템에서 단말이 전송 블록에 대한 전송 자원을 선택하는 방법 및 이를 위한 장치 |
| US10795009B2 (en) * | 2017-05-31 | 2020-10-06 | Google Llc | Digital beamforming for radar sensing using wireless communication chipset |
| US20190059012A1 (en) * | 2017-08-21 | 2019-02-21 | Qualcomm Incorporated | Multiplexing channel state information reference signals and synchronization signals in new radio |
| US20190306825A1 (en) * | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | Access point (ap) to access point (ap) ranging for passive locationing |
| US20210239831A1 (en) * | 2018-06-05 | 2021-08-05 | Google Llc | Systems and methods of ultrasonic sensing in smart devices |
| US20210231771A1 (en) * | 2018-06-06 | 2021-07-29 | Sony Corporation | Coexistence of radar probing and wireless communication |
| US11057170B2 (en) * | 2018-07-27 | 2021-07-06 | Raytheon Company | Multidimensional shared spectrum access |
| US11408973B2 (en) * | 2018-09-27 | 2022-08-09 | Google Llc | Controlling radar transmissions within a licensed frequency band |
| US20200150263A1 (en) * | 2018-11-08 | 2020-05-14 | Qualcomm Incorporated | Wlan radar |
| JP7499185B2 (ja) * | 2018-12-13 | 2024-06-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信装置、および送信方法 |
| US11105912B2 (en) * | 2018-12-31 | 2021-08-31 | Celeno Communications (Israel) Ltd. | Coherent Wi-Fi radar using wireless access point |
| US11102750B2 (en) * | 2019-01-01 | 2021-08-24 | Celeno Communications (Israel) Ltd. | Positioning system based on distributed transmission and reception of Wi-Fi signals |
| CN113631945A (zh) * | 2019-03-20 | 2021-11-09 | 京瓷株式会社 | 电子设备、电子设备的控制方法以及电子设备的控制程序 |
| CN111913159A (zh) * | 2019-05-10 | 2020-11-10 | 华为技术有限公司 | 雷达测试方法及装置 |
| US20200371220A1 (en) * | 2019-05-20 | 2020-11-26 | Qualcomm Incorporated | Multi-static wireless sensing |
| JP7272435B2 (ja) * | 2019-06-21 | 2023-05-12 | 日本電信電話株式会社 | 無線通信システムおよび無線通信方法 |
-
2020
- 2020-09-04 WO PCT/JP2020/033555 patent/WO2021045181A1/ja not_active Ceased
- 2020-09-04 CN CN202080060222.6A patent/CN114303330A/zh active Pending
- 2020-09-04 EP EP20861447.9A patent/EP4027163A4/en active Pending
- 2020-09-04 JP JP2021544043A patent/JPWO2021045181A1/ja active Pending
-
2022
- 2022-02-28 US US17/682,481 patent/US12588011B2/en active Active
-
2025
- 2025-12-10 JP JP2025244641A patent/JP2026042782A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002064404A (ja) * | 2000-06-12 | 2002-02-28 | Supersensor Pty Ltd | 電子無線周波数識別システム |
| JP2007071819A (ja) * | 2005-09-09 | 2007-03-22 | Hitachi Ltd | 受信装置および周波数偏差計測ユニットおよび測位測距システム |
| JP2008026310A (ja) * | 2006-07-24 | 2008-02-07 | Mitsubishi Electric Research Laboratories Inc | 環境内の物体を検出するための方法およびシステム |
| JP2010078527A (ja) * | 2008-09-26 | 2010-04-08 | Brother Ind Ltd | 移動局測位システム |
| JP2011080799A (ja) * | 2009-10-05 | 2011-04-21 | Mitsubishi Electric Corp | 到来方向推定装置、端末装置、無線通信システムおよび到来方向推定方法 |
| JP2013072732A (ja) * | 2011-09-27 | 2013-04-22 | Denso Wave Inc | 無線タグ方向探知システム |
| US20130316730A1 (en) * | 2012-04-28 | 2013-11-28 | Huawei Device Co., Ltd | Method for Positioning Wireless Terminal, and Related Device and System |
| US20190162817A1 (en) * | 2016-07-26 | 2019-05-30 | Sony Mobile Communications Inc. | Frequency hop based positioning measurement |
Non-Patent Citations (5)
| Title |
|---|
| A. BOURDOUXK. PARASHARM. BAUDUIN: "Phenomenology of mutual interference of FMCW and PMCW automotive radars", 2017 IEEE RADAR CONFERENCE (RADAR CONF., 2017, pages 1709 - 1714, XP033104303, DOI: 10.1109/RADAR.2017.7944482 |
| D. CAOT. LIP. KANGH. LIUS. ZHOUH. SU: "Single-Pulse Multi-Beams Operation of Phased Array Radar", 2016 CIE INTERNATIONAL CONFERENCE ON RADAR (RADAR, 2016, pages 1 - 4, XP033161994, DOI: 10.1109/RADAR.2016.8059597 |
| J. FINKF. K. JONDRAL: "Comparison of OFDM radar and chirp sequence radar", 2015 16TH INTERNATIONAL RADAR SYMPOSIUM (IRS, 2015, pages 315 - 320 |
| S. SCHUSTERS. SCHEIBLHOFERR. FEGERA. STELZER: "Signal model and statistical analysis for the sequential sampling pulse radar technique", PROC. IEEE RADAR CONF, 2008, pages 1 - 6, XP031376309 |
| See also references of EP4027163A4 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4369671A4 (en) * | 2021-07-09 | 2024-10-30 | Panasonic Intellectual Property Corporation of America | WIRELESS DEVICE AND MEASUREMENT METHODS |
| EP4533879A4 (en) * | 2022-05-30 | 2026-04-01 | Qualcomm Inc | TRANSFER DETECTION IN ISAC SYSTEMS |
| WO2025134211A1 (ja) * | 2023-12-18 | 2025-06-26 | 株式会社Nttドコモ | 中継装置、無線システム、および、中継方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12588011B2 (en) | 2026-03-24 |
| EP4027163A1 (en) | 2022-07-13 |
| US20220183010A1 (en) | 2022-06-09 |
| CN114303330A (zh) | 2022-04-08 |
| EP4027163A4 (en) | 2022-09-21 |
| JP2026042782A (ja) | 2026-03-11 |
| JPWO2021045181A1 (ja) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021045181A1 (ja) | 通信装置、および通信方法 | |
| JP2024050713A (ja) | 撮影装置および方法 | |
| US12088923B2 (en) | Information communication method | |
| US11729551B2 (en) | Systems and methods for ultra-wideband applications | |
| Zhuang et al. | A survey of positioning systems using visible LED lights | |
| US12045545B2 (en) | Methods and apparatus for secure persistent location based digital content associated with a two-dimensional reference | |
| US9143339B2 (en) | Information communication device for obtaining information from image data by demodulating a bright line pattern appearing in the image data | |
| EP3028008B1 (en) | Methods and apparatus for determining the orientation of a mobile phone in an indoor environment | |
| US9854362B1 (en) | Networked speaker system with LED-based wireless communication and object detection | |
| US20180115825A1 (en) | Networked speaker system with led-based wireless communication and room mapping | |
| CN105684075A (zh) | 增强现实界面及其使用方法 | |
| CN105989748A (zh) | 事故信息管理装置和方法及包括事故信息管理装置的车辆 | |
| Shahjalal et al. | An implementation approach and performance analysis of image sensor based multilateral indoor localization and navigation system | |
| US10054665B2 (en) | Tracking system and method for tracking a carrier of a mobile communication unit | |
| CN109115221A (zh) | 室内定位、导航方法及装置、计算机可读介质和电子设备 | |
| US12314638B2 (en) | Methods and apparatus for secure persistent location based digital content associated with a three-dimensional reference | |
| EP4305508A1 (en) | Moving media in extended reality | |
| US20200326402A1 (en) | An apparatus and associated methods | |
| WO2022197856A1 (en) | Systems and methods for ultra-wideband applications | |
| WO2024038895A1 (ja) | 方法、サーバー、端末、および、基地局 | |
| US20220343775A1 (en) | Delivery drone guiding system and method | |
| WO2024095871A1 (ja) | 方法、サーバー、および、撮影装置 | |
| US12620183B2 (en) | Moving media in extended reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20861447 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021544043 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2020861447 Country of ref document: EP Effective date: 20220404 |