WO2009101997A1 - 放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラム - Google Patents

放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラム Download PDF

Info

Publication number
WO2009101997A1
WO2009101997A1 PCT/JP2009/052363 JP2009052363W WO2009101997A1 WO 2009101997 A1 WO2009101997 A1 WO 2009101997A1 JP 2009052363 W JP2009052363 W JP 2009052363W WO 2009101997 A1 WO2009101997 A1 WO 2009101997A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
information
output
material data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/052363
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US12/735,489 priority Critical patent/US8767067B2/en
Priority to BRPI0907897-5A priority patent/BRPI0907897A2/pt
Priority to CN200980104689XA priority patent/CN101939988B/zh
Priority to EP09711145A priority patent/EP2242271A4/en
Publication of WO2009101997A1 publication Critical patent/WO2009101997A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth®, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information

Definitions

  • the present invention relates to a broadcast system, a transmission device, a transmission method, a reception device, a reception method, and a program, and in particular, for example, a broadcast system capable of performing appropriate processing on the reception side of the broadcast system,
  • the present invention relates to a transmission device, a transmission method, a reception device, a reception method, and a program.
  • an image or sound as material data is edited in a broadcasting station on the transmission side, and the edited image and sound are broadcast as a program.
  • a TV television receiver
  • a TV television receiver
  • a broadcast station that is, displays an image as a program and outputs a sound.
  • one type of image and sound obtained as a result of editing at the broadcasting station is broadcast as one program. Therefore, the user on the receiving side can enjoy only one type of image and sound.
  • Patent Document 1 a digital broadcast receiving apparatus in which a user can arbitrarily select and monitor a plurality of materials having different viewpoints prepared in advance.
  • the human face may be displayed larger than the actual size on the TV, and the realism may be reduced.
  • the edited image and sound edited by the broadcasting station are displayed.
  • the present invention has been made in view of such a situation, and on the receiving side of the broadcasting system, it is possible to perform appropriate processing, for example, to make the user feel a sense of reality, This makes it possible to display an image suitable for the user's preference.
  • a broadcasting system is a broadcasting system including a transmitting device that transmits data and a receiving device that receives the data.
  • the transmitting device includes material data acquired by a sensor, and the receiving device.
  • Transmitting means for transmitting additional information used for processing the material data in an apparatus and the receiving device includes receiving means for receiving the material data and additional information; the material data and the additional information;
  • a broadcasting system having generation means for generating output data and output means for outputting based on the output data.
  • the transmitting device transmits the material data acquired by the sensor and the additional information used for processing the material data by the receiving device.
  • the receiving device receives the material data and additional information, and generates output data based on the material data and the additional information. Then, output is performed based on the output data.
  • the transmission apparatus or program according to the second aspect of the present invention is a transmission apparatus that transmits the data and that constitutes a broadcasting system together with a reception apparatus that receives data, the material data acquired by a sensor, and the reception apparatus And a program for causing a computer to function as a transmission device comprising a transmission means for transmitting additional information used for processing the material data.
  • a transmission method is a transmission method of a transmission apparatus that transmits the data, which constitutes a broadcasting system together with a reception apparatus that receives data, and the transmission apparatus transmits material data acquired by a sensor and And a transmission method including a step of transmitting additional information used for processing the material data by the receiving device.
  • the material data acquired by the sensor and the additional information used for processing the material data by the receiving device are transmitted.
  • a receiving device or a program according to the third aspect of the present invention is a receiving device that receives the data and constitutes a broadcasting system together with a transmitting device that transmits data, and the transmitting device acquires material data acquired by a sensor. And when transmitting the additional information used to process the material data in the receiving device, based on the material data and the additional information, receiving means for receiving the material data and additional information, A receiving device including a generating unit that generates output data and an output unit that performs output based on the output data, or a program for causing a computer to function as the receiving device.
  • a receiving method is a receiving method for a receiving apparatus that receives the data, which constitutes a broadcasting system together with a transmitting apparatus that transmits data, and the transmitting apparatus receives material data acquired by a sensor and In the case of transmitting the additional information used for processing the material data by the receiving device, the receiving device receives the material data and the additional information, and based on the material data and the additional information
  • the receiving method includes the steps of generating output data and performing output in an output means for performing output based on the output data.
  • the material data and additional information are received, and output data is generated based on the material data and the additional information. Then, based on the output data, output is performed in an output means for performing output.
  • program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the transmission device or the reception device may be an independent device, or may be an internal block constituting one device.
  • data transmission (broadcasting) (transmission) can be performed via either a wired or wireless transmission medium, or can be performed via a transmission medium in which wired and wireless are mixed. it can.
  • appropriate processing can be performed on the receiving side of the broadcasting system.
  • FIG. 3 is a block diagram illustrating a configuration example of a transmission device 11.
  • FIG. It is a figure explaining material data and effect information. It is a figure explaining switching information. It is a figure explaining display angle-of-view information. It is a figure explaining the data for a synthesis
  • 3 is a block diagram illustrating a configuration example of a receiving device 12.
  • FIG. 54 It is a block diagram which shows the structural example of the production
  • FIG. 11 is a block diagram illustrating another configuration example of the receiving device 12.
  • FIG. It is a block diagram which shows the structural example of one Embodiment of the computer to which this invention is applied.
  • 11 transmitting device 12 receiving device, 13 transmission medium, 31 sensor unit, 32 editing device, 33 encoding unit, 34 transmitting unit, 51 receiving unit, 52 decoding unit, 53 separating unit, 54 generating unit, 55 output unit, 56 Input section, 71 BF, 72 additional information analysis section, 73 image processing section, 81 image data BF, 82 additional information analysis section, 83 synthesized data BF, 84 image processing section, 91 image selection section, 92 instruction selection section, 93 Display area setting section, 94 gate section, 95 superimposition processing section, 101 generation section, 102 output section, 103 input section, 111 generation section, 112 output section, 113 input section, 201 bus, 202 CPU, 203 ROM, 204 RAM, 205 hard disk, 206 Output unit, 207 input unit, 208 communication unit, 209 drive, 210 input-output interface, 211 removable recording medium
  • FIG. 1 is a diagram of a broadcasting system to which the present invention is applied (a system is a logical collection of a plurality of devices, regardless of whether each configuration device is in the same housing). The structural example of embodiment is shown.
  • the broadcasting system includes a transmission device 11 and a reception device 12.
  • the transmission device 11 is installed, for example, in a broadcasting station, and transmits various data as a program via a transmission medium 13 such as a terrestrial wave, a satellite line, the Internet, or a CATV (Cable Television) network.
  • a transmission medium 13 such as a terrestrial wave, a satellite line, the Internet, or a CATV (Cable Television) network.
  • the receiving device 12 is installed in a home or the like, for example, and receives data transmitted from the transmitting device 11 via the transmission medium 13.
  • the receiving device 12 can function as a TV, for example.
  • not only one but also a plurality of transmission devices 11 can be provided. The same applies to the receiving device 12.
  • FIG. 2 shows a configuration example of the transmission device 11 of FIG.
  • the transmission device 11 includes a sensor unit 31, an editing device 32, an encoding unit 33, and a transmission unit 34.
  • the sensor unit 11 and the editing device 32 may be separate devices from the transmission device 11.
  • the sensor unit 31 acquires material data as a material for editing in the editing device 32 and supplies the material data to the editing device 32 and the encoding unit 33.
  • the sensor unit 31 one kind of one sensor, one kind of plural sensors, and plural kinds of sensors can be adopted.
  • the types of sensors include, for example, a camera that senses light and outputs an image (captures images), a microphone that senses sound and outputs sounds (collects sound), and other temperatures, humidity, There are sensors that sense wind direction, wind speed, vibration, brightness, and so on.
  • an image is taken and an image (data) is output as material data.
  • an image data
  • sound is collected and sound (data) is output as material data.
  • data representing temperature, humidity, wind direction, wind speed, vibration, or brightness is output as material data.
  • the editing device 32 generates additional information used for processing the material data by the receiving device 12 based on the material data from the sensor unit 31 and supplies the additional information to the encoding unit 33.
  • the additional information includes real world information representing the physical quantity of the real world for the object sensed by the sensor unit 31, and effect information that is information used for processing the material data.
  • the effect information is generated according to an operation of the editing device 32 by a program producer who produces a program at a broadcasting station, for example.
  • Real-world information is generated regardless of the program producer's operation.
  • the additional information is generated for each type of material data, for example. Accordingly, a plurality of types of sensors are employed in the sensor unit 31, and when a plurality of types of material data is supplied from the sensor unit 31 to the encoding unit 33, the encoding unit 32 performs encoding. Additional information corresponding to each type of the plurality of types of material data is supplied to the unit 33.
  • the encoding unit 33 encodes the material data from the sensor unit 31 and the additional information from the editing device 32.
  • the encoding unit 33 multiplexes the material data and the encoded data as necessary. Then, the encoding unit 33 supplies encoded data obtained as a result of encoding to the transmission unit 34.
  • the transmission unit 34 transmits the encoded data from the encoding unit 33, that is, the material data acquired by the sensor unit 31 and the additional information generated by the editing device 32 via the transmission medium 13 (FIG. 1). .
  • FIG. 3 shows material data and effect information for the material data.
  • a in FIG. 3 shows a plurality of stream images (moving images) as material data.
  • the images S # 1 to S # N of N streams may be images acquired by N cameras as N sensors, or less than N (and more than 1). Images acquired by M ( ⁇ N) cameras as M sensors may be used.
  • images S # 1 to S # N of N streams for example, images of N streams obtained by capturing landscapes at different locations with a single camera at different times are adopted. Can do.
  • the N stream images S # 1 to S # N are obtained, for example, by imaging the entire orchestra, conductor, player of a specific instrument, audience seats, etc. with N cameras.
  • N streams of images obtained by capturing the entire studio and each performer can be used.
  • 3B shows effect information for the images S # 1 to S # N of N streams that are the material data of FIG. 3A.
  • the effect information includes, for example, switching information, display image frame information, composition data, and the like.
  • the switching information is, for example, an image to be displayed on a display device (to be described later) of the receiving device 12 by selecting an image of one stream from the images S # 1 to S # N of N streams that are material data. This is information for switching.
  • the display image frame information represents, for example, an area of a portion to be displayed on the display device of the receiving device 12 in an image (any one of images S # 1 to S # N in FIG. 3) that is material data. .
  • composition data is, for example, data used for composition with an image that is material data (any one of images S # 1 to S # N in FIG. 3). Including.
  • the synthesized data there are data of a picture-in-picture child screen (hereinafter referred to as PinP image) (picture-in-picture data), telop data (subtitle data), and the like.
  • the switching information is the image S # 1 of the N streams.
  • information for switching an image to be displayed on the display device of the reception device 12 by selecting an image of one stream from S # N is the image S # 1 of the N streams.
  • time codes t s1 to t e1 of the image S # 1 as material data and the image S # as material data are displayed.
  • Time code t s2 to t e2 of 2 time code t s3 to t e3 of image S # 3 as material data
  • time code t s4 to t e4 of image S # 1 as material data and so on
  • a certain program A image
  • the information for specifying is switching information.
  • the switching information includes: Information about the special effects is also included.
  • the display image frame information represents, for example, a region of a portion to be displayed on the display device of the receiving device 12 in the image that is the material data as described above.
  • the editing device 32 converts a rectangular area of a part of the image, which is the material data, into the receiving device 12 as shown in FIG.
  • a region of a portion to be displayed on the display device hereinafter also referred to as a display region
  • editing as a program image can be performed.
  • the program producer maximizes the area of the image that is the material data, and the program producer himself performs pan, tilt, and zoom operations within the area.
  • the program producer himself performs pan, tilt, and zoom operations within the area.
  • the maximum display area is the area of the image that is the material data. Therefore, by performing imaging with the camera as the sensor unit 31 (FIG. 2) at the maximum angle of view (most wide angle side), the display area can be maximized.
  • the display field angle information may be any information as long as it is information that can specify a display area.
  • the display angle-of-view information for example, a coordinate system based on an image area that is material data is defined, and one vertex of the display area in the coordinate system and a vertex that is diagonally opposite the vertex ,
  • the coordinates of one vertex of the display area, the horizontal and vertical lengths of the display area, and the like can be employed.
  • a display area having a predetermined size at a predetermined position is set as a default display area, and the program producer edits the default display area.
  • the history of pan, tilt, and zoom operations can be employed.
  • the data for composition is data used for composition with the material data, and includes data to be synthesized to be synthesized with the material data and timing information indicating a timing for performing synthesis using the data to be synthesized.
  • the material data is an image
  • the editing device 32 in FIG. 2 performs editing by superimposing (combining) a PinP image or a telop on the image that is the material data in accordance with the operation of the program producer.
  • the PinP image or telop becomes the synthesized data.
  • the PinP image as the data to be combined and the time when the telop is superimposed are the timing information, for example.
  • the data for synthesis includes, for example, PinP images as data to be synthesized, information indicating the position on the image on which the telop is superimposed, and the like.
  • the material data is audio
  • BGM Background Music
  • the BGM timing information synthesized with the audio is Information representing the time based on the sound can be employed, or the time code of the image accompanying the sound can be employed.
  • the real world information is information representing the physical quantity in the real world for the object sensed by the sensor unit 31 (FIG. 2).
  • the sensor unit 31 is a camera
  • the real world information includes the imaging range information indicating the imaging range at the position of the imaging target (hereinafter also referred to as an imaging object) to be imaged.
  • FIG. 7 is a top view schematically showing a state in which imaging is performed with a camera.
  • the horizontal angle of view of the camera (hereinafter also referred to as the camera angle of view) is ⁇ , and from the camera Let X be the distance to the imaging object (hereinafter also referred to as object distance).
  • the object distance X is measured using, for example, a so-called autofocus technique.
  • the object distance X can be measured using, for example, an infrared sensor or a sonar.
  • the object distance X is determined by the contrast detection method that adjusts the focus so as to maximize the contrast of the image captured by the camera, and the focus adjustment that eliminates the phase difference of the image captured by the camera. It can be measured using a phase difference detection method or the like.
  • the object distance X is known in advance at the time of imaging with the camera, it is not necessary to measure the object distance X.
  • the editing device 32 in FIG. 2 acquires the camera angle of view ⁇ and the object distance X in addition to the image that is the material data from the camera as the sensor unit 31, and from the camera angle of view ⁇ and the object distance X, An imaging range D is obtained. Then, the editing device 32 includes the imaging range D as imaging range information in the real world information and supplies it to the encoding unit 33.
  • the material data acquired by the sensor unit 31 is supplied to the editing device 32 and the encoding unit 33.
  • additional information including one or both of effect information and real world information is generated based on the material data from the sensor unit 31 and supplied to the encoding unit 33.
  • the encoding unit 33 receives the material data from the sensor unit 31 and the editing data in step S11.
  • the additional information from the device 32 is encoded, and the encoded data obtained as a result is supplied to the transmission unit 34, and the process proceeds to step S12.
  • step S12 the transmission unit 34 transmits the encoded data from the encoding unit 33 via the transmission medium 13 (FIG. 1).
  • FIG. 9 shows a configuration example of the receiving device 12 of FIG.
  • the receiving device 12 includes a receiving unit 51, a decoding unit 52, a separating unit 53, a generating unit 54, an output unit 55, and an input unit 56.
  • output unit 55 and the input unit 56 may be separate devices from the receiving device 12.
  • the receiving unit 51 receives the encoded data transmitted from the transmitting device 11 via the transmission medium 13, that is, the material data and the additional information, and supplies them to the decoding unit 52.
  • the decoding unit 52 decodes the encoded data from the reception unit 51 and supplies it to the separation unit 53.
  • the separation unit 53 separates the data supplied from the decryption unit 52 into material data and additional information and supplies the data to the generation unit 54.
  • the generation unit 54 generates output data based on the material data and additional information from the separation unit 53 and supplies the output data to the output unit 55.
  • the output unit 55 performs a predetermined output based on the output data from the generation unit 54.
  • an apparatus that stimulates the human senses can be employed.
  • the output unit 55 for example, a device that stimulates vision such as a display device that displays an image or an illumination device that emits light can be employed.
  • a device that stimulates hearing such as a speaker that emits sound, can be employed.
  • a device that stimulates the sense of touch such as an air conditioner that can perform so-called air conditioning (air conditioning) (air conditioning) of temperature, humidity, and wind, and a shaking device that imparts vibration.
  • air conditioning air conditioning
  • a shaking device that imparts vibration.
  • the input unit 56 is operated by the user of the receiving device 12. When the user operates the input unit 56 to give a certain instruction, the input unit 56 accepts an instruction from the user and supplies instruction information representing the instruction to the generation unit 54.
  • the generation unit 54 when the instruction information is supplied from the input unit 56, the generation unit 54 generates output data based on the instruction information.
  • the reception unit 51 waits for the encoded data to be transmitted from the transmission device 11 via the transmission medium 13, receives the encoded data in step S31, and supplies the encoded data to the decoding unit 52. The process proceeds to step S32.
  • step S32 the decoding unit 52 decodes the encoded data from the reception unit 51, supplies the decoded data to the separation unit 53, and the process proceeds to step S33.
  • step S33 the separating unit 53 separates the data (decoded data) supplied from the decrypting unit 52 into material data and additional information, and supplies the data to the generating unit 54, and the process proceeds to step S34.
  • step S34 the generation unit 54 generates output data based on the material data and the additional information from the separation unit 53, supplies the output data to the output unit 55, and the process proceeds to step S35.
  • step S35 the output unit 55 performs a predetermined output based on the output data from the generation unit 54.
  • the generation unit 54 performs the process of generating the output data based on the material data and the additional information.
  • This process includes the reality mode process, the entertainment mode, and the entertainment mode. It is divided into processing.
  • the additional information includes the real world information and the effect information, but the process performed using the real world information in the process of generating the output data is the reality mode process.
  • the processing performed using the effect information is entertainment mode processing.
  • FIG. 11 shows data (information) supplied to the generation unit 54 when the receiving device 12 performs the reality mode processing.
  • material data and real world information included in the additional information are supplied from the separation unit 53 to the generation unit 54.
  • characteristic information indicating the characteristics of the output unit 55 is supplied from the output unit 55 to the generation unit 54, for example.
  • the generation unit 54 identifies the physical quantity recognized from the output of the output unit 55 as the physical quantity represented by the real world information based on the material data, the real world information, and the characteristic information of the output unit 55. To generate output data.
  • the generation unit 54 when the instruction information is supplied from the input unit 56, the generation unit 54 generates output data based on the instruction information.
  • reception device 12 can be configured without providing the input unit 56 for the reality mode processing.
  • the instruction information is not supplied to the generation unit 54.
  • the reality mode process will be described on the assumption that the output unit 55 is a display device and the output data is an image displayed on the output unit 55 which is a display device.
  • the real world information includes the imaging range information D described with reference to FIG. 7, and the characteristic information represents the size of the display screen on which the output unit 55 that is a display device displays an image. It is assumed that size information F is included.
  • the size information F indicates the horizontal and vertical lengths of the display screen of the output unit 55 that is a display device, similarly to the imaging range information D (imaging range D).
  • the horizontal length is represented.
  • FIG. 12 shows a configuration example of the generation unit 54 when the receiving device 12 performs the reality mode process.
  • the generation unit 54 includes a BF (buffer) 71, an additional information analysis unit 72, and an image processing unit 73.
  • the image which is material data is supplied to BF71 from the separation part 53 (FIG. 11).
  • the BF 71 stores an image that is material data from the separation unit 53.
  • the real-world information included in the additional information is supplied from the separation unit 53 to the additional information analysis unit 72.
  • the additional information analysis unit 72 analyzes the real world information from the separation unit 53, extracts the imaging range information D (FIG. 7) included in the real world information, and supplies it to the image processing unit 73.
  • the imaging range information D is supplied from the additional information analysis unit 72 to the image processing unit 73. Further, the image processing unit 73 is supplied with an image which is material data stored in the BF 71, and from the output unit 55 (FIG. 11) which is a display device, size information F which is characteristic information of the display device. Is supplied.
  • instruction information corresponding to the operation is supplied from the input unit 56 to the image processing unit 73.
  • the image processing unit 73 is an image that is material data based on the image that is material data from the BF 71, the imaging range information D from the additional information analysis unit 72, and the size information F that is characteristic information from the output unit 55. Is processed so that the size of the object (imaging object) recognized from the image displayed on the output unit 55 which is a display device is identified as the size in the real world. Is supplied to the output unit 55 (FIG. 11) which is a display device.
  • the image processing unit 73 uses the material data based on the image that is the material data from the BF 71, the imaging range information D from the additional information analysis unit 72, and the size information F that is the characteristic information from the output unit 55. By processing a certain image, an image in which the size of the imaging object recognized from the image displayed on the output unit 55 which is a display device does not exceed the size in the real world is generated as output data. Then, the data is supplied to the output unit 55 (FIG. 11) which is a display device.
  • the image processing unit 73 performs a process of enlarging the image that is the material data from the BF 71 by the zoom magnification indicated by the instruction information from the input unit 56. As a result, output data is generated.
  • the image processing unit 73 enlarges the image that is the material data, and the size of the imaging object recognized from the image displayed by the output unit 55 that is the display device is the size in the real world. Limit the size so that it does not exceed.
  • magnification for enlarging the image that is the material data is the display zoom magnification z
  • the enlargement when the display zoom magnification z is less than 1 (and greater than 0) is reduced.
  • the size information F is supplied from the output unit 55, which is a display device, to the image processing unit 73 of the generation unit 54.
  • the size information F is, for example, a generation unit. 54 can be stored in advance.
  • the display area represented by the display angle-of-view information (FIG. 5) is assumed to be equal to the entire area of the image that is the material data.
  • FIG. 13 schematically shows a state in which an imaging object is being imaged by a camera and a state in which an image that is material data obtained by the imaging is displayed on the output unit 55 that is a display device. .
  • a in FIG. 13 is a top view schematically showing a state in which imaging is performed by the camera, and is the same diagram as FIG.
  • FIG. 13B shows a display state in which an image, which is material data obtained by performing imaging as shown in FIG. 13A with a camera, is displayed on the output unit 55 which is a display device without being enlarged. .
  • the real world having the imaging range information D is displayed on the display screen having the size information F.
  • the imaging object is displayed in a size that is F / D times the size in the real world.
  • the imaging range information D is equal to or larger than the size information F (F ⁇ D)
  • the display zoom magnification z is equal to or less than D / F
  • the imaging object displayed on the output unit 55 that is a display device is displayed.
  • the size is less than the size in the real world.
  • the imaging range information D is equal to or larger than the size information F
  • the display zoom magnification z is equal to or smaller than D / F
  • the imaging object is displayed in the real world in the output unit 55 that is a display device.
  • the reality of the imaging object displayed on the output unit 55 which is a display device is not impaired.
  • the display zoom magnification z when enlarging the image that is the material data is limited to D / F or less. Is done.
  • the imaging range information D is less than the size information F (F> D)
  • the image that is the material data is displayed as it is on the output unit 55 that is a display device
  • the image is displayed on the output unit 55.
  • the size of the captured object is larger than the size in the real world.
  • the imaging object is displayed larger than the size in the real world on the output unit 55 that is a display device
  • the reality of the imaging object displayed on the output unit 55 that is the display device is impaired, so The feeling will be lost.
  • the output unit 55 may be a large screen display device.
  • the imaging range information D may be less than the size information F.
  • FIG. 14 shows a state in which an image of an imaging object is being picked up using an optical zoom with a camera, and a state in which an image that is material data obtained by the imaging is displayed on the output unit 55 that is a display device Is schematically shown.
  • a in FIG. 14 is a top view schematically showing a state in which imaging is performed using an optical zoom with a camera.
  • the camera angle of view ⁇ becomes narrower (smaller), and as a result, the imaging range information D becomes smaller than, for example, the case of A in FIG.
  • FIG. 14B shows a display state in which an image, which is material data obtained by imaging with a camera as shown in FIG. 14A, is displayed on the output unit 55 which is a display device.
  • the real world having the imaging range information D is displayed on the display screen having the size information F.
  • the imaging range information D is less than the size information F. Therefore, in the output unit 55 that is a display device, the imaging object is larger than the size in the real world (a size that is F / D times larger). It is displayed.
  • FIG. 15 shows a state in which an image pickup object is being picked up using a digital zoom with a camera, and a state in which an image that is material data obtained by the pick-up is displayed on the output unit 55 that is a display device Is schematically shown.
  • a in FIG. 15 is a top view schematically showing a state in which imaging is performed using a digital zoom with a camera.
  • an image obtained by trimming an image captured by a camera by cutting out a central portion and enlarging it by signal processing is output as an image as material data.
  • the camera angle of view ⁇ becomes narrow as in the case of optical zoom (FIG. 14).
  • the imaging range information D is, for example, FIG. It is smaller than the case of A.
  • FIG. 15B shows a display state in which an image, which is material data obtained by imaging with a camera as shown in FIG. 15A, is displayed on the output unit 55 which is a display device.
  • the real world having the imaging range information D is displayed on the display screen having the size information F.
  • the imaging range information D is less than the size information F. Therefore, in the output unit 55 that is a display device, the imaging object is larger than the size in the real world (F / D times larger). It is displayed.
  • the imaging range information D may be less than the size information F. It is displayed larger than the real world size, and the reality is lost.
  • the image processing unit 73 sets the display zoom magnification z to D / F times, The image is enlarged by D / F (here, the image is reduced because D / F is less than 1).
  • the imaging object displayed at F / D times the size in the real world is D / F times, that is, the size in the real world. Is displayed in a size equal to.
  • FIG. 16 shows an image displayed on the output unit 55, which is a display device, when the imaging range information D is less than the size information F.
  • a in FIG. 16 shows a display state in which an image that is material data captured using optical zoom is displayed on the output unit 55 that is a display device
  • B in FIG. 16 shows digital zoom.
  • the display state which displayed the image which is the material data imaged using using the output part 55 which is a display apparatus is shown.
  • the image processing unit 73 sets the display zoom magnification z to D / F ( ⁇ 1) times, and the image as material data is converted to D / F.
  • the image is enlarged by a factor of F and supplied to the output unit 55 as output data.
  • the imaging object is displayed with a size equal to the size in the real world.
  • the image that is the material data is enlarged (reduced) by D / F ( ⁇ 1) times.
  • the image (output data) obtained by the enlargement has a horizontal length.
  • An image equal to the imaging range information D is obtained.
  • black is provided in a portion of the display screen other than a portion where an image that is output data is displayed, for example, as shown in FIG. Etc. are displayed.
  • a portion other than the central portion magnified by the digital zoom in the image captured by the camera in FIG. 15A, There are cases where a hatched portion (hereinafter also referred to as a trimming portion) remains.
  • a trimming portion is displayed on the display screen other than the portion where the image which is output data is displayed, for example, as shown in FIG. Is done.
  • step S51 the image processing unit 73 is based on the imaging range information D included in the real world information supplied from the additional information analysis unit 72 and the size information F that is characteristic information of the output unit 55 that is a display device.
  • the maximum zoom magnification D / F which is the maximum value of the display zoom magnification z for enlarging the image that is the material data, is obtained, and the standard is the display zoom magnification z when no instruction information is supplied from the input unit 56 (FIG. 11).
  • the zoom magnification z 1 is set, and the process proceeds to step S52.
  • the imaging range information D is, when it is the size information F or higher, a standard zoom magnification z 1 is set to 1x. Imaging range information D is is less than the size information F, the standard zoom magnification z 1 is set to the maximum zoom magnification D / F.
  • step S52 the image processing unit 73 determines whether instruction information for instructing zooming is supplied from the input unit 56.
  • step S52 If it is determined in step S52 that the instruction information is not supplied from the input unit 56 to the image processing unit 73, the process proceeds to step S53, and the image processing unit 73 sets the display zoom magnification z to the standard zoom magnification. z 1 is set, and the process proceeds to step S57.
  • step S52 If it is determined in step S52 that the instruction information is supplied from the input unit 56 to the image processing unit 73, the process proceeds to step S54, and the image processing unit 73 receives the instruction information from the input unit 56 as an instruction. It is determined whether or not the zoom magnification (hereinafter also referred to as instruction zoom magnification A) is equal to or less than the maximum zoom magnification D / F.
  • instruction zoom magnification A hereinafter also referred to as instruction zoom magnification A
  • step S54 If it is determined in step S54 that the designated zoom magnification A is equal to or less than the maximum zoom magnification D / F, the process proceeds to step S55, and the image processing unit 73 sets the display zoom magnification z to the designated zoom magnification A. After setting, the process proceeds to step S57.
  • step S54 If it is determined in step S54 that the designated zoom magnification A is not less than or equal to the maximum zoom magnification D / F, that is, the maximum zoom magnification D / F for displaying the imaging object larger than the actual size is set. If zooming at a magnification exceeding the above is instructed by the user, the process proceeds to step S56, and the image processing unit 73 sets the display zoom magnification z to the maximum zoom magnification D / F, and the process proceeds to step S57. move on.
  • step S57 the image processing unit 73 generates, as output data, an enlarged image obtained by enlarging the image as material data stored in the BF 71 by the display zoom magnification z, and an output unit 55 (FIG. 11) that is a display device. To supply.
  • the output unit 55 that is a display device displays an enlarged image that is output data from the image processing unit 73, so that the imaging object has a size F in the real world as described in FIG. 13. Displayed in the size of / D times.
  • the standard zoom magnification z 1 when the imaging range information D is less than the size information F, as described above, the standard zoom magnification z 1 and thus the display zoom magnification z is set to the maximum zoom magnification D / F.
  • the imaging object is displayed with a size D / F ⁇ F / D times the size in the real world, that is, a size equal to the size in the real world.
  • the standard zoom magnification z 1 and thus the display zoom magnification z are set to 1 so that the imaging object is It is displayed in F / D ( ⁇ 1) times the size in the real world.
  • the instruction zoom magnification A is the maximum zoom magnification.
  • the display zoom magnification z is set to the instruction zoom magnification A.
  • the size is displayed as A ( ⁇ D / F) ⁇ F / D times the size.
  • the display zoom magnification z is set to the maximum zoom magnification D / F. It is displayed in the size of D / F ⁇ F / D times the size of, that is, the size equal to the size in the real world.
  • the imaging object is displayed in a size smaller than the size in the real world.
  • the reality mode processing of FIG. 17 can be performed only when the imaging object is displayed in a size exceeding the size in the real world.
  • the reality mode process is performed, for example, when a user who has viewed an imaging object displayed in a size exceeding the size in the real world operates the input unit 56 to instruct improvement of the display. It is possible to do so.
  • FIG. 18 shows data (information) supplied to the generation unit 54 when the receiving device 12 performs the entertainment mode process.
  • material data and effect information included in the additional information are supplied from the separation unit 53 to the generation unit 54.
  • the generation unit 54 performs processing on the material data from the separation unit 53 based on the effect information from the separation unit 53 or the instruction information from the input unit 56, thereby outputting output data. Is generated.
  • the generation unit 54 processes the material data from the separation unit 53 based on the effect information from the separation unit 53 to output data. Is generated.
  • the generation unit 54 when the instruction information is supplied from the input unit 56, the generation unit 54 generates output data by processing the material data from the separation unit 53 based on the instruction information.
  • the entertainment mode process will be described on the assumption that the output unit 55 is a display device and the output data is an image displayed on the output unit 55 which is a display device.
  • FIG. 19 shows a configuration example of the generation unit 54 when the receiving device 12 performs the entertainment mode process.
  • the effect information includes the switching information, the display image frame information, and the composition data described in FIGS. 3 to 6, and the material data includes N stream images S # 1 to S # 1 to S # 1 to S # 1. Suppose that there is S # N.
  • the generation unit 54 includes an image data BF (buffer) 81, an additional information analysis unit 82, data to be combined BF83, and an image processing unit 84.
  • the image data BF81 is supplied with N stream images S # 1 to S # N as material data from the separation unit 53 (FIG. 18).
  • the image data BF81 stores N stream images S # 1 to S # N which are material data from the separation unit 53.
  • the effect information included in the additional information is supplied from the separation unit 53 to the additional information analysis unit 82.
  • the additional information analysis unit 82 analyzes the effect information from the separation unit 53 and extracts, for example, switching information, display image frame information, and synthesis data included in the effect information.
  • the additional information analysis unit 82 extracts data to be synthesized to the material data and timing information indicating the timing of the synthesis from the data for synthesis.
  • the additional information analysis unit 82 supplies the combined data to the combined data BF83, and supplies the switching information, display image frame information, and timing information to the image processing unit 84.
  • the switching information, the display image frame information, and the timing information supplied from the additional information analysis unit 82 to the image processing unit 84 that is, the switching information, the display image frame information, and the timing information included in the effect information, Collectively, it is also called default information.
  • the synthesized data BF83 stores the synthesized data from the additional information analysis unit 82.
  • the image processing unit 84 is supplied with N streams of images S # 1 to S # N, which are material data stored in the image data BF81, and the combined data stored in the combined data BF83. Is supplied.
  • instruction information corresponding to the operation is supplied from the input unit 56 to the image processing unit 84.
  • the user operates the input unit 56 to pan, tilt, or zoom the camera that captures an image displayed on the output unit 55 (FIG. 18) that is a display device.
  • PTZ pan, tilt, zoom
  • an image displayed on the output unit 55 which is a display device, is displayed as 1 of the N stream images S # 1 to S # N that are material data.
  • An instruction to switch from one image S # i to another image S # i ′ (hereinafter also referred to as a switching instruction) can be issued.
  • the user can instruct to synthesize (superimpose) the data to be combined with the image displayed on the output unit 55, which is a display device (hereinafter also referred to as a combination instruction). it can.
  • the input unit 56 displays display frame information for specifying a display area (FIG. 5) that has been moved or whose size has been changed according to the PTZ instruction. And the instruction information including the display image frame information is supplied to the image processing unit 84.
  • the input unit 56 When the user gives a switching instruction by operating the input unit 56, the input unit 56 generates switching information (FIG. 4) according to the switching instruction, and the instruction information including the switching information is displayed as an image. This is supplied to the processing unit 84.
  • the input unit 56 when the user gives a compositing instruction by operating the input unit 56, the input unit 56 generates selection information for selecting data to be composited with the material data in accordance with the compositing instruction. Instruction information including selection information is supplied to the image processing unit 84.
  • the image processing unit 84 Based on the default information from the additional information analysis unit 82 or the instruction information from the input unit 56, the image processing unit 84 performs processing on the material data stored in the image data BF81 and the data stored in the combined data BF83.
  • the composite data is used as necessary to perform processing, thereby generating an image as output data and supplying it to the output unit 55 (FIG. 18) as a display device.
  • the image processing unit 84 processes the material data stored in the image data BF81 based on the default information from the additional information analysis unit 82. As a result, an image as output data is generated.
  • the image processing unit 84 among the N streams of images S # 1 to S # N, which is material data stored in the image data BF81, based on the switching information included in the default information. Therefore, an image of one stream is selected as an image to be output data (hereinafter also referred to as an output image).
  • the image processing unit 84 extracts the image of the display area represented by the display image frame information from the output image.
  • the image processing unit 84 synthesizes the synthesized data stored in the synthesized data BF83 with the image in the display area based on the timing information included in the default information.
  • the image processing unit 84 synthesizes the synthesized data stored in the synthesized data BF83 with the image in the display area based on the timing information included in the default information.
  • the image processing unit 84 uses the default information from the additional information analysis unit 82, that is, the editing device 32 (FIG. 2) of the transmission device 11. Since the material data is processed based on the generated effect information (switching information, display image frame information, and timing information included therein), the program producer can edit the editing device 32 at the output unit 55 that is a display device. An image obtained by editing performed by operating is displayed.
  • the image processing unit 84 processes the material data stored in the image data BF81 based on the instruction information, thereby outputting output data. Generate an image that is
  • the image processing unit 84 performs image data based on the switching information included in the instruction information instead of the switching information included in the default information.
  • An image of one stream is selected as an output image from N streams of images S # 1 to S # N that are material data stored in BF81.
  • the image processing unit 84 is based on the display image frame information included in the instruction information, not the display image frame information included in the default information.
  • the image of the display area represented by the display image frame information is extracted from the output image.
  • the image processing unit 84 synthesizes the image in the display area according to the selection information included in the instruction information instead of the timing information included in the default information.
  • the data to be synthesized is selected from the data to be synthesized stored in the data to be synthesized BF83, and the data to be synthesized is synthesized with the image in the display area.
  • a plurality of data to be synthesized (for example, a plurality of subtitles, one subtitle, one PinP image, etc.) may be selected.
  • the selection information may indicate that data to be synthesized is not selected.
  • the selection information indicates that the data to be combined is not selected, in the image processing unit 84, the timing information included in the default information indicates that certain data to be combined is combined with the image in the display area. However, the synthesized data is not synthesized.
  • the image processing unit 84 processes the material data stored in the image data BF81 based on the instruction information instead of the default information. To generate an image as output data.
  • the image processing unit 84 stores the image data in the image data BF81 based on the default information.
  • the processed material data is processed to generate an image as output data.
  • the timing information represents synthesizing a caption as certain data to be combined with an image in the display area
  • the user prohibits (does not perform) combining of the data to be combined.
  • the input unit 56 is operated, the subtitle is not displayed according to the operation of the input unit 56.
  • the subtitles are synthesized and displayed on the image in the display area according to the timing information included in the default information.
  • the image processing unit 84 can perform steps S51, S53, and S57 of the reality mode processing of FIG. 17 when instruction information is not supplied from the input unit 56. is there.
  • the size (physical quantity) of the imaging object recognized from the display (output) of the output unit 55 which is a display device corresponds to the imaging range information D included in the real world information.
  • An image that is output data is generated so as to be identified as (size of the imaging object in the real world).
  • FIG. 20 shows a configuration example of the image processing unit 84 of FIG.
  • the image processing unit 84 includes an image selection unit 91, an instruction selection unit 92, a display area setting unit 93, a gate unit 94, and a superimposition processing unit 95.
  • the image selection unit 91 is supplied with N stream images S # 1 to S # N which are material data stored in the image data BF81.
  • the instruction selection unit 92 is supplied with default information from the additional information analysis unit 82 (FIG. 19) and instruction information from the input unit 56 (FIG. 18).
  • the instruction selection unit 92 supplies the switching information included in the default information from the additional information analysis unit 82 to the image selection unit 91 and also supplies the display frame information included in the default information to the display area setting unit 93. To do.
  • the instruction selection unit 92 generates selection information for selecting data to be combined to be used for combining at a timing at which the data to be combined is to be combined based on timing information included in the default information, and supplies the selection information to the gate unit 94. To do.
  • the instruction selecting unit 92 preferentially selects the instruction information.
  • the instruction selection unit 92 switches the switching included in the instruction information instead of the switching information included in the default information.
  • Information is supplied to the image selection unit 91.
  • the instruction selection unit 92 is not the display image frame information included in the default information but the instruction information. Is supplied to the display area setting unit 93.
  • the instruction selection unit 92 is supplied with instruction information from the input unit 56, and when the instruction information includes the selection information, the instruction selection unit 92 uses the instruction information instead of the selection information generated from the timing information included in the default information. Selection information included in the information is supplied to the gate unit 94.
  • the image selection unit 91 selects one stream image from N stream images S # 1 to S # N as material data from the image data BF81.
  • the output image is selected and supplied to the display area setting unit 93.
  • the display area setting unit 93 extracts an image of the display area indicated by the display image frame information from the instruction selection unit 92 from the output image of the image selection unit 91 and supplies the extracted image to the superimposition processing unit 95.
  • the gate 94 is supplied with selection data from the instruction selection unit 92 and also with data to be combined stored in the data to be combined BF83.
  • the gate unit 94 selects zero or more combined data among the combined data stored in the combined data BF83 from the instruction selection unit 92 according to the selection information, and supplies it to the superimposition processing unit 95.
  • the superimposition processing unit 95 synthesizes (superimposes) zero or more combined data from the gate unit 94 on the display area image from the display area setting unit 93, and uses the combined image as output data. It supplies to the output part 55 (FIG. 18).
  • the superimposition processing unit 95 receives the display area setting unit 93.
  • the image in the display area is supplied to the output unit 55 as output data as it is.
  • FIG. 21 shows another configuration example of the receiving device 12 of FIG.
  • the sensor unit 31 includes a camera that senses light and outputs an image, a temperature sensor that senses temperature, a humidity sensor that senses humidity, and a wind speed sensor that senses wind speed.
  • a vibration sensor for sensing vibration
  • a brightness sensor for sensing brightness
  • the transmission device 11 for example, when a camera, a temperature sensor, a humidity sensor, and a vibration sensor are used as the sensor unit 31, an image acquired by the camera, a temperature acquired by the temperature sensor, and acquired by the humidity sensor Each of the humidity and the vibration data acquired by the vibration sensor is transmitted together with the corresponding additional information.
  • the separation unit 53 of the reception device 12 converts the data supplied from the decoding unit 52 into image data, temperature data, humidity data, vibration data, and material data.
  • the additional information corresponding to each material data is separated.
  • the separation unit 53 supplies the image data as the material data and the corresponding additional information to the generation unit 54.
  • the separation unit 53 supplies temperature and humidity data as material data and corresponding additional information to the generation unit 101, and also generates fluctuation data as material data and corresponding additional information as the generation unit 111. To supply.
  • the generation unit 54 processes the material data on the basis of the image data that is the material data from the separation unit 53 and the additional information or the instruction information from the input unit 56, thereby generating output data. A certain image is generated and supplied to the output unit 55.
  • the output unit 55 is a display device, for example, as described above, and displays (outputs) an image based on output data from the generation unit 54.
  • the generation unit 101 is supplied with temperature and humidity data as material data and corresponding additional information from the separation unit 53, and similarly to the input unit 56, from the input unit 103 operated by the user. Instruction information is supplied.
  • the generation unit 101 generates output data by processing the material data based on the temperature and humidity data that is the material data from the separation unit 53 and the additional information or the instruction information from the input unit 103. To the output unit 102.
  • the output unit 102 is, for example, an air conditioner such as an air conditioner, and the generation unit 101 generates air conditioning control information for controlling the output unit 102 that is an air conditioner by processing temperature and humidity data. Then, it is supplied to the output unit 102 as output data.
  • an air conditioner such as an air conditioner
  • the generation unit 101 generates air conditioning control information for controlling the output unit 102 that is an air conditioner by processing temperature and humidity data. Then, it is supplied to the output unit 102 as output data.
  • the output unit 102 outputs wind (air) in which the wind direction, temperature, wind speed, humidity, and the like are adjusted based on the air conditioning control information that is output data from the generation unit 101.
  • the generation unit 111 is supplied with vibration data as material data and corresponding additional information from the separation unit 53, and, similarly to the input unit 56, instruction information is input from the input unit 113 operated by the user. Is supplied.
  • the generation unit 111 generates output data by processing the material data based on the vibration data that is the material data from the separation unit 53 and the additional information or the instruction information from the input unit 113, and outputs the output data. To the unit 112.
  • the output unit 112 is, for example, a shaking device that shakes (vibrates) the output unit 55 that is a chair or a display device, and the generation unit 111 processes the vibration data to output the output unit that is a shaking device. Vibration information for controlling 112 is generated and supplied to the output unit 112 as output data.
  • the output unit 112 shakes a chair or the like based on vibration information that is output data from the generation unit 111.
  • brightness data acquired by a brightness sensor that senses brightness can be transmitted as material data together with corresponding additional information.
  • the reception device 12 Based on the material data and the output data generated from the additional information, for example, the lighting by the lighting device in the room where the receiving device 12 is installed can be adjusted.
  • the transmission device 11 can transmit the wind speed data acquired by the wind speed sensor that senses the wind speed as material data together with the corresponding additional information.
  • the reception device 12 can transmit the material data, And the wind speed of the wind which the output part 102 which is an air conditioner outputs can be adjusted based on the output data produced
  • the image data acquired by the sensor unit 31 and material data such as temperature, humidity, wind speed, vibration, brightness, and the like are transmitted together with the corresponding additional information.
  • output data is generated, and on the basis of the output data, output is performed in a display device, an air conditioner, a shaking device, a lighting device, etc., which outputs the material data.
  • the user can have a realistic experience by realistically reproducing the landscape, temperature, wind speed, humidity, shaking, brightness, etc. in the acquired environment.
  • FIG. 22 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 205 or ROM 203 as a recording medium built in the computer.
  • the program is stored temporarily on a removable recording medium 211 such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, or a semiconductor memory. It can be stored permanently (recorded).
  • a removable recording medium 211 can be provided as so-called package software.
  • the program can be wirelessly transferred from the download site to the computer via a digital satellite broadcasting satellite, or LAN (Local Area Network),
  • the program can be transferred to a computer via a network such as the Internet.
  • the computer can receive the program transferred in this way by the communication unit 208 and install it in the built-in hard disk 205.
  • the computer has a CPU (Central Processing Unit) 202 built-in.
  • An input / output interface 210 is connected to the CPU 202 via the bus 201, and the CPU 202 operates the input unit 207 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 210.
  • a program stored in a ROM (Read Only Memory) 203 is executed accordingly.
  • the CPU 202 also receives a program stored in the hard disk 205, a program transferred from a satellite or a network, received by the communication unit 208 and installed in the hard disk 205, or a removable recording medium 211 attached to the drive 209.
  • the program read and installed in the hard disk 205 is loaded into a RAM (Random Access Memory) 204 and executed.
  • the CPU 202 performs processing according to the above-described flowchart or processing performed by the configuration of the above-described block diagram.
  • the CPU 202 outputs the processing result from the output unit 206 configured with an LCD (Liquid Crystal Display), a speaker, or the like via the input / output interface 210, or from the communication unit 208 as necessary. Transmission, and further recording on the hard disk 205 is performed.
  • processing steps for describing a program for causing a computer to perform various types of processing do not necessarily have to be processed in time series according to the order described in the flowchart, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
  • the program may be processed by a single computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the transmission device 11 transmits the material data acquired by the sensor unit 31 and the corresponding additional information, and the reception device 12 based on the material data and the additional information. Since the output data is generated and output is performed based on the output data, it is possible to perform appropriate processing on the receiving device 12 side. It is possible to display an image suited to
  • the receiving device 12 can perform reality mode processing as appropriate processing.
  • the reality mode processing for example, the imaging object is displayed larger than the size in the real world, so that the reality is increased. It can be prevented from being damaged.
  • the reality mode processing is particularly useful when, for example, landscape images or orchestra performance music is used as material data.
  • the actual landscape image data is acquired by a camera as a sensor, and the image data is used as material data to perform reality mode processing. It is possible to display images of trees, mountains, etc. that make up the landscape in the size as if you were watching.
  • the music data of an actual orchestra performance is acquired by a microphone (microphone) as a sensor, and the music data is processed as a material data in a reality mode process, thereby allowing the actual performance venue to Music (sound) can be output at a volume as if listening to an orchestra performance.
  • the receiving device 12 can perform an entertainment mode process as an appropriate process, and according to the entertainment mode process, for example, an image suited to the user's preference can be displayed.
  • the entertainment mode processing it is possible to eliminate effects that are not necessary for the user, edited by the program producer, add effects that the user likes, select information, deform display, etc. It becomes.
  • the data to be composited to be combined with the material data in accordance with the compositing instruction in the input unit 56 when the user gives a compositing instruction by operating the input unit 56, the data to be composited to be combined with the material data in accordance with the compositing instruction in the input unit 56.
  • Selection information for selecting the image is generated, and the image processing unit 84 (FIG. 19) selects (or does not select) data to be combined such as a caption (telop) or a PinP image to be combined with the image according to the selection information. Is done.
  • telops and PinP images for example, a news program that does not require the effects produced by the telops or PinP images, can view the news program without the telops or PinP images by operating the input unit 56. It becomes possible to do.
  • the input unit 56 displays the display area (FIG. 5) specified in accordance with the PTZ instruction.
  • Image frame information is generated, and the image processing unit 84 (FIG. 19) extracts an image of the display area represented by the display image frame information from the material data.
  • a user who is a fan of a specific player or entertainer can view an image chasing a specific player or entertainer by operating the input unit 56.
  • the image processing unit 84 (FIG. 19) preferentially selects the instruction information, and based on the instruction information, the material data
  • the image processing unit 84 preferentially selects the instruction information, and based on the instruction information, the material data
  • the material data is processed.
  • the user can display an image that suits the user's preference on the output unit 55, which is a display device, and by not operating the input unit 56 (input unit 56).
  • the program producer operates the editing device 32 on the output unit 55 which is a display device. By doing so, an image obtained by editing can be displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明は、放送システムの受信側において、適切な処理を行い、これにより、ユーザに臨場感を感じさせることや、ユーザの好みに合った画像を表示すること等ができるようにする放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラムに関する。 送信装置１１は、センサで取得した素材データと、受信装置１２で素材データを加工するために用いられる付加情報とを送信する。受信装置１２は、素材データと付加情報を受信し、その素材データと付加情報とに基づいて、出力データを生成する。さらに、受信装置１２は、出力データに基づき、出力を行う、例えば、表示装置、エアコンディショナ等の出力手段において、出力を行う。本発明は、例えば、放送を行う放送システムに適用できる。

Description

放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラム
　本発明は、放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラムに関し、特に、例えば、放送システムの受信側において、適切な処理を行うことができるようにする放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラムに関する。
　例えば、現行の、アナログ放送やディジタル放送の放送システムでは、送信側である放送局において、素材データとしての画像や音声が編集され、その編集後の画像及び音声が、番組として放送される。
　一方、受信側である、例えば、各家庭では、TV(テレビジョン受像機)等によって、放送局からの番組の出力、すなわち、番組としての画像の表示、及び、音声の出力が行われる。
　なお、１本の番組に注目した場合、現行の放送システムでは、放送局での編集の結果得られる１種類の画像、及び音声が、１本の番組として放送される。したがって、受信側のユーザは、１種類の画像、及び音声しか楽しむことができない。
　しかしながら、例えば、ドラマ番組等の１本の番組について、ユーザの好みの登場人物からの視点でそのドラマ番組の展開を見たいという要求や、見方によってはストーリ展開そのものが異なるようにしたいという、ユーザ参加型の要求が潜在的に存在する。
　そこで、本件出願人は、予め用意された視点の異なる複数の素材を、ユーザが任意に選択してモニタすることができるディジタル放送受信装置を、先に提案している（例えば、特許文献１を参照）。
特開2006-217662号公報
　ところで、放送局では、例えば、上述のように、画像や音声が編集されるが、その編集は、受信側のTVの、画像を表示する表示画面を考慮して行われるものではない。
　したがって、受信側のTVの表示画面が大である場合には、TVにおいて、人の顔が、実際に見た場合の大きさよりも大きく表示され、臨場感が薄れることがある。
　また、受信側のTVでは、例えば、上述のように、放送局で編集がされた、編集後の画像及び音声が表示等される。
　したがって、例えば、放送局において、多数のテロップが、画像に合成される編集が行われた場合には、テロップによる演出を不要と感じるユーザ（視聴者）であっても、多数のテロップが合成された画像を視聴しなければならない。
　本発明は、このような状況に鑑みてなされたものであり、放送システムの受信側において、適切な処理を行うことができるようにし、これにより、例えば、ユーザに臨場感を感じさせることや、ユーザの好みに合った画像を表示すること等ができるようにするものである。
　本発明の第１の側面の放送システムは、データを送信する送信装置と、前記データを受信する受信装置とからなる放送システムであり、前記送信装置は、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する送信手段を有し、前記受信装置は、前記素材データと付加情報を受信する受信手段と、前記素材データと前記付加情報とに基づいて、出力データを生成する生成手段と、前記出力データに基づき、出力を行う出力手段とを有する放送システムである。
　以上のような第１の側面においては、前記送信装置において、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とが送信される。前記受信装置では、前記素材データと付加情報が受信され、前記素材データと前記付加情報とに基づいて、出力データが生成される。そして、前記出力データに基づき、出力が行われる。
　本発明の第２の側面の送信装置、又は、プログラムは、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置であり、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する送信手段を備える送信装置、又は、送信装置として、コンピュータを機能させるためのプログラムである。
　本発明の第２の側面の送信方法は、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法であり、前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信するステップを含む送信方法である。
　以上のような第２の側面においては、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とが送信される。
　本発明の第３の側面の受信装置、又は、プログラムは、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置であり、前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する場合において、前記素材データと付加情報を受信する受信手段と、前記素材データと前記付加情報とに基づいて、出力データを生成する生成手段と、前記出力データに基づき、出力を行う出力手段とを備える受信装置、又は、受信装置として、コンピュータを機能させるためのプログラムである。
　本発明の第３の側面の受信方法は、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法であり、前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する場合において、前記受信装置が、前記素材データと付加情報を受信し、前記素材データと前記付加情報とに基づいて、出力データを生成し、前記出力データに基づき、出力を行う出力手段において出力を行うステップを含む受信方法である。
　以上のような第３の側面においては、前記素材データと付加情報が受信され、前記素材データと前記付加情報とに基づいて、出力データが生成される。そして、前記出力データに基づき、出力を行う出力手段において出力が行われる。
　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　また、送信装置、又は、受信装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　さらに、データの送信（放送）（伝送）は、有線、又は、無線のうちのいずれの伝送媒体を介して行うこともできるし、有線、及び、無線が混在する伝送媒体を介して行うこともできる。
　本発明の第１ないし第３の側面によれば、放送システムの受信側において、適切な処理を行うことができる。
本発明を適用した放送システムの一実施の形態の構成例を示すブロック図である。 送信装置１１の構成例を示すブロック図である。 素材データとエフェクト情報を説明する図である。 切り替え情報を説明する図である。 表示画角情報を説明する図である。 合成用データを説明する図である。 実世界情報を説明する図である。 送信処理を説明するフローチャートである。 受信装置１２の構成例を示すブロック図である。 受信処理を説明するフローチャートである。 リアリティモード処理において、生成部５４に供給されるデータを説明する図である。 リアリティモード処理を行う生成部５４の構成例を示すブロック図である。 カメラで撮像オブジェクトの撮像を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。 カメラで、光学ズームを使用して、撮像オブジェクトの撮像を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。 カメラで、ディジタルズームを使用して、撮像オブジェクトの撮像を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。 表示装置である出力部５５に表示される画像を示す図である。 リアリティモード処理を説明するフローチャートである。 エンターテイメントモード処理において、生成部５４に供給されるデータを説明する図である。 エンターテイメントモード処理を行う生成部５４の構成例を示すブロック図である。 画像処理部８４の構成例を示すブロック図である。 受信装置１２の他の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
　１１　送信装置，　１２　受信装置，　１３　伝送媒体，　３１　センサ部，　３２　編集装置，　３３　符号化部，　３４　送信部，　５１　受信部，　５２　復号部，　５３　分離部，　５４　生成部，　５５　出力部，　５６　入力部，　７１　BF，　７２　付加情報解析部，　７３　画像処理部，　８１　画像データBF，　８２　付加情報解析部，　８３　被合成データBF，　８４　画像処理部，　９１　画像選択部，　９２　指示選択部，　９３　表示領域設定部，　９４　ゲート部，　９５　重畳処理部，　１０１　生成部，　１０２　出力部，　１０３　入力部，　１１１　生成部，　１１２　出力部，　１１３　入力部，　２０１　バス，　２０２　CPU，　２０３　ROM，　２０４　RAM，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０　入出力インタフェース，　２１１　リムーバブル記録媒体
　図１は、本発明を適用した放送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
　図１において、放送システムは、送信装置１１と受信装置１２とから構成されている。
　送信装置１１は、例えば、放送局に設置され、番組としての各種のデータを、地上波や衛星回線、インターネット、CATV(Cable Television)網等の伝送媒体１３を介して送信する。
　受信装置１２は、例えば、家庭等に設置され、送信装置１１から伝送媒体１３を介して送信されてくるデータを受信する。
　なお、受信装置１２は、例えば、TV等として機能することができる。
　また、放送システムにおいて、送信装置１１は、１つだけではなく、複数設けることができる。受信装置１２も同様である。
　図２は、図１の送信装置１１の構成例を示している。
　図２において、送信装置１１は、センサ部３１、編集装置３２、符号化部３３、及び送信部３４から構成されている。
　なお、センサ部１１や編集装置３２は、送信装置１１とは別個の装置とすることができる。
　センサ部３１は、編集装置３２での編集の素材となる素材データを取得し、編集装置３２、及び、符号化部３３に供給する。
　ここで、センサ部３１としては、１種類の１つのセンサや、１種類の複数のセンサ、複数種類のセンサを採用することができる。
　また、センサの種類としては、例えば、光をセンシングし、画像を出力する（撮像を行う）カメラ、音をセンシングし、音声を出力する（集音を行う）マイクロフォン、その他、温度や、湿度、風向き、風速、振動、明るさ等をそれぞれセンシングするセンサがある。
　カメラによれば、撮像がされ、画像（データ）が、素材データとして出力される。また、マイクロフォンによれば、集音が行われ、音声（データ）が、素材データとして出力される。その他、温度、湿度、風向き、風速、振動、又は、明るさをそれぞれセンシングするセンサによれば、温度、湿度、風向き、風速、振動、又は、明るさを表すデータが、素材データとして出力される。
　編集装置３２は、センサ部３１からの素材データに基づき、受信装置１２で素材データを加工するために用いられる付加情報を生成し、符号化部３３に供給する。
　ここで、付加情報には、センサ部３１によるセンシングが行われた対象についての実世界の物理量を表す実世界情報と、素材データの加工に用いられる情報であるエフェクト情報とが含まれる。
　エフェクト情報は、例えば、放送局において、番組の制作を行う番組制作者が、編集装置３２を操作することにより、その操作に従って生成される。
　実世界情報は、番組制作者の操作に関係なく生成される。
　なお、編集装置３２において、付加情報は、例えば、１種類の素材データごとに生成される。したがって、センサ部３１において、複数種類のセンサが採用されており、センサ部３１から、符号化部３３に対して、複数種類の素材データが供給される場合には、編集装置３２から、符号化部３３に対しては、その複数種類の素材データの各種類に対応する付加情報が供給される。
　符号化部３３は、センサ部３１からの素材データと、編集装置３２からの付加情報とを符号化する。なお、符号化部３３は、必要に応じて、素材データ及び符号化データの多重化を行う。そして、符号化部３３は、符号化の結果得られる符号化データを、送信部３４に供給する。
　送信部３４は、符号化部３３からの符号化データ、すなわち、センサ部３１で取得した素材データと、編集装置３２で生成した付加情報とを、伝送媒体１３（図１）を介して送信する。
　次に、編集装置３２で生成される付加情報のうちのエフェクト情報について説明する。
　図３は、素材データと、その素材データに対するエフェクト情報とを示している。
　すなわち、図３のAは、素材データとしての、複数ストリームの画像（動画）を示している。
　例えば、ある番組の画像が、複数であるN個のストリームの画像S#1，S#2，・・・，S#Nを編集して構成される場合、その番組の画像については、そのN個のストリームの画像S#1ないしS#Nが、素材データとなる。
　ここで、N個のストリームの画像S#1ないしS#Nは、N個のセンサとしてのN個のカメラで、それぞれ取得した画像であっても良いし、N個未満（かつ１個以上）のM個のセンサとしてのM(<N)個のカメラで取得した画像であっても良い。
　すなわち、N個のストリームの画像S#1ないしS#Nとしては、例えば、１個のカメラで、異なる時間に、異なる場所の風景を撮像して得られるN個のストリームの画像を採用することができる。
　また、N個のストリームの画像S#1ないしS#Nとしては、例えば、N個のカメラで、オーケストラの全体、指揮者、特定の楽器の演奏者、観客席等を、それぞれ撮像して得られるN個のストリームの画像や、サッカー等のスポーツ中継において、競技場全体、スコアボード、特定の選手、観客席等を、それぞれ撮像して得られるN個のストリームの画像、音楽番組等において、スタジオ全体、各出演者等を、それぞれ撮像して得られるN個のストリームの画像等を採用することができる。
　図３のBは、図３のAの素材データであるN個のストリームの画像S#1ないしS#Nに対するエフェクト情報を示している。
　エフェクト情報としては、例えば、切り替え情報、表示画枠情報、及び合成用データ等がある。
　切り替え情報は、例えば、素材データであるN個のストリームの画像S#1ないしS#Nから、１つのストリームの画像を選択することにより、受信装置１２の、後述する表示装置に表示する画像を切り替えるための情報である。
　表示画枠情報は、例えば、素材データである画像（図３では、画像S#1ないしS#Nのうちのいずれか）のうちの、受信装置１２の表示装置に表示する部分の領域を表す。
　合成用データは、例えば、素材データである画像（図３では、画像S#1ないしS#Nのうちのいずれか）との合成に用いられるデータで、その画像に合成される被合成データを含む。
　ここで、被合成データとしては、ピクチャインピクチャの子画面の画像（以下、PinP画像という）のデータ（ピクチャインピクチャ用のデータ）や、テロップのデータ（字幕のデータ）等がある。
　次に、図４を参照して、図３のエフェクト情報のうちの切り替え情報について説明する。
　切り替え情報は、例えば、上述したように、ある番組Aの画像が、N個のストリームの画像S#1ないしS#Nを編集して構成される場合、そのN個のストリームの画像S#1ないしS#Nから、１つのストリームの画像を選択することにより、受信装置１２の表示装置に表示する画像を切り替えるための情報である。
　例えば、図２の編集装置３２において、番組制作者の操作に応じて、図４に示すように、素材データである画像S#1のタイムコードts1ないしte1、素材データである画像S#2のタイムコードts2ないしte2、素材データである画像S#3のタイムコードts3ないしte3、素材データである画像S#1のタイムコードts4ないしte4、・・・の範囲を、順次つなぎ合わせるカット編集が行われることによって、ある番組A（の画像）が制作された場合、例えば、番組Aの各時刻において、番組Aの画像となる素材データと、その素材データのタイムコードとを特定する情報が、切り替え情報となる。
　なお、編集装置３２において、例えば、ある画像S#iと、他の画像#i'とのつなぎ目（いわゆる編集点）に、ワイプ等の特殊効果が施された場合には、切り替え情報には、その特殊効果に関する情報も含められる。
　次に、図５を参照して、図３のエフェクト情報のうちの表示画枠情報について説明する。
　表示画枠情報は、例えば、上述したように、素材データである画像のうちの、受信装置１２の表示装置に表示する部分の領域を表す。
　すなわち、例えば、素材データが、画像である場合、編集装置３２では、番組制作者の操作に応じて、図５に示すように、素材データである画像の一部分の矩形の領域を、受信装置１２の表示装置に表示する部分の領域（以下、表示用領域ともいう）として、番組の画像とする編集を行うことができるようになっている。
　この場合、編集装置３２によれば、番組制作者は、素材データである画像の領域を最大限として、その領域内において、カメラを、番組制作者自身が、パンや、チルト、ズームの操作をして撮像を行ったかのような番組を制作することができる。
　ここで、表示用領域の最大は、素材データである画像の領域である。したがって、センサ部３１（図２）としてのカメラを、最大画角（最も広角側）にして撮像を行うことにより、表示用領域を、最も大きくすることができる。
　なお、表示画角情報としては、表示用領域を特定することができる情報であれば、どのような情報であっても良い。
　すなわち、表示画角情報としては、例えば、素材データである画像の領域を基準とする座標系を定義し、その座標系における、表示用領域の１つの頂点と、その頂点の対角にある頂点との座標や、表示用領域の１の頂点の座標と、表示用領域の横及び縦の長さ等を採用することができる。
　また、表示画角情報としては、例えば、所定の位置の、所定の大きさの表示用領域を、デフォルトの表示用領域として、そのデフォルトの表示用領域に対して、番組制作者が編集として行ったパン、チルト、及びズームの操作の履歴を採用することができる。
　次に、図６を参照して、図３のエフェクト情報のうちの合成用データについて説明する。
　合成用データは、上述したように、素材データとの合成に用いられるデータで、素材データに合成される被合成データと、その被合成データを用いた合成を行うタイミングを表すタイミング情報とを含む。
　すなわち、例えば、素材データが、画像であり、図２の編集装置３２において、番組制作者の操作に応じて、素材データである画像に、PinP画像やテロップを重畳（合成）する編集が行われることによって、番組が制作された場合、そのPinP画像や、テロップが、被合成データとなる。
　また、被合成データとしてのPinP画像や、テロップを重畳している時間（例えば、重畳を開始する時刻と、重畳を終了する時刻）を表す、例えば、番組のタイムコードが、タイミング情報となる。
　なお、合成用データは、その他、例えば、被合成データとしてのPinP画像や、テロップを重畳する画像上の位置を表す情報等を含む。
　また、例えば、素材データが、音声である場合には、BGM(Background Music)等が、被合成データとなる。
　ある種類の素材データが、音声であり、その音声が、他の種類の素材データである画像（動画）に付随する音声である場合には、音声に合成されるBGMのタイミング情報としては、その音声を基準とする時刻を表す情報を採用することもできるし、その音声に付随する画像のタイムコードを採用することもできる。
　次に、編集装置３２（図２）で生成される付加情報のうちの実世界情報について説明する。
　実世界情報は、上述したように、センサ部３１（図２）によるセンシングが行われた対象についての実世界の物理量を表す情報であり、例えば、センサ部３１がカメラである場合に、そのカメラで撮像する撮像対象（以下、撮像オブジェクトともいう）の位置における撮像範囲を表す撮像範囲情報等が、実世界情報に含まれる。
　ここで、図７を参照して、カメラの撮像範囲について説明する。
　図７は、カメラで撮像を行っている状態を模式的に示す上面図である。
　いま、説明を簡単にするために、カメラの光学系（レンズ群）に歪みがないこととし、カメラの水平方向の画角（以下、カメラ画角ともいう）を、θとするとともに、カメラから撮像オブジェクトまでの距離（以下、オブジェクト距離ともいう）を、Xとする。
　なお、カメラ画角θは、既知であることとする。
　また、オブジェクト距離Xは、例えば、いわゆるオートフォーカスの技術を利用して測定される。
　すなわち、オブジェクト距離Xは、例えば、赤外線センサや、ソナーを用いて測定することができる。また、オブジェクト距離Xは、カメラで撮像される画像のコントラストを最大にするように、フォーカスを調整するコントラスト検知式や、カメラで撮像される画像の位相差をなくすように、フォーカスを調整する位相差検知式等を利用して測定することができる。
　なお、カメラでの撮像時に、オブジェクト距離Xがあらかじめ分かっている場合には、オブジェクト距離Xの測定を行う必要はない。
　いま、説明を簡単にするために、撮像オブジェクトの位置において、カメラで撮像される実世界の横及び縦の長さのうちの、例えば、横の長さだけに注目し、その横の長さを、撮像オブジェクトの位置における撮像範囲Dということとする。
　撮像範囲Dは、カメラ画角θと、オブジェクト距離Xとから、式D=2×X×tan(θ/2)に従って求めることができる。
　そこで、図２の編集装置３２は、センサ部３１としてのカメラから、素材データである画像の他、カメラ画角θ及びオブジェクト距離Xをも取得し、そのカメラ画角θ及びオブジェクト距離Xから、撮像範囲Dを求める。そして、編集装置３２は、撮像範囲Dを撮像範囲情報として、実世界情報に含めて、符号化部３３に供給する。
　次に、図８を参照して、図２の送信装置１１の処理（送信処理）について説明する。
　送信装置１１では、センサ部３１で取得された素材データが、編集装置３２、及び、符号化部３３に供給される。
　編集装置３２では、センサ部３１からの素材データ等に基づき、エフェクト情報、及び、実世界情報のうちの一方、又は両方を含む付加情報が生成され、符号化部３３に供給される。
　符号化部３３は、以上のようにして、センサ部３１から素材データが供給されるとともに、編集装置３２から付加情報が供給されると、ステップＳ１１において、センサ部３１からの素材データと、編集装置３２からの付加情報とを符号化し、その結果得られる符号化データを、送信部３４に供給して、処理は、ステップＳ１２に進む。
　ステップＳ１２では、送信部３４は、符号化部３３からの符号化データを、伝送媒体１３（図１）を介して送信する。
　次に、図９は、図１の受信装置１２の構成例を示している。
　図９において、受信装置１２は、受信部５１、復号部５２、分離部５３、生成部５４、出力部５５、及び、入力部５６から構成される。
　なお、出力部５５や入力部５６は、受信装置１２とは別個の装置とすることができる。
　受信部５１は、送信装置１１から伝送媒体１３を介して送信されてくる符号化データ、すなわち、素材データと付加情報を受信し、復号部５２に供給する。
　復号部５２は、受信部５１からの符号化データを復号し、分離部５３に供給する。
　分離部５３は、復号部５２から供給されるデータを、素材データと、付加情報とに分離し、生成部５４に供給する。
　生成部５４は、分離部５３からの素材データと付加情報とに基づいて、出力データを生成し、出力部５５に供給する。
　出力部５５は、生成部５４からの出力データに基づき、所定の出力を行う。
　ここで、出力部５５としては、人の五感を刺激する装置（デバイス）を採用することができる。
　すなわち、出力部５５としては、例えば、画像を表示する表示装置や、光を発する照明装置等の、視覚を刺激する装置を採用することができる。また、出力部５５としては、例えば、音を発するスピーカ等の、聴覚を刺激する装置を採用することができる。
　さらに、出力部５５としては、温度や、湿度、風の、いわゆる空調（空気調節）（空気調和）をすることができるエアコンディショナや、振動を与える動揺装置等の、触覚を刺激する装置を採用することができる。
　入力部５６は、受信装置１２のユーザによって操作される。ユーザが、ある指示を行うために、入力部５６を操作すると、入力部５６は、そのユーザによる指示を受け付け、その指示を表す指示情報を、生成部５４に供給する。
　ここで、生成部５４は、入力部５６から指示情報が供給された場合、その指示情報に基づいて、出力データを生成する。
　次に、図１０を参照して、図９の受信装置１２の処理（受信処理）について説明する。
　受信部５１は、送信装置１１から伝送媒体１３を介して符号化データが送信されてくるのを待って、ステップＳ３１において、その符号化データを受信し、復号部５２に供給して、処理は、ステップＳ３２に進む。
　ステップＳ３２では、復号部５２は、受信部５１からの符号化データを復号し、分離部５３に供給して、処理は、ステップＳ３３に進む。
　ステップＳ３３では、分離部５３は、復号部５２から供給されるデータ（復号データ）を、素材データと、付加情報とに分離し、生成部５４に供給して、処理は、ステップＳ３４に進む。
　ステップＳ３４では、生成部５４は、分離部５３からの素材データと付加情報とに基づいて、出力データを生成し、出力部５５に供給して、処理は、ステップＳ３５に進む。
　ステップＳ３５では、出力部５５は、生成部５４からの出力データに基づき、所定の出力を行う。
　以上のように、図９の受信装置１２では、生成部５４において、素材データと付加情報とに基づいて、出力データを生成する処理が行われるが、この処理は、リアリティモード処理と、エンターテイメントモード処理とに分けられる。
　すなわち、付加情報には、上述したように、実世界情報とエフェクト情報とが含まれるが、出力データを生成する処理のうちの、実世界情報を用いて行われる処理が、リアリティモード処理であり、エフェクト情報を用いて行われる処理が、エンターティメントモード処理である。
　以下、リアリティモード処理と、エンターティメントモード処理について説明する。
　図１１は、受信装置１２が、リアリティモード処理を行う場合に、生成部５４に供給されるデータ（情報）を示している。
　リアリティモード処理では、生成部５４に対しては、分離部５３から、素材データと、付加情報に含まれる実世界情報が供給される。
　また、リアリティモード処理では、ユーザが、ズームを指示するように、入力部５６を操作すると、その操作に対応した指示情報が、入力部５６から生成部５４に供給される。
　さらに、リアリティモード処理では、生成部５４に対しては、出力部５５の特性を表す特性情報が、例えば、出力部５５から供給される。
　そして、リアリティモード処理では、生成部５４は、素材データ、実世界情報、及び、出力部５５の特性情報に基づき、出力部５５の出力から認識される物理量が、実世界情報が表す物理量に同定されるように、出力データを生成する。
　ここで、生成部５４は、入力部５６から指示情報が供給された場合、その指示情報にも基づき、出力データを生成する。
　なお、リアリティモード処理については、受信装置１２は、入力部５６を設けずに構成することができる。受信装置１２が、入力部５６を設けずに構成される場合、生成部５４に対しては、指示情報は、供給されない。
　次に、例えば、出力部５５が、表示装置であり、出力データが、表示装置である出力部５５で表示される画像であるとして、リアリティモード処理を説明する。
　ここで、実世界情報には、図７で説明した撮像範囲情報Dが含まれることとし、また、特性情報には、表示装置である出力部５５が画像を表示する表示画面の大きさを表す大きさ情報Fが含まれることとする。
　なお、ここでは、説明を簡単にするために、大きさ情報Fは、撮像範囲情報D（撮像範囲D）と同様に、表示装置である出力部５５の表示画面の横及び縦の長さのうちの、例えば、横の長さを表すこととする。
　図１２は、受信装置１２がリアリティモード処理を行う場合の生成部５４の構成例を示している。
　図１２において、生成部５４は、BF（バッファ）７１、付加情報解析部７２、及び、画像処理部７３から構成される。
　BF７１には、分離部５３（図１１）から、素材データである画像が供給される。BF７１は、分離部５３からの素材データである画像を記憶する。
　付加情報解析部７２には、分離部５３から、付加情報に含まれる実世界情報が供給される。付加情報解析部７２は、分離部５３からの実世界情報を解析し、例えば、その実世界情報に含まれる撮像範囲情報D（図７）を抽出して、画像処理部７３に供給する。
　画像処理部７３には、上述したように、付加情報解析部７２から、撮像範囲情報Dが供給される。さらに、画像処理部７３には、BF７１に記憶された素材データである画像が供給されるとともに、表示装置である出力部５５（図１１）から、その表示装置の特性情報である大きさ情報Fが供給される。
　また、ユーザが、ズームを指示するように、入力部５６（図１１）を操作すると、画像処理部７３には、その操作に対応した指示情報が、入力部５６から供給される。
　画像処理部７３は、BF７１からの素材データである画像、付加情報解析部７２からの撮像範囲情報D、及び、出力部５５からの特性情報である大きさ情報Fに基づき、素材データである画像を加工することにより、表示装置である出力部５５で表示される画像から認識される物体（撮像オブジェクト）の大きさが、実世界での大きさに同定されるように、出力データである画像を生成して、表示装置である出力部５５（図１１）に供給する。
　また、画像処理部７３は、BF７１からの素材データである画像、付加情報解析部７２からの撮像範囲情報D、及び、出力部５５からの特性情報である大きさ情報Fに基づき、素材データである画像を加工することにより、表示装置である出力部５５で表示される画像から認識される撮像オブジェクトの大きさが、実世界での大きさを越えない大きさとなる画像を、出力データとして生成して、表示装置である出力部５５（図１１）に供給する。
　すなわち、画像処理部７３は、入力部５６から、指示情報が供給された場合、BF７１からの素材データである画像を、入力部５６からの指示情報が指示するズームの倍率だけ拡大する加工を行うことで、出力データを生成する。
　但し、この場合、画像処理部７３は、素材データである画像の拡大を、表示装置である出力部５５で表示される画像から認識される撮像オブジェクトの大きさが、実世界での大きさを越えない大きさとなるように制限する。
　なお、素材データである画像を拡大するときの倍率を、表示ズーム倍率zということとすると、表示ズーム倍率zが、１未満（かつ０より大）である場合の拡大は、縮小になる。
　また、図１２では、大きさ情報Fが、表示装置である出力部５５から、生成部５４の画像処理部７３に供給されることとしたが、大きさ情報Fは、その他、例えば、生成部５４に、あらかじめ記憶させておくことができる。
　次に、画像処理部７３の処理について、さらに説明する。
　なお、ここでは、説明を簡単にするため、表示画角情報が表す表示用領域（図５）は、素材データである画像の領域全体に等しいこととする。
　図１３は、カメラで撮像オブジェクトの撮像を行っている状態と、その撮像によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
　すなわち、図１３のAは、カメラで撮像を行っている状態を模式的に示す上面図であり、図７と同一の図である。
　上述したように、撮像範囲情報Dは、カメラ画角θと、オブジェクト距離Xとから、式D=2×X×tanθ/2に従って求めることができる。
　図１３のBは、カメラで、図１３のAのように撮像を行って得られる素材データである画像を、拡大することなく、表示装置である出力部５５で表示した表示状態を示している。
　表示装置である出力部５５では、大きさが撮像範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
　したがって、撮像オブジェクトは、実世界での大きさのF/D倍の大きさで表示される。
　いま、撮像範囲情報Dが、大きさ情報F以上であるとすると（F≦D）、表示ズーム倍率zがD/F以下であれば、表示装置である出力部５５に表示される撮像オブジェクトの大きさは、実世界での大きさ以下となる。
　したがって、撮像範囲情報Dが、大きさ情報F以上である場合には、表示ズーム倍率zがD/F以下であれば、表示装置である出力部５５において、撮像オブジェクトが、実世界での大きさよりも大きく表示されることによって、表示装置である出力部５５で表示される撮像オブジェクトのリアリティが損なわれることはない。
　そこで、画像処理部７３（図１２）では、撮像範囲情報Dが、大きさ情報F以上である場合には、素材データである画像を拡大するときの表示ズーム倍率zがD/F以下に制限される。
　一方、撮像範囲情報Dが、大きさ情報F未満である場合には(F>D)、素材データである画像を、そのまま、表示装置である出力部５５で表示すると、その出力部５５に表示される撮像オブジェクトの大きさは、実世界での大きさを越える大きさとなる。
　このように、表示装置である出力部５５において、撮像オブジェクトが、実世界での大きさよりも大きく表示されると、表示装置である出力部５５で表示される撮像オブジェクトのリアリティが損なわれ、臨場感が失われることになる。
　以上のように、撮像範囲情報Dが、大きさ情報F未満になる場合としては、例えば、出力部５５が、大画面の表示装置である場合がある。
　また、例えば、素材データである画像が、いわゆる光学ズームや、ディジタルズームを使用して撮像された場合も、撮像範囲情報Dが、大きさ情報F未満になることがある。
　図１４は、カメラで、光学ズームを使用して、撮像オブジェクトの撮像を行っている状態と、その撮像によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
　すなわち、図１４のAは、カメラで、光学ズームを使用して撮像を行っている状態を模式的に示す上面図である。
　光学ズームを使用することにより、カメラ画角θは狭くなり（小になり）、その結果、撮像範囲情報Dは、例えば、図１３のAの場合よりも小となる。
　図１４のBは、カメラで、図１４のAのように撮像を行って得られる素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
　表示装置である出力部５５では、大きさが撮像範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
　図１４では、撮像範囲情報Dが、大きさ情報F未満になっており、そのため、表示装置である出力部５５では、撮像オブジェクトが、実世界での大きさよりも大きく（F/D倍の大きさで）表示されている。
　図１５は、カメラで、ディジタルズームを使用して、撮像オブジェクトの撮像を行っている状態と、その撮像によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
　すなわち、図１５のAは、カメラで、ディジタルズームを使用して撮像を行っている状態を模式的に示す上面図である。
　ディジタルズームでは、カメラで撮像された画像の、例えば、中央部分を切り取り、信号処理によって拡大するトリミングによって得られる画像が、素材データである画像として出力される。
　ディジタルズームを使用して得られた素材データである画像については、カメラ画角θが、光学ズームの場合（図１４）と同様に狭くなり、その結果、撮像範囲情報Dは、例えば、図１３のAの場合よりも小となる。
　図１５のBは、カメラで、図１５のAのように撮像を行って得られる素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
　表示装置である出力部５５では、大きさが撮像範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
　図１５では、撮像範囲情報Dが、大きさ情報F未満になっており、そのため、表示装置である出力部５５では、撮像オブジェクトが、実世界での大きさよりも大きく（F/D倍の大きさで）表示されている。
　以上のように、素材データである画像が、光学ズームや、ディジタルズームを使用して撮像されると、撮像範囲情報Dが、大きさ情報F未満になることがあり、その場合、撮像オブジェクトは、実世界での大きさよりも大きく表示され、リアリティが損なわれる。
　そこで、画像処理部７３（図１２）は、撮像範囲情報Dが、大きさ情報F未満である場合には、表示ズーム倍率zを、D/F倍に設定し、素材データである画像を、D/F倍に拡大する（ここでは、D/Fは、１未満であるため、画像は縮小される）。
　この場合、画像処理部７３で拡大（縮小）を行わなければ、実世界での大きさのF/D倍で表示される撮像オブジェクトが、そのD/F倍、つまり、実世界での大きさに等しい大きさで表示される。
　図１６は、撮像範囲情報Dが、大きさ情報F未満である場合に、表示装置である出力部５５に表示される画像を示している。
　すなわち、図１６のAは、光学ズームを使用して撮像された素材データである画像を、表示装置である出力部５５で表示した表示状態を示しており、図１６のBは、ディジタルズームを使用して撮像された素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
　撮像範囲情報Dが、大きさ情報F未満である場合には、画像処理部７３は、表示ズーム倍率zを、D/F(<1)倍に設定し、素材データである画像を、D/F倍に拡大して、出力データとして出力部５５に供給する。
　その結果、表示装置である出力部５５では、撮像オブジェクトが、実世界での大きさに等しい大きさで表示される。
　ここで、画像処理部７３では、素材データである画像が、D/F(<1)倍に拡大（縮小）される結果、その拡大によって得られる画像（出力データ）は、横の長さが、撮像範囲情報Dに等しい画像となる。
　そして、いまの場合、撮像範囲情報Dが、大きさ情報F未満であるため、出力データである画像の横の長さF'(=D)は、大きさ情報F、つまり、表示装置である出力部５５の表示画面の横の長さよりも小となる。
　そのため、表示装置である出力部５５では、その表示画面のうちの、出力データである画像が表示される部分以外の部分には、例えば、図１６のAに示すように、黒（いわゆる黒枠）等が表示される。
　なお、素材データである画像が、ディジタルズームを使用して撮像された場合には、カメラで撮像された画像のうちの、ディジタルズームで拡大された中央部分以外の部分（図１５のAにおいて、斜線を付してある部分）（以下、トリミング部分ともいう）が残っていることがある。
　この場合、表示装置である出力部５５では、その表示画面のうちの、出力データである画像が表示される部分以外の部分には、例えば、図１６のBに示すように、トリミング部分が表示される。
　次に、図１７を参照して、図１２の画像処理部７３で行われるリアリティモード処理について説明する。
　画像処理部７３は、ステップＳ５１において、付加情報解析部７２から供給される実世界情報に含まれる撮像範囲情報Dと、表示装置である出力部５５の特性情報である大きさ情報Fとに基づき、素材データである画像を拡大する表示ズーム倍率zの最大値である最大ズーム倍率D/Fを求めるとともに、入力部５６（図１１）から指示情報が供給されない場合の表示ズーム倍率zである標準ズーム倍率z1を設定し、処理は、ステップＳ５２に進む。
　ここで、撮像範囲情報Dが、大きさ情報F以上である場合、標準ズーム倍率z1は、１倍に設定される。撮像範囲情報Dが、大きさ情報F未満である場合、標準ズーム倍率z1は、最大ズーム倍率D/Fに設定される。
　ステップＳ５２では、画像処理部７３は、入力部５６から、ズームを指示する指示情報が供給されたかどうかを判定する。
　ステップＳ５２において、入力部５６から画像処理部７３に、指示情報が供給されていないと判定された場合、処理は、ステップＳ５３に進み、画像処理部７３は、表示ズーム倍率zを、標準ズーム倍率z1に設定して、処理は、ステップＳ５７に進む。
　また、ステップＳ５２において、入力部５６から画像処理部７３に、指示情報が供給されたと判定された場合、処理は、ステップＳ５４に進み、画像処理部７３は、入力部５６からの指示情報が指示するズームの倍率（以下、指示ズーム倍率Aともいう）が、最大ズーム倍率D/F以下であるかどうかを判定する。
　ステップＳ５４において、指示ズーム倍率Aが、最大ズーム倍率D/F以下であると判定された場合、処理は、ステップＳ５５に進み、画像処理部７３は、表示ズーム倍率zを、指示ズーム倍率Aに設定して、処理は、ステップＳ５７に進む。
　また、ステップＳ５４において、指示ズーム倍率Aが、最大ズーム倍率D/F以下でないと判定された場合、すなわち、撮像オブジェクトを、実世界での大きさよりも大きく表示する、最大ズーム倍率D/Fを越える倍率のズームが、ユーザによって指示された場合、処理は、ステップＳ５６に進み、画像処理部７３は、表示ズーム倍率zを、最大ズーム倍率D/Fに設定して、処理は、ステップＳ５７に進む。
　ステップＳ５７では、画像処理部７３は、BF７１に記憶された素材データとしての画像を、表示ズーム倍率zだけ拡大した拡大画像を、出力データとして生成し、表示装置である出力部５５（図１１）に供給する。
　そして、表示装置である出力部５５では、画像処理部７３からの出力データである拡大画像が表示され、これにより、撮像オブジェクトは、図１３で説明したように、実世界での大きさのF/D倍の大きさで表示される。
　したがって、入力部５６から画像処理部７３に、指示情報が供給されていない場合、つまり、ユーザが、ズームを指示する操作をしていない場合には、表示装置である出力部５５において、撮像オブジェクトは、実世界での大きさに等しい大きさ(z(=D/F)×F/D)、又は、実世界での大きさのF/D倍の大きさ(z(=1)×F/D)で表示される。
　すなわち、撮像範囲情報Dが、大きさ情報F未満である場合には、上述したように、標準ズーム倍率z1、ひいては、表示ズーム倍率zは、最大ズーム倍率D/Fに設定されるので、撮像オブジェクトは、実世界での大きさのD/F×F/D倍の大きさ、つまり、実世界での大きさに等しい大きさで表示される。
　また、撮像範囲情報Dが、大きさ情報F以上である場合には、上述したように、標準ズーム倍率z1、ひいては、表示ズーム倍率zは、１倍に設定されるので、撮像オブジェクトは、実世界での大きさのF/D(≦1)倍の大きさで表示される。
　一方、入力部５６から画像処理部７３に、指示情報が供給された場合、つまり、ユーザが、指示ズーム倍率Aのズームを指示する操作をした場合には、指示ズーム倍率Aが、最大ズーム倍率D/F以下であるときには、撮像オブジェクトは、実世界での大きさのF/D×A倍の大きさ(z(=A)×F/D)で表示され、指示ズーム倍率Aが、最大ズーム倍率D/F以下でないときには、撮像オブジェクトは、実世界での大きさに等しい大きさ(z(=D/F)×F/D)で表示される。
　すなわち、指示ズーム倍率Aが、最大ズーム倍率D/F以下である場合には、上述したように、表示ズーム倍率zは、指示ズーム倍率Aに設定されるので、撮像オブジェクトは、実世界での大きさのA(≦D/F)×F/D倍の大きさで表示される。
　また、指示ズーム倍率Aが、最大ズーム倍率D/F以下でない場合には、上述したように、表示ズーム倍率zは、最大ズーム倍率D/Fに設定されるので、撮像オブジェクトは、実世界での大きさのD/F×F/D倍の大きさ、つまり、実世界での大きさに等しい大きさで表示される。
　いずれにしても、撮像オブジェクトは、実世界での大きさ以下の大きさで表示される。
　なお、図１７のリアリティモード処理は、例えば、フレーム（又はフィールド）ごとに行われる。
　また、図１７のリアリティモード処理は、撮像オブジェクトが、実世界での大きさを越える大きさで表示される場合にだけ行うことが可能である。
　すなわち、リアリティモード処理は、例えば、実世界での大きさを越える大きさで表示された撮像オブジェクトを見たユーザが、その表示の改善を指示するように、入力部５６を操作した場合に行うようにすることが可能である。
　図１８は、受信装置１２が、エンターテイメントモード処理を行う場合に、生成部５４に供給されるデータ（情報）を示している。
　エンターテイメントモード処理では、生成部５４に対しては、分離部５３から、素材データと、付加情報に含まれるエフェクト情報が供給される。
　また、エンターテイメントモード処理では、ユーザが、素材データの加工を指示するように、入力部５６を操作すると、その操作に対応した指示情報が、入力部５６から生成部５４に供給される。
　そして、エンターテイメントモード処理では、生成部５４は、分離部５３からのエフェクト情報、又は、入力部５６からの指示情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
　すなわち、生成部５４は、入力部５６からの指示情報の供給がない場合には、分離部５３からのエフェクト情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
　また、生成部５４は、入力部５６からの指示情報の供給がある場合には、その指示情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
　次に、例えば、出力部５５が、表示装置であり、出力データが、表示装置である出力部５５で表示される画像であるとして、エンターテイメントモード処理を説明する。
　図１９は、受信装置１２がエンターテイメントモード処理を行う場合の生成部５４の構成例を示している。
　ここで、エフェクト情報には、図３ないし図６で説明した切り替え情報、表示画枠情報、及び、合成用データが含まれることとし、素材データとしては、N個のストリームの画像S#1ないしS#Nがあることとする。
　図２０において、生成部５４は、画像データBF（バッファ）８１、付加情報解析部８２、被合成データBF８３、及び、画像処理部８４から構成される。
　画像データBF８１には、分離部５３（図１８）から、素材データであるN個のストリームの画像S#1ないしS#Nが供給される。画像データBF８１は、分離部５３からの素材データであるN個のストリームの画像S#1ないしS#Nを記憶する。
　付加情報解析部８２には、分離部５３から、付加情報に含まれるエフェクト情報が供給される。
　付加情報解析部８２は、分離部５３からのエフェクト情報を解析し、例えば、そのエフェクト情報に含まれる切り替え情報、表示画枠情報、及び、合成用データを抽出する。
　さらに、付加情報解析部８２は、合成用データから、素材データに合成される被合成データと、その合成のタイミングを表すタイミング情報を抽出する。
　そして、付加情報解析部８２は、被合成データを、被合成データBF８３に供給するとともに、切り替え情報、表示画枠情報、及び、タイミング情報を、画像処理部８４に供給する。
　ここで、付加情報解析部８２が画像処理部８４に供給する切り替え情報、表示画枠情報、及び、タイミング情報、つまり、エフェクト情報に含まれる切り替え情報、表示画枠情報、及び、タイミング情報を、まとめて、デフォルト情報ともいう。
　被合成データBF８３は、付加情報解析部８２からの被合成データを記憶する。
　画像処理部８４には、上述したように、付加情報解析部８２から、デフォルト情報が供給される。さらに、画像処理部８４には、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nが供給されるとともに、被合成データBF８３に記憶された被合成データが供給される。
　また、ユーザが、素材データ等の加工を指示するように、入力部５６（図１８）を操作すると、画像処理部８４には、その操作に対応した指示情報が、入力部５６から供給される。
　ここで、ユーザは、入力部５６を操作することにより、表示装置である出力部５５（図１８）に表示される画像を撮像しているカメラを、パン、チルト、又は、ズームさせるかのような指示（以下、PTZ(pan,tilt,zoom)指示ともいう）を行うことができる。
　さらに、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に表示される画像を、素材データであるN個のストリームの画像S#1ないしS#Nのうちの、１の画像S#iから、他の１の画像S#i'に切り替える指示（以下、切り替え指示ともいう）を行うことができる。
　また、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に表示される画像に、被合成データを合成（重畳）する指示（以下、合成指示ともいう）を行うことができる。
　ユーザが、入力部５６を操作することにより、PTZ指示を行うと、入力部５６は、そのPTZ指示に従って移動、又は、大きさを変更した表示用領域（図５）を特定する表示画枠情報を生成し、その表示画枠情報を含む指示情報を、画像処理部８４に供給する。
　また、ユーザが、入力部５６を操作することにより、切り替え指示を行うと、入力部５６は、その切り替え指示に従って、切り替え情報（図４）を生成し、その切り替え情報を含む指示情報を、画像処理部８４に供給する。
　さらに、ユーザが、入力部５６を操作することにより、合成指示を行うと、入力部５６は、その合成指示に従って、素材データに合成する被合成データを選択するための選択情報を生成し、その選択情報を含む指示情報を、画像処理部８４に供給する。
　画像処理部８４は、付加情報解析部８２からのデフォルト情報、又は、入力部５６からの指示情報に基づき、画像データBF８１に記憶された素材データに対して、被合成データBF８３に記憶された被合成データを必要に応じて用いて、加工を施すことにより、出力データである画像を生成し、表示装置である出力部５５（図１８）に供給する。
　すなわち、画像処理部８４は、入力部５６からの指示情報の供給がない場合には、付加情報解析部８２からのデフォルト情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
　具体的には、例えば、画像処理部８４は、デフォルト情報に含まれる切り替え情報に基づいて、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力データとする画像（以下、出力用画像ともいう）として選択する。
　さらに、例えば、画像処理部８４は、デフォルト情報に含まれる表示画枠情報に基づいて、その表示画枠情報が表す表示用領域の画像を、出力用画像から抽出する。
　また、例えば、画像処理部８４は、デフォルト情報に含まれるタイミング情報に基づいて、表示用領域の画像に、被合成データBF８３に記憶された被合成データを合成する。なお、ここでは、被合成データBF８３に、複数の被合成データが記憶されている場合には、その複数の被合成データのうちの、どの被合成データを、表示用領域の画像に合成するかの情報は、デフォルト情報に含まれるタイミング情報に含まれていることとする。
　以上のように、画像処理部８４では、入力部５６からの指示情報の供給がない場合には、付加情報解析部８２からのデフォルト情報、すなわち、送信装置１１の編集装置３２（図２）で生成されたエフェクト情報（に含まれる切り替え情報、表示画枠情報、及び、タイミング情報）に基づき、素材データの加工が行われるので、表示装置である出力部５５では、番組制作者が編集装置３２を操作することにより行った編集により得られる画像が表示される。
　一方、画像処理部８４は、入力部５６からの指示情報の供給があった場合には、その指示情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
　具体的には、例えば、画像処理部８４は、指示情報に切り替え情報が含まれている場合には、デフォルト情報に含まれる切り替え情報ではなく、指示情報に含まれる切り替え情報に基づいて、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力用画像として選択する。
　また、例えば、画像処理部８４は、指示情報に表示画枠情報が含まれている場合には、デフォルト情報に含まれる表示画枠情報ではなく、指示情報に含まれる表示画枠情報に基づいて、その表示画枠情報が表す表示用領域の画像を、出力用画像から抽出する。
　さらに、例えば、画像処理部８４は、指示情報に選択情報が含まれている場合には、デフォルト情報に含まれるタイミング情報ではなく、指示情報に含まれる選択情報に従って、表示用領域の画像に合成する被合成データを、被合成データBF８３に記憶された被合成データの中から選択し、その被合成データを、表示用領域の画像に合成する。
　なお、タイミング情報や、選択情報を用いた被合成データの選択では、複数の被合成データ（例えば、複数の字幕や、１つの字幕及び１つのPinP画像等）が選択されることがある。
　また、選択情報は、被合成データを選択しないことを表すことがある。選択情報が、被合成データを選択しないことを表している場合、画像処理部８４では、デフォルト情報に含まれるタイミング情報が、ある被合成データを、表示用領域の画像に合成することを表していても、その被合成データの合成は、行われない。
　以上のように、画像処理部８４は、入力部５６からの指示情報の供給があった場合には、デフォルト情報ではなく、指示情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
　なお、画像処理部８４に対して、入力部５６から、指示情報の供給があった後、その供給がなくなった場合には、画像処理部８４は、デフォルト情報に基づいて、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
　したがって、例えば、タイミング情報が、ある被合成データとしての字幕を、表示用領域の画像に合成することを表している場合において、ユーザが、被合成データの合成を禁止する（行わない）ように、入力部５６を操作したときには、字幕は、その入力部５６の操作に従って表示されない。
　そして、その後、被合成データの合成の禁止を解除するように、入力部５６を操作すると、字幕が、デフォルト情報に含まれるタイミング情報に従って、表示用領域の画像に合成されて表示される。
　なお、図１９の生成部５４では、画像処理部８４に対して、分離部５３から、実世界情報を供給するとともに、出力部５５から、特性情報を供給し、画像処理部８４において、図１２の画像処理部７３と同様のリアリティモード処理を、さらに行うようにすることができる。
　すなわち、画像処理部８４では、入力部５６からの指示情報の供給がない場合に、図１７のリアリティモード処理のうちの、ステップＳ５１，Ｓ５３、及びＳ５７の処理を行うようにすることが可能である。この場合、画像処理部８４では、表示装置である出力部５５の表示（出力）から認識される撮像オブジェクトの大きさ（物理量）が、実世界情報に含まれる撮像範囲情報Dに対応する大きさ（実世界での撮像オブジェクトの大きさ）に同定されるように、出力データである画像が生成される。
　次に、図２０は、図１９の画像処理部８４の構成例を示している。
　図２０において、画像処理部８４は、画像選択部９１、指示選択部９２、表示領域設定部９３、ゲート部９４、及び重畳処理部９５から構成される。
　画像選択部９１には、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nが供給される。
　また、指示選択部９２には、付加情報解析部８２（図１９）から、デフォルト情報が供給されるとともに、入力部５６（図１８）から、指示情報が供給される。
　指示選択部９２は、付加情報解析部８２からのデフォルト情報に含まれる切り替え情報を、画像選択部９１に供給するとともに、そのデフォルト情報に含まれる表示画枠情報を、表示領域設定部９３に供給する。
　また、指示選択部９２は、デフォルト情報に含まれるタイミング情報に基づき、被合成データを合成すべきタイミングで、合成に用いる被合成データを選択するための選択情報を生成し、ゲート部９４に供給する。
　但し、指示選択部９２は、入力部５６（図１８）から、指示情報が供給された場合には、その指示情報を優先的に選択する。
　すなわち、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に切り替え情報が含まれている場合には、デフォルト情報に含まれる切り替え情報ではなく、指示情報に含まれる切り替え情報を、画像選択部９１に供給する。
　また、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に表示画枠情報が含まれている場合には、デフォルト情報に含まれる表示画枠情報ではなく、指示情報に含まれる表示画枠情報を、表示領域設定部９３に供給する。
　さらに、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に選択情報が含まれている場合には、デフォルト情報に含まれるタイミング情報から生成した選択情報ではなく、指示情報に含まれる選択情報を、ゲート部９４に供給する。
　画像選択部９１は、指示選択部９２からの切り替え情報に基づき、画像データBF８１からの素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力用画像として選択し、表示領域設定部９３に供給する。
　表示領域設定部９３は、画像選択部９１の出力用画像から、指示選択部９２からの表示画枠情報が表す表示用領域の画像を抽出し、重畳処理部９５に供給する。
　一方、ゲート部９４には、上述したように、指示選択部９２から選択情報が供給される他、被合成データBF８３に記憶された被合成データが供給される。
　ゲート部９４は、被合成データBF８３に記憶された被合成データのうちの０個以上の被合成データを、指示選択部９２から選択情報に従って選択し、重畳処理部９５に供給する。
　重畳処理部９５は、表示領域設定部９３からの表示用領域の画像に、ゲート部９４からの０個以上の被合成データを合成（重畳）し、その合成後の画像を、出力データとして、出力部５５（図１８）に供給する。
　なお、ゲート部９４から重畳処理部９５に対して、０個の被合成データが供給された場合、つまり、被合成データが供給されなかった場合、重畳処理部９５は、表示領域設定部９３からの表示用領域の画像を、そのまま、出力データとして、出力部５５に供給する。
　次に、図２１は、図１の受信装置１２の他の構成例を示している。
　なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２で説明したように、送信装置１１では、センサ部３１として、光をセンシングし、画像を出力するカメラや、温度をセンシングする温度センサ、湿度をセンシングする湿度センサ、風速をセンシングする風速センサ、振動をセンシングする振動センサ、明るさをセンシングする明るさセンサ等の様々な種類のセンサを採用することができる。
　送信装置１１において、センサ部３１として、例えば、カメラ、温度センサ、湿度センサ、及び、振動センサを採用した場合には、カメラで取得された画像、温度センサで取得された温度、湿度センサで取得された湿度、及び、振動センサで取得された振動のデータのそれぞれが、対応する付加情報とともに送信される。
　この場合、受信装置１２の分離部５３は、図２１に示すように、復号部５２から供給されるデータを、素材データである画像のデータ、温度のデータ、湿度のデータ、振動のデータ、及び、各素材データに対応する付加情報のそれぞれに分離する。
　そして、分離部５３は、素材データである画像のデータと、対応する付加情報を、生成部５４に供給する。
　また、分離部５３は、素材データである温度及び湿度のデータと、対応する付加情報を、生成部１０１に供給するとともに、素材データである動揺のデータと、対応する付加情報を、生成部１１１に供給する。
　生成部５４は、上述したように、分離部５３からの素材データである画像のデータと、付加情報、又は、入力部５６からの指示情報に基づき、素材データを加工することで、出力データである画像を生成して、出力部５５に供給する。
　出力部５５は、例えば、上述したように、表示装置であり、生成部５４からの出力データに基づき、画像の表示（出力）を行う。
　一方、生成部１０１には、分離部５３から、素材データである温度及び湿度のデータと、対応する付加情報が供給される他、入力部５６と同様に、ユーザによって操作される入力部１０３から指示情報が供給される。
　生成部１０１は、分離部５３からの素材データである温度及び湿度のデータと、付加情報、又は、入力部１０３からの指示情報に基づき、素材データを加工することで、出力データを生成して、出力部１０２に供給する。
　すなわち、出力部１０２は、例えば、エアコンディショナ等の空調装置であり、生成部１０１は、温度及び湿度のデータを加工することで、空調装置である出力部１０２を制御する空調制御情報を生成し、出力データとして、出力部１０２に供給する。
　出力部１０２は、生成部１０１からの出力データである空調制御情報に基づき、風向き、温度、風速、湿度等を調整した風（空気）を出力する。
　また、生成部１１１には、分離部５３から、素材データである振動のデータと、対応する付加情報が供給される他、入力部５６と同様に、ユーザによって操作される入力部１１３から指示情報が供給される。
　生成部１１１は、分離部５３からの素材データである振動のデータと、付加情報、又は、入力部１１３からの指示情報に基づき、素材データを加工することで、出力データを生成して、出力部１１２に供給する。
　すなわち、出力部１１２は、例えば、椅子や、表示装置である出力部５５を動揺（振動）させる動揺装置であり、生成部１１１は、振動のデータを加工することで、動揺装置である出力部１１２を制御する振動情報を生成し、出力データとして、出力部１１２に供給する。
　出力部１１２は、生成部１１１からの出力データである振動情報に基づき、椅子等を動揺させる。
　その他、例えば、送信装置１１において、明るさをセンシングする明るさセンサで取得した明るさのデータを、素材データとして、対応する付加情報とともに送信することができ、その場合、受信装置１２では、その素材データ、及び、付加情報から生成される出力データに基づき、例えば、受信装置１２が設置されている部屋の照明装置による照明を調整することができる。
　また、例えば、送信装置１１では、風速をセンシングする風速センサで取得した風速のデータを、素材データとして、対応する付加情報とともに送信することができ、その場合、受信装置１２では、その素材データ、及び、付加情報から生成される出力データに基づき、空調装置である出力部１０２が出力する風の風速を調整することができる。
　以上のように、送信装置１１において、センサ部３１で取得した、画像や、温度、湿度、風速、振動、明るさ等の素材データを、対応する付加情報とともに送信し、受信装置１２において、素材データと付加情報とに基づいて、出力データを生成し、出力データに基づき、出力を行う表示装置、空調装置、動揺装置、照明装置等において、出力を行うことで、センサ部３１で素材データを取得した環境における風景や、温度、風速、湿度、揺れ、明るさ等を、写実的に再現し、ユーザは、臨場感がある体験をすることができる。
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
　あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
　なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
　コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
　ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
　また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　以上のように、図１の放送システムでは、送信装置１１において、センサ部３１で取得した素材データと、対応する付加情報とを送信し、受信装置１２において、素材データと付加情報とに基づいて、出力データを生成し、出力データに基づき、出力を行うので、受信装置１２側において、適切な処理を行うことができ、これにより、例えば、ユーザに臨場感を感じさせることや、ユーザの好みに合った画像を表示すること等が可能となる。
　すなわち、受信装置１２では、適切な処理として、リアリティモード処理を行うことができ、リアリティモード処理によれば、例えば、撮像オブジェクトが、実世界での大きさよりも大きく表示されることによって、リアリティが損なわれることを防止することができる。
　具体的には、例えば、人の顔が、実際の大きさよりも大きく表示されるといった、いわばミスマッチを解消し、ユーザに臨場感を感じさせることができる。
　なお、リアリティモード処理において、出力部５５として、表示画面が大きい（例えば、100インチ以上等）表示装置を採用した場合には、いわば借景的な表示を行うことができる。
　また、リアリティモード処理は、例えば、風景の画像や、オーケストラの演奏の音楽を、素材データとする場合に、特に有用である。
　すなわち、例えば、実際の風景の画像のデータを、センサとしてのカメラで取得し、その画像のデータを、素材データとして、リアリティモード処理を行うことにより、実際の風景が見える場所で、その風景を見ているかのような大きさで、その風景を構成する木や山等の画像を表示することができる。
　また、例えば、実際のオーケストラの演奏の音楽のデータを、センサとしてのマイク（マイクロフォン）で取得し、その音楽のデータを、素材データとして、リアリティモード処理を行うことにより、実際の演奏会場で、オーケストラの演奏を聴いているかのような音量で、音楽（音）を出力することができる。
　さらに、受信装置１２では、適切な処理として、エンターテイメントモード処理を行うことができ、エンターテイメントモード処理によれば、例えば、ユーザの好みにあった画像を表示することができる。
　すなわち、エンターテイメントモード処理によれば、番組制作者が編集により行った、ユーザにとって不要な演出を排除することや、ユーザの好みの演出を付加すること、情報を選択すること、デフォルメ表示等が可能となる。
　具体的には、例えば、エンターテイメントモード処理によれば、ユーザが、入力部５６を操作することにより、合成指示を行うと、入力部５６において、その合成指示に従って、素材データに合成する被合成データを選択するための選択情報が生成され、画像処理部８４（図１９）では、その選択情報に従って、画像に合成する字幕（テロップ）やPinP画像等の被合成データの選択（又は、非選択）が行われる。
　したがって、テロップやPinP画像が多い、例えば、ニュース番組について、そのテロップやPinP画像による演出を不要と感じるユーザは、入力部５６を操作することにより、テロップやPinP画像がない状態のニュース番組を視聴することが可能となる。
　また、例えば、エンターテイメントモード処理によれば、ユーザが、入力部５６を操作することにより、PTZ指示を行うと、入力部５６において、そのPTZ指示に従って、表示用領域（図５）を特定する表示画枠情報が生成され、画像処理部８４（図１９）では、その表示画枠情報が表す表示用領域の画像が、素材データから抽出される。
　したがって、スポーツ番組や、音楽番組において、特定の選手や芸能人のファンであるユーザは、入力部５６を操作することにより、特定の選手や芸能人を追いかけた画像を視聴することが可能となる。
　なお、上述したように、画像処理部８４（図１９）は、入力部５６からの指示情報の供給がある場合には、その指示情報を優先的に選択し、その指示情報に基づき、素材データの加工を行うことで、ユーザの好みにあった画像を表示するが、入力部５６からの指示情報の供給がない場合には、デフォルト情報、すなわち、送信装置１１の編集装置３２で生成されたエフェクト情報（に含まれる切り替え情報、表示画枠情報、及び、タイミング情報）に基づき、素材データの加工が行われる。
　したがって、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に、ユーザの好みにあった画像を表示させることができ、入力部５６の操作をしないことにより（入力部５６を操作することにより行ったPTZ指示や、切り替え指示、合成指示を解除するように、入力部５６を操作することにより）、表示装置である出力部５５に、番組制作者が編集装置３２を操作することにより行った編集により得られる画像を表示させることができる。
　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims (23)

  1. 　データを送信する送信装置と、前記データを受信する受信装置とからなる放送システムにおいて、
    　前記送信装置は、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する送信手段を有し、
    　前記受信装置は、
    　　前記素材データと付加情報を受信する受信手段と、
    　　前記素材データと前記付加情報とに基づいて、出力データを生成する生成手段と、
    　　前記出力データに基づき、出力を行う出力手段と
    　を有する
    　放送システム。
  2. 　前記付加情報は、実世界の物理量を表す実世界情報を含み、
    　前記生成手段は、前記素材データ、前記実世界情報、及び、前記出力手段の特性を表す特性情報に基づき、前記出力手段の出力から認識される物理量が、前記実世界情報が表す物理量に同定されるように、前記出力データを生成する
    　請求項１に記載の放送システム。
  3. 　前記センサは、画像を撮像する撮像手段であり、
    　前記素材データは、前記撮像手段で撮像された画像であり、
    　前記出力手段は、画像を表示する表示装置であり、
    　前記出力データは、前記表示装置で表示される画像であり、
    　前記実世界情報は、前記撮像手段の撮像範囲を表す撮像範囲情報を含み、
    　前記特性情報は、前記表示装置が画像を表示する表示画面の大きさを表す大きさ情報を含む
    　請求項２に記載の放送システム。
  4. 　前記生成手段は、前記素材データである画像、前記実世界情報である撮像範囲情報、及び、前記特性情報である大きさ情報に基づき、前記表示装置で表示される画像から認識される物体の大きさが、実世界での大きさを越えない大きさとなる画像を、前記出力データとして生成する
    　請求項３に記載の放送システム。
  5. 　前記生成手段は、前記素材データである画像、前記実世界情報である撮像範囲情報、及び、前記特性情報である大きさ情報に基づき、前記表示装置で表示される画像から認識される物体の大きさが、実世界での大きさに同定されるように、前記出力データである画像を生成する
    　請求項３に記載の放送システム。
  6. 　前記送信手段は、複数種類のセンサで取得した複数種類の素材データと、各種類の素材データに対応する前記付加情報を送信し、
    　前記受信装置は、
    　　前記受信手段と、
    　　前記複数種類の素材データそれぞれと、対応する種類の前記付加情報とに基づいて、複数種類の出力データをそれぞれ生成する複数種類の生成手段と、
    　　前記複数種類の出力データに基づき、出力を行う複数種類の出力手段と
    　を有する
    　請求項２に記載の放送システム。
  7. 　前記複数種類の出力手段のうちの所定の１種類の出力手段は、空調手段であり、
    　前記複数種類の出力データのうちの前記所定の１種類の出力データは、温度、又は風速のデータであり、
    　前記空調手段は、前記温度、又は風速のデータに基づき、前記センサで前記素材データを取得した環境における温度、又は風速を再現するための出力を行う
    　請求項６に記載の放送システム。
  8. 　前記付加情報は、前記素材データの加工に用いられる情報であるエフェクト情報を含み、
    　前記生成手段は、前記エフェクト情報に基づいて、前記素材データに対して加工を施すことにより、前記出力データを生成する
    　請求項１に記載の放送システム。
  9. 　前記受信装置は、ユーザによる加工の指示を受け付ける指示入力手段をさらに有し、
    　前記生成手段は、前記エフェクト情報、又は、ユーザによる加工を指示するための指示情報に基づいて、前記素材データに対して、ユーザが所望する加工を施す
    　請求項８に記載の放送システム。
  10. 　前記センサは、画像を撮像する撮像手段であり、
    　前記素材データは、前記撮像手段で撮像された画像であり、
    　前記出力手段は、画像を表示する表示装置であり、
    　前記出力データは、前記表示装置で表示される画像であり、
    　前記指示情報は、前記素材データである画像のうちの、前記表示装置に表示する部分の領域を表す表示画枠情報を含み、
    　前記生成手段は、前記素材データである画像から、前記表示画枠情報が表す領域の画像を抽出することにより、前記出力データを生成する
    　請求項９に記載の放送システム。
  11. 　前記センサは、画像を撮像する撮像手段であり、
    　前記素材データは、前記撮像手段で撮像された画像であり、
    　前記出力手段は、画像を表示する表示装置であり、
    　前記出力データは、前記表示装置で表示される画像であり、
    　前記エフェクト情報は、前記素材データである画像に合成される被合成データを含み、　前記生成手段は、前記エフェクト情報に基づいて、前記素材データである画像に、前記被合成データを合成することにより、前記出力データを生成する
    　請求項８に記載の放送システム。
  12. 　前記被合成データは、字幕のデータ、又は、ピクチャインピクチャ用のデータである
    　請求項１１に記載の放送システム。
  13. 　前記センサは、画像を撮像する撮像手段であり、
    　前記素材データは、前記撮像手段で撮像された画像であり、
    　前記出力手段は、画像を表示する表示装置であり、
    　前記出力データは、前記表示装置で表示される画像であり、
    　前記エフェクト情報は、前記素材データである画像のうちの、前記表示装置に表示する部分の領域を表す表示画枠情報を含み、
    　前記生成手段は、前記素材データである画像から、前記表示画枠情報が表す領域の画像を抽出することにより、前記出力データを生成する
    　請求項８に記載の放送システム。
  14. 　前記センサは、画像を撮像する撮像手段であり、
    　前記素材データは、前記撮像手段で撮像された複数の動画像であり、
    　前記出力手段は、画像を表示する表示装置であり、
    　前記出力データは、前記表示装置で表示される画像であり、
    　前記エフェクト情報は、前記素材データである複数の動画像から、１つのストリームの画像を選択することにより、前記表示装置に表示する画像を切り替えるための切り替え情報を含み、
    　前記生成手段は、前記切り替え情報に基づいて、前記素材データである複数の動画像から、１つの動画像を選択することにより、前記出力データを生成する　請求項８に記載の放送システム。
  15. 　前記付加情報は、実世界の物理量を表す実世界情報を、さらに含み、
    　前記生成手段は、ユーザによる加工の指示がなかった場合には、前記素材データ、前記実世界情報、及び、前記出力手段の特性を表す特性情報に基づき、前記出力手段の出力から認識される物理量が、前記実世界情報が表す物理量に同定されるように、前記出力データを生成する
    　請求項９に記載の放送システム。
  16. 　前記受信装置は、ユーザによる加工の指示を受け付ける指示入力手段をさらに有し、
    　前記生成手段は、前記エフェクト情報、又は、ユーザによる加工を指示するための指示情報に基づいて、前記素材データに対して、ユーザが所望する加工を施す
    　請求項１１に記載の放送システム。
  17. 　前記エフェクト情報は、前記被合成データの合成を行うタイミングを表すタイミング情報をさらに含み、
    　前記生成手段は、ユーザによる加工の指示がなかった場合には、前記タイミング情報に基づいて、前記素材データである画像に、前記被合成データを合成することにより、前記出力データを生成する
    　請求項１６に記載の放送システム。
  18. 　データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置において、
    　センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する送信手段を備える
    　送信装置。
  19. 　データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法において、
    　前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信するステップを含む
    　送信方法。
  20. 　データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置として、コンピュータを機能させるプログラムにおいて、
    　センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する送信手段
    　として、コンピュータを機能させるためのプログラム。
  21. 　データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置において、
    　前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する場合において、
    　前記素材データと付加情報を受信する受信手段と、
    　前記素材データと前記付加情報とに基づいて、出力データを生成する生成手段と、
    　前記出力データに基づき、出力を行う出力手段と
    　を備える受信装置。
  22. 　データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法において、
    　前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する場合において、
    　前記受信装置が、
    　前記素材データと付加情報を受信し、
    　前記素材データと前記付加情報とに基づいて、出力データを生成し、
    　前記出力データに基づき、出力を行う出力手段において出力を行う
    　ステップを含む受信方法。
  23. 　データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置として、コンピュータを機能させるプログラムにおいて、
    　前記送信装置が、センサで取得した素材データと、前記受信装置で前記素材データを加工するために用いられる付加情報とを送信する場合において、
    　前記素材データと付加情報を受信する受信手段と、
    　前記素材データと前記付加情報とに基づいて、出力データを生成する生成手段と、
    　前記出力データに基づき、出力を行う出力手段と
    　として、コンピュータを機能させるためのプログラム。
PCT/JP2009/052363 2008-02-14 2009-02-13 放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラム Ceased WO2009101997A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/735,489 US8767067B2 (en) 2008-02-14 2009-02-13 Broadcasting system, sending apparatus and sending method, receiving apparatus and receiving method, and program
BRPI0907897-5A BRPI0907897A2 (pt) 2008-02-14 2009-02-13 Sistema de radiodifusão, aparelhos de transmissão e de recepção, método de transmissão para um aparelho de transmissão, programa, e, método de recepção para um aparelho de recepção
CN200980104689XA CN101939988B (zh) 2008-02-14 2009-02-13 广播系统、发送设备和发送方法、接收设备和接收方法
EP09711145A EP2242271A4 (en) 2008-02-14 2009-02-13 RADIATION SYSTEM, TRANSMITTER AND TRANSMISSION PROCEDURE, RECEIVER AND RECEPTION METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-032673 2008-02-14
JP2008032673A JP5007681B2 (ja) 2008-02-14 2008-02-14 放送システム

Publications (1)

Publication Number Publication Date
WO2009101997A1 true WO2009101997A1 (ja) 2009-08-20

Family

ID=40957028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052363 Ceased WO2009101997A1 (ja) 2008-02-14 2009-02-13 放送システム、送信装置、及び送信方法、受信装置、及び受信方法、並びにプログラム

Country Status (8)

Country Link
US (1) US8767067B2 (ja)
EP (1) EP2242271A4 (ja)
JP (1) JP5007681B2 (ja)
KR (1) KR20100121614A (ja)
CN (1) CN101939988B (ja)
BR (1) BRPI0907897A2 (ja)
RU (1) RU2454024C2 (ja)
WO (1) WO2009101997A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060186B2 (en) 2012-07-02 2015-06-16 Electronics And Telecommunications Research Institute Audience selection type augmented broadcasting service providing apparatus and method
CN108965963A (zh) * 2018-09-30 2018-12-07 联想(北京)有限公司 电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493884B1 (ko) * 2010-11-19 2015-02-17 한국전자통신연구원 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
KR102033809B1 (ko) 2012-02-07 2019-10-17 소니 주식회사 수신 장치, 수신 방법 및 프로그램
US9693108B2 (en) 2012-06-12 2017-06-27 Electronics And Telecommunications Research Institute Method and system for displaying user selectable picture
US20140115649A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing realistic broadcasting
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358222A (ja) * 1999-06-15 2000-12-26 Toshiba Corp 表示表現装置および情報伝送方式

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6443840B2 (en) * 1986-03-10 2002-09-03 Response Reward Systems, L.C. Evaluation of responses of participatory broadcast audience with prediction of winning contestants; monitoring, checking and controlling of wagering, and automatic crediting and couponing
JP2829962B2 (ja) * 1988-04-28 1998-12-02 松下電器産業株式会社 テレビジョン受像機
JP2906462B2 (ja) * 1989-07-18 1999-06-21 ソニー株式会社 テレビジョン受信機
US5208660A (en) * 1989-07-29 1993-05-04 Sharp Kabushiki Kaisha Television display apparatus having picture-in-picture display function and the method of operating the same
JP3192924B2 (ja) 1995-06-20 2001-07-30 三洋電機株式会社 電子カタログシステム
JP3162633B2 (ja) * 1996-09-27 2001-05-08 松下電器産業株式会社 放送システム及びこれに用いる情報放送受信端末装置
JP3750760B2 (ja) * 1996-10-24 2006-03-01 ソニー株式会社 繰返し使用データ挿入装置およびディジタル放送送信システム
JP4240554B2 (ja) * 1997-07-11 2009-03-18 ソニー株式会社 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法
DE69842037D1 (de) * 1997-09-04 2011-01-20 Comcast Ip Holdings I Llc Vorrichtung für videozugang und kontrolle über ein rechnernetzwerk mit bildkorrektur
US6557171B1 (en) * 1998-02-02 2003-04-29 Matsushita Electric Industrial Co., Ltd. Digital tv broadcast sending apparatus, digital tv broadcast receiving apparatus, and digital tv broadcast sending / receiving system which facilitate preselection of tv programs, and computer readable recording medium storing a program for achieving a function of the digital tv broadcast receiving apparatus
JP4822304B2 (ja) * 1998-08-06 2011-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
US7013479B2 (en) * 2000-04-14 2006-03-14 Matsushita Electric Industrial Co., Ltd. Broadcasting apparatus and method for pre-transmitting data carousel and receiving apparatus for receiving data carousel
US7647619B2 (en) * 2000-04-26 2010-01-12 Sony Corporation Scalable filtering table
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
EP1330101B1 (en) * 2000-09-25 2008-04-16 Yamaha Corporation Mobile terminal device
WO2002059785A1 (en) * 2001-01-23 2002-08-01 Sony Corporation Communication apparatus, communication method, electronic device, control method of the electronic device, and recording medium
JP3818575B2 (ja) * 2001-09-19 2006-09-06 株式会社日立製作所 デジタル放送受信装置
JP4000844B2 (ja) * 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
US7196733B2 (en) * 2002-01-28 2007-03-27 Canon Kabushiki Kaisha Apparatus for receiving broadcast data, method for displaying broadcast program, and computer program
JP4136383B2 (ja) * 2002-01-28 2008-08-20 キヤノン株式会社 テレビ受信装置及びその制御方法
US7073193B2 (en) * 2002-04-16 2006-07-04 Microsoft Corporation Media content descriptions
US7403840B2 (en) * 2002-04-19 2008-07-22 Irrisoft, Inc. Irrigation control system
US20060161309A1 (en) * 2002-04-19 2006-07-20 Moore Steven E Irrigation control system
US20030018969A1 (en) * 2002-06-21 2003-01-23 Richard Humpleman Method and system for interactive television services with targeted advertisement delivery and user redemption of delivered value
US7878908B2 (en) * 2002-11-14 2011-02-01 Nintendo Co., Ltd. Multiplexed secure video game play distribution
EP1526714A1 (en) * 2003-08-06 2005-04-27 Matsuhita Electric Industrial Co., Ltd. Information processing apparatus
JP2005210707A (ja) * 2003-12-26 2005-08-04 Sharp Corp 表示装置、テレビジョン受信機、画像表示制御方法及び画像表示制御処理プログラム
JP2005198061A (ja) * 2004-01-08 2005-07-21 Matsushita Electric Ind Co Ltd Ｃａｔｖシステム
CN1750612A (zh) * 2004-09-14 2006-03-22 乐金电子（沈阳）有限公司 具有风信息接收功能的图像显示设备及其控制方法
JP2006302052A (ja) * 2005-04-22 2006-11-02 Hitachi Ltd ストレージシステムおよびデジタル放送システム
US20070100698A1 (en) * 2005-07-08 2007-05-03 Onestop Media Group Adaptive advertisements and adaptive advertising distribution system
KR100757865B1 (ko) * 2005-07-20 2007-09-11 삼성전자주식회사 디지털 방송 수신기에서의 영상 처리 장치 및 방법
WO2007029582A1 (ja) * 2005-09-07 2007-03-15 Ibm Japan, Ltd. 表示装置、出力装置、表示システム、表示方法、媒体、プログラム、及び外部ユニット
JP2006217662A (ja) 2006-04-26 2006-08-17 Sony Corp ディジタル放送受信装置
US20090144137A1 (en) * 2006-07-21 2009-06-04 Gregory Hagan Moulton Automated content production for largely continuous transmission
KR101295301B1 (ko) * 2006-11-10 2013-08-08 엘지전자 주식회사 수신기 및 이 수신기에서 방송 신호를 처리하는 방법
KR101176501B1 (ko) * 2006-11-17 2012-08-22 엘지전자 주식회사 데이터 서비스를 이용하여 방송관련정보를 표시할 수 있는방송수신 단말기 및 그 제어방법
KR100903070B1 (ko) * 2007-04-16 2009-06-18 삼성전자주식회사 데이터 재생 장치 및 방법
KR101333065B1 (ko) * 2007-07-04 2013-11-27 삼성전자주식회사 화면 속 화면을 이용한 방송데이터 표시방법 및 장치
US8904432B2 (en) * 2007-12-28 2014-12-02 Verizon Patent And Licensing Inc. Method and apparatus for providing displayable applications
JP5225037B2 (ja) * 2008-11-19 2013-07-03 株式会社東芝 番組情報表示装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358222A (ja) * 1999-06-15 2000-12-26 Toshiba Corp 表示表現装置および情報伝送方式

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9060186B2 (en) 2012-07-02 2015-06-16 Electronics And Telecommunications Research Institute Audience selection type augmented broadcasting service providing apparatus and method
CN108965963A (zh) * 2018-09-30 2018-12-07 联想(北京)有限公司 电子设备

Also Published As

Publication number Publication date
CN101939988A (zh) 2011-01-05
RU2454024C2 (ru) 2012-06-20
US8767067B2 (en) 2014-07-01
KR20100121614A (ko) 2010-11-18
EP2242271A4 (en) 2012-02-29
EP2242271A1 (en) 2010-10-20
JP5007681B2 (ja) 2012-08-22
US20100289894A1 (en) 2010-11-18
RU2010132906A (ru) 2012-02-10
CN101939988B (zh) 2013-05-08
JP2009194594A (ja) 2009-08-27
BRPI0907897A2 (pt) 2015-07-28

Similar Documents

Publication Publication Date Title
CN103119957B (zh) 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
JP5197910B2 (ja) デジタル情報信号を受信する装置
JP6267961B2 (ja) 映像提供方法および送信装置
CN111742353B (zh) 信息处理装置、信息处理方法和程序
JP4126663B2 (ja) 立体映像視覚効果確認装置及び立体映像視覚効果確認方法
CN100562084C (zh) 同步地使用音频视频数据的设备和方法
JP5007681B2 (ja) 放送システム
EP1487205B1 (en) Display system for views of video item
US20070122786A1 (en) Video karaoke system
US20110214141A1 (en) Content playing device
US20150036050A1 (en) Television control apparatus and associated method
JP5555068B2 (ja) 再生装置及びその制御方法及びプログラム
KR20080048308A (ko) 기본 장치와 확장 장치의 연동 장치 및 방법
JPH09327002A (ja) テレビジョン放送装置およびテレビジョン放送方法並びにテレビジョン放送信号受信装置およびテレビジョン放送信号受信方法
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2012004991A (ja) 放送受信装置及びその制御方法
KR100619494B1 (ko) 삼차원 가상 스투디오를 이용한 가라오케
KR20050116916A (ko) 환경 정보를 포함하는 콘텐츠를 생성하고 재생하는 방법과그 재생 장치
KR101194825B1 (ko) 멀티 앵글 디지털 방송 시스템 및 그 방법
JP2009055541A (ja) 動画再生装置
KR100811022B1 (ko) 방송카메라와 연동된 주문형 방송서비스방법
AU2002301440B2 (en) System and apparatus for processing and viewing video images
JP2006180091A (ja) コンテンツ合成装置及び方法
JP2007174192A (ja) コンテンツ配信装置、表示装置、コンテンツ配信方法、表示方法、プログラム、および記録媒体
IL191265A (en) Digital video zooming system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980104689.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09711145

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12735489

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 5477/DELNP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2010132906

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 20107017592

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009711145

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0907897

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100806