WO2012060198A1 - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 Download PDF

Info

Publication number
WO2012060198A1
WO2012060198A1 PCT/JP2011/073739 JP2011073739W WO2012060198A1 WO 2012060198 A1 WO2012060198 A1 WO 2012060198A1 JP 2011073739 W JP2011073739 W JP 2011073739W WO 2012060198 A1 WO2012060198 A1 WO 2012060198A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
image data
unit
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/073739
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2011800375558A priority Critical patent/CN103039084A/zh
Priority to EP11837849.6A priority patent/EP2506584A4/en
Priority to BR112012015683A priority patent/BR112012015683A2/pt
Priority to RU2012126548/07A priority patent/RU2012126548A/ru
Priority to US13/518,415 priority patent/US20120257019A1/en
Priority to KR1020127016223A priority patent/KR20130132238A/ko
Priority to MX2012007793A priority patent/MX2012007793A/es
Publication of WO2012060198A1 publication Critical patent/WO2012060198A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present invention relates to a stereoscopic image data transmission device, a stereoscopic image data transmission method, a stereoscopic image data reception device, and a stereoscopic image data reception method, and more particularly to a stereoscopic image data transmission device that can satisfactorily display superimposition information such as captions. .
  • Patent Document 1 proposes a transmission method using a television broadcast radio wave of stereoscopic image data.
  • stereoscopic image data including left-eye image data and right-eye image data is transmitted, and stereoscopic image display using binocular parallax is performed in the television receiver.
  • FIG. 43 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • the right and left line of sight intersects in front of the screen surface.
  • the position is in front of the screen surface.
  • DPa represents a horizontal disparity vector related to the object A.
  • the right and left lines of sight intersect on the screen surface. It becomes on the surface.
  • the left image Lc is shifted to the left side and the right image Rc is shifted to the right side, the right and left lines of sight intersect at the back of the screen surface.
  • the playback position is behind the screen.
  • DPc represents a horizontal disparity vector related to the object C.
  • subtitles when subtitles are superimposed on an image (overlay display), viewers may feel inconsistencies in perspective unless they are displayed in front of the closest object (object) in the perspective. is there.
  • other graphics information or text information when superimposed on an image, it is expected that parallax adjustment is performed according to the perspective of each object in the image to maintain the consistency of perspective.
  • An object of the present invention is to maintain perspective consistency with each object in an image when displaying superimposition information such as subtitles.
  • Another object of the present invention is to facilitate sending disparity information in association with superimposition information in, for example, the ARIB method.
  • the concept of this invention is An image data output unit for outputting stereoscopic image data including left eye image data and right eye image data; A superimposition information data output unit for outputting superimposition information data to be superimposed on an image based on the left eye image data and the right eye image data; A parallax information output unit for outputting parallax information for shifting the superimposition information to be superimposed on the image based on the left-eye image data and the right-eye image data and providing parallax; A first data stream including stereoscopic image data output from the image data output unit, a second data including superimposition information data output from the superimposition information data output unit and disparity information output from the disparity information output unit.
  • a data transmission unit for transmitting a multiplexed data stream having a data stream of The second data stream has a data unit for sending display control information of the superimposition information,
  • the parallax information is a stereoscopic image data transmission device inserted in the data unit.
  • the image data output unit outputs stereoscopic image data including left eye image data and right eye image data. Further, the superimposition information data output unit outputs superimposition information data to be superimposed on the image based on the left eye image data and the right eye image data.
  • the superimposition information means information such as captions superimposed on the image.
  • the parallax information output unit outputs parallax information for adding parallax by shifting the superimposition information to be superimposed on the image based on the left eye image data and the right eye image data.
  • the data transmission unit transmits a multiplexed data stream having the first data stream and the second data stream.
  • the first data stream includes stereoscopic image data output from the image data output unit.
  • the second data stream includes the superimposition information data output from the superimposition information data output unit and the disparity information output from the disparity information output unit.
  • the second data stream has a data unit that transmits display control information of superimposition information, and disparity information is inserted into this data unit.
  • the superimposition information data is ARIB subtitle text data
  • the data unit into which the disparity information is inserted is a data unit in the subtitle text group.
  • the disparity information inserted in this data unit is distinguished from other display control information by the type information.
  • the disparity information inserted in the data unit is disparity information corresponding to specific superimposition information displayed on the same screen, or disparity information corresponding to a plurality of superimposition information displayed on the same screen.
  • the disparity information is inserted into the data unit of the second data stream that transmits the display control information of the superimposition information, and the superposition information and the disparity information are associated with each other. Therefore, on the reception side, appropriate parallax can be given to the superimposition information superimposed on the left eye image and the right eye image using the corresponding parallax information. For this reason, in the display of superimposition information such as captions, the consistency of perspective with each object in the image can be maintained in an optimum state.
  • the disparity information is the first disparity information used in common within a predetermined number of frame periods in which the superimposition information is displayed, or within the first disparity information and the predetermined number of frame periods.
  • the flag information indicating the presence of the second parallax information may be inserted in the data unit. In this case, it is possible to select whether to transmit only the first parallax information or to transmit the second parallax information. By transmitting the second parallax information, the parallax to be added to the superimposition information can be dynamically changed on the receiving side in conjunction with the change in the image content.
  • the second disparity information may be composed of disparity information of the first frame in a predetermined number of frame periods and disparity information of frames at each subsequent update frame interval.
  • the update frame interval is arbitrarily set. For example, when the change of the disparity information in the time direction (frame direction) is severe, the update frame interval can be shortened so that the change of the disparity information in the time direction can be more correctly transmitted to the reception side. For example, when the change in the time direction of the disparity information is moderate, it is possible to suppress the data amount of the disparity information by increasing the update frame interval.
  • flag information indicating whether or not the disparity information is updated may be added to the second disparity information for each frame at each update frame interval.
  • the transmission of the disparity information within the period can be omitted using this flag information, and the data amount of the disparity information can be suppressed. It becomes.
  • information for adjusting an update frame interval may be added to the second disparity information for each frame for each update frame period.
  • this adjustment information it is possible to arbitrarily adjust the update frame interval in the direction of shortening or lengthening the update frame interval, and the change in the time direction of the disparity information can be more accurately transmitted to the receiving side. It becomes.
  • information specifying a frame period may be inserted into a data unit that transmits display control information into which disparity information is inserted.
  • the disparity information update frame interval intended on the transmission side can be correctly transmitted to the reception side.
  • the video frame period is referred to on the receiving side.
  • the present invention for example, in a data unit that transmits display control information into which disparity information is inserted, information indicating a correspondence level with respect to disparity information that is essential when displaying superimposition information may be inserted. . In this case, it is possible to control the correspondence to the parallax information on the reception side with this information.
  • the second data stream may include flag information indicating whether it corresponds to extended display of superimposition information in the upper layer of the data unit.
  • this flag information makes it possible for the receiving side to easily grasp whether or not it corresponds to extended display of superimposition information, for example, three-dimensional display.
  • flag information indicating whether the second data stream supports extended display control of superimposition information may be inserted into the multiplexed data stream.
  • the receiving side can grasp whether or not the second data stream is compatible with the extended display control of superimposition information without opening the data in the second data stream.
  • the multiplexed stream includes an event information table as service information for managing event units, and flag information is inserted under the event information table.
  • the multiplexed data stream includes a program map table as program specific information indicating to which program each elementary stream included in the multiplexed data stream belongs, Flag information is inserted under the program map table
  • a data receiving unit for receiving a multiplexed data stream including the first data stream and the second data stream;
  • the first data stream includes stereoscopic image data having left-eye image data and right-eye image data for displaying a stereoscopic image;
  • the second data stream shifts superimposition information data to be superimposed on an image based on the left eye image data and the right eye image data, and superimposition information to be superimposed on an image based on the left eye image data and the right eye image data.
  • the second data stream has a data unit for sending display control information of the superimposition information, and the disparity information is inserted in the data unit,
  • An image data acquisition unit that acquires the stereoscopic image data from the first data stream included in the multiplexed data stream received by the data reception unit;
  • a superimposition information data acquisition unit that acquires data of the superimposition information from the second data stream included in the multiplexed data stream received by the data reception unit;
  • a disparity information acquisition unit that acquires the disparity information from the second data stream included in the multiplexed data stream received by the data reception unit;
  • the left eye image data and the right eye image data included in the stereoscopic image data acquired by the image data acquisition unit, the parallax information acquired by the parallax information acquisition unit, and the superimposition information data acquisition unit Using the acquired superimposition information data, parallax is given to the same superimposition information superimposed on the left eye image and the right eye image, and the left eye image data and the
  • the data receiving unit multiplexed data stream including a first data stream and a second data stream is received.
  • the first data stream includes stereoscopic image data having left eye image data and right eye image data for displaying a stereoscopic image.
  • the superimposition information data superimposed on the image based on the left eye image data and the right eye image data and the superimposition information superimposed on the image based on the left eye image data and the right eye image data are shifted.
  • parallax information for adding parallax.
  • the second data stream has a data unit that transmits display control information of superimposition information, and disparity information is inserted into this data unit.
  • the superimposition information data is ARIB subtitle text data
  • the data unit into which the disparity information is inserted is a data unit in the subtitle text group.
  • the disparity information inserted in this data unit is distinguished from other display control information by the type information.
  • the stereoscopic image data is acquired from the first data stream included in the multiplexed data stream received by the data receiving unit by the image data acquiring unit. Further, the superimposition information data acquisition unit acquires the superimposition information data from the second data stream included in the multiplexed data stream received by the data reception unit. Also, the disparity information acquisition unit acquires disparity information from the second data stream included in the multiplexed data stream received by the data reception unit.
  • the image data processing unit uses the left eye image data and the right eye image data, the superimposition information data, and the parallax information, and gives the parallax to the same superimposition information to be superimposed on the left eye image and the right eye image.
  • left-eye image data on which superimposition information is superimposed and right-eye image data on which superimposition information is superimposed are obtained.
  • disparity information is inserted into a data unit that transmits the display control information of the superimposition information included in the second data stream including the superimposition information, and the superimposition information and the disparity information are associated with each other.
  • the image data processing unit can give appropriate parallax to the superimposition information superimposed on the left eye image and the right eye image using the corresponding parallax information. Therefore, in the display of superimposition information such as subtitles, it is possible to maintain the perspective consistency with each object in the image in an optimum state.
  • the disparity information inserted in the data unit is disparity information that is sequentially updated within a predetermined number of frame periods in which superimposition information is displayed, and is the first frame of the predetermined number of frame periods. And the disparity information of the frame at each subsequent update frame interval. In this case, it is possible to dynamically changed in conjunction with disparity assigned to the superimposition information to changes in the image content.
  • the image data processing unit performs an interpolation process on disparity information of a plurality of frames constituting disparity information that is sequentially updated within a predetermined number of frame periods. You may make it produce
  • the interpolation process may be a linear interpolation process, but may be accompanied by a low-pass filter process in the time direction (frame direction), for example.
  • the disparity information is inserted into the data unit that transmits the display control information of the superimposition information included in the second data stream including the superimposition information, and the superimposition information and the disparity information are associated with each other. ing. Therefore, on the reception side, appropriate parallax can be given to the superimposition information superimposed on the left eye image and the right eye image using the corresponding parallax information. Therefore, in the display of superimposition information such as subtitles, it is possible to maintain the perspective consistency with each object in the image in an optimum state.
  • the configuration example of a caption data stream generated by the subtitle encoder is a diagram showing an example of creating a disparity vector in this case.
  • the first is a diagram for explaining a case of shifting the position of each caption unit superimposed on the second view. It is a figure which shows the packet structure of the subtitle code contained in the PES stream of a subtitle sentence data group. It is a figure which shows the packet structure of the control code contained in the PES stream of a caption management data group. It is a figure which shows the structure of the data group in the caption data stream (PES stream) of an ARIB system.
  • arib_caption_info contained in a data content descriptor. It is a figure which shows the other structural example of the transport stream (multiplexed data stream) containing a video elementary stream, an audio elementary stream, and a caption elementary stream. It is a figure which shows the structural example of the data encoding system descriptor inserted under PMT. It is a diagram showing a structural example of a "additional_arib_caption_info" included in the data coding system descriptor. Is a diagram illustrating a display example of a caption (graphics information) on an image, a background, a foreground object, the perspective of the subtitles.
  • FIG. 1 It is a figure which shows the example of a display of a subtitle on an image, and the left eye subtitle LGI and the right eye subtitle RGI for displaying a subtitle.
  • FIG. It is a block diagram which shows the structural example of the television receiver which comprises a stereo image display system.
  • stereoscopic image display using binocular parallax it is a figure for demonstrating the relationship between the display position of the left-right image of the object on a screen, and the reproduction
  • FIG. 1 shows a configuration example of a stereoscopic image display system 10 as an embodiment.
  • the stereoscopic image display system 10 includes a broadcasting station 100, a set top box (STB) 200, and a television receiver (TV: Television) 300.
  • STB set top box
  • TV television receiver
  • the set top box 200 and the television receiver 300 are connected via an HDMI (High Definition Multimedia Interface) cable 400.
  • the set top box 200 is provided with an HDMI terminal 202.
  • the television receiver 300 is provided with an HDMI terminal 302.
  • One end of the HDMI cable 400 is connected to the HDMI terminal 202 of the set top box 200, and the other end of the HDMI cable 400 is connected to the HDMI terminal 302 of the television receiver 300.
  • the broadcasting station 100 transmits the bit stream data BSD on a broadcast wave.
  • the broadcast station 100 includes a transmission data generation unit 110 that generates bit stream data BSD.
  • the bit stream data BSD includes stereoscopic image data including left-eye image data and right-eye image data, audio data, superimposition information data, and disparity information (disparity vector).
  • the superimposition information is graphics information, text information, or the like, but is a caption in this embodiment.
  • FIG. 2 shows a configuration example of the transmission data generation unit 110 in the broadcast station 100.
  • the transmission data generation unit 110 transmits disparity information (disparity vector) with a data structure that can be easily linked to ARIB (Association of Radio Industries and Businesses), which is one of existing broadcasting standards.
  • the transmission data generation unit 110 includes a data extraction unit (archive unit) 130, a parallax information generation unit 131, a video encoder 113, an audio encoder 117, a caption generation unit 132, a caption encoder 133, and a multiplexer 122. is doing.
  • a data recording medium 130a is detachably attached to the data extraction unit 130, for example.
  • audio data and parallax information are recorded in association with stereoscopic image data including left eye image data and right eye image data.
  • the data extraction unit 130 extracts and outputs stereoscopic image data, audio data, parallax information, and the like from the data recording medium 130a.
  • the data recording medium 130a is a disk-shaped recording medium, a semiconductor memory, or the like.
  • the stereoscopic image data recorded on the data recording medium 130a is stereoscopic image data of a predetermined transmission method.
  • An example of a transmission method of stereoscopic image data (3D image data) will be described.
  • the following first to third transmission methods are listed, but other transmission methods may be used.
  • the case where the image data of the left eye (L) and the right eye (R) is image data of a predetermined resolution, for example, a 1920 ⁇ 1080 pixel format. Let's take an example.
  • the first transmission method is a top-and-bottom method. As shown in FIG. 4A, in the first half of the vertical direction, the data of each line of the left eye image data is transmitted, and the vertical direction In the latter half of the method, the data of each line of the left eye image data is transmitted. In this case, since the lines of the left eye image data and the right eye image data are thinned out to 1 ⁇ 2, the vertical resolution is halved with respect to the original signal.
  • the second transmission method is a side-by-side (Side By Side) method.
  • pixel data of the left eye image data is transmitted, and in the second half in the horizontal direction.
  • the pixel data of the right eye image data is transmitted.
  • the pixel data in the horizontal direction is thinned out to 1/2.
  • the horizontal resolution is halved with respect to the original signal.
  • the third transmission method is a frame sequential method, in which left-eye image data and right-eye image data are sequentially switched for each frame and transmitted as shown in FIG. 4 (c).
  • This frame sequential method may be referred to as a full frame method or a backward compatible method.
  • the disparity information recorded in the data recording medium 130a is, for example, a disparity vector for each pixel (pixel) constituting the image.
  • a detection example of a disparity vector will be described.
  • the parallax vector of the right eye image with respect to the left eye image will be described.
  • the left eye image is a detected image
  • the right eye image is a reference image.
  • the disparity vectors at the positions (xi, yi) and (xj, yj) are detected.
  • a case where a disparity vector at the position of (xi, yi) is detected will be described as an example.
  • a 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixel block (parallax detection block) Bi is set in the left eye image with the pixel at the position (xi, yi) at the upper left. Then, a pixel block matching the pixel block Bi is searched in the right eye image.
  • a search range centered on the position of (xi, yi) is set in the right eye image, and each pixel in the search range is sequentially set as a pixel of interest, for example, 4 ⁇ 4 similar to the above-described pixel block Bi. 8 ⁇ 8 or 16 ⁇ 16 comparison blocks are sequentially set.
  • n pixels are included in the search range set in the right eye image, n total sums S1 to Sn are finally obtained, and the minimum sum Smin is selected. Then, the position of the upper left pixel (xi ′, yi ′) is obtained from the comparison block from which the sum Smin is obtained. Thus, the disparity vector at the position (xi, yi) is detected as (xi′ ⁇ xi, yi′ ⁇ yi).
  • the left eye image has the pixel at the position (xj, yj) at the upper left, for example, 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ Sixteen pixel blocks Bj are set and detected in the same process.
  • the caption generation unit 132 generates the (caption text data of ARIB method) subtitle data.
  • the caption encoder 133 generates a caption data stream (caption elementary stream) including the caption data generated by the caption generator 132.
  • FIG. 7A shows a configuration example of a caption data stream.
  • three caption units (captions) “1st Caption Unit”, “2nd Caption Unit”, and “3rd Caption Unit” are displayed on the same screen. Is shown.
  • the caption data of each caption unit is inserted into the caption data stream as the caption text data (caption code) of the caption text data group.
  • setting data such as the display area of each caption unit is inserted into the caption data stream as data of a caption management data group.
  • the caption unit display areas of "1st Caption Unit", “2nd Caption Unit” and “3rd Caption Unit” are indicated by (x1, y1), (x2, y2), and (x3, y3), respectively. .
  • the parallax information creation unit 131 has a viewer function.
  • the disparity information creating unit 131 performs a downsizing process on the disparity information output from the data extracting unit 130, that is, the disparity vector for each pixel (pixel), and generates a disparity vector belonging to a predetermined region.
  • Figure 8 shows an example of relative depth of the data given as the luminance value of each pixel (pixel).
  • the data in the relative depth direction can be handled as a disparity vector for each pixel by a predetermined conversion.
  • the luminance value of the person portion is high. This means that the value of the parallax vector of the person portion is large, and therefore, in stereoscopic image display, this means that the person portion is perceived as being raised.
  • the luminance value of the background portion is low. This means that the value of the parallax vector in the background portion is small, and therefore, in stereoscopic image display, this means that the background portion is perceived as a sunken state.
  • FIG. 9 shows an example of a disparity vector for each block.
  • the block corresponds to an upper layer of pixels (picture elements) located at the lowermost layer.
  • This block is configured by dividing an image (picture) region into a predetermined size in the horizontal direction and the vertical direction.
  • the disparity vector of each block is obtained, for example, by selecting the disparity vector having the largest value from the disparity vectors of all pixels (pixels) existing in the block.
  • the disparity vector of each block is indicated by an arrow, and the length of the arrow corresponds to the magnitude of the disparity vector.
  • FIG. 10 shows an example of the downsizing process performed by the parallax information creating unit 131.
  • the disparity information creating unit 131 obtains a disparity vector for each block using a disparity vector for each pixel (pixel) as illustrated in FIG.
  • a block corresponds to an upper layer of pixels located at the lowest layer, and is configured by dividing an image (picture) region into a predetermined size in the horizontal direction and the vertical direction.
  • the disparity vector of each block is obtained, for example, by selecting the disparity vector having the largest value from the disparity vectors of all the pixels (pixels) existing in the block.
  • the disparity information creating unit 131 obtains a disparity vector for each group (Group Of ⁇ ⁇ ⁇ ⁇ Block) using the disparity vector for each block, as illustrated in FIG.
  • a group is an upper layer of a block, and is obtained by grouping a plurality of adjacent blocks together.
  • each group is constituted by four blocks enclosed in the broken line frame.
  • the disparity vector of each group is obtained, for example, by selecting the disparity vector having the largest value from the disparity vectors of all blocks in the group.
  • the disparity information creating unit 131 obtains a disparity vector for each partition (Partition) using the disparity vector for each group as shown in FIG.
  • the partition is an upper layer of the group and is obtained by grouping a plurality of adjacent groups together.
  • each partition is composed of two groups bounded by a broken line frame.
  • the disparity vector of each partition is obtained, for example, by selecting the disparity vector having the largest value from the disparity vectors of all groups in the partition.
  • the disparity information creating unit 131 obtains the disparity vector of the entire picture (entire image) located in the highest layer using the disparity vector for each partition.
  • the whole picture includes four partitions that are bounded by a broken line frame.
  • the disparity vector for the entire picture is obtained, for example, by selecting the disparity vector having the largest value from the disparity vectors for all partitions included in the entire picture.
  • the disparity information creating unit 131 performs the downsizing process on the disparity vector for each pixel (pixel) located in the lowest layer, and the disparity vectors of the respective regions in each layer of the block, the group, the partition, and the entire picture Can be requested.
  • the disparity vectors of four layers of blocks, groups, partitions, and entire pictures are obtained.
  • the number of hierarchies, how to cut areas in each hierarchy, and the number of areas are not limited to this.
  • the disparity information creating unit 131 creates disparity vectors corresponding to a predetermined number of caption units (captions) displayed on the same screen by the above-described downsizing process. In this case, the disparity information creating unit 131 creates a disparity vector (individual disparity vector) for each caption unit, or creates a disparity vector common to each caption unit (common disparity vector). This selection depends on, for example, user settings.
  • the disparity information creating unit 131 When creating the individual disparity vector, the disparity information creating unit 131 obtains a disparity vector belonging to the display area by the above-described downsizing process based on the display area of each caption unit. Further, when creating the common disparity vector, the disparity information creating unit 131 obtains the disparity vector of the entire picture (entire image) by the above-described downsizing process (see FIG. 10D). Note that when creating the common parallax vector, the parallax information creation unit 131 may obtain a parallax vector belonging to the display area of each caption unit and select the parallax vector having the largest value.
  • the caption encoder 133 includes the disparity vector (disparity information) created by the disparity information creating unit 131 as described above in the caption data stream.
  • the caption data of each caption unit displayed on the same screen is inserted as the caption text data (caption code) in the PES stream of the caption text data group.
  • disparity vectors are inserted as caption display control information in the PES stream of the caption text data group.
  • the disparity information creating unit 131 creates individual disparity vectors corresponding to each caption unit, as shown in FIG. “Disparity 1” is an individual disparity vector corresponding to “1st Caption Unit”. “Disparity 2” is a disparity vector corresponding to “2nd Caption Unit”. “Disparity 3” is an individual disparity vector corresponding to “3rd Caption Unit”.
  • FIG. 11A shows a configuration example of a PES stream of a caption text data group among caption data streams (PES streams) generated by the caption encoder 133.
  • the caption sentence information (caption sentence data) of each caption unit is inserted into the PES stream of this caption sentence data group.
  • display control information (disparity information) corresponding to the caption text information of each caption unit is inserted into the PES stream of this caption text data group.
  • the disparity information as each display control information is the individual disparity vector created by the disparity information creating unit 131 as described above.
  • the setting data such as the display area of each caption unit is inserted as subtitle management data (control code) into the PES stream of the subtitle management data group, although not shown.
  • the caption unit display areas of “1st ⁇ Caption Unit ”,“ 2nd Caption Unit ”, and“ 3rd Caption Unit ” are indicated by (x1, y1), (x2, y2), and (x3, y3), respectively. ing.
  • FIG. 11 (c) shows a first view (1st view) on which each caption unit (caption) is superimposed, for example, a right eye image.
  • FIG. 11D shows a second view (1st View) in which each caption unit is superimposed, for example, a left eye image.
  • the individual disparity vector corresponding to each caption unit is used to give disparity between each caption unit superimposed on the right eye image and each caption unit superimposed on the left eye image, for example. Used for.
  • disparity information creating unit 131 creates a common disparity vector.
  • three caption units (captions) “1st ⁇ Caption Unit ”,“ 2nd Caption Unit ”, and“ 3rd Caption Unit ” are displayed on the same screen.
  • the disparity information creating unit 131 creates a common disparity vector “Disparity” common to the caption units, as shown in FIG.
  • FIG. 12A shows a configuration example of a PES stream of a caption text data group among caption data streams (PES streams) generated by the caption encoder 133.
  • the caption sentence information (caption sentence data) of each caption unit is inserted into the PES stream of this caption sentence data group.
  • display control information (disparity information) corresponding to the caption text information of each caption unit is inserted into the PES stream of this caption text data group.
  • the disparity information as the display control information is the common disparity vector created by the disparity information creating unit 131 as described above.
  • the setting data such as the display area of each caption unit is inserted as subtitle management information (control code) into the PES stream of the subtitle management data group, although not shown.
  • the display areas of the caption units of “1st Caption Unit”, “2nd Caption Unit”, and “3rd Caption Unit” are indicated by (x1, y1), (x2, y2), and (x3, y3), respectively. ing.
  • FIG. 12 (c) shows a first view (1st view) on which each caption unit (caption) is superimposed, for example, a right eye image.
  • FIG. 12D shows a second view (1st View) in which each caption unit is superimposed, for example, a left eye image.
  • the common disparity vector common to each caption unit is used to give disparity between each caption unit superimposed on the right eye image and each caption unit superimposed on the left eye image, for example. Used for.
  • FIGS. 13A and 13B show a case where the positions of both the caption unit superimposed on the first view and the second view are shifted.
  • the shift value (offset value) D [i] of each caption unit in the first view and the second view from the value “disparity [i]” of the disparity vector “Disparity” corresponding to each caption unit.
  • disparity [i] is an even number
  • the position of each caption unit to be superimposed on the first view is shifted to the left by “disparity [i] / 2”.
  • the position of each caption unit to be superimposed on the second view is shifted to the right by (disparity [i] / 2).
  • disparity (i) is an odd number
  • “D [i] is obtained in the second view.
  • i] (disparity [i] -1) / 2 ".
  • the position of each caption unit to be superimposed on the first view is shifted to the left by “(disparity [i] +1) / 2”.
  • the position of each caption unit to be superimposed on the second view is shifted to the right by “(disparity [i] ⁇ 1) / 2”.
  • FIG. 14 shows a packet structure of a caption code.
  • Data_group_id indicates data group identification, and here indicates a caption sentence data group.
  • Data_group_size indicates the number of bytes of the subsequent data group data.
  • this data group data is caption text data (caption_data).
  • One or more data units are arranged in the caption text data. Each data unit is separated by a data unit separation code (unit_separator).
  • a caption code is arranged as data unit data (data_unit_data) in each data unit.
  • FIG. 15 shows a packet structure of control codes included in the PES stream of the caption management data group.
  • Data_group_size indicates the number of bytes of subsequent data group data. If a caption management data group, the data group data is a caption management data (caption_management_data).
  • This subtitle management data has one or more data units. Each data unit is separated by a data unit separation code (unit_separator). A control code is arranged as data unit data (data_unit_data) in each data unit. In this embodiment, the value of the disparity vector is given as an 8-unit code.
  • FIG. 16 shows the structure of a data group in a caption data stream (PES stream).
  • a 6-bit field of “data_group_id” indicates data group identification, and identifies the types of caption management data and caption text data.
  • a 16-bit field of “data_group_size” indicates the number of bytes of subsequent data group data in this data group field.
  • Data group data is stored in “data_group_data_byte”.
  • “CRC — 16” is a 16-bit cyclic redundancy check code. The encoding section of the CRC code is from the beginning of “data_group_id” to the end of “data_group_data_byte”.
  • caption management data group “data_group_data_byte” in the data group structure of FIG. 16 is caption management data (caption_management_data).
  • caption data “data_group_data_byte” in the data group structure of FIG. 16 is caption data (caption_data).
  • FIG. 17 schematically shows the structure of caption data.
  • “Advanced_rendering_version” is 1-bit flag information newly defined in this embodiment and indicating whether it corresponds to extended display of subtitles.
  • the flag information arranged in the upper layer of the data unit as described above it is possible to easily grasp whether or not the extended display of subtitles is supported.
  • the 24-bit field of “data_unit_loop_length” indicates the number of bytes of the subsequent data unit in this caption text data field.
  • data_unit a data unit to be transmitted in the caption text data field is stored.
  • FIG. 18 schematically shows the structure of caption management data. Although the detailed description is omitted, the structure is the same as that of the caption text data described above except that there is no “advanced_rendering_version”.
  • FIG. 19 shows the structure (Syntax) of the data unit (data_unit) included in the caption data stream.
  • 8-bit field of “unit_separator” indicates data unit separation code, there is a "0x1F”.
  • the 8-bit field of “data_unit_parameter” is a data unit parameter that identifies the type of data unit.
  • FIG. 20 shows data unit types, data unit parameters, and functions.
  • the data unit parameter indicating the data unit of the main text is “0x20”.
  • the data unit parameter indicating the geometric data unit is “0x28”.
  • a data unit parameter indicating a bitmap data unit is set to “0x35”.
  • a data unit for extended display control for storing display control information is newly defined, and a data unit parameter indicating this data unit is set to, for example, “0x4F”.
  • FIG. 21 shows the structure (Syntax) of the data unit (data_unit) for extended display control.
  • the data unit parameter is “0x4F”
  • display control information is stored in “Advanced_Rendering_Control” as “data_unit_data_byte”.
  • FIG. 22 shows the structure (Syntax) of “Advanced_Rendering_Control”.
  • FIG. 22 shows a structure in the case of inserting stereo video parallax information as display control information. That is, FIG. 22 shows the structure of “Advanced_Rendering_Control” in the data unit (data_unit) of extended display control included in the caption text data group.
  • the 8-bit field of “start_code” indicates the beginning of “Advanced_Rendering_Control”.
  • a 16-bit field of “data_unit_id” indicates a data unit ID.
  • the 8-bit field of “Advanced_rendering_type” is an advanced rendering type that specifies the type of display control information.
  • the data unit parameter is, for example, “0x01”, indicating that the display control information is “stereo video parallax information”.
  • Disparity information is stored in “disparity_information”.
  • 25 and 26 show the main data definition contents in the structure of “Advanced_Rendering_Control” described above and further in the structure of “disparity_information” shown in FIGS. 23 and 24 to be described later.
  • FIG. 23 and 24 show the structure (Syntax) of “disparity_information” in “Advanced_Rendering_Control” in the data unit (data_unit) of extended display control included in the caption text data group.
  • the 8-bit field of “sync_byte” is identification information of “disparity_information”, and indicates the beginning of this “disparity_information”.
  • “Interval_PTS [32..0]” specifies the frame period (interval of one frame) in the update frame interval of disparity information (disparity) in units of 90 KHz. That is, “interval_PTS [32..0]” represents a value obtained by measuring the frame period with a clock of 90 KHz in 33-bit length.
  • disparity information by specifying the frame period with “interval_PTS [32..0]”, it is possible to correctly convey the disparity information update frame interval intended on the transmission side to the reception side.
  • this information is not added, for example, the video frame period is referred to on the receiving side.
  • “Rendering_level” indicates a level corresponding to disparity information (disparity) that is essential on the reception side (decoder side) when displaying captions. “00” indicates that subtitle three-dimensional display using parallax information is optional. “01” indicates that subtitle three-dimensional display using disparity information (default_disparity) commonly used within the subtitle display period is essential. “10” indicates that subtitle three-dimensional display using disparity information (disparity_update) sequentially updated within the subtitle display period is essential.
  • Temporal_extension_flag is 1-bit flag information indicating the presence / absence of disparity information (disparity_update) that is sequentially updated within the caption display period. In this case, “1” indicates that it exists, and “0” indicates that it does not exist.
  • the 8-bit field “default_disparity” indicates default disparity information. This disparity information is disparity information when updating is not performed, that is, disparity information that is commonly used within a caption display period.
  • Shared_disparity indicates whether or not to perform common disparity information (disparity) control across data units (Data_unit). “1” indicates that one common disparity information (disparity) is applied to a plurality of subsequent data units (Data_unit). “0” indicates that the disparity information (Disparity) is applied to only one data unit (data_unit).
  • the disparity information includes “disparity_temporal_extension ()”.
  • BSP Base : Segment Period
  • FIG. 27 illustrates an example of updating disparity information for each base segment period (BSP).
  • the base segment period means an update frame interval.
  • the disparity information sequentially updated within the caption display period includes the disparity information of the first frame in the caption display period, and the disparity information of the frame for each subsequent base segment period (updated frame interval). It is made up of.
  • the 2-bit field of“ temporal_division_size ” indicates the number of frames included in the base segment period (update frame interval). “00” indicates 16 frames. “01” indicates 25 frames. “10” indicates 30 frames. Further, “11” indicates 32 frames.
  • “Temporal_division_count” indicates the number of base segments included in the caption display period.
  • “Disparity_curve_no_update_flag” is 1-bit flag information indicating whether or not disparity information is updated. “1” indicates that the disparity information is not updated at the edge of the corresponding base segment, that is, skipping, and “0” indicates that the disparity information is updated at the edge of the corresponding base segment.
  • FIG. 28 shows an example of updating disparity information for each base segment period (BSP).
  • BSP base segment period
  • the disparity information includes “shifting_interval_counts” of the corresponding base segment. Further, when the disparity information is updated when “disparity_curve_no_update_flag” is “0”, the disparity information includes “disparity_update”.
  • a 6-bit field of “shifting_interval_counts” indicates a draw factor for adjusting the base segment period (update frame interval), that is, the number of subtracted frames.
  • the base segment period is adjusted by a draw factor.
  • the presence of this adjustment information makes it possible to adjust the base segment period (update frame interval), and more accurately convey changes in the time direction (frame direction) of disparity information to the receiving side. .
  • the adjustment in the direction of increasing by the number of added frames may be considered.
  • bidirectional adjustment is possible by setting a 6-bit field of “shifting_interval_counts” as a signed integer.
  • interval_PTS [32..0] is added to the structure (Syntax) of “disparity_information” shown in FIG.
  • a structure (Syntax) of “disparity_information” without “interval_PTS [32..0]” may be considered.
  • the structure of “disparity_information” is as shown in FIG.
  • the video encoder 113 performs encoding such as MPEG4-AVC, MPEG2, VC-1, etc. on the stereoscopic image data supplied from the data extraction unit 130 to generate a video elementary stream.
  • the audio encoder 117 performs encoding such as MPEG-2Audio AAC on the audio data supplied from the data extraction unit 130 to generate an audio elementary stream.
  • the multiplexer 122 multiplexes the elementary streams output from the video encoder 113, the audio encoder 117, and the caption encoder 133.
  • the multiplexer 122 outputs bit stream data (transport stream) BSD as transmission data (multiplexed data stream).
  • the operation of the transmission data generation unit 110 shown in FIG. 2 will be briefly described.
  • the stereoscopic image data output from the data extraction unit 130 is supplied to the video encoder 113.
  • the stereoscopic image data is encoded by MPEG4-AVC, MPEG2, VC-1, or the like, and a video elementary stream including the encoded video data is generated. This video elementary stream is supplied to the multiplexer 122.
  • the caption generation unit 132 generates ARIB format caption data. This caption data is supplied to the caption encoder 133.
  • the caption encoder 133 generates a caption elementary stream (caption data stream) including the caption data generated by the caption generator 132. This subtitle elementary stream is supplied to the multiplexer 122.
  • the disparity vector for each pixel (pixel) output from the data extracting unit 130 is supplied to the disparity information creating unit 131.
  • disparity vectors horizontal disparity vectors
  • corresponding to a predetermined number of caption units (captions) displayed on the same screen are created by downsizing processing.
  • the disparity information creating unit 131 creates a disparity vector (individual disparity vector) for each caption unit, or a disparity vector common to all caption units (common disparity vector).
  • the disparity vector created by the disparity information creating unit 131 is supplied to the caption encoder 133.
  • the disparity vector is included in the caption data stream (see FIGS. 11 to 12).
  • caption data of each caption unit displayed on the same screen is inserted as caption text data (caption code) in the PES stream of the caption text data group.
  • disparity vectors are inserted as caption display control information in the PES stream of the caption text data group.
  • the disparity vector is inserted into an extended display control data unit that sends out newly defined display control information (see FIGS. 21 to 24 and FIG. 29).
  • the audio data output from the data extraction unit 130 is supplied to the audio encoder 117.
  • the audio encoder 117 performs encoding such as MPEG-2Audio AAC on the audio data, and generates an audio elementary stream including the encoded audio data. This audio elementary stream is supplied to the multiplexer 122.
  • the elementary stream from the video encoder 113, the audio encoder 117, and the caption encoder 133 is supplied to the multiplexer 122.
  • the multiplexer 122 the elementary streams supplied from the encoders are packetized and multiplexed to obtain bit stream data (transport stream) BSD as transmission data.
  • FIG. 30 shows a configuration example of a general transport stream (multiplexed data stream) including a video elementary stream, an audio elementary stream, and a caption elementary stream.
  • This transport stream includes PES packets obtained by packetizing each elementary stream.
  • the PES packet “Video PES” of the video elementary stream is included.
  • the PES packet “Audio PES” of the audio elementary stream and the PES packet “CaptionPES” of the caption elementary stream are included.
  • the transport stream includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the transport stream includes an EIT (EventInformation Table) as SI (Serviced Information) for managing each event.
  • the PMT has a program descriptor (Program Descriptor) that describes information related to the entire program.
  • the PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are a video elementary loop, an audio elementary loop, and a caption elementary loop.
  • information such as a packet identifier (PID) and a stream type (Stream_Type) is arranged for each stream, and although not shown, there is a descriptor that describes information related to the elementary stream. Be placed.
  • PID packet identifier
  • Stream_Type stream type
  • the transport stream multiplexed data stream
  • the extended display control of caption is, for example, three-dimensional caption display using parallax information.
  • this subtitle data stream supports extended display control of subtitles without opening the data in the subtitle data stream.
  • the multiplexer 122 inserts this flag information, for example, under the above-mentioned EIT.
  • a data content descriptor is inserted under the EIT.
  • This data content descriptor includes flag information “Advanced_Rendering_support”.
  • FIG. 31 shows a structure example (Syntax) of the data content descriptor.
  • “Descriptor_tag” is 8-bit data indicating the type of descriptor (descriptor), and here indicates a data content descriptor.
  • “Descriptor _length” is 8-bit data indicating the length (size) of the descriptor. This data indicates the number of bytes after “descriptor _length” as the length of the descriptor.
  • “Component_tag” is 8-bit data for associating with a subtitle elementary stream. After this “component_tag”, “arib_caption_info” is defined.
  • FIG. 32A shows a structural example (Syntax) of this “arib_caption_info”.
  • “Advanced_Rendering_support” is 1-bit flag information indicating whether or not the caption data stream is compatible with caption extended display control. “1” indicates that subtitle expansion display is supported. “0” indicates that subtitle extended display control is not supported.
  • FIG. 33 shows a configuration example of a transport stream (multiplexed data stream) in that case.
  • a data encoding scheme descriptor is inserted under the subtitle ES loop of the PMT.
  • the data encoding scheme descriptor includes flag information “Advanced_Rendering_support”.
  • FIG. 34 shows a structure example (Syntax) of the data encoding scheme descriptor.
  • “Descriptor_tag” is 8-bit data indicating the type of descriptor (descriptor), and here indicates a data content descriptor.
  • “Descriptor _length” is 8-bit data indicating the length (size) of the descriptor. This data indicates the number of bytes after “descriptor _length” as the length of the descriptor.
  • “Component_tag” is 8-bit data for associating with a subtitle elementary stream.
  • “data_component_id” is “0x0008” indicating caption data.
  • “additional_arib_caption_info” is defined.
  • FIG. 35 shows a structural example (Syntax) of this “additional_arib_caption_info”.
  • “Advanced_Rendering_support” is 1-bit flag information indicating whether or not the caption data stream supports extended display control of caption, as shown in FIG. “1” indicates that subtitle expansion display is supported. “0” indicates that subtitle extended display control is not supported.
  • the bit stream data BSD output from the multiplexer 122 is a multiplexed data stream including a video data stream and a caption data stream.
  • the video data stream includes stereoscopic image data.
  • the caption data stream includes ARIB caption data (caption unit) and disparity vectors (disparity information).
  • disparity information is inserted into a data unit that transmits caption display control information in the PES stream of the caption text data group, and caption text data (caption sentence information) and disparity information are associated with each other. Therefore, on the reception side (set top box 200), appropriate parallax can be given to caption units (captions) superimposed on the left-eye image and right-eye image using the corresponding disparity vector (disparity information). Therefore, in the display of caption units (captions), perspective consistency with each object in the image can be maintained in an optimum state.
  • disparity information (see “default_disparity” in FIG. 23) that is commonly used within the caption display period is inserted into the newly defined extended display control data unit. Is done. Also, disparity information (see “disparity_update” in FIG. 24) that is sequentially updated within the caption display period can be inserted into this data unit. Then, flag information indicating the presence of disparity information that is sequentially updated within the caption display period is inserted into the extended display control data unit (see “temporal_extension_flag” in FIG. 23).
  • the disparity information sequentially updated within the caption display period inserted into the extended display control data unit is basically based on the base segment period (BSP).
  • the parallax information is used (see FIG. 27). That is, this disparity information includes disparity information of the first frame in the caption display period and disparity information of the frame for each subsequent base segment period.
  • the base segment period update frame interval
  • can be arbitrarily set see “temporal_division_size” in FIG. 24).
  • the update frame interval is shortened so that the change of the disparity information in the time direction is more correctly performed on the receiving side (set top box 200). It becomes possible to convey. For example, when the change in the time direction of the disparity information is moderate, it is possible to suppress the data amount of the disparity information by increasing the update frame interval.
  • This flag information is flag information indicating whether or not disparity information is updated (see “disparity_curve_no_update_flag” in FIG. 24). This flag information is added for each frame for each base segment period (update frame interval). In this case, when a period in which the change in the time direction of the disparity information is similar continues, transmission of the disparity information within the period can be omitted using this flag information (a base marked with “skip” in FIG. 28). It is possible to suppress the data amount of the disparity information) (see the edge of the segment).
  • This adjustment information is adjustment information for adjusting the base segment period (update frame interval) (see “shifting_interval_counts” in FIG. 24).
  • this adjustment information it is possible to arbitrarily adjust the base segment period in a direction to shorten or lengthen the base segment period. As a result, it is possible to more accurately notify the reception side (set top box 200) of the change in the time direction (frame direction) of the disparity information (see adjustment by “Draw factor” in FIG. 28).
  • the transmission data generation unit 110 shown in FIG. 2 information specifying the frame period is inserted in the data unit for extended display control (see “interval_PTS [32..0]” in FIG. 23).
  • the base segment period (update frame interval) of the disparity information intended on the transmission side (broadcast station 100) can be correctly transmitted to the reception side (set top box 200).
  • the video frame period is referred to on the receiving side.
  • the extended display control data unit includes information indicating a disparity information (disparity) correspondence level that is essential on the reception side (decoder side) during caption display. (See “rendering_level” in FIG. 23). In this case, it is possible to control the correspondence to the parallax information on the reception side with this information.
  • the caption data stream (PES stream of the caption text data group) layer, that is, the upper layer of the data unit for extended display control, supports extended display of captions.
  • 1-bit flag information is inserted (see “advanced_rendering_version” in FIG. 17).
  • the flag information As described above, it is possible to easily grasp whether or not the extended display of subtitles is supported.
  • flag information indicating whether the caption data stream corresponds to extended display control of superimposition information is inserted into the multiplexed data stream (transport stream) and accordingly to the system layer. (See “Advanced_Rendering_support” in FIGS. 32 and 35). Therefore, on the receiving side (set top box 200), it is possible to grasp whether or not this subtitle data stream supports extended display control of subtitles without opening the data in the subtitle data stream.
  • the set-top box 200 receives bit stream data (transport stream) BSD transmitted from the broadcasting station 100 on broadcast waves.
  • the bit stream data BSD includes stereoscopic image data and audio data including left eye image data and right eye image data.
  • the bit stream data BSD includes caption unit caption data, and further, a disparity vector (disparity information) for giving disparity to the caption unit.
  • the set top box 200 has a bit stream processing unit 201.
  • the bit stream processing unit 201 extracts stereoscopic image data, audio data, caption unit caption data, disparity vectors, and the like from the bit stream data BSD.
  • the bit stream processing unit 201 generates left eye image data and right eye image data on which captions are superimposed using stereoscopic image data, caption unit caption data, and the like.
  • left-eye caption data and right-eye caption data to be superimposed on the left-eye image and right-eye image are generated based on the disparity vector and caption unit caption data.
  • the left-eye caption and the right-eye caption are the same caption.
  • the superimposed position in the image is shifted in the horizontal direction by, for example, the parallax vector between the left-eye caption and the right-eye caption.
  • parallax is given between the left-eye caption and the right-eye caption, and the recognition position of the caption is set in front of the image.
  • FIG. 36 (a) shows a display example of caption units (captions) on an image.
  • captions are superimposed on an image composed of a background and a foreground object.
  • FIG. 36B shows the perspective of the background, the foreground object, and the caption, and indicates that the caption is recognized at the forefront.
  • FIG. 37 (a) shows a display example of caption units (captions) on the same image as FIG. 36 (a).
  • FIG. 37B shows a left-eye caption LGI superimposed on the left-eye image and a right-eye caption RGI superimposed on the right-eye image.
  • FIG. 37 (c) shows that parallax is given between the left-eye caption LGI and the right-eye caption RGI because the caption is recognized at the forefront.
  • FIG. 38 shows a configuration example of the set top box 200.
  • the set top box 200 includes a bit stream processing unit 201, an HDMI terminal 202, an antenna terminal 203, a digital tuner 204, a video signal processing circuit 205, an HDMI transmission unit 206, and an audio signal processing circuit 207. ing.
  • the set top box 200 includes a CPU 211, a flash ROM 212, a DRAM 213, an internal bus 214, a remote control receiving unit 215, and a remote control transmitter 216.
  • the antenna terminal 203 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 204 processes the television broadcast signal input to the antenna terminal 203 and outputs predetermined bit stream data (transport stream) BSD corresponding to the user's selected channel.
  • the bitstream processing unit 201 extracts stereoscopic image data, audio data, caption unit caption data, disparity vectors, and the like from the bitstream data BSD.
  • the bit stream processing unit 201 synthesizes left-eye caption data and right-eye caption data with stereoscopic image data, and generates and outputs display stereoscopic image data.
  • the bit stream processing unit 201 outputs audio data.
  • the detailed configuration of the bit stream processing unit 201 will be described later.
  • the video signal processing circuit 205 performs image quality adjustment processing on the stereoscopic image data output from the bit stream processing unit 201 as necessary, and supplies the processed stereoscopic image data to the HDMI transmission unit 206.
  • the audio signal processing circuit 207 performs sound quality adjustment processing or the like on the audio data output from the bit stream processing unit 201 as necessary, and supplies the processed audio data to the HDMI transmission unit 206.
  • the HDMI transmission unit 206 transmits baseband image (video) and audio data from the HDMI terminal 202 by communication conforming to HDMI. In this case, since transmission is performed using the HDMI TMDS channel, image and audio data are packed and output from the HDMI transmission unit 206 to the HDMI terminal 202.
  • the CPU 211 controls the operation of each part of the set top box 200.
  • the flash ROM 212 stores control software and data.
  • the DRAM 213 constitutes a work area for the CPU 211.
  • the CPU 211 develops software and data read from the flash ROM 212 on the DRAM 213 to activate the software, and controls each part of the set top box 200.
  • the remote control receiving unit 215 receives the remote control signal (remote control code) transmitted from the remote control transmitter 216 and supplies it to the CPU 211.
  • the CPU 211 controls each part of the set top box 200 based on the remote control code.
  • the CPU 211, flash ROM 212 and DRAM 213 are connected to the internal bus 214.
  • a television broadcast signal input to the antenna terminal 203 is supplied to the digital tuner 204.
  • the digital tuner 204 processes the television broadcast signal and outputs predetermined bit stream data (transport stream) BSD corresponding to the user's selected channel.
  • the bit stream data BSD output from the digital tuner 204 is supplied to the bit stream processing unit 201.
  • the bit stream processing unit 201 extracts stereoscopic image data, audio data, caption unit caption data, disparity vectors, and the like from the bit stream data BSD.
  • the left-eye caption data and the right-eye caption data are combined with the stereoscopic image data to generate display stereoscopic image data.
  • the bit stream processing unit 201 assigns parallax between the left eye caption and the right eye caption based on the disparity vector.
  • the display stereoscopic image data generated by the bit stream processing unit 201 is supplied to the video signal processing circuit 205.
  • image quality adjustment processing or the like is performed on the display stereoscopic image data as necessary.
  • the processed display stereoscopic image data output from the video signal processing circuit 205 is supplied to the HDMI transmission unit 206.
  • the audio data obtained by the bit stream processing unit 201 is supplied to the audio signal processing circuit 207.
  • the audio signal processing circuit 207 performs processing such as sound quality adjustment processing on the audio data as necessary.
  • the processed audio data output from the audio signal processing circuit 207 is supplied to the HDMI transmission unit 206.
  • the stereoscopic image data and audio data supplied to the HDMI transmission unit 206 are transmitted from the HDMI terminal 202 to the HDMI cable 400 via the HDMI TMDS channel.
  • FIG. 39 shows a configuration example of the bit stream processing unit 201.
  • the bit stream processing unit 201 has a configuration corresponding to the transmission data generation unit 110 shown in FIG.
  • the bit stream processing unit 201 includes a demultiplexer 221, a video decoder 222, and a caption decoder 223. Furthermore, the bit stream processing unit 201 includes a stereoscopic image caption generation unit 224, a parallax information extraction unit 225, a video superimposition unit 226, an audio decoder 227, and a parallax information processing unit 228.
  • the demultiplexer 221 extracts video, audio, and subtitle packets from the bit stream data BSD and sends them to each decoder.
  • the video decoder 222 performs processing opposite to that of the video encoder 113 of the transmission data generation unit 110 described above. That is, a video elementary stream is reconstructed from the video packet extracted by the demultiplexer 221, and decoding processing is performed to obtain stereoscopic image data including left-eye image data and right-eye image data.
  • the transmission method of the stereoscopic image data is, for example, the above-described first transmission method (“Top & Bottom” method), the second transmission method (“Side By Side” method), and the third transmission method (“Frame Sequential ”method) (see FIG. 4).
  • the caption decoder 223 performs the reverse process of the caption encoder 133 of the transmission data generation unit 110 described above. That is, the caption decoder 223 reconstructs a caption elementary stream (caption data stream) from the caption packet extracted by the demultiplexer 221, performs decoding processing, and caption data of each caption unit (in the ARIB format). Subtitle data).
  • the disparity information extracting unit 225 extracts disparity vectors (disparity information) corresponding to each caption unit from the caption stream obtained through the caption decoder 223. In this case, a disparity vector (individual disparity vector) for each caption unit, or a disparity vector common to each caption unit (common disparity vector) is obtained (see FIGS. 11 to 12).
  • the caption data stream includes ARIB-style caption (caption unit) data and disparity information (disparity vector).
  • the disparity information is inserted into a data unit that transmits subtitle display control information. Therefore, the disparity information extracting unit 225 can extract the disparity vector in association with the caption data of each caption unit.
  • the disparity information extracting unit 225 acquires disparity information (see “default_disparity” in FIG. 23) that is commonly used within the caption display period. In addition, the disparity information extracting unit 225 may further acquire disparity information (see “disparity_update” in FIG. 24) that is sequentially updated within the caption display period.
  • the disparity information (disparity vector) extracted by the disparity information extracting unit 225 is sent to the stereoscopic image caption generating unit 224 through the disparity information processing unit 228.
  • the disparity information sequentially updated within the caption display period is composed of the disparity information of the first frame in the caption display period and the disparity information of the frame for each subsequent base segment period (update frame interval). ing.
  • the parallax information processing unit 228 sends the parallax information used in common within the caption display period to the stereoscopic image caption generation unit 224 as it is.
  • the disparity information processing unit 228 performs interpolation processing on the disparity information sequentially updated within the caption display period, and generates disparity information at an arbitrary frame interval, for example, one frame interval within the caption display period.
  • the stereoscopic image caption generation unit 224 sends the parallax information used in common within the caption display period to the stereoscopic image caption generation unit 224 as it is.
  • the disparity information processing unit 228 performs interpolation processing on the disparity information sequentially updated within the caption display period, and generates disparity information at an arbitrary frame interval, for example, one frame interval within the caption display period.
  • the disparity information processing unit 228 performs not the linear interpolation process but the interpolation process with the low-pass filter (LPF) process in the time direction (frame direction), and the disparity information at a predetermined frame interval after the interpolation process.
  • the time direction (frame direction) is smoothed.
  • FIG. 40 shows an example of interpolation processing with the above-described LPF processing in the parallax information processing unit 228. This example corresponds to the parallax information update example in FIG. 28 described above.
  • the stereoscopic image caption generation unit 224 generates left-eye caption data and right-eye caption data to be superimposed on the left-eye image and the right-eye image, respectively. This generation process is performed based on the caption data of each caption unit obtained by the caption decoder 223 and the disparity information (disparity vector) supplied through the disparity information processing unit 228.
  • the stereoscopic image caption generation unit 224 outputs left-eye caption data and right-eye caption data (bitmap data).
  • the left eye and right eye captions are the same information.
  • the superimposed position in the image is shifted in the horizontal direction by, for example, the parallax vector between the left-eye caption and the right-eye caption.
  • the same subtitle superimposed on the left eye image and the right eye image can be used with parallax adjusted according to the perspective of each object in the image. The perspective consistency between each object within is maintained.
  • the stereoscopic image caption generation unit 224 uses the disparity information.
  • the stereoscopic image caption generation unit 224 uses any one of the parallax information that is sequentially updated within the caption display period from the parallax information processing unit 228.
  • Which one is used is, for example, as described above, information indicating the disparity information (disparity) correspondence level that is included in the extended display control data unit and is essential on the reception side (decoder side) when displaying captions. (See “rendering_level” in FIG. 23). In this case, for example, when “00”, it depends on the user setting.
  • the disparity information that is sequentially updated within the caption display period, it is possible to dynamically change the disparity to be given to the left eye and the right eye in conjunction with the change in the image content.
  • the video superimposing unit 226 uses the left-eye and right-eye caption data generated by the stereoscopic image caption generation unit 224 for the stereoscopic image data (left-eye image data and right-eye image data) obtained by the video decoder 222. (Bitmap data) is superimposed to obtain display stereoscopic image data Vout.
  • the video superimposing unit 226 outputs the display stereoscopic image data Vout to the outside of the bit stream processing unit 201.
  • the audio decoder 227 performs a process reverse to that of the audio encoder 117 of the transmission data generation unit 110 described above. That is, the audio decoder 227 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 221 and performs a decoding process to obtain audio data Aout. The audio decoder 227 outputs the audio data Aout to the outside of the bit stream processing unit 201.
  • bit stream processing unit 201 shown in FIG. 39 will be briefly described.
  • the bit stream data BSD output from the digital tuner 204 (see FIG. 38) is supplied to the demultiplexer 221.
  • the demultiplexer 221 extracts video, audio, and subtitle packets from the bit stream data BSD and supplies them to each decoder.
  • the video decoder 222 reconstructs a video elementary stream from the video packet extracted by the demultiplexer 221, further performs a decoding process, and generates stereoscopic image data including left-eye image data and right-eye image data. can get.
  • the stereoscopic image data is supplied to the video superimposing unit 226.
  • the subtitle decoder 223 reconstructs a subtitle elementary stream from the subtitle packet extracted by the demultiplexer 221, further performs a decoding process, and provides subtitle data for each caption unit (ARIB subtitle data). Is obtained.
  • the caption data of each caption unit is supplied to the stereoscopic image caption generation unit 224.
  • the disparity information extracting unit 225 extracts disparity vectors (disparity information) corresponding to each caption unit from the caption stream obtained through the caption decoder 223. In this case, a disparity vector (individual disparity vector) for each caption unit, or a disparity vector common to each caption unit (common disparity vector) is obtained.
  • the disparity information extracting unit 225 acquires disparity information that is commonly used within the caption display period, or disparity information that is sequentially updated within the caption display period.
  • the disparity information (disparity vector) extracted by the disparity information extracting unit 225 is sent to the stereoscopic image caption generating unit 224 through the disparity information processing unit 228.
  • the disparity information processing unit 2228 the following processing is performed on the disparity information sequentially updated within the caption display period. That is, the disparity information processing unit 228 performs interpolation processing with LPF processing in the time direction (frame direction), and generates disparity information at an arbitrary frame interval, for example, one frame interval within the caption display period. And sent to the stereoscopic image caption generation unit 224.
  • the left-eye caption and the right-eye caption to be superimposed on the left-eye image and the right-eye image, respectively, based on the caption data of each caption unit and the parallax vector corresponding to each caption unit.
  • Data bitmap data
  • the superimposed position in the image is shifted in the horizontal direction by the amount of the parallax vector, for example, with respect to the left-eye caption.
  • the left eye caption and right eye caption data are supplied to the video superimposing unit 226.
  • the video superimposing unit 226 superimposes the left-eye caption data and the right-eye caption data (bitmap data) generated by the stereoscopic image caption generation unit 224 on the stereoscopic image data obtained by the video decoder 222 for display.
  • Stereoscopic image data Vout is obtained.
  • the display stereoscopic image data Vout is output to the outside of the bit stream processing unit 201.
  • the audio decoder 227 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 221, further performs a decoding process, and audio data Aout corresponding to the display stereoscopic image data Vout described above. Is obtained.
  • the audio data Aout is output to the outside of the bit stream processing unit 201.
  • the received caption data stream includes caption (caption unit) data and disparity vectors (disparity information).
  • a disparity vector (disparity information) is inserted into a data unit for transmitting caption display control information in the PES stream of the caption text data group, and the caption data and the disparity vector are associated with each other. Therefore, the bit stream processing unit 201 can give appropriate disparity to the caption unit (caption) superimposed on the left eye image and the right eye image using the corresponding disparity vector (disparity information). Therefore, in the display of caption units (captions), perspective consistency with each object in the image can be maintained in an optimum state.
  • the disparity information extracting unit 225 of the bitstream processing unit 201 updates the disparity information that is commonly used in the caption display period or sequentially updated in the caption display period together with this. Parallax information is acquired.
  • the stereoscopic image caption generation unit 224 uses the disparity information that is sequentially updated within the caption display period, so that the disparity to be given to the left-eye and right-eye captions is dynamically linked with changes in the image content. It can be changed.
  • the disparity information processing unit 228 of the bit stream processing unit 201 performs interpolation processing on disparity information that is sequentially updated within the caption display period, so that the caption display period is within the caption display period. Disparity information at arbitrary frame intervals is generated. In this case, even when the disparity information is transmitted from the transmission side (broadcast station 100) every base segment period (update frame interval) such as 16 frames, the disparity given to the left-eye and right-eye captions is reduced. It is possible to control at fine intervals, for example, for each frame.
  • the disparity information processing unit 228 of the bit stream processing unit 201 performs an interpolation process with a low-pass filter process in the time direction (frame direction) in the set top box 200 shown in FIG. Therefore, even when disparity information is transmitted from the transmission side (broadcast station 100) every base segment period (updated frame interval), the change in the time direction (frame direction) of the disparity information after the interpolation processing is gently performed. Yes (see FIG. 40). Therefore, it is possible to suppress a sense of incongruity due to the disparity transitions given to the left-eye and right-eye captions being discontinuous at each update frame interval.
  • the television receiver 300 receives stereoscopic image data sent from the set top box 200 via the HDMI cable 400.
  • the television receiver 300 includes a 3D signal processing unit 301.
  • the 3D signal processing unit 301 performs processing (decoding processing) corresponding to the transmission method on the stereoscopic image data to generate left-eye image data and right-eye image data.
  • FIG. 41 illustrates a configuration example of the television receiver 300.
  • the television receiver 300 includes a 3D signal processing unit 301, an HDMI terminal 302, an HDMI receiving unit 303, an antenna terminal 304, a digital tuner 305, and a bit stream processing unit 306.
  • the television receiver 300 includes a video / graphic processing circuit 307, a panel drive circuit 308, a display panel 309, an audio signal processing circuit 310, an audio amplification circuit 311, and a speaker 312.
  • the television receiver 300 includes a CPU 321, a flash ROM 322, a DRAM 323, an internal bus 324, a remote control receiving unit 325, and a remote control transmitter 326.
  • the antenna terminal 304 is a terminal for inputting a television broadcast signal received by a receiving antenna (not shown).
  • the digital tuner 305 processes the television broadcast signal input to the antenna terminal 304 and outputs predetermined bit stream data (transport stream) BSD corresponding to the user's selected channel.
  • the bit stream processing unit 306 has the same configuration as the bit stream processing unit 201 in the set top box 200 shown in FIG.
  • the bit stream processing unit 306 extracts stereoscopic image data, audio data, caption unit caption data, disparity vectors, and the like from the bit stream data BSD.
  • the bit stream processing unit 306 combines the left-eye caption data and the right-eye caption data with the stereoscopic image data to generate and output stereoscopic image data for display.
  • the bit stream processing unit 306 outputs audio data.
  • the HDMI receiving unit 303 receives uncompressed image data and audio data supplied to the HDMI terminal 302 via the HDMI cable 400 by communication conforming to HDMI.
  • the HDMI receiving unit 303 has a version of, for example, HDMI 1.4a, and can handle stereoscopic image data.
  • the 3D signal processing unit 301 performs decoding processing on the stereoscopic image data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306 to generate left eye image data and right eye image data. To do. In this case, the 3D signal processing unit 301 performs decoding processing corresponding to the transmission method (see FIG. 4) on the stereoscopic image data obtained by the bit stream processing unit 306. The 3D signal processing unit 301 performs a decoding process corresponding to the TMDS transmission data structure on the stereoscopic image data received by the HDMI receiving unit 303.
  • the video / graphic processing circuit 307 generates image data for displaying a stereoscopic image based on the left eye image data and right eye image data generated by the 3D signal processing unit 301.
  • the video / graphic processing circuit 307 performs image quality adjustment processing on the image data as necessary. Further, the video / graphic processing circuit 307 synthesizes superimposition information data such as a menu and a program guide with the image data as necessary.
  • the panel drive circuit 308 drives the display panel 309 based on the image data output from the video / graphic processing circuit 307.
  • the display panel 309 includes, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or the like.
  • the audio signal processing circuit 310 performs necessary processing such as D / A conversion on the audio data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306.
  • the audio amplification circuit 311 amplifies the audio signal output from the audio signal processing circuit 310 and supplies the amplified audio signal to the speaker 312.
  • the CPU 321 controls the operation of each unit of the television receiver 300.
  • the flash ROM 322 stores control software and data.
  • the DRAM 323 constitutes a work area for the CPU 321.
  • the CPU 321 develops software and data read from the flash ROM 322 on the DRAM 323 to activate the software, and controls each unit of the television receiver 300.
  • the remote control receiving unit 325 receives the remote control signal (remote control code) transmitted from the remote control transmitter 326 and supplies it to the CPU 321.
  • the CPU 321 controls each part of the television receiver 300 based on the remote control code.
  • the CPU 321, flash ROM 322, and DRAM 323 are connected to the internal bus 324.
  • the HDMI receiving unit 303 receives stereoscopic image data and audio data transmitted from the set top box 200 connected to the HDMI terminal 302 via the HDMI cable 400.
  • the stereoscopic image data received by the HDMI receiving unit 303 is supplied to the 3D signal processing unit 301.
  • the audio data received by the HDMI receiving unit 303 is supplied to the audio signal processing circuit 310.
  • the TV broadcast signal input to the antenna terminal 304 is supplied to the digital tuner 305.
  • the digital tuner 305 processes the television broadcast signal and outputs predetermined bit stream data (transport stream) BSD corresponding to the user's selected channel.
  • the bit stream data BSD output from the digital tuner 305 is supplied to the bit stream processing unit 306.
  • the bit stream processing unit 306 extracts stereoscopic image data, audio data, caption unit caption data, disparity vectors, and the like from the bit stream data BSD. Further, in the bit stream processing unit 306, the left-eye caption data and the right-eye caption data are combined with the stereoscopic image data, and display stereoscopic image data is generated.
  • the display stereoscopic image data generated by the bit stream processing unit 306 is supplied to the 3D signal processing unit 301. Also, the audio data obtained by the bit stream processing unit 306 is supplied to the audio signal processing circuit 310.
  • the 3D signal processing unit 301 performs decoding processing on the stereoscopic image data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306 to generate left eye image data and right eye image data. Is done.
  • the left eye image data and right eye image data are supplied to the video / graphic processing circuit 307.
  • image data for displaying a stereoscopic image is generated based on the left eye image data and the right eye image data, and image quality adjustment processing and superimposition information data synthesis processing are performed as necessary. Is also done.
  • the image data obtained by the video / graphic processing circuit 307 is supplied to the panel drive circuit 308. Therefore, a stereoscopic image is displayed on the display panel 309.
  • the left eye image based on the left eye image data and the right eye image based on the right eye image data are alternately displayed on the display panel 309 in a time division manner.
  • the viewer can see only the left-eye image with the left eye and the right eye with the shutter glasses by alternately opening the left-eye shutter and the right-eye shutter in synchronization with the display on the display panel 309. Only the right eye image can be seen, and a stereoscopic image can be perceived.
  • the audio signal processing circuit 310 necessary processing such as D / A conversion is performed on the audio data received by the HDMI receiving unit 303 or obtained by the bit stream processing unit 306.
  • the audio data is amplified by the audio amplification circuit 311 and then supplied to the speaker 312. Therefore, sound corresponding to the display image on the display panel 309 is output from the speaker 312.
  • the stereoscopic image display system 10 includes the broadcasting station 100, the set top box 200, and the television receiver 300.
  • the television receiver 300 includes a bit stream processing unit 306 that functions in the same manner as the bit stream processing unit 201 in the set top box 200, as shown in FIG. Therefore, as shown in FIG. 42, a stereoscopic image display system 10A including a broadcasting station 100 and a television receiver 300 is also conceivable.
  • the set-top box 200 and the television receiver 300 are connected by an HDMI digital interface. However, they are, when connected by the HDMI digital interface similar to the digital interface (including in addition to wireless wired), the present invention can be applied similarly.
  • the caption unit (caption) is handled as the superimposition information.
  • the present invention can be similarly applied to other information that handles superimposition information such as graphics information and text information.
  • the present invention can be applied to a stereoscopic image system that displays superimposition information such as captions superimposed on an image.
  • CPU 215 Remote control reception unit 216: Remote control transmitter 221 ... Demultiplexer 222 ... Video decoder 223 ... Subtitle decoder 224 ... Stereo image caption generation unit 225 ... Parallax information extraction unit 226: Video superimposing unit 227: Audio decoder 228: Parallax information processing unit 300: Television receiver (TV) DESCRIPTION OF SYMBOLS 301 ... 3D signal processing part 302 ... HDMI terminal 303 ... HDMI receiving part 304 ... Antenna terminal 305 ... Digital tuner 306 ... Bit stream processing part 307 ... Video / graphic processing circuit 308 ... Panel drive circuit 309 ... Display panel 310 ... Audio signal processing circuit 311 ... Audio amplification circuit 312 ... Speaker 321 ... CPU 325 ... Remote control receiver 326 ... Remote control transmitter 400 ... HDMI cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ＡＲＩＢ方式の字幕（キャプション・ユニット）の重畳表示において、画像内の各物体との間の遠近感の整合性の維持を図る。 【解決手段】字幕データストリームに、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データを挿入する。表示制御情報を送出する拡張表示制御のデータユニット（データユニットパラメータ＝0x4F）を新たに定義する。字幕文データグループのＰＥＳストリームにおいて、表示制御情報を送出するデータユニットに視差情報を挿入し、字幕文データ（字幕文情報）と視差情報との対応付けを行う。受信側では、左眼画像および右眼画像に重畳されるキャプション・ユニットに、適切な視差を付与できる。

Description

立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
　この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、字幕などの重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。
　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
　図４３は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
特開２００５－６１１４号公報
　上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
　例えば、画像に字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
　この発明の目的は、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。また、この発明の目的は、例えば、ＡＲＩＢ方式において、視差情報を重畳情報に関連付けて送ることを容易とすることにある。
　この発明の概念は、
　左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
　上記画像データ出力部から出力される立体画像データ含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、
　上記視差情報は、上記データユニットに挿入されている
　立体画像データ送信装置。
　この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを含む立体画像データが出力される。また、重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕などの情報を意味している。また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。
　そして、データ送信部により、第１のデータストリームと第２のデータストリームとを有する多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される立体画像データを含まれている。また、第２のデータストリームには、重畳情報データ出力部から出力される重畳情報のデータおよび視差情報出力部から出力される視差情報が含まれている。
　第２のデータストリームは、重畳情報の表示制御情報を送出するデータユニットを有するものとされ、視差情報は、このデータユニットに挿入されている。例えば、重畳情報のデータはＡＲＩＢ方式の字幕文データであり、視差情報が挿入されるデータユニットは字幕文グループ内のデータユニットとされる。例えば、このデータユニットに挿入された視差情報は、タイプ情報により、他の表示制御情報と区別される。例えば、データユニットに挿入されている視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報、または同一画面に表示される複数の重畳情報に対応した視差情報とされる。
　このように、この発明においては、第２のデータストリームが有する、重畳情報の表示制御情報を送出するデータユニットに視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。そのため、受信側においては、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。そのため、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　なお、この発明において、例えば、視差情報は、重畳情報が表示される所定数のフレーム期間内で共通に使用される第１の視差情報、またはこの第１の視差情報および所定数のフレーム期間内で順次更新される第２の視差情報であり、データユニットには、第２の視差情報の存在を示すフラグ情報が挿入されていてもよい。この場合、第１の視差情報のみを送信するか、さらに、第２の視差情報を送信するかを選択することが可能となる。第２の視差情報を送信することで、受信側において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
　また、この発明において、例えば、第２の視差情報は、所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるようにしてもよい。この場合、更新フレーム間隔は任意に設定される。例えば、視差情報の時間方向（フレーム方向）の変化が激しい場合には、更新フレーム間隔を短くすることで、受信側に、視差情報の時間方向の変化をより正しく伝えることが可能となる。また、例えば、視差情報の時間方向の変化が緩やかな場合には、更新フレーム間隔を長くするとで、視差情報のデータ量を抑制することが可能となる。
　また、この発明において、例えば、第２の視差情報には、更新フレーム間隔毎のフレームのそれぞれについて、視差情報の更新の有無を示すフラグ情報が付加されていてもよい。この場合、視差情報の時間方向の変化が同様となる期間が続く場合には、このフラグ情報を用いてその期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。
　また、この発明において、例えば、第２の視差情報には、更新フレーム期間毎のフレームのそれぞれについて、更新フレーム間隔を調整する情報が付加されていてもよい。この場合、この調整情報に基づいて、更新フレーム間隔を短くする方向あるいは長くする方向に任意に調整することが可能となり、受信側に、視差情報の時間方向の変化をより的確に伝えることが可能となる。
　また、この発明において、例えば、視差情報が挿入される表示制御情報を送出するデータユニットには、フレーム周期を指定する情報が挿入されていてもよい。これにより、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。
　また、この発明において、例えば、視差情報が挿入される表示制御情報を送出するデータユニットには、重畳情報の表示の際に必須の、視差情報に対する対応レベルを示す情報が挿入されていてもよい。この場合、この情報により、受信側における視差情報に対する対応を制御することが可能となる。
　また、この発明において、例えば、第２のデータストリームには、データユニットの上位レイヤに、重畳情報の拡張表示に対応しているかを示すフラグ情報が含まれていてもよい。この場合、このフラグ情報により、受信側では、重畳情報の拡張表示、例えば３次元表示等に対応しているか否かを容易に把握可能となる。
　また、この発明において、例えば、多重化データストリームに、第２のデータストリームが重畳情報の拡張表示制御に対応しているかを示すフラグ情報が挿入されていてもよい。この場合、受信側においては、第２のデータストリーム内のデータを開くことなく、この第２のデータストリームが重畳情報の拡張表示制御に対応しているか否かを把握可能となる。
　例えば、多重化ストリームにはイベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、フラグ情報はイベント・インフォメーション・テーブルの配下に挿入される。また、例えば、多重化データストリームには、この多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、フラグ情報はプログラム・マップ・テーブルの配下に挿入される
　この発明の他の概念は、
　第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
　上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
　上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
　上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
　上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得部と、
　上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得部と、
　上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
　立体画像データ受信装置にある。
　この発明において、データ受信部により、第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームが受信される。第１のデータストリームには、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含まれている。また、第２のデータストリームには、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータと、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報とが含まれている。
　第２のデータストリームは、重畳情報の表示制御情報を送出するデータユニットを有するものとされ、視差情報はこのデータユニットに挿入されている。例えば、重畳情報のデータはＡＲＩＢ方式の字幕文データであり、視差情報が挿入されるデータユニットは字幕文グループ内のデータユニットとされる。例えば、このデータユニットに挿入された視差情報は、タイプ情報により、他の表示制御情報と区別される。
　画像データ取得部により、データ受信部で受信された多重化データストリームに含まれる第１のデータストリームから立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから重畳情報のデータが取得される。また、視差情報取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから視差情報が取得される。
　そして、画像データ処理部により、左眼画像データおよび右眼画像データと、重畳情報のデータと、視差情報とが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。
　このように、この発明においては、重畳情報が含まれる第２のデータストリームが有する、この重畳情報の表示制御情報を送出するデータユニットに視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。そのため、画像データ処理部では、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。したがって、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、この発明において、例えば、データユニットに挿入されている視差情報は、重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなるようにしてもよい。この場合、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
　また、この発明において、例えば、画像データ処理部は、所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理を施し、所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する、ようにされてもよい。この場合、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、重畳情報に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。
　この場合、補間処理は、線形補間処理であってもよいが、例えば、時間方向（フレーム方向）のローパスフィルタ処理を伴うようにされてもよい。これにより、送信側から更新フレーム間隔毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向の変化をなだらかにでき、重畳情報に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。
　この発明によれば、重畳情報が含まれる第２のデータストリームが有する、この重畳情報の表示制御情報を送出するデータユニットに視差情報が挿入され、重畳情報と視差情報との対応付けが行われている。そのため、受信側においては、左眼画像および右眼画像に重畳される重畳情報に、対応する視差情報を用いて適切な視差を付与できる。したがって、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０のピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 字幕データストリームの構成例とキャプション・ユニット（字幕）の表示例を示す図である。 ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。 ブロック（Block）毎の視差ベクトルの一例を示す図である。 送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。 字幕エンコーダで生成される字幕データストリームの構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 第１、第２のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合を説明するための図である。 字幕文データグループのＰＥＳストリームに含まれる字幕符号のパケット構造を示す図である。 字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示す図である。 ＡＲＩＢ方式の字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示す図である。 字幕文データグループの場合における、データグループ構造における「data_group_data_byte」としての字幕文データ（caption_data）の構造を概略的に示す図である。 字幕管理データグループの場合における、データグループ構造における「data_group_data_byte」としての字幕管理データ（caption_management_data）の構造を概略的に示す図である。 字幕データストリームに含まれるデータユニット（data_unit）の構造を示す図である。 データユニットの種類と、データユニットパラメータおよび機能を示す図である。 新たに定義された拡張表示制御のデータユニット（data_unit）の構造を示す図である。 新たに定義された拡張表示制御のデータユニット（data_unit）の構造を示す図である。 「Advanced_Rendering_Control」内の「disparity_information」の構造を示す図である。 「disparity_information」内の「disparity_temporal_extension」の構造を示す図である。 「Advanced_Rendering_Control」および「disparity_information」の構造における主要なデータ規定内容を示す図である。 「Advanced_Rendering_Control」および「disparity_information」の構造における主要なデータ規定内容を示す図である。 字幕表示期間内におけるベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 字幕表示期間内におけるベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示す図である。 「Advanced_Rendering_Control」内の「disparity_information」の他の構造を示す図である。 ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含むトランスポートストリーム（多重化データストリーム）の構成例を示す図である。 ＥＩＴの配下に挿入されているデータコンテンツ記述子の構造例を示す図である。 データコンテンツ記述子に含まれる「arib_caption_info」の構造例を示す図である。 ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含むトランスポートストリーム（多重化データストリーム）の他の構成例を示す図である。 ＰＭＴの配下に挿入されているデータ符号化方式記述子の構造例を示す図である。 データ符号化方式記述子に含まれる「additional_arib_caption_info」の構造例を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 字幕表示期間内で順次更新される視差情報を構成する複数フレームの視差情報に対してローパスフィルタ処理を伴った補間処理を行って任意のフレーム間隔の視差情報（補間視差情報）を生成する一例を示す図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 立体画像表示システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［立体画像表示システムの構成例］
　図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像表示システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機（ＴＶ：Television）３００を有している。
　セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
　［放送局の説明］
　放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報のデータ、さらには視差情報（視差ベクトル）などが含まれる。重畳情報は、グラフィクス情報、テキスト情報などであるが、この実施の形態においては字幕である。
　「送信データ生成部の構成例」
　図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＡＲＩＢ（Association of Radio Industries and Businesses）に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１３０と、視差情報作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７と、字幕発生部１３２と、字幕エンコーダ１３３と、マルチプレクサ１２２を有している。
　データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。
　データ記録媒体１３０ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１～第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。
　第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
　第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
　第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。
　また、データ記録媒体１３０ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
　（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
　この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。
　画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)－Ｒ(x,y)｜で表される。
　右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１～Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′－xi，yi′－yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
　図２に戻って、字幕発生部１３２は、字幕データ（ＡＲＩＢ方式の字幕文データ）を発生する。字幕エンコーダ１３３は、字幕発生部１３２で発生された字幕データを含む字幕データストリーム（字幕エレメンタリストリーム）を生成する。図７（ａ）は、字幕データストリームの構成例を示している。この例は、図７（ｂ）に示すように、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例を示している。
　字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのデータとして、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。
　視差情報作成部１３１は、ビューワ機能を持っている。この視差情報作成部１３１は、データ取り出し部１３０から出力される視差情報、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。
　図８は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
　図９は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
　図１０は、視差情報作成部１３１で行われるダウンサイジング処理の一例を示している。まず、視差情報作成部１３１は、図１０（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
　次に、視差情報作成部１３１は、図１０（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図１０（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
　次に、視差情報作成部１３１は、図１０（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図１０（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
　次に、視差情報作成部１３１は、図１０（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図１０（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
　このようにして、視差情報作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図１０に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
　視差情報作成部１３１は、上述したダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトルを作成する。この場合、視差情報作成部１３１は、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）を作成するか、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）を作成する。この選択は、例えば、ユーザの設定による。
　視差情報作成部１３１は、個別視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に基づき、上述のダウンサイジング処理によって、その表示領域に属する視差ベクトルを求める。また、視差情報作成部１３１は、共通視差ベクトルを作成する場合、上述のダウンサイジング処理によって、ピクチャ全体（画像全体）の視差ベクトルを求める（図１０（ｄ）参照）。なお、視差情報作成部１３１は、共通視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に属する視差ベクトルを求め、最も値の大きな視差ベクトルを選択してもよい。
　字幕エンコーダ１３３は、上述したように視差情報作成部１３１で作成された視差ベクトル（視差情報）を、字幕データストリームに含める。この場合、字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕の表示制御情報として、視差ベクトル（視差情報）が挿入される。
　ここで、視差情報作成部１３１で個別視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。
　視差情報作成部１３１は、図１１（ｂ）に示すように、各キャプション・ユニットに対応した個別視差ベクトルを作成する。「Disparity 1」は、「1st Caption Unit」に対応した個別視差ベクトルである。「Disparity 2」は、「2nd Caption Unit」に対応した視差ベクトルである。「Disparity 3」は、「3rd Caption Unit」に対応した個別視差ベクトルである。
　図１１（ａ）は、字幕エンコーダ１３３で生成される字幕データストリーム（ＰＥＳストリーム）のうち、字幕文データグループのＰＥＳストリームの構成例を示している。この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報（字幕文データ）が挿入される。また、この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報にそれぞれ対応した表示制御情報（視差情報）が挿入される。この場合、各表示制御情報としての視差情報は、上述したように視差情報作成部１３１で作成された個別視差ベクトルとなる。
　なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理データ（制御符号）として、挿入される。また、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。
　図１１（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１１（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに対応した個別視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。
　次に、視差情報作成部１３１で共通視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。視差情報作成部１３１は、図１２（ｂ）に示すように、各キャプション・ユニットに共通の共通視差ベクトル「Disparity」を作成する。
　図１２（ａ）は、字幕エンコーダ１３３で生成される字幕データストリーム（ＰＥＳストリーム）のうち、字幕文データグループのＰＥＳストリームの構成例を示している。この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報（字幕文データ）が挿入される。また、この字幕文データグループのＰＥＳストリームには、各キャプション・ユニットの字幕文情報に共通に対応した表示制御情報（視差情報）が挿入される。この場合、表示制御情報としての視差情報は、上述したように視差情報作成部１３１で作成された共通視差ベクトルとなる。
　なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのＰＥＳストリームに、字幕管理情報（制御符号）として、挿入される。また、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。
　図１２（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１２（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに共通の共通視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。
　なお、図１１（ｃ），（ｄ）、図１２（ｃ），（ｄ）の例は、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせている。しかし、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせる場合、あるいは、双方のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合も考えられる。
　図１３（ａ），（ｂ）は、第１のビューおよび第２のビューに重畳するキャプション・ユニットの双方の位置をシフトさせる場合を示している。この場合、各キャプション・ユニットに対応した視差ベクトル「Disparity」の値“disparity[i]”から、第１のビュー、第２のビューにおける各キャプション・ユニットのシフト値（オフセット値）Ｄ[i]が、以下のように求められる。
　すなわち、disparity[i]が偶数の場合には、第１のビューでは、「Ｄ[i]＝- disparity[i]/2」と求められ、第２のビューでは、「Ｄ[i]＝disparity[i]/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「disparity[i]/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に(disparity[i]/2)だけシフトされる。
　また、disparity(i)が奇数の場合には、第１のビューでは、「Ｄ[i]＝- (disparity[i]+1)/2」と求められ、第２のビューでは、「Ｄ[i]＝(disparity[i]-1)/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「(disparity[i]+1)/2」だけシフトされる。また、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に「(disparity[i]-1)/2」だけシフトされる。
　ここで、字幕符号および制御符号のパケット構造を簡単に説明する。最初に、字幕文データグループのＰＥＳストリームに含まれる字幕符号の基本的なパケット構造について説明する。図１４は、字幕符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示し、ここでは、字幕文データグループであることを示す。なお、字幕文データグループを示す「Data_group_id」は、さらに、言語を特定する。例えば、「Data_group_id==0x21」とされ、字幕文データグループであって、字幕文（第１言語）であることが示される。
　「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕文データグループである場合、このデータグループデータは、字幕文データ（caption_data）である。この字幕文データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_separator）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、字幕符号が配置される。
　次に、制御符号のパケット構造について説明する。図１５は、字幕管理データグループのＰＥＳストリームに含まれる制御符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示す。ここでは、字幕管理データグループであることを示し、「Data_group_id==0x20」とされる。「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕管理データグループである場合、このデータグループデータは、字幕管理データ（caption_management_data）である。
　この字幕管理データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_separator）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、制御符号が配置される。この実施の形態において、視差ベクトルの値は、８単位符号として与えられる。「ＴＣＳ」は２ビットのデータであり、文字符号化方式を示す。ここでは、「ＴＣＳ==00」とされ、８単位符号であることが示される。
　図１６は、字幕データストリーム（ＰＥＳストリーム）内のデータグループの構造を示している。「data_group_id」の６ビットのフィールドは、データグループ識別を示し、字幕管理データ、字幕文データの種類を識別する。「data_group_size」の１６ビットのフィールドは、このデータグループフィールドにおいて、後続のデータグループデータのバイト数を示す。「data_group_data_byte」に、データグループデータが格納される。「CRC_16」は、１６ビットのサイクリック・リダンダンシー・チェック符号である。このＣＲＣ符号の符号化区間は、「data_group_id」の先頭から「data_group_data_byte」の終端までである。
　字幕管理データグループの場合、図１６のデータグループ構造における「data_group_data_byte」は、字幕管理データ（caption_management_data）となる。また、字幕文データグループの場合、図１６のデータグループ構造における「data_group_data_byte」は、字幕データ（caption_data）となる。
　図１７は、字幕データの構造を概略的に示している。「advanced_rendering_version」は、この実施の形態で新たに定義された、字幕の拡張表示に対応しているかを示す１ビットのフラグ情報である。受信側においては、このようにデータユニットの上位レイヤに配置されるフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。
　「data_unit_loop_length」の２４ビットフィールドは、この字幕文データフィールドにおいて、後続のデータユニットのバイト数を示す。「data_unit」に、この字幕文データフィールドで伝送するデータユニットが格納される。また、図１８は、字幕管理データの構造を概略的に示している。詳細説明は省略するが、「advanced_rendering_version」がないことを除き、上述の字幕文データと同様の構造になっている。
　図１９は、字幕データストリームに含まれるデータユニット（data_unit）の構造（Syntax）を示している。「unit_separator」の８ビットフィールドは、データユニット分離符号を示し、“0x1F”とされている。「data_unit_parameter」の８ビットフィールドは、データユニットの種類を識別するデータユニットパラメータである。
　図２０は、データユニットの種類と、データユニットパラメータおよび機能を示している。例えば、本文のデータユニットを示すデータユニットパラメータは“0x20”とされている。また、例えば、ジオメトリックのデータユニットを示すデータユニットパラメータは“0x28”とされている。また、例えば、ビットマップのデータユニットを示すデータユニットパラメータは“0x35”とされている。この実施の形態において、表示制御情報（拡張表示制御情報）を格納する拡張表示制御のデータユニットを新たに定義し、このデータユニットを示すデータユニットパラメータを、例えば“0x4F”とする。
　「data_unit_size」の２４ビットのフィールドは、このデータユニットフィールドにおいて、後続のデータユニットデータのバイト数を示す。「data_unit_data_byte」に、データユニットデータが格納される。図２１は、拡張表示制御のデータユニット（data_unit）の構造（Syntax）を示している。この場合、データユニットパラメータは“0x4F”であり、「data_unit_data_byte」としての「Advanced_Rendering_Control」に、表示制御情報が格納される。
　図２２は、「Advanced_Rendering_Control」の構造（Syntax）を示している。この図２２は、表示制御情報として、ステレオビデオの視差情報を挿入する場合の構造を示している。すなわち、この図２２は、字幕文データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」の構造を示している。
　「start_code」の８ビットフィールドは、「Advanced_Rendering_Control」の始まりを示す。「data_unit_id」の１６ビットフィールドは、データユニットＩＤを示す。「data_length」の１６ビットフィールドは、このアドバンスレンダリングコントロールのフィールドにおいて、後続のデータバイト数を示す。「Advanced_rendering_type」の８ビットフィールドは、表示制御情報の種類を指定するアドバンスレンダリングタイプである。ここでは、データユニットパラメータは、例えば“0x01”であり、表示制御情報が「ステレオビデオの視差情報」であることが示される。「disparity_information」に、ディスパリティインフォメーションが格納される。
　なお、図２５、図２６は、上述の「Advanced_Rendering_Control」の構造における、さらには、後述の図２３、図２４に示す「disparity_information」の構造における主要なデータ規定内容を示している。
　図２３、図２４は、字幕文データグループに含まれる拡張表示制御のデータユニット（data_unit）内の「Advanced_Rendering_Control」における「disparity_information」の構造（Syntax）を示している。「sync_byte」の８ビットフィールドは、「disparity_information」の識別情報であり、この「disparity_information」の始まりを示す。「interval_PTS[32..0]」は、視差情報（disparity）の更新フレーム間隔におけるフレーム周期（１フレームの間隔）を９０ＫＨｚ単位で指定する。つまり、「interval_PTS[32..0]」は、フレーム周期を９０ＫＨｚのクロックで計測した値を３３ビット長で表す。
　ディスパリティインフォメーションにおいて、「interval_PTS[32..0]」によりフレーム周期を指定することで、送信側で意図する視差情報の更新フレーム間隔を、受信側に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。
　「rendering_level」は、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す。“００”は、視差情報を用いた字幕の３次元表示は任意（optional）であることを示す。“０１”は、字幕表示期間内で共通に使用される視差情報（default_disparity）による字幕の３次元表示が必須であることを示す。“１０”は、字幕表示期間内で順次更新される視差情報（disparity_update）による字幕の３次元表示が必須であることを示す。
　「temporal_extension_flag」は、字幕表示期間内で順次更新される視差情報（disparity_update）の存在の有無を示す１ビットのフラグ情報である。この場合、“１”は存在することを示し、“０”は存在しないことを示す。「default_disparity」の８ビットフィールドは、デフォルトの視差情報を示す。この視差情報は、更新をしない場合の視差情報、つまり字幕表示期間内において共通に使用される視差情報である。
　「shared_disparity」は、データユニット（Data_unit）に跨る共通の視差情報（disparity）制御を行うかどうかを示す。“１”は、以後の複数のデータユニット（Data_unit）に対して、一つの共通の視差情報（disparity）が適用されることを示す。“０”は、視差情報（Disparity）は、一つのデータユニット（data_unit）にのみ適用されることを示す。
　「temporal_extension_flag」が“１”である場合、ディスパリティインフォメーションは、「disparity_temporal_extension（）」を有する。ここには、基本的に、ベースセグメント期間（ＢＳＰ：Base Segment Period）毎に更新すべき視差情報が格納される。図２７は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。ここで、ベースセグメント期間は、更新フレーム間隔を意味する。この図からも明らかなように、字幕表示期間内で順次更新される視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。
　「temporal_division_size」の２ビットフィールドは、ベースセグメント期間（更新フレーム間隔）に含まれるフレーム数を示す。“００”は、１６フレームであることを示す。“０１”は、２５フレームであることを示す。“１０”は、３０フレームであることを示す。さらに、“１１”は、３２フレームであることを示す。
　「temporal_division_count」は、字幕表示期間に含まれるベースセグメントの個数を示す。「disparity_curve_no_update_flag」は、視差情報の更新の有無を示す１ビットのフラグ情報である。“１”は対応するベースセグメントのエッジで視差情報の更新を行わない、つまりスキップすることを示し、“０”は対応するベースセグメントのエッジで視差情報の更新を行うことを示す。
　図２８は、ベースセグメント期間（ＢＳＰ）毎の視差情報の更新例を示している。図において、「skip」が付されたベースセグメントのエッジでは視差情報の更新は行われない。このフラグ情報が存在することで、視差情報のフレーム方向の変化が同様となる期間が長く続く場合、視差情報の更新を行わないようにして、その期間内の視差情報の伝送を省略でき、視差情報のデータ量を抑制することが可能となる。
　「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、対応するベースセグメントの「shifting_interval_counts」を含む。また、「disparity_curve_no_update_flag」が“０”で視差情報の更新を行う場合、ディスパリティインフォメーションは、「disparity_update」を含む。「shifting_interval_counts」の６ビットフィールドは、ベースセグメント期間(更新フレーム間隔)を調整するドローファクタ（Draw factor）、つまり差し引きフレーム数を示す。
　図２８のベースセグメント期間（ＢＳＰ）毎の視差情報の更新例において、時点Ｃ～Ｆの視差情報の更新タイミングに関しては、ドローファクタ（Draw factor）により、ベースセグメント期間が調整されている。この調整情報が存在することで、ベースセグメント期間(更新フレーム間隔)を調整することが可能となり、受信側に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる。
　なお、ベースセグメント期間(更新フレーム間隔)の調整としては、上述した差し引きフレーム数で短くする方向に調整する他に、加算フレーム数で長くする方向に調整することも考えられる。例えば、「shifting_interval_counts」の６ビットフィールドを符号付き整数とすることで、双方向の調整が可能となる。
　「disparity_update」の８ビットフィールドは、対応するベースセグメントの視差情報を示す。なお、ｋ＝０における「disparity_update」は、字幕表示期間内において更新フレーム間隔で順次更新される視差情報の初期値、つまり、字幕表示期間における最初のフレームの視差情報である。
　なお、上述の図２３に示す「disparity_information」の構造（Syntax）においては「interval_PTS[32..0]」が付加されている。しかし「interval_PTS[32..0]」が付加されていない「disparity_information」の構造（Syntax）も考えられる。その場合、「disparity_information」の構造は、図２９に示すようになる。
　図２に戻って、ビデオエンコーダ１１３は、データ取り出し部１３０から供給される立体画像データに対して、ＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化を施し、ビデオエレメンタリストリームを生成する。オーディオエンコーダ１１７は、データ取り出し部１３０から供給される音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。
　マルチプレクサ１２２は、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
　図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４－ＡＶＣ、ＭＰＥＧ２、ＶＣ－１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２２に供給される。
　また、字幕発生部１３２では、ＡＲＩＢ方式の字幕データが発生される。この字幕データは、字幕エンコーダ１３３に供給される。この字幕エンコーダ１３３では、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）が生成される。この字幕エレメンタリストリームはマルチプレクサ１２２に供給される。
　また、データ取り出し部１３０から出力されるピクセル（画素）毎の視差ベクトルは、視差情報作成部１３１に供給される。この視差情報作成部１３１では、ダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトル（水平方向視差ベクトル）が作成される。この場合、視差情報作成部１３１では、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは全てのキャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が作成される。
　視差情報作成部１３１で作成された視差ベクトルは、字幕エンコーダ１３３に供給される。字幕エンコーダ１３３では、視差ベクトルが、字幕データストリームに含められる（図１１～図１２参照）。字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕文データグループのＰＥＳストリームに、字幕の表示制御情報として、視差ベクトル（視差情報）が挿入される。この場合、視差ベクトルは、新たに定義された表示制御情報を送出する拡張表示制御のデータユニットに挿入される（図２１～図２４、図２９参照）。
　また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２２に供給される。
　マルチプレクサ１２２には、上述したように、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３からのエレメンタリストリームが供給される。そして、このマルチプレクサ１２２では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
　図３０は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、字幕エレメンタリストリームを含む一般的なトランスポートストリーム（多重化データストリーム）の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのＰＥＳパケット「Audio PES」および字幕エレメンタリストリームのＰＥＳパケット「CaptionPES」が含まれている。
　また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、キャプションエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
　この実施の形態において、マルチプレクサ１２２（図２参照）から出力されるトランスポートストリーム（多重化データストリーム）には、字幕データストリームが、字幕の拡張表示制御に対応しているか否かを示すフラグ情報が挿入されている。ここで、字幕の拡張表示制御は、例えば視差情報を用いた３次元字幕表示などである。この場合、受信側（セットトップボックス２００）においては、字幕データストリーム内のデータを開くことなく、この字幕データストリームが字幕の拡張表示制御に対応しているか否かを把握可能となる。
　マルチプレクサ１２２は、このフラグ情報を、例えば、上述のＥＩＴの配下に挿入する。図３０の構成例では、ＥＩＴの配下に、データコンテンツ記述子が挿入されている。このデータコンテンツ記述子に、フラグ情報「Advanced_Rendering_support」が含まれている。図３１は、データコンテンツ記述子の構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタ（記述子）のタイプを示す８ビットのデータであり、ここでは、データコンテンツ記述子であることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
　「component_tag」は、字幕のエレメンタリストリームとの関連付けを行う８ビットのデータである。この「component_tag」の後に、「arib_caption_info」が定義されている。図３２（ａ）は、この「arib_caption_info」の構造例（Syntax）を示している。「Advanced_Rendering_support」は、図３２（ｂ）に示すように、字幕データストリームが字幕の拡張表示制御に対応しているか否かを示す１ビットのフラグ情報である。“１”は、字幕の拡張表示に対応していることを示す。“０”は、字幕の拡張表示制御に対応していないことを示す。
　なお、マルチプレクサ１２２は、ＰＭＴの配下に、上述のフラグ情報を挿入することもできる。図３３は、その場合におけるトランスポートストリーム（多重化データストリーム）の構成例を示している。この構成例では、ＰＭＴの字幕ＥＳループの配下にデータ符号化方式記述子が挿入されている。このデータ符号化方式記述子に、フラグ情報「Advanced_Rendering_support」が含まれている。
　図３４は、データ符号化方式記述子の構造例（Syntax）を示している。「descriptor_tag」は、デスクリプタ（記述子）のタイプを示す８ビットのデータであり、ここでは、データコンテンツ記述子であることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
　「component_tag」は、字幕のエレメンタリストリームとの関連付けを行う８ビットのデータである。「data_component_id」は、ここでは、字幕データを示す“0x0008”とされる。この「data_component_id」の後に、「additional_arib_caption_info」が定義されている。図３５は、この「additional_arib_caption_info」の構造例（Syntax）を示している。「Advanced_Rendering_support」は、上述の図３２（ｂ）に示すように、字幕データストリームが字幕の拡張表示制御に対応しているか否かを示す１ビットのフラグ情報である。“１”は、字幕の拡張表示に対応していることを示す。“０”は、字幕の拡張表示制御に対応していないことを示す。
　上述したように、図２に示す送信データ生成部１１０においては、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームと字幕データストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。
　また、字幕文データグループのＰＥＳストリーム内の字幕表示制御情報を送出するデータユニットに視差情報が挿入され、字幕文データ（字幕文情報）と視差情報との対応付けが行われている。そのため、受信側（セットトップボックス２００）においては、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、図２に示す送信データ生成部１１０においては、新たに定義された拡張表示制御のデータユニットに、字幕表示期間内で共通に使用される視差情報（図２３の「default_disparity」参照）が挿入される。また、このデータユニットに、字幕表示期間内で順次更新される視差情報（図２４の「disparity_update」参照）の挿入が可能とされている。そして、この拡張表示制御のデータユニットには、字幕表示期間内で順次更新される視差情報の存在を示すフラグ情報が挿入される（図２３の（「temporal_extension_flag」参照）。
　そのため、字幕表示期間内で共通に使用される視差情報のみを送信するか、さらに、字幕表示期間内で順次更新される視差情報を送信するかを選択することが可能となる。字幕表示期間内で順次更新される視差情報を送信することで、受信側（セットトップボックス２００）において、重畳情報に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
　また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに挿入される字幕表示期間内で順次更新される視差情報は、基本的には、ベースセグメント期間（ＢＳＰ）毎の視差情報とされる（図２７参照）。つまり、この視差情報は、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間毎のフレームの視差情報とからなっている。そして、ベースセグメント期間（更新フレーム間隔）は、任意に設定可能とされている（図２４の「temporal_division_size」参照」。
　そのため、例えば、視差情報の時間方向（フレーム方向）の変化が激しい場合には、更新フレーム間隔を短くすることで、受信側（セットトップボックス２００）に、視差情報の時間方向の変化をより正しく伝えることが可能となる。また、例えば、視差情報の時間方向の変化が緩やかな場合には、更新フレーム間隔を長くするとで、視差情報のデータ量を抑制することが可能となる。
　また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに字幕表示期間内で順次更新される視差情報が挿入される場合、以下のフラグ情報が付加される。このフラグ情報は、視差情報の更新の有無を示すフラグ情報である（図２４の「disparity_curve_no_update_flag」参照）。このフラグ情報は、ベースセグメント期間（更新フレーム間隔）毎のフレームのそれぞれについて付加される。この場合、視差情報の時間方向の変化が同様となる期間が続く場合には、このフラグ情報を用いてその期間内の視差情報の伝送を省略でき（図２８の「skip」が付されたベースセグメントのエッジ参照）、視差情報のデータ量を抑制することが可能となる。
　また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに字幕表示期間内で順次更新される視差情報が挿入される場合、以下の調整情報が付加される。この調整情報は、ベースセグメント期間（更新フレーム間隔）を調整する調整情報である（図２４の「shifting_interval_counts」参照）。この場合、この調整情報に基づいて、ベースセグメント期間を短くする方向あるいは長くする方向に任意に調整することが可能となる。これにより、受信側（セットトップボックス２００）に、視差情報の時間方向（フレーム方向）の変化をより的確に伝えることが可能となる（図２８の“Draw factor”による調整参照）。
　また、図２に示す送信データ生成部１１０においては、拡張表示制御のデータユニットに、フレーム周期を指定する情報が挿入されている（図２３の「interval_PTS[32..0]」参照）。これにより、送信側（放送局１００）で意図する視差情報のベースセグメント期間（更新フレーム間隔）を、受信側（セットトップボックス２００）に正しく伝えることが可能となる。この情報が付加されていない場合、受信側においては、例えば、ビデオのフレーム周期が参照される。
　また、図２に示す送信データ生成部１１０において、拡張表示制御のデータユニットに、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報が含まれている（図２３の「rendering_level」参照）。この場合、この情報により、受信側における視差情報に対する対応を制御することが可能となる。
　また、図２に示す送信データ生成部１１０において、字幕データストリーム（字幕文データグループのＰＥＳストリーム）のレイヤ、従って拡張表示制御のデータユニットの上位レイヤに、字幕の拡張表示に対応しているかを示す１ビットのフラグ情報が挿入されている（図１７の「advanced_rendering_version」参照）。受信側においては、このようにフラグ情報に基づいて、字幕の拡張表示に対応しているか否かを容易に把握可能となる。
　また、図２に示す送信データ生成部１１０において、多重化データストリーム（トランスポートストリーム）に、従ってシステムレイヤに、字幕データストリームが重畳情報の拡張表示制御に対応しているかを示すフラグ情報が挿入されている（図３２、図３５の「Advanced_Rendering_support」参照）。そのため、受信側（セットトップボックス２００）においては、字幕データストリーム内のデータを開くことなく、この字幕データストリームが字幕の拡張表示制御に対応しているか否かを把握可能となる。
　［セットトップボックスの説明］
　図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、ビットストリームデータＢＳＤには、キャプション・ユニットの字幕データ、さらには、このキャプション・ユニットに視差を付与するための視差ベクトル（視差情報）が含まれている。
　セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、キャプション・ユニットの字幕データ等を用いて、字幕が重畳された左眼画像および右眼画像のデータを生成する。
　この場合、視差ベクトルおよびキャプション・ユニットの字幕データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼字幕、右眼字幕のデータが生成される。ここで、左眼字幕および右眼字幕は同一の字幕である。しかし、画像内の重畳位置が、例えば、左眼字幕と右眼字幕とは、視差ベクトルだけ、水平方向にずれるようにされる。これにより、左眼字幕と右眼字幕との間に視差が付与され、字幕の認識位置が画像の手前とされる。
　図３６（ａ）は、画像上におけるキャプション・ユニット（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３６（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。
　図３７（ａ）は、図３６（ａ）と同じ、画像上におけるキャプション・ユニット（字幕）の表示例を示している。図３７（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図３７（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。
　［セットトップボックスの構成例］
　セットトップボックス２００の構成例を説明する。図３８は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
　アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
　ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
　映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
　ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。
　ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
　リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
　セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
　デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。その際、ビットストリーム処理部２０１では、視差ベクトルに基づいて、左眼字幕と右眼字幕との間に視差が付与される。
　ビットストリーム処理部２０１で生成された表示用立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。
　また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
　［ビットストリーム処理部の構成例］
　図３９は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、字幕デコーダ２２３を有している。さらに、このビットストリーム処理部２０１は、立体画像用字幕発生部２２４と、視差情報取り出し部２２５と、ビデオ重畳部２２６と、オーディオデコーダ２２７と、視差情報処理部２２８を有している。
　デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、字幕のパケットを抽出し、各デコーダに送る。ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４参照）。
　字幕デコーダ２２３は、上述の送信データ生成部１１０の字幕エンコーダ１３３とは逆の処理を行う。すなわち、字幕デコーダ２２３は、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリーム（字幕データストリーム）を再構成し、復号化処理を行って、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）を得る。
　視差情報取り出し部２２５は、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）を取り出す。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる（図１１～図１２参照）。
　上述したように、字幕データストリームには、ＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差情報（視差ベクトル）が含まれている。そして、視差情報は、字幕の表示制御情報を送出するデータユニットに挿入されている。そのため、視差情報取り出し部２２５は、各キャプション・ユニットの字幕データと対応付けて、視差ベクトルを取り出すことができる。
　視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報（図２３の「default_disparity」参照）が取得される。また、この視差情報取り出し部２２５では、さらに、字幕表示期間内で順次更新される視差情報（図２４の「disparity_update」参照）が取得されることもある。視差情報取り出し部２２５で取り出された視差情報（視差ベクトル）は、視差情報処理部２２８を通じて、立体画像用字幕発生部２２４に送られる。この字幕表示期間内で順次更新される視差情報は、上述したように、字幕表示期間の最初のフレームの視差情報と、その後のベースセグメント期間（更新フレーム間隔）毎のフレームの視差情報とからなっている。
　視差情報処理部２２８は、字幕表示期間内で共通に使用される視差情報に関しては、そのまま立体画像用字幕発生部２２４に送る。一方、視差情報処理部２２８は、字幕表示期間内で順次更新される視差情報に関しては、補間処理を施して、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報を生成して、立体画像用字幕発生部２２４に送る。
　視差情報処理部２２８は、この補間処理として、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴った補間処理を行って、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）を変化がなだらかにしている。図４０は、視差情報処理部２２８における上述のＬＰＦ処理を伴った補間処理の一例を示している。この例では、上述の図２８の視差情報の更新例に対応している。
　立体画像用字幕発生部２２４は、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータを生成する。この生成処理は、字幕デコーダ２２３で得られた各キャプション・ユニットの字幕データと、視差情報処理部２２８を通じて供給される視差情報（視差ベクトル）に基づいて行われる。そして、この立体画像用字幕発生部２２４は、左眼字幕および右眼字幕のデータ（ビットマップデータ）を出力する。
　この場合、左眼および右眼の字幕（キャプション・ユニット）は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕と右眼の字幕とは、視差ベクトル分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。
　ここで、立体画像用字幕発生部２２４は、視差情報処理部２２８から字幕表示期間内で共通に使用される視差情報（視差ベクトル）のみが送られてくる場合、その視差情報を使用する。また、立体画像用字幕発生部２２４は、視差情報処理部２２８から、さらに字幕表示期間内で順次更新される視差情報も送られてくる場合には、いずれかを使用する。
　いずれを使用するかは、例えば、上述したように、拡張表示制御のデータユニットに含まれている、字幕表示の際に受信側（デコーダ側）で必須の視差情報（disparity）対応レベルを示す情報（図２３の「rendering_level」参照）に拘束される。その場合、例えば、“００”であるときは、ユーザ設定による。字幕表示期間内で順次更新される視差情報を用いることで、左眼および右眼に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
　ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用字幕発生部２２４で発生された左眼および右眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、このビデオ重畳部２２６は、表示用立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。
　また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。
　図３９に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３８参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよび字幕のパケットが抽出され、各デコーダに供給される。
　ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。
　また、字幕デコーダ２２３では、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリームが再構成され、さらに復号化処理が行われて、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）が得られる。この各キャプション・ユニットの字幕データは、立体画像用字幕発生部２２４に供給される。
　また、視差情報取り出し部２２５では、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）が取り出される。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる。
　また、視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。視差情報取り出し部２２５で取り出された視差情報（視差ベクトル）は、視差情報処理部２２８を通じて、立体画像用字幕発生部２２４に送られる。視差情報処理部２２８では、字幕表示期間内で順次更新される視差情報に関して、以下の処理が行われる。すなわち、視差情報処理部２２８では、時間方向（フレーム方向）のＬＰＦ処理を伴った補間処理が施されて、字幕表示期間内における任意のフレーム間隔、例えば、１フレーム間隔の視差情報が生成されて、立体画像用字幕発生部２２４に送られる。
　立体画像用字幕発生部２２４では、各キャプション・ユニットの字幕データと、各キャプション・ユニットに対応した視差ベクトルに基づいて、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータ（ビットマップデータ）が生成される。この場合、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトル分だけ、水平方向にずれるようにされる。この左眼字幕および右眼字幕のデータはビデオ重畳部２２６に供給される。
　ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、立体画像用字幕発生部２２４で発生された左眼字幕および右眼字幕のデータ（ビットマップデータ）が重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。
　また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。
　上述したように、図３８に示すセットトップボックス２００において、受信される字幕データストリームに、字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。そして、字幕文データグループのＰＥＳストリーム内の字幕表示制御情報を送出するデータユニットに視差ベクトル（視差情報）が挿入され、字幕データと視差ベクトルとが対応付けられている。そのため、ビットストリーム処理部２０１では、左眼画像および右眼画像に重畳されるキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
　また、図３８に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報取り出し部２２５では、字幕表示期間内で共通に使用される視差情報、または、これと共に字幕表示期間内で順次更新される視差情報が取得される。立体画像用字幕発生部２２４では、字幕表示期間内で順次更新される視差情報が使用されることで、左眼および右眼の字幕に付与する視差を画像内容の変化に連動して動的に変化させることが可能となる。
　また、図３８に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２８では、字幕表示期間内で順次更新される視差情報に対して補間処理が施されて字幕表示期間内における任意のフレーム間隔の視差情報が生成される。この場合、送信側（放送局１００）から１６フレーム等のベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、左眼および右眼の字幕に付与される視差を、細かな間隔で、例えばフレーム毎に制御することが可能となる。
　また、図３８に示すセットトップボックス２００において、ビットストリーム処理部２０１の視差情報処理部２２８では、時間方向（フレーム方向）のローパスフィルタ処理を伴った補間処理が行われる。そのため、送信側（放送局１００）からベースセグメント期間（更新フレーム間隔）毎に視差情報が送信される場合であっても、補間処理後の視差情報の時間方向（フレーム方向）の変化をなだらかにできる（図４０参照）。したがって、左眼および右眼の字幕に付与される視差の推移が、更新フレーム間隔毎に不連続となることによる違和感を抑制できる。
　［テレビ受信機の説明］
　図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
　［テレビ受信機の構成例］
　テレビ受信機３００の構成例を説明する。図４１は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
　また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
　アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
　ビットストリーム処理部３０６は、図３８に示すセットトップボックス２００内のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。また、このビットストリーム処理部３０６は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部３０６は、音声データを出力する。
　ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。
　３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
　映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
　音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
　ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
　リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
　図４１に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
　アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
　デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。
　ビットストリーム処理部３０６で生成された表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。
　３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
　この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
　また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
　＜２．変形例＞
　なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４１に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図４２に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
　また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。
　また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。
　また、上述実施の形態においては、重畳情報としてキャプション・ユニット（字幕）を取り扱うものを示した。しかし、この発明は、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも同様に適用できる。
　この発明は、画像に重ねて字幕などの重畳情報の表示を行う立体画像システムに適用できる。
　１０，１０Ａ・・・立体画像表示システム
　１００・・・放送局
　１１０・・・送信データ生成部
　１１３・・・ビデオエンコーダ
　１１７・・・オーディオエンコーダ
　１２２・・・マルチプレクサ
　１３０・・・データ取り出し部
　１３０ａ・・・データ記録媒体
　１３１・・・視差情報作成部
　１３２・・・字幕発生部
　１３３・・・字幕エンコーダ
　２００・・・セットトップボックス（ＳＴＢ）
　２０１・・・ビットストリーム処理部
　２０２・・・ＨＤＭＩ端子
　２０３・・・アンテナ端子
　２０４・・・デジタルチューナ
　２０５・・・映像信号処理回路
　２０６・・・ＨＤＭＩ送信部
　２０７・・・音声信号処理回路
　２１１・・・ＣＰＵ
　２１５・・・リモコン受信部
　２１６・・・リモコン送信機
　２２１・・・デマルチプレクサ
　２２２・・・ビデオデコーダ
　２２３・・・字幕デコーダ
　２２４・・・立体画像用字幕発生部
　２２５・・・視差情報取り出し部
　２２６・・・ビデオ重畳部
　２２７・・・オーディオデコーダ
　２２８・・・視差情報処理部
　３００・・・テレビ受信機（ＴＶ）
　３０１・・・３Ｄ信号処理部
　３０２・・・ＨＤＭＩ端子
　３０３・・・ＨＤＭＩ受信部
　３０４・・・アンテナ端子
　３０５・・・デジタルチューナ
　３０６・・・ビットストリーム処理部
　３０７・・・映像・グラフィック処理回路
　３０８・・・パネル駆動回路
　３０９・・・表示パネル
　３１０・・・音声信号処理回路
　３１１・・・音声増幅回路
　３１２・・・スピーカ
　３２１・・・ＣＰＵ
　３２５・・・リモコン受信部
　３２６・・・リモコン送信機
　４００・・・ＨＤＭＩケーブル

Claims (19)

  1. 　左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
    　上記画像データ出力部から出力される立体画像データ含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
    　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、
    　上記視差情報は、上記データユニットに挿入されている
    　立体画像データ送信装置。
  2. 　上記視差情報は、上記重畳情報が表示される所定数のフレーム期間内で共通に使用される第１の視差情報、または該第１の視差情報および上記所定数のフレーム期間内で順次更新される第２の視差情報であり、
    　上記データユニットには、上記第２の視差情報の存在を示すフラグ情報が挿入されている
    　請求項１に記載の立体画像データ送信装置。
  3. 　上記第２の視差情報は、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
    　請求項２に記載の立体画像データ送信装置。
  4. 　上記第２の視差情報には、上記更新フレーム間隔毎のフレームのそれぞれについて、上記視差情報の更新の有無を示すフラグ情報が付加されている
    　請求項３に記載の立体画像データ送信装置。
  5. 　上記第２の視差情報には、上記更新フレーム期間毎のフレームのそれぞれについて、上記更新フレーム間隔を調整する情報が付加されている
    　請求項３に記載の立体画像データ送信装置。
  6. 　上記データユニットには、フレーム周期を指定する情報が挿入されている
    　請求項３に記載の立体画像データ送信装置。
  7. 　上記データユニットに挿入されている視差情報は、同一画面に表示される特定の重畳情報に対応した視差情報、または同一画面に表示される複数の重畳情報に対応した視差情報である
    　請求項１に記載の立体画像データ送信装置。
  8. 　上記データユニットには、上記重畳情報の表示の際に必須の、上記視差情報に対する対応レベルを示す情報が挿入されている
    　請求項２に記載の立体画像データ送信装置。
  9. 　上記第２のデータストリームには、上記データユニットの上位レイヤに、上記第２のデータストリームが上記重畳情報の拡張表示に対応しているかを示すフラグ情報が含まれている
    　請求項１に記載の立体画像データ送信装置。
  10. 　上記多重化データストリームに、上記第２のデータストリームが上記重畳情報の拡張表示制御に対応しているかを示すフラグ情報が挿入されている
    　請求項１に記載の立体画像データ送信装置。
  11. 　上記多重化データストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、
    　上記フラグ情報は、上記イベント・インフォメーション・テーブルの配下に挿入されている
    　請求項１０に記載の立体画像データ送信装置。
  12. 　上記多重化データストリームには、該多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
    　上記フラグ情報は、上記プログラム・マップ・テーブルの配下に挿入されている
    　請求項１０に記載の立体画像データ送信装置。
  13. 　上記重畳情報のデータは、ＡＲＩＢ方式の字幕文データであり、
    　上記データユニットは、字幕文データグループ内のデータユニットである
    　請求項１に記載の立体画像データ送信装置。
  14. 　左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力ステップと、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
    　上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
    　上記画像データ出力ステップで出力される立体画像データ含む第１のデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報のデータおよび上記視差情報出力ステップで出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
    　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、
    　上記視差情報は、上記データユニットに挿入されている
    　立体画像データ送信方法。
  15. 　第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
    　上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
    　上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
    　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
    　上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得部と、
    　上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得部と、
    　上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得部と、
    　上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
    　立体画像データ受信装置。
  16. 　上記データユニットに挿入されている視差情報は、上記重畳情報が表示される所定数のフレーム期間内で順次更新される視差情報であり、上記所定数のフレーム期間の最初のフレームの視差情報と、その後の更新フレーム間隔毎のフレームの視差情報とからなる
    　請求項１５に記載の立体画像データ受信装置。
  17. 　上記画像データ処理部は、上記所定数のフレーム期間内で順次更新される視差情報を構成する複数フレームの視差情報に対して補間処理を施し、上記所定数のフレーム期間内における任意のフレーム間隔の視差情報を生成して使用する
    　請求項１５に記載の立体画像データ受信装置。
  18. 　上記補間処理は、時間方向のローパスフィルタ処理を伴う
    　請求項１７に記載の立体画像データ受信装置。
  19. 　第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信ステップを備え、
    　上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
    　上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
    　上記第２のデータストリームは、上記重畳情報の表示制御情報を送出するデータユニットを有し、上記視差情報は該データユニットに挿入されており、
    　上記データ受信ステップで受信された多重化データストリームに含まれる上記第１のデータストリームから上記立体画像データを取得する画像データ取得ステップと、
    　上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから上記重畳情報のデータを取得する重畳情報データ取得ステップと、
    　上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから上記視差情報を取得する視差情報取得ステップと、
    　上記画像データ取得ステップで取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得ステップで取得された上記視差情報と、上記重畳情報データ取得ステップで取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
    　立体画像データ受信方法。
PCT/JP2011/073739 2010-11-02 2011-10-14 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 Ceased WO2012060198A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN2011800375558A CN103039084A (zh) 2010-11-02 2011-10-14 三维图像数据发送设备、三维图像数据发送方法、三维图像数据接收设备和三维图像数据接收方法
EP11837849.6A EP2506584A4 (en) 2010-11-02 2011-10-14 DEVICE FOR TRANSMITTING THREE-DIMENSIONAL IMAGE DATA, METHOD FOR TRANSMITTING THREE-DIMENSIONAL IMAGE DATA, DEVICE FOR RECEIVING THREE-DIMENSIONAL IMAGE DATA AND METHOD FOR RECEIVING THREE-DIMENSIONAL IMAGE DATA
BR112012015683A BR112012015683A2 (pt) 2010-11-02 2011-10-14 aparelhos e métodos de transmissão e de recepção de dados de imagem estéreo
RU2012126548/07A RU2012126548A (ru) 2010-11-02 2011-10-14 Устройство передачи данных стереоизображения, способ передачи данных стереоизображения, устройство приема данных стереоизображения и способ приема данных стереоизображения
US13/518,415 US20120257019A1 (en) 2010-11-02 2011-10-14 Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
KR1020127016223A KR20130132238A (ko) 2010-11-02 2011-10-14 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법, 입체 화상 데이터 수신 장치 및 입체 화상 데이터 수신 방법
MX2012007793A MX2012007793A (es) 2010-11-02 2011-10-14 Dispositivo de transmision de datos de imagenes tridimensionales, metodo de transmision de datos de imagenes tridimensionales, dispositivo de recepcion de datos de imagenes tridimensionales y metodos de recepcion de datos de imagenes tridimensionales.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-246538 2010-11-02
JP2010246538A JP2012100102A (ja) 2010-11-02 2010-11-02 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Publications (1)

Publication Number Publication Date
WO2012060198A1 true WO2012060198A1 (ja) 2012-05-10

Family

ID=46024317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/073739 Ceased WO2012060198A1 (ja) 2010-11-02 2011-10-14 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Country Status (10)

Country Link
US (1) US20120257019A1 (ja)
EP (1) EP2506584A4 (ja)
JP (1) JP2012100102A (ja)
KR (1) KR20130132238A (ja)
CN (1) CN103039084A (ja)
AR (1) AR083558A1 (ja)
BR (1) BR112012015683A2 (ja)
MX (1) MX2012007793A (ja)
RU (1) RU2012126548A (ja)
WO (1) WO2012060198A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
EP2397953B1 (en) * 2010-06-15 2019-02-20 Accenture Global Services Limited A computer-implemented method, a computer program product and an embedded system for displaying data more efficiently
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
EP3629558B1 (en) 2014-12-04 2021-07-28 Sony Group Corporation Data processing apparatus, data processing method, and program
CN109901765B (zh) * 2015-10-06 2022-06-21 佳能株式会社 电子设备及其控制方法
RU2623806C1 (ru) 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
CN114500973A (zh) * 2022-01-24 2022-05-13 深圳市时代华影科技股份有限公司 3d视频处理方法、装置、3d眼镜和3d视频显示系统
CN114500975A (zh) * 2022-01-24 2022-05-13 深圳市时代华影科技股份有限公司 3d视频处理方法、装置、3d眼镜和3d视频显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2010095411A1 (ja) * 2009-02-19 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010119815A1 (ja) * 2009-04-15 2010-10-21 ソニー株式会社 データ構造、記録媒体、再生装置および再生方法、並びにプログラム
WO2011001859A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
EP1875440B1 (en) * 2005-04-19 2008-12-03 Koninklijke Philips Electronics N.V. Depth perception
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8358331B2 (en) * 2008-12-02 2013-01-22 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
BRPI1005691B1 (pt) * 2009-02-17 2021-03-09 Koninklijke Philips N.V. método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares
KR101659576B1 (ko) * 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2010095411A1 (ja) * 2009-02-19 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010119815A1 (ja) * 2009-04-15 2010-10-21 ソニー株式会社 データ構造、記録媒体、再生装置および再生方法、並びにプログラム
WO2011001859A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2506584A4

Also Published As

Publication number Publication date
US20120257019A1 (en) 2012-10-11
AR083558A1 (es) 2013-03-06
BR112012015683A2 (pt) 2016-05-24
MX2012007793A (es) 2012-08-03
EP2506584A4 (en) 2015-03-04
CN103039084A (zh) 2013-04-10
KR20130132238A (ko) 2013-12-04
RU2012126548A (ru) 2013-12-27
JP2012100102A (ja) 2012-05-24
EP2506584A1 (en) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5429034B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8860782B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
JP5454444B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012120143A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2013031549A1 (ja) 送信装置、送信方法および受信装置
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011249945A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20130169752A1 (en) Transmitting Apparatus, Transmitting Method, And Receiving Apparatus
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2013005571A1 (ja) 送信装置、送信方法および受信装置
WO2012057048A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012026342A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2013018490A1 (ja) 送信装置、送信方法および受信装置
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
US20130188015A1 (en) Transmitting apparatus, transmitting method, and receiving apparatus
WO2013172142A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180037555.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20127016223

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13518415

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 5647/DELNP/2012

Country of ref document: IN

Ref document number: 2012126548

Country of ref document: RU

Ref document number: 2011837849

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11837849

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2012/007793

Country of ref document: MX

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012015683

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112012015683

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120625