WO2020031782A1 - 受信装置、受信方法、送信装置および送信方法 - Google Patents

受信装置、受信方法、送信装置および送信方法 Download PDF

Info

Publication number
WO2020031782A1
WO2020031782A1 PCT/JP2019/029719 JP2019029719W WO2020031782A1 WO 2020031782 A1 WO2020031782 A1 WO 2020031782A1 JP 2019029719 W JP2019029719 W JP 2019029719W WO 2020031782 A1 WO2020031782 A1 WO 2020031782A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
frequency
layer
layers
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/029719
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/264,994 priority Critical patent/US11483565B2/en
Priority to CN201980051631.7A priority patent/CN112534827B/zh
Priority to EP19846920.7A priority patent/EP3836556A4/en
Publication of WO2020031782A1 publication Critical patent/WO2020031782A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • the present technology relates to a receiving apparatus, a receiving method, a transmitting apparatus, and a transmitting method, and more particularly, to a receiving apparatus, a receiving method, a transmitting apparatus, and a transmitting method that handle mixed image data.
  • the present applicant has previously proposed a technique of performing pixel mixing between a picture in a reference frame period and pictures before and after the picture (see Japanese Patent Application Laid-Open No. H10-157300). 1). In this case, even if time sub-sampling is performed in the conventional receiver, moving elements are reflected in the time samples to be partially decoded, so that deterioration in moving image quality due to strobing is reduced.
  • the basic principle is to transmit a video with a relatively small shutter angle using a short shutter, and then create a display image from partial decoding.
  • a method capable of reducing deterioration of moving image quality due to strobing is desired.
  • An object of the present technology is to reduce the deterioration of moving image quality due to strobing in a layer of a basic frame frequency, and to maintain high image quality when a layer of another frame frequency is included.
  • the concept of this technology is A receiving unit that receives image data of a plurality of frequency hierarchies obtained by hierarchically dividing image data of a predetermined frame frequency, Only the lowest frequency layer image data of the plurality of image data is subjected to a mixing process using image data of another frequency layer,
  • the receiving device further includes a processing unit that obtains display image data by using image data from the lowest frequency layer to the upper predetermined frequency layer among the image data of the plurality of frequency layers in accordance with the display capability.
  • the receiving unit receives image data of a plurality of frequency hierarchies obtained by classifying image data of a predetermined frame frequency.
  • the lowest frequency hierarchy means a hierarchy of lower frequency groups included in the basic display frequency.
  • the image data of the predetermined frame frequency may be image data having a shutter angle of 360 °.
  • the predetermined frame frequency is four times or more the frame frequency of the lowest frequency hierarchy, and the image data of a plurality of frequency hierarchies is obtained by dividing the image data of the predetermined frame frequency into three or more hierarchies. Things.
  • the predetermined frame frequency is 240 Hz
  • the frame frequency of the lowest frequency layer is 60 Hz
  • the image data of a plurality of frequency layers is obtained by dividing the image data of the 240 Hz frame frequency into three layers.
  • the image data may include image data of the 60 Hz layer, image data of the 120 Hz layer, and image data of the 240 Hz layer.
  • the processing unit uses the image data from the lowest frequency hierarchy to the upper predetermined frequency hierarchy among the image data of the plurality of frequency hierarchies according to the display capability to obtain display image data. For example, when the processing unit obtains the display image data using the image data of the higher frequency layer than the image data of the lowest frequency layer, the processing unit may perform the demixing process on the image data of the lowest frequency layer. Good.
  • the information of the mixing process is added to at least the image data of the lowest frequency hierarchy, and the processing unit performs the inverse mixing process on the image data of the lowest frequency hierarchy based on the information of the mixing process. And so on.
  • the information of the mixing process may include information of the mixing target image and information of the mixing ratio.
  • image data of a plurality of frequency layers obtained by classifying image data of a predetermined frame frequency (mixing processing using image data of another frequency layer only for image data of the lowest frequency layer) Is performed), and the image data for display is obtained using the image data from the lowest frequency hierarchy to the upper predetermined frequency hierarchy according to the display capability. Therefore, in the layer of the basic frame frequency (the frame frequency of the lowest frequency hierarchy), it is possible to reduce the deterioration of the moving image quality due to the strobing, and to maintain the high image quality in the layers of the other frame frequencies.
  • a processing unit that classifies image data of a predetermined frame frequency into layers, performs a mixing process with image data of other frequency layers only on image data of the lowest frequency layer, and obtains image data of a plurality of frequency layers;
  • the transmission device includes a transmission unit that transmits the image data of the plurality of frequency layers.
  • the processing unit classifies the image data of the predetermined frame frequency into layers, and performs the mixing process with the image data of the other frequency layers only on the image data of the lowest frequency layer to obtain a plurality of frequency layer images. Data is obtained. Then, the transmission unit transmits the image data of the plurality of frequency hierarchies.
  • the image data of the predetermined frame frequency may be image data having a shutter angle of 360 °.
  • the predetermined frame frequency is four times or more the frame frequency of the lowest frequency layer, and the processing unit divides the image data of the plurality of frequency layers into three or more layers of the image data of the predetermined frame frequency. May be obtained.
  • the predetermined frame frequency is 240 Hz
  • the frame frequency of the lowest frequency layer is 60 Hz
  • the image data of a plurality of frequency layers is obtained by dividing the image data of the 240 Hz frame frequency into three layers.
  • the image data may include image data of the 60 Hz layer, image data of the 120 Hz layer, and image data of the 240 Hz layer.
  • the image processing apparatus may further include an information adding unit that adds information of the mixing process to at least the lowest frequency hierarchical image data.
  • the information of the mixing process may include information of the mixing target image and information of the mixing ratio.
  • image data of a plurality of frequency layers obtained by classifying image data of a predetermined frame frequency has been done
  • image data of a predetermined frame frequency has been done
  • FIG. 1 is a block diagram illustrating a configuration example of a transmission / reception system as an embodiment. It is a figure which shows the outline
  • FIG. 3 is a block diagram illustrating a configuration example of a preprocessor of the transmission device.
  • FIG. 9 is a diagram for describing processing in a preprocessor. It is a figure showing the example of composition of a blending information SEI message. It is a figure which shows the content of the main information in the example of a structure of a blending information SEI message.
  • FIG. 14 is a diagram illustrating a specific example of each piece of information when mixed processing information is added to all pictures. It is a block diagram which shows the example of a structure of the post-processor of the television receiver which has the decoding capability which can process the image data of 240Hz. It is a figure for explaining the processing of the post-processor of the television receiver which has the decoding capability which can process the image data of 240Hz.
  • FIG. 3 is a block diagram illustrating a configuration example of a transmission device.
  • FIG. 29 is a diagram illustrating a configuration example of a transport stream TS in a case where mixed processing information is added to only a 60-Hz hierarchical picture. [Fig. 24] Fig.
  • FIG. 24 is a diagram illustrating a configuration example of a transport stream TS in a case where mixed processing information is added to only all pictures. It is a block diagram which shows the example of a structure of the television receiver which has the decoding capability which can process the image data of 240Hz / 120Hz. It is a block diagram which shows the example of a structure of the television receiver which has the decoding capability which can process 60 Hz image data. It is a block diagram showing another example of composition of a transmitting and receiving system.
  • FIG. 2 is a diagram illustrating a configuration outline of a transmission device, a set-top box, and a display. It is a figure showing the example of structure of HDMI blending information infoframe.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a transmission device 100 and a television receiver 200.
  • the transmission device 100 transmits the transport stream TS as a container on a broadcast wave.
  • the transport stream TS includes a basic stream, a first extension stream, and a second extension stream obtained by processing image data of a predetermined frame frequency, in this embodiment, a frame frequency of 240 Hz, which is a high frame rate. Is included.
  • image data having a frame frequency of 240 Hz has a shutter angle of 360 °.
  • Each stream has a NAL (Network Abstraction Layer) unit structure.
  • Each stream includes coded image data of 60 Hz layer image data, 120 Hz layer image data, and 240 Hz layer image data obtained by dividing image data of 240 Hz frame frequency into three layers.
  • the image of the 60 Hz hierarchy constitutes the basic frame frequency, and is the frame frequency image of the lowest frequency hierarchy.
  • Only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer.
  • information of the mixing process (information of the image to be mixed, information of the mixing ratio, etc.) is added to the image data of the 60 Hz hierarchy.
  • the receiving side can easily and appropriately perform the reverse mixing process (mixing release process) on the 60 Hz hierarchical image data based on the information of the mixing process.
  • FIG. 2 shows an outline of image data of each frequency layer obtained by classifying.
  • a 60 Hz image is constituted by the basic stream of the 60 Hz layer.
  • a 120 Hz image is composed of the first extension stream of the 120 Hz layer and the basic stream of the 60 Hz layer.
  • a 240 Hz image is composed of the second extension stream of the 240 Hz layer, the first extension stream of the 120 Hz layer, and the basic stream of the 60 Hz layer. Only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer image data and the 240 Hz layer image data.
  • the television receiver 200 receives the above-described transport stream TS transmitted from the transmitting device 100 on a broadcast wave.
  • the television receiver 200 has a decoding capability capable of processing 60 Hz image data
  • the television receiver 200 processes only the basic stream included in the transport stream TS to obtain image data of each frame of the 60 Hz frame frequency image data. And play the image.
  • the television receiver 200 when the television receiver 200 has a decoding capability capable of processing image data having a frame frequency of 120 Hz or 240 Hz, the television receiver 200 processes both the basic stream and the extension stream included in the transport stream TS, and performs processing at 120 Hz or 240 Hz. The image data of each frame of the image data of the frame frequency is obtained, and the image is reproduced. In this case, the television receiver 200 appropriately performs an inverse mixing process on the image data of the 60 Hz hierarchy.
  • FIG. 3 shows an outline of the configuration of the transmitting apparatus 100 and the television receiver 200. Note that the image sequence of the output R of the preprocessor 102 of the transmitting device 100 and the image sequence of the output R of the decoder 204 of the television receiver 200A are the same in time series. Including different cases.
  • the preprocessor 102 classifies the image data P having a frame frequency of 240 Hz into three layers, and includes image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer including image data of a 240 Hz layer. Data R is obtained.
  • the preprocessor 102 performs a mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer for the image data of the 60 Hz layer.
  • FIG. 4 shows a configuration example of the preprocessor 102 of the transmission device 100.
  • the preprocessor 102 has a 240 Hz hierarchical mixed operation unit 102a and a 120 Hz hierarchical mixed operation unit 102b.
  • the 240 Hz hierarchical mixing operation unit 102a receives the above-described image data P having a frame frequency of 240 Hz and outputs the image data Q having a frame frequency of 240 Hz.
  • FIG. 5A shows image data P having a frame frequency of 240 Hz.
  • the image data P has a configuration in which four frame sections of P1, P2, P3, and P4 are repeated.
  • FIG. 5B shows image data Q having a frame frequency of 240 Hz.
  • the image data Q has a configuration in which four frame sections Q1, Q2, Q3, and Q4 are repeated.
  • the 240 Hz hierarchical mixing operation unit 102a performs a process for directly outputting the image data of the P1, P2, and P4 frames of the image data P as the image data of the Q1, Q2, and Q4 frames of the image data Q. . Also, the 240 Hz hierarchical mixing operation unit 102a outputs mixed image data t (P2, P3, P4) of the image data of the frames of the image data P2, P3, and P4 as the image data of the frame of the image data Q3. (Mixing process) is performed.
  • the image data of the frame of Q3 is calculated based on the following equation (1) using the image data of the frames of P2, P3, and P4.
  • P3 is 60 Hz hierarchical image data
  • P2 and P4 are 240 Hz hierarchical image data.
  • Q3 c * P2 + d * P3 + e * P4 (1)
  • the current240 Hz hierarchical mixing operation unit 102a is provided with “current_picture_position”, “blend_coefficient_A”, “blend_coefficient_B”, and the like as 240 Hz hierarchical mixing parameters that are information for performing the above-described mixing processing. The details of this mixing parameter will be described later.
  • FIG. 5C shows image data R having a frame frequency of 240 Hz.
  • This image data R has a configuration in which four frame sections of R1, R2, R3, and R4 are repeated.
  • the 120 Hz hierarchical mixing operation unit 102b performs a process for directly outputting the image data of the Q1, Q2, and Q4 frames of the image data Q as the image data of the R1, R2, and R4 frames of the image data R. . Further, a process (mixing process) for outputting mixed image data t (Q1, Q3) of the image data of the frame of the image data Q1 and Q3 as the image data of the R3 frame of the image data R is performed.
  • the image data of the R3 frame is calculated based on the following equation (2) using the image data of the Q1 and Q3 frames.
  • Q3 is image data of a 60 Hz layer
  • Q1 is image data of a 120 Hz layer.
  • R3 a * Q1 + b * Q3 (1)
  • the “120 Hz hierarchical mixing operation unit 102b is provided with“ current_picture_position ”,“ blend_coefficient_A ”,“ blend_coefficient_B ”, and the like as 120 Hz hierarchical mixing parameters that are information for performing the above-described mixing processing. The details of this mixing parameter will be described later.
  • the image data of the R3 frame of the image data R constitutes 60 Hz hierarchical image data
  • the R1 image data of the image data R constitutes 120 Hz hierarchical image data of +60 Hz
  • the R2 and R4 image data of the image data R further constitute 120 Hz hierarchical image data.
  • the image data constitutes image data of a 240 Hz hierarchy of +120 Hz.
  • the image data of the R1, R2, and R4 frames of the image data R are the same as the image data of the P1, P2, and P4 frames of the image data P, respectively.
  • the image data of the R3 frame of the image data R is obtained by mixing the image data of the P1 to P4 frames of the image data P.
  • the mixing process is not performed on the image data of the 120 Hz layer and the image data of the 240 Hz layer, and only the image data of the 60 Hz layer is mixed using the image data of the 120 Hz layer image data and the image data of the 240 Hz layer. Has been done. Thereby, on the receiving side, it is possible to reduce deterioration of moving image quality due to strobing in the basic frame frequency (60 Hz) layer, and to maintain high image quality in other frame frequency (120 Hz, 240 Hz) layers. .
  • the encoder 103 performs hierarchical coding processing on the image data R output from the preprocessor 102 by, for example, HEVC (High Efficiency Video Coding), and outputs a basic stream STb and a first extension stream. STe1 and the second extension stream STe2 are obtained.
  • HEVC High Efficiency Video Coding
  • the basic stream STb includes encoded image data of 60 Hz hierarchical image data (see image data of R3 frame (picture) in FIG. 5C). Also, the first extension stream includes encoded image data of 120 Hz hierarchical image data (see image data of the R1 frame (picture) in FIG. 5C). In addition, the second extension stream includes coded image data of 240 Hz hierarchical image data (see image data of R2 and R4 frames (pictures) in FIG. 5C).
  • the encoder 103 adds information of the mixing process including the information of the mixing target image and the information of the mixing ratio to the image data of at least the 60 Hz hierarchy.
  • a newly defined blending information SEI message (Blending_information @ SEI @ message) is inserted into the "SEIs" portion of the access unit (AU).
  • FIG. 6 shows an example of the structure (Syntax) of the blending information / SEI message
  • FIG. 7 shows contents (Semantics) of main information in the example of the structure.
  • the field of “blending_information_id” is identification information indicating that the message is a blending information / SEI message.
  • the field of “number_of_blending_layers” indicates the number of frequency layers for performing the mixing process. The following fields are repeated by the number of the frequency layers.
  • the “framerate_layer” field indicates the target frequency hierarchy. For example, “1” indicates 50 Hz, “2” indicates 60 Hz, “3” indicates 100 Hz, “4” indicates 120 Hz, “5” indicates 200 Hz, and “6” indicates 240 Hz.
  • the “blend_flag” field indicates whether or not the picture is mixed. For example, “1” indicates that they are mixed, and “0” indicates that they are not mixed.
  • the “blend_target_flag” field indicates whether or not the picture is a target of the blending process. For example, “1” indicates a target, and “0” indicates a non-target.
  • “Shutter_angle” indicates the shutter angle (shutter aperture ratio with respect to the frame period) of the target layer. For example, “1” indicates 360 ° (100%), “2” indicates 270 ° (75%), “3” indicates 180 ° (50%), and “4” indicates 90 ° (25%).
  • “Temporal_filter_taps_minus2” indicates the number of pictures that contribute to the mixing process. The value obtained by adding 2 to the value of “temporal_filter_taps_minus2” is the number of pictures that contribute to the mixing process.
  • “Current_picture_position” indicates the temporal position of the current picture in a picture (“blend_target_flag” is “1”) contributing to the blending process. If the number of pictures contributing to the blending process is 2 (“temporal_filter_taps_minus2” is 0), “10” indicates that the temporal order is the earlier of the two pictures, and “01” indicates the earlier of the two pictures. Indicates that the chronological order is later.
  • temporal_filter_taps_minus2 When the number of pictures contributing to the blending process is 3 (“temporal_filter_taps_minus2” is 1), when the pictures are mixed (“blend_flag” is “1”), the temporal order of the three pictures is For example, it is "11" to indicate that it is the center.
  • temporary_filter_taps When the number of pictures contributing to the blending process is 3 (“temporal_filter_taps” is 3) and the picture is not blended (“blend_flag” is “0”), for example, “10” is 3 pictures Indicates that the temporal order is the earliest, “11” indicates that the time is the center of the three pictures, and “01” indicates that the temporal order is the latest of the three pictures.
  • the fields of “blend_coefficient_A” and “blend_coefficient_B” are repeated by the number of pictures that contribute to the mixing process.
  • the field of “blend_coefficient_A” indicates a numerator of the coefficient of the mixing operation.
  • the field of “blend_coefficient_B” indicates a denominator of the coefficient of the mixing operation.
  • FIG. 8 shows a specific example of each piece of information in the case where the mixed processing information is added only to the 60 Hz hierarchical picture (see the R3 frame (picture) in FIG. 5C).
  • “number_of_blending_layers” is set to 2, indicating that the number of frequency layers for performing the mixing process is 2.
  • “framerate_layer” is set to “6”, indicating that the target frequency layer is 240 Hz.
  • “blend_flag” is set to “1”, indicating that the picture is mixed.
  • “blend_target_flag” is set to “1”, indicating that the picture is a target of the blending process.
  • “shutter_angle” is set to “2”, which indicates that the shutter angle is 270 °.
  • “temporal_filter_taps_minus2” is set to 1 to indicate that the number of pictures that contribute to the mixing process is 3.
  • “current_picture_position” is set to “11”, which indicates that the temporal order of the three pictures is the center.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 4, indicating that the mixture ratio of the picture with the earliest temporal order is 1/4.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are set to 1 and 4, respectively, indicating that the mixing ratio of the picture in the temporal order (the picture concerned) is 1/2.
  • the third “blend_coefficient_A” and “blend_coefficient_B” are respectively 1 and 4, indicating that the mixture ratio of the picture with the slowest temporal order is 1/4.
  • “framerate_layer” is set to “4”, indicating that the target frequency layer is 120 Hz.
  • “blend_flag” is set to “1”, indicating that the picture is mixed.
  • “blend_target_flag” is set to “1”, indicating that the picture is a target of the blending process.
  • “Shutter_angle” is set to “1”, which indicates that the shutter angle is 360 °.
  • R3 transmitted in the base layer as the lowest frequency has a two-stage shutter angle.
  • “temporal_filter_taps_minus2” is set to 0, indicating that the number of pictures contributing to the mixing process is 2.
  • “current_picture_position” is set to “01”, which indicates that the picture is the one with the later temporal order among the two pictures.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 5, indicating that the mixture ratio of the picture in the earlier temporal order is 1/5.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are set to 4 and 5, respectively, indicating that the mixing ratio of the picture in the temporal order (the picture concerned) is 4/5.
  • FIG. 9 is different from the example of FIG. 5C in the case where the R2 frame of the image data R is subjected to the mixing process, and the specific information in the case where the mixing process information is added only to the 60 Hz hierarchical picture.
  • An example is shown.
  • “number_of_blending_layers” is set to 2, indicating that the number of frequency layers for performing the mixing process is 2.
  • “framerate_layer” is set to “6”, indicating that the target frequency layer is 240 Hz.
  • Each information in the 240 Hz frequency layer is the same as the example in FIG.
  • “framerate_layer” is set to “4”, indicating that the target frequency layer is 120 Hz.
  • “current_picture_position” is set to “10”, which indicates that the picture is the earlier of the two pictures in temporal order.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are set to 4 and 5, respectively, indicating that the mixture ratio of the picture with the earlier temporal order (the picture concerned) is 4/5.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 5, which indicates that the mixture ratio of the picture in the later temporal order is 1/5.
  • the detailed description is omitted, but the rest is the same as the example of FIG. 8 described above.
  • FIG. 10 shows a specific example of each piece of information when the mixed processing information is added to all pictures.
  • This example shows a case where the R3 frame of the image data R is mixed as in the example of FIG.
  • the mixed processing information added to the 60 Hz hierarchical picture (see the frame (picture) of R3 in FIG. 5C) is the same as in the example of FIG. 8, and the description thereof is omitted.
  • “framerate_layer” is set to “4”, indicating that the target frequency layer is 120 Hz.
  • the following is shown in the frequency hierarchy of 120 Hz. That is, “blend_flag” is set to “0”, indicating that the picture is not mixed. Also, “blend_target_flag” is set to “1”, indicating that the picture is a target of the blending process. Further, “shutter_angle” is set to “3”, which indicates that the shutter angle is 180 °.
  • “temporal_filter_taps_minus2” is set to 0, indicating that the number of pictures contributing to the mixing process is 2.
  • “current_picture_position” is set to “10”, which indicates that the picture is the earlier of the two pictures in temporal order.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 5, which indicates that the mixture ratio of the picture in the temporal order (the picture concerned) is 1.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are set to 4 and 5, respectively, indicating that the mixture ratio of the picture in the later temporal order is 4/5.
  • “framerate_layer” is set to “6”, indicating that the target frequency layer is 240 Hz.
  • the following is shown in the 240 Hz frequency hierarchy. That is, “blend_flag” is set to “0”, indicating that the picture is not mixed. Also, “blend_target_flag” is set to “1”, indicating that the picture is a target of the blending process.
  • “Shutter_angle” is set to “1”, which indicates that the shutter angle is 360 °.
  • “temporal_filter_taps_minus2” is set to 1 to indicate that the number of pictures that contribute to the mixing process is 3.
  • “current_picture_position” is set to “10”, which indicates that the picture has the earliest temporal order among the three pictures.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 4, indicating that the mixture ratio of the picture (the picture concerned) having the earliest temporal order is 1.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are respectively 1 and 2, indicating that the mixing ratio of the picture in the temporal order is 1/2.
  • the third “blend_coefficient_A” and “blend_coefficient_B” are respectively 1 and 4, indicating that the mixture ratio of the picture with the slowest temporal order is 1/4.
  • “framerate_layer” is set to “6”, indicating that the target frequency layer is 240 Hz.
  • the following is shown in the 240 Hz frequency hierarchy. That is, “blend_flag” is set to “0”, indicating that the picture is not mixed. Also, “blend_target_flag” is set to “1”, indicating that the picture is a target of the blending process.
  • “Shutter_angle” is set to “1”, which indicates that the shutter angle is 360 °.
  • “temporal_filter_taps_minus2” is set to 1 to indicate that the number of pictures that contribute to the mixing process is 3.
  • “current_picture_position” is set to “01”, indicating that the picture is the latest in temporal order among the three pictures.
  • the first “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 4, indicating that the mixture ratio of the picture with the earliest temporal order is 1/4.
  • the second “blend_coefficient_A” and “blend_coefficient_B” are respectively 1 and 2, indicating that the mixing ratio of the picture in the temporal order is 1/2.
  • the third “blend_coefficient_A” and “blend_coefficient_B” are respectively set to 1 and 4, indicating that the mixture ratio of the picture (the picture) having the slowest temporal order is 4.
  • the decoder 204 performs a decoding process on the three streams STb, STe1, and STe2 to obtain image data R3 of the 60 Hz layer and image data R3 of the 120 Hz layer.
  • the image data R1 and the image data R having a frame frequency of 240 Hz including the image data R2 and R4 of the 240 Hz hierarchy are output.
  • the post-processor 205 processes the image data R having the frame frequency of 240 Hz, and outputs the image data P3 of the 60 Hz hierarchy, the image data P1 of the 120 Hz hierarchy, and the image data P2 and P4 of the 240 Hz hierarchy. , And image data P having a frame frequency of 240 Hz is obtained.
  • the post-processor 205 performs an inverse mixing process (mixing release process) on the 60 Hz layer image data using the 120 Hz layer image data and the 240 Hz layer image data.
  • FIG. 11 shows a configuration example of the post processor 205 of the television receiver 200A.
  • the post processor 205 includes a 120 Hz hierarchical inverse mixing operation unit 205a and a 240 Hz hierarchical inverse mixing operation unit 205b.
  • the image data R having the above-described 240 Hz frame frequency is input to the 120 Hz hierarchical inverse mixing operation unit 205a, and the image data Q having the 240 Hz frame frequency is output.
  • FIG. 12A shows image data R having a frame frequency of 240 Hz output from the decoder 204.
  • This image data R has a configuration in which four frame sections of R1, R2, R3, and R4 are repeated.
  • FIG. 12B shows image data Q having a frame frequency of 240 Hz output from the 120 Hz hierarchical inverse mixing operation unit 205a.
  • the image data Q has a configuration in which four frame sections Q1, Q2, Q3, and Q4 are repeated.
  • the 120 Hz hierarchical inverse mixing operation unit 205a performs a process for directly outputting the image data of the R1, R2, and R4 frames of the image data R as the image data of the Q1, Q2, and Q4 frames of the image data Q.
  • the image data of the frame of R1 from which the image data component of the frame of R1 is removed is obtained as the image data of the frame of Q3.
  • the image data of the frame of Q3 includes components of the image data of the frames of R2 and R4.
  • the image data of the frame of Q3 is calculated based on the following equation (3) using the image data of the frames of R1 and R3.
  • R3 is the image data of the 60 Hz hierarchy
  • R1 is the image data of the 120 Hz hierarchy.
  • You. Q3 (1 / b) ⁇ (-1) * a * R1 + R3 ⁇ (3)
  • the “120 Hz hierarchical inverse mixing operation unit 205a is provided with“ current_picture_position ”,“ blend_coefficient_A ”,“ blend_coefficient_B ”, and the like as 120 Hz hierarchical mixing parameters that are information for performing the above-described inverse mixing processing. As described above, the 120 Hz hierarchical mixed parameter is extracted and used by the decoder 204 added to the image data R on the transmission side.
  • FIG. 12C shows image data P having a frame frequency of 240 Hz output from the 240 Hz hierarchical inverse mixing operation unit 205b.
  • the image data P has a configuration in which four frame sections of P1, P2, P3, and P4 are repeated.
  • the 240 Hz hierarchical inverse mixing operation unit 205b performs a process for directly outputting the image data of the Q1, Q2, and Q4 frames of the image data Q as the image data of the P1, P2, and P4 frames of the image data P. . Also, a process for outputting image data t ′ (Q2, Q3, Q4) reversely mixed using the image data of the frame of the image data Q2, Q3, and Q4 as the image data of the frame of the P3 of the image data P. (Reverse mixing processing) is performed. In this case, as the image data of the frame of P3, the image data from which the image data components of the frames of Q2 and Q4 are removed is obtained. Accordingly, the image data P output from the 240 Hz hierarchical inverse mixing operation unit 205b is similar to the image data P having a frame frequency of 204 Hz input to the preprocessor 102 of the transmission device 100 described above.
  • the image data of the P3 frame is calculated based on the following equation (4) using the image data of the Q2, Q3, and Q4 frames.
  • Q3 is 60 Hz hierarchical image data
  • Q2 and Q4 are 240 Hz hierarchical image data.
  • P3 (1 / d) ⁇ (-1) * c * Q2 + Q3 + (-1) * e * Q4 ⁇ (4)
  • the “current_picture_position”, “blend_coefficient_A”, “blend_coefficient_B”, and the like are given to the 240 Hz hierarchical inverse mixing operation unit 205b as 240 Hz hierarchical mixing parameters that are information for performing the above-described inverse mixing processing.
  • the 240 Hz hierarchical mixing parameter is extracted and used by the decoder 204 added to the image data R on the transmitting side as described above.
  • the 240 Hz image data P obtained by the post processor 205 is subjected to frame interpolation as it is or by a frame interpolation (Motion Compensated Frame Insertion) unit 206 to increase the frame rate.
  • a frame interpolation (Motion Compensated Frame Insertion) unit 206 to increase the frame rate.
  • FIG. 12D shows a display sequence in the case where the image data P of 240 Hz is used as image data for display as it is.
  • the decoder 204 performs a decoding process on the two streams STb and STe1 to obtain 60 Hz layer image data R3 and 120 Hz layer image data R3.
  • Image data R ' having a frame frequency of 120 Hz including the image data R1 is obtained.
  • the post-processor 205 processes the image data R ′ having the frame frequency of 120 Hz, and outputs the image data Q3 of the 60 Hz hierarchy and the image data of the 120 Hz frame frequency including the image data Q1 of the 120 Hz hierarchy.
  • Q ′ is obtained.
  • the post-processor 205 performs an inverse mixing process (mixing release process) on the image data of the 60 Hz layer using the image data of the 120 Hz layer.
  • FIG. 13 shows a configuration example of the post processor 205 of the television receiver 200B.
  • the post processor 205 has a 120 Hz hierarchical inverse mixing operation unit 205a.
  • the above-mentioned image data R 'having a frame frequency of 120 Hz is input to the 120 Hz hierarchical inverse mixing operation unit 205a, and image data Q' having a frame frequency of 120 Hz is output.
  • FIG. 14A shows image data R ′ having a frame frequency of 120 Hz output from the decoder 204.
  • This image data R ' has a configuration in which two frame sections of R1 and R3 are repeated.
  • FIG. 14B shows image data Q ′ having a frame frequency of 120 Hz output from the 120 Hz hierarchical inverse mixing operation unit 205a.
  • the image data Q ′ has a configuration in which two frame sections of Q1 and Q3 are repeated.
  • the # 120 Hz hierarchical inverse mixing operation unit 205a performs a process for directly outputting the image data of the R1 frame of the image data R 'as the image data of the Q1 frame of the image data Q'. Processing for outputting image data t '(R1, R3) inversely mixed using the image data of the frame of image data R1, R3 as the image data of the frame of image data Q', Q3 (inverse mixing) Processing) is performed. In this case, the image data of the frame of R1 from which the image data component of the frame of R1 is removed is obtained as the image data of the frame of Q3.
  • the image data of the frame of Q3 includes components of the image data of the frames of R2 and R4.
  • the “120 Hz hierarchical inverse mixing operation unit 205a is provided with“ current_picture_position ”,“ blend_coefficient_A ”,“ blend_coefficient_B ”, and the like as 120 Hz hierarchical mixing parameters that are information for performing the above-described inverse mixing processing. As described above, the 120 Hz hierarchical mixing parameter is extracted and used by the decoder 204 added to the image data R 'on the transmission side.
  • the 120 Hz image data Q ′ obtained by the post-processor 205 is subjected to frame interpolation as it is or by a Motion Compensated Frame Insertion (MCFI) unit 206 to increase the frame rate.
  • MCFI Motion Compensated Frame Insertion
  • FIG. 14C shows a display sequence in a case where the image data Q ′ of 120 Hz is directly used as the display image data.
  • the stream STb is subjected to decoding processing in the decoder 204, and the image data of the 60 Hz frame frequency including the image data R3 of the 60 Hz hierarchy is output.
  • R ′′ is obtained.
  • the 60 Hz hierarchical image data R3 is obtained by mixing the image data of the frames P1, P2, P3, and P4 in the image data P having the frame frequency of 240 Hz.
  • FIG. Shows image data R ′′ having a frame frequency of 60 Hz and output from the CPU.
  • the image data R ′′ has a configuration in which the frame section of R3 is repeated.
  • FIG. 15B shows a display sequence when the 60 Hz image data R ′′ is used as the display image data as it is.
  • FIG. 16 illustrates a configuration example of the transmission device 100.
  • the transmission device 100 includes a control unit 101, a preprocessor 102, an encoder 103, a multiplexer 104, and a transmission unit 105.
  • the control unit 101 controls the operation of each unit of the transmission device 100.
  • the preprocessor 102 classifies the image data P having a frame frequency of 240 Hz into three layers, and outputs image data R having a frame frequency of 240 Hz including image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer. (See FIGS. 4 and 5). In this case, only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer.
  • the encoder 103 performs a hierarchical encoding process on the image data R output from the preprocessor 102 by, for example, HEVC (High Efficiency Video Coding) to obtain a basic stream STb, a first extension stream STe1, and a second extension stream STe2.
  • the basic stream STb includes coded image data of 60 Hz hierarchical image data (see image data of R3 frame (picture) in FIG. 5C).
  • the first extension stream STe1 includes coded image data of the image data of the 120 Hz layer (see the image data of the frame (picture) of R1 in FIG. 5C). Also, the second extension stream STe2 includes encoded image data of 240 Hz hierarchical image data (see image data of R2 and R4 frames (pictures) in FIG. 5C).
  • the encoder 103 adds, to at least the image data of the 60 Hz hierarchy, information of the mixing process including information of the mixing target image and information of the mixing ratio. Specifically, a newly defined blending information SEI message (see FIG. 6) is inserted into the “SEIs” portion of the access unit (AU) of each picture.
  • the multiplexer 104 converts the basic stream STb, the first extended stream STe1, and the second extended stream STe2 generated by the encoder 103 into PES (Packetized ⁇ Elementary ⁇ Stream) packets, and further multiplexes them into transport packets to form a multiplexed stream.
  • PES Packetized ⁇ Elementary ⁇ Stream
  • Transmitting section 105 modulates transport stream TS by a modulation method suitable for broadcasting such as QPSK / OFDM, and transmits an RF modulated signal from a transmitting antenna.
  • FIG. 17 shows a configuration example of the transport stream TS.
  • This example shows a configuration example in a case where the mixed processing information is attached only to the picture of the 60 Hz layer.
  • the transport stream TS includes three streams (substreams) of a basic stream (base stream) STb, a first extended stream (first enhanced stream) STe1, and a second extended stream (second enhanced stream) STe2. )It is included.
  • the PES packet “video @ PES1” of the basic stream STb identified by the packet identifier “PID1” exists, and the PES packet “video @ PES2” of the first extension stream STe1 identified by the packet identifier “PID2”.
  • a blending information SEI message (see FIGS. 6, 8, and 9) is inserted into the coded image data of each picture of the 60 Hz layer that is containerized by the $ PES packet "video @ PES1".
  • the transport stream TS includes PMT (Program Map Table) as one of PSI (Program Specific Information).
  • PSI Program Specific Information
  • PMT has a program loop (Program $ loop) that describes information related to the entire program. Further, the PMT has a video elementary stream loop having information related to each video stream. In this configuration example, there is a video elementary stream loop "video @ ES1 @ loop” corresponding to the basic stream STb, a video elementary stream loop "video @ ES2 @ loop” corresponding to the first extension stream STe1, and further, There is a video elementary stream loop "video @ ES3 @ loop” corresponding to the second extension stream STe2.
  • the stream type is set to “0x24” indicating a basic stream.
  • the stream type is set to “0x25” indicating an extension stream.
  • the stream type is set to “0x25” indicating an extension stream.
  • FIG. 18 shows another configuration example of the transport stream TS.
  • This example shows a configuration example in which mixed processing information is added to all pictures.
  • a blending information / SEI message (see FIGS. 6 and 10) is inserted into the coded image data of each picture of the 240 Hz layer.
  • Other configurations are the same as those of the configuration example of the transport stream TS shown in FIG. 17, but detailed description thereof will be omitted.
  • Image data P (see FIG. 5A) having a frame frequency of 240 Hz is input to the preprocessor 102 (see FIG. 4).
  • the image data P is divided into three layers, and image data R having a frame frequency of 240 Hz including image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer (see FIG. 5C). ) Is obtained.
  • the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer is performed only for the image data of the 60 Hz layer (see the image data of the R3 frame (picture) in FIG. 5C).
  • the 240 Hz image data R obtained by the preprocessor 102 is supplied to the encoder 103.
  • the image data R is subjected to a hierarchical encoding process by, for example, HEVC, and a basic stream STb, a first extension stream STe1, and a second extension stream STe2 are obtained.
  • the basic stream STb includes encoded image data of 60 Hz hierarchical image data (see image data of R3 frame (picture) in FIG. 5C).
  • the first extension stream STe1 includes coded image data of the image data of the 120 Hz layer (see the image data of the frame (picture) of R1 in FIG. 5C).
  • the second extension stream STe2 includes encoded image data of 240 Hz hierarchical image data (see image data of R2 and R4 frames (pictures) in FIG. 5C).
  • the basic stream STb, the first extension stream STe1, and the second extension stream STe2 generated by the encoder 103 are supplied to the multiplexer 104.
  • each stream is converted into a PES packet, further converted into a transport packet, and multiplexed, to obtain a transport stream TS as a multiplexed stream.
  • the transport stream TS generated by the multiplexer 104 is sent to the transmitting unit 105.
  • the transport stream TS is modulated by a modulation method suitable for broadcasting, such as QPSK / OFDM, and the RF modulated signal is transmitted from a transmission antenna.
  • FIG. 19 shows a configuration example of a television receiver 200A having a decoding capability capable of processing image data of 240 Hz.
  • the television receiver 200A includes a control unit 201, a receiving unit 202, a demultiplexer 203, a decoder 204, a post processor 205, an MCFI unit 206, and a panel display unit 207.
  • the control unit 201 controls the operation of each unit of the television receiver 200A.
  • the receiving unit 202 demodulates the RF modulated signal received by the receiving antenna, and obtains the transport stream TS.
  • the demultiplexer 203 extracts the basic stream STb, the first extended stream STe1, and the second extended stream STe2 from the transport stream TS by PID filtering, and supplies the extracted streams to the decoder 204.
  • the decoder 204 performs a decoding process on the streams STb, STe1, and STe2, and outputs image data R having a frame frequency of 240 Hz including image data of the 60 Hz layer, image data of the 120 Hz layer, and image data of the 240 Hz layer (FIG. 12A). See). In this case, only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer.
  • the decoder 204 extracts the parameter set and SEI inserted in each access unit constituting the streams STb, STe1, and STe2, and sends them to the control unit 201.
  • a blending information / SEI message (see FIG. 6) having information on the mixing process (including information on the image to be mixed and information on the mixing ratio) is also extracted.
  • the control unit 201 controls an inverse mixing process (mixing release process) for the 60 Hz hierarchical image data in the post processor 205 based on the information of the mixing process.
  • the post processor 205 processes the image data R having a frame frequency of 240 Hz, and outputs image data P having a frame frequency of 240 Hz including image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer (FIG. 11, see FIG. 12).
  • the image data of the 60 Hz hierarchy is subjected to the reverse mixing process (mixing release process) using the image data of the 120 Hz hierarchy and the image data of the 240 Hz hierarchy based on the information of the mixing process.
  • the MCFI unit 206 performs a frame interpolation process of motion compensation on the image data P having a frame frequency of 240 Hz obtained by the post processor 205 to obtain image data with a further increased frame rate. In some cases, the MCFI unit 206 is not provided.
  • the panel display unit 207 performs image display using 240 Hz image data obtained by the post processor 205 or image data whose frame rate has been increased by the MCFI unit 206.
  • the RF modulation signal received by the receiving antenna is demodulated, and a transport stream TS is obtained.
  • This transport stream TS is sent to the demultiplexer 203.
  • the basic stream STb, the first extended stream STe1, and the second extended stream STe2 are extracted from the transport stream TS by PID filtering, and supplied to the decoder 204.
  • the decoder 204 performs a decoding process on the streams STb, STe1, and STe2 to obtain image data R (see FIG. 12A) having a frame frequency of 240 Hz.
  • the image data R includes 60 Hz hierarchical image data (see image data of R3 frame (picture) in FIG. 12A) and 120 Hz hierarchical image data (R1 frame (picture) of FIG. 12A).
  • Image data (see image data) and 240 Hz hierarchical image data see image data of R2 and R4 frames (pictures) in FIG. 12A). Only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer.
  • the decoder 204 extracts the parameter set and SEI inserted in each access unit constituting the streams STb, STe1, STe2, and sends them to the control unit 201.
  • a blending information / SEI message (see FIG. 6) having information on the mixing process (including information on the image to be mixed and information on the mixing ratio) is also extracted.
  • the control unit 201 controls the back-mixing process (mixing release process) for the 60-Hz hierarchical image data in the post-processor 205 based on the information of the mixing process.
  • the image data R having a frame frequency of 240 Hz obtained by the decoder 204 is supplied to the post processor 205.
  • the post-processor 205 processes the image data R to obtain image data P having a frame frequency of 240 Hz (see FIG. 12C).
  • This image data P includes image data of the 60 Hz layer (see the image data of the frame (picture) of P3 in FIG. 12C) and image data of the 120 Hz layer (the frame (picture) of P1 in FIG. 12C).
  • Image data) and image data of the 240 Hz hierarchy see image data of frames (pictures) of P2 and P4 in FIG. 12C).
  • the image data of the 60 Hz layer is subjected to the reverse mixing process (mixing release process) using the image data of the 120 Hz layer and the image data of the 240 Hz layer based on the information of the mixing process. Therefore, the image data P having a frame frequency of 240 Hz output from the post-processor 205 is obtained by demixing both the 120-Hz layer and the 240-Hz layer, and the 240-Hz frame input to the pre-processor 102 of the transmitting apparatus 100 described above. This is similar to the frequency image data P.
  • the image data of the frame frequency of 240 Hz obtained by the post processor 205 or the image data of which the frame rate is further increased by the MCFI unit 206 is supplied to the panel display unit 207, and the panel display unit 207 displays the image based on the image data. Is done.
  • the television receiver 200B having decoding capability capable of processing image data of $ 120 Hz is configured in the same manner as the television receiver 200A of FIG.
  • the demultiplexer 203 extracts the basic stream STb and the first extension stream STe1 from the transport stream TS by PID filtering, and supplies them to the decoder 204.
  • the decoder 204 performs a decoding process on the streams STb and STe1, and obtains image data R ′ having a frame frequency of 120 Hz (see FIG. 14A).
  • the image data R ′ includes 60 Hz hierarchical image data (see R3 frame (picture) image data in FIG. 14A) and 120 Hz hierarchical image data (R1 frame (picture) in FIG. 14A). Image data). Only the image data of the 60 Hz layer is subjected to the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer.
  • the post processor 205 processes the image data R 'to obtain image data Q' having a frame frequency of 120 Hz (see FIG. 14B).
  • the image data Q ′ includes 60-Hz hierarchical image data (see the image data of the frame (picture) of Q3 in FIG. 14B) and 120-Hz hierarchical image data (the Q1 frame (picture) of FIG. 14B). Image data).
  • the image data of the 60 Hz layer is subjected to the reverse mixing process (mixing release process) using the image data of the 120 Hz layer based on the information of the mixing process. Therefore, the image data Q ′ having a frame frequency of 120 Hz output from the post-processor 205 has been released from the mixing at the 120-Hz hierarchy.
  • the image data of the frame frequency of 120 Hz obtained by the host processor 205 or the image data of which the frame rate has been further increased by the MCFI unit 206 is supplied to the panel display unit 207.
  • the unit 207 displays an image based on the image data.
  • FIG. 20 shows a configuration example of a television receiver 200C having a decoding capability capable of processing 60 Hz image data.
  • the television receiver 200C includes a control unit 201, a receiving unit 202, a demultiplexer 203, a decoder 204, an MCFI unit 206, and a panel display unit 207.
  • the control unit 201 controls the operation of each unit of the television receiver 200C.
  • the receiving unit 202 demodulates the RF modulated signal received by the receiving antenna, and obtains the transport stream TS.
  • the demultiplexer 203 extracts the basic stream STb from the transport stream TS by PID filtering, and supplies the basic stream STb to the decoder 204.
  • the decoder 204 performs a decoding process on the basic stream STb to obtain image data R ′′ having a frame frequency of 60 Hz including image data of a 60 Hz layer (see FIG. 15A).
  • the mixing process using the image data of the 120 Hz layer and the image data of the 240 Hz layer is performed.
  • the MCFI unit 206 performs a motion compensation frame interpolation process on the image data having the frame frequency of 60 Hz to obtain image data with a higher frame rate. In some cases, the MCFI unit 206 is not provided.
  • the panel display unit 207 displays an image based on the image data of the frame frequency of 60 Hz obtained by the decoder 204 or the image data whose frame rate has been increased by the MCFI unit 206.
  • the RF modulation signal received by the receiving antenna is demodulated, and a transport stream TS is obtained.
  • This transport stream TS is sent to the demultiplexer 203.
  • the basic stream STb is extracted from the transport stream TS by PID filtering and supplied to the decoder 204.
  • the decoder 204 performs a decoding process on the basic stream STb to obtain image data R ′′ (see FIG. 15A) having a frame frequency of 60 Hz.
  • the image data R ′′ includes image data of a 60 Hz layer. (See image data of R3 frame (picture) in FIG. 15A).
  • the 60 Hz hierarchical image data is subjected to a mixing process using the 120 Hz hierarchical image data and the 240 Hz hierarchical image data.
  • the image data of the frame frequency of 60 Hz obtained by the decoder 204 or the image data whose frame rate has been further increased by the MCFI unit 206 is supplied to the panel display unit 207, and the panel display unit 207 displays the image based on the image data. Is done.
  • the transmission / reception system 10 shown in FIG. 1 on the transmission side, three frequency layers of a 60 Hz layer, a 120 Hz layer, and a 240 Hz layer obtained by dividing image data having a frame frequency of 240 Hz into three layers. Is transmitted (only the image data of the 60 Hz hierarchy is subjected to the mixing process using the image data of the other frequency hierarchy). Therefore, on the receiving side, the deterioration of the moving image quality due to the strobing can be reduced in the basic 60 Hz frame frequency layer, and the high image quality can be maintained in the 120 Hz or 240 Hz frame frequency layer.
  • image data of three frequency layers of 60 Hz, 120 Hz, and 240 Hz obtained by dividing image data of a 240 Hz frame frequency into three layers.
  • image data of the 60 Hz hierarchy is subjected to the mixing process using the image data of the other frequency hierarchy
  • the image data from the 60 Hz hierarchy to the upper predetermined frequency hierarchy is used in accordance with the display capability. Display image data is obtained. Therefore, deterioration of moving image quality due to strobing can be reduced in the basic 60 Hz frame frequency layer, and high image quality can be maintained in the 120 Hz or 240 Hz frame frequency layer.
  • the example of the transmission / reception system 10 including the transmission device 100 and the television receiver 200 has been described, but the configuration of the transmission / reception system to which the present technology can be applied is not limited thereto.
  • a transmission / reception system in which a television receiver 200 is a set-top box 200-1 and a display 200-2 connected by a digital interface such as HDMI (High-Definition Multimedia Interface), for example 10A is also conceivable.
  • HDMI High-Definition Multimedia Interface
  • HDMI High-Definition Multimedia Interface
  • FIG. 22 shows a schematic configuration of the transmission device 100, the set-top box 200A, and the display 200B in that case.
  • the operation is the same as the configuration of the transmission device 100 and the television receiver 200 shown in FIG.
  • the set top box 200A-1 to the display 200A-1 transmit image data R having a frame frequency of 240 Hz and information of a mixing process for performing a reverse mixing process (mixing release process) of the 60 Hz hierarchical image data.
  • the set-top box 200B-1 to the display 200B-1 information of the mixing process for performing the reverse mixing process (mixing release process) of the 60 Hz hierarchical image data together with the image data R 'having the frame frequency of 120 Hz.
  • the decoder 204 may have the function of the post processor 205.
  • the set-top boxes 200A-1 and 200B-1 insert the information of the mixing process to be added to each picture into, for example, a blanking period in the image data of each picture and transmit it.
  • a newly defined HDMI blending information infoframe HDMI @ blending_Information @ InfoFrame is used.
  • FIG. 23 shows a structural example (Syntax) of the HDMI blending information infoframe, which corresponds to the structural example (Syntax) of the blending information SEI message of FIG. 6 described above, and details of individual information. The description of is omitted.
  • the first three bytes of this info frame are a header part, in which information of an info frame type, a version number, and a byte length of a data byte are arranged.
  • 8 8-bit information of “number_of_blending_layers” is arranged in data byte 0 (N + 0). 8-bit information of “framerate_layer” is arranged in data byte 1 (N + 1). One bit information of “blending_flag” is arranged in the seventh bit of the data byte 2 (N + 2). Also, 1-bit information of “blend_target_flag” is arranged in the sixth bit of data byte 2 (N + 2). Also, 4-bit information of “shutter_angle” is arranged in the fifth to second bits of the data byte 2 (N + 2). Also, 2-bit information of “temporal_filter_taps_minus2” is arranged in the first bit to the 0th bit of the data byte 2 (N + 2).
  • the container is a transport stream (MPEG-2 @ TS).
  • MPEG-2 @ TS transport stream
  • MMT MPEG @ Media @ Transport
  • ISOBMFF MP4
  • the present technology can also have the following configurations.
  • a receiving unit that receives image data of a plurality of frequency hierarchies obtained by hierarchically dividing image data of a predetermined frame frequency; Only the image data of the lowest frequency layer among the image data of the plurality of frequency layers is subjected to a mixing process using image data of another frequency layer,
  • a receiving device further comprising: a processing unit that obtains display image data by using image data from the lowest frequency hierarchy to the upper predetermined frequency hierarchy among the image data of the plurality of frequency hierarchies according to the display capability.
  • the processing unit performs an inverse mixing process on the image data of the lowest frequency layer.
  • the receiving device according to (1).
  • (3) At least the information of the mixing process is added to the image data of the lowest frequency hierarchy, The receiving device according to (2), wherein the processing unit performs an inverse mixing process on the image data of the lowest frequency hierarchy based on the information of the mixing process.
  • the information of the mixing process includes information of a mixing target image and information of a mixing ratio.
  • the predetermined frame frequency is at least four times the frame frequency of the lowest frequency hierarchy, The receiving device according to any one of (1) to (4), wherein the image data of the plurality of frequency layers is obtained by dividing the image data of the predetermined frame frequency into three or more layers.
  • the predetermined frame frequency is 240 Hz
  • the frame frequency of the lowest frequency layer is 60 Hz
  • the image data of the plurality of frequency layers includes image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer obtained by dividing the image data of the 240 Hz frame frequency into three layers.
  • the receiving device according to (5).
  • (7) The receiving device according to any one of (1) to (6), wherein the image data having the predetermined frame frequency is image data having a shutter angle of 360 °.
  • a receiving method further comprising the step of obtaining display image data using image data from the lowest frequency layer to the upper predetermined frequency layer among the image data of the plurality of frequency layers according to the display capability.
  • the image data for display when the image data for display is obtained by using the image data of the higher frequency layer than the image data of the lowest frequency layer, the image data of the lower frequency layer is inverted. Performing the mixing process The receiving method according to (8).
  • the information of the mixing process is added to at least the image data of the frame frequency of the lowest frequency hierarchy,
  • the predetermined frame frequency is at least four times the frame frequency of the lowest frequency hierarchy, The receiving method according to any one of (8) to (11), wherein the image data of the plurality of frequency layers is obtained by dividing the image data of the predetermined frame frequency into three or more layers.
  • the predetermined frame frequency is 240 Hz
  • the frame frequency of the lowest frequency layer is 60 Hz
  • the image data of the plurality of frequency layers includes image data of a 60 Hz layer, image data of a 120 Hz layer, and image data of a 240 Hz layer obtained by dividing the image data of the 240 Hz frame frequency into three layers.
  • a processing unit that classifies image data of a predetermined frame frequency into layers, performs a mixing process on image data of the lowest frequency layer with image data of another frequency layer, and obtains image data of a plurality of frequency layers.
  • a transmission device comprising a transmission unit for transmitting the image data of the plurality of frequency layers.
  • a transmission method comprising transmitting the image data of the plurality of frequency layers.
  • the main feature of the present technology is that image data of a plurality of frequency layers obtained by classifying image data of a high frame rate (mixing processing using image data of another frequency layer only for image data of the lowest frequency layer) Is performed), and the display image data is obtained using the image data from the lowest frequency layer to the upper predetermined frequency layer according to the display capability. That is, it is possible to reduce the deterioration of the moving image quality due to the bing, and to maintain the high image quality in the layers of other frame frequencies (see FIGS. 2, 3, and 5).
  • transmission / reception system 100 transmission device 101: control unit 102: preprocessor 103: encoder 104: multiplexer 105: transmission unit 200, 200A, 200B, 200C ... ⁇ Television receiver 200-1, 200A-1, 200B-1, 200C-1 ... Set-top box 200-2, 200A-2, 200B-2, 200C-2 ... Display 201 ... Control Unit 202 ⁇ ⁇ ⁇ Receiving Unit 203 ⁇ ⁇ ⁇ Demultiplexer 204 ⁇ ⁇ ⁇ Decoder 205 ⁇ ⁇ ⁇ Post Processor 206 ⁇ ⁇ ⁇ MCFI Unit 207 ⁇ ⁇ ⁇ Panel Display Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

基本となるフレーム周波数のレイヤではストロービングによる動画質劣化を低減可能で、かつ他のフレーム周波数のレイヤでは高画質を維持可能とする。　所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データ（最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）を受信する。表示能力に応じて、最下位周波数階層から上位所定周波数階層までの画像データを用いて表示用画像データを得る。基本となるフレーム周波数（最下位周波数階層のフレーム周波数）のレイヤではストロービングによる動画質劣化を低減で、かつ他のフレーム周波数のレイヤでは高画質を維持できる。

Description

受信装置、受信方法、送信装置および送信方法
　本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、混合処理された画像データを取り扱う受信装置、受信方法、送信装置および送信方法に関する。
　従来から放送されているフレームレートでデコードを行う受信機において、ハイフレームレート（High Frame Rate)の放送を受信する場合、ストリームの部分的なデコードを行うと動きの連続性が損なわれて動画質の劣化が生じる。この動画質の劣化の主な原因は、部分デコードされたピクチャ同士の時間連続性が粗くなるため、速い動きに対する人間の眼の網膜投影が間欠的になることで生ずるストロービング（Strobing）であるといわれている。
　ストロービングによる動画質の劣化を低減させるために、本出願人は、先に、基準となるフレーム周期でのピクチャについて、その前後のピクチャとの間で画素混合を行う技術を提案した（特許文献１参照）。この場合、従来の受信機において時間サブサンプルを行っても、動いた要素が部分デコードされる時間サンプルに反映されるので、ストロービングによる動画質劣化が低減される。
国際公開第２０１５/０７６２７７号
　従来の技術では、カメラ撮影で得られる最高周期(例えば２４０Ｈｚ以上）の画像出力に対して、その１/２の周期の全画像、そして１/４ 周期の全画像が混合されるため、１/２の周期の画像再生時にカメラ撮影時点の高画質度が損なわれる。
　ハイフレームレート放送で鮮鋭度のある画質を維持するために、ショートシャッター（Short Shutter）によりシャッターアングルを比較的小さくとった動画を伝送することを基本とし、そのうえで、部分デコードから表示画を作成する受信機において、ストロービングによる動画質の劣化を低減できる方法が望まれる。
　本技術の目的は、基本となるフレーム周波数のレイヤではストロービングによる動画質劣化を低減可能で、かつ他のフレーム周波数のレイヤを含む場合では高画質を維持可能とすることにある。
　本技術の概念は、
　所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データを受信する受信部を備え、
　上記複数の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われており、
　表示能力に応じて、上記複数の周波数階層の画像データのうち上記最下位周波数階層から上位所定周波数階層までの画像データを用いて、表示用画像データを得る処理部をさらに備える
　受信装置にある。
　本技術において、受信部により、所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データが受信される。ここで、複数の周波数階層の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている。ここで、最下位周波数階層は、基本表示周波数に含まれる下位周波数群の階層を意味する。
　例えば、所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである、ようにされてもよい。また、例えば、所定フレーム周波数は、最下位周波数階層のフレーム周波数の４倍以上であり、複数の周波数階層の画像データは、所定フレーム周波数の画像データが３階層以上に階層分けされて得られたものである、ようにされてもよい。この場合、例えば、所定フレーム周波数は２４０Ｈｚであり、最下位周波数階層のフレーム周波数は６０Ｈｚであり、複数の周波数階層の画像データは、２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む、ようにされてもよい。
　処理部により、表示能力に応じて、複数の周波数階層の画像データのうち最下位周波数階層から上位所定周波数階層までの画像データが用いられて、表示用画像データが得られる。例えば、処理部は、表示用画像データを最下位周波数階層の画像データより上位周波数階層の画像データを用いて得る場合、最下位周波数階層の画像データに逆混合処理を行う、ようにされてもよい。この場合、例えば、少なくとも最下位周波数階層の画像データに混合処理の情報が付加されており、処理部は、その混合処理の情報に基づいて、最下位周波数階層の画像データに逆混合処理を行う、ようにされてもよい。この場合、例えば、混合処理の情報は、混合対象画像の情報と混合比の情報を含む、ようにされてもよい。
　このように本技術においては、所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データ（最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）が受信され、表示能力に応じて、最下位周波数階層から上位所定周波数階層までの画像データが用いられて表示用画像データが得られる。そのため、基本となるフレーム周波数（最下位周波数階層のフレーム周波数）のレイヤではストロービングによる動画質劣化を低減可能で、かつ他のフレーム周波数のレイヤでは高画質を維持可能となる。
　また、本技術の他の概念は、
　所定フレーム周波数の画像データを階層分けし、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理を行って、複数の周波数階層の画像データを得る処理部と、
　上記複数の周波数階層の画像データを送信する送信部を備える
　送信装置にある。
　本技術において、処理部により、所定フレーム周波数の画像データが階層分けされ、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理が行われて、複数の周波数階層の画像データが得られる。そして、送信部により、この複数の周波数階層の画像データが送信される。
　例えば、所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである、ようにされてもよい。また、例えば、所定フレーム周波数は、最下位周波数階層のフレーム周波数の４倍以上であり、処理部は、複数の周波数階層の画像データを、所定フレーム周波数の画像データを３階層以上に階層分けして得る、ようにされてもよい。この場合、例えば、所定フレーム周波数は２４０Ｈｚであり、最下位周波数階層のフレーム周波数は６０Ｈｚであり、複数の周波数階層の画像データは、２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む、ようにされてもよい。
　例えば、少なくとも最下位周波数階層の画像データに混合処理の情報を付加する情報付加部をさらに備える、ようにされてもよい。この場合、例えば、混合処理の情報は、混合対象画像の情報と混合比の情報を含む、ようにされてもよい。
　このように本技術においては、所定フレーム周波数の画像データが階層分けされ得られた複数の周波数階層の画像データ（最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）が送信される。そのため、受信側では、基本となるフレーム周波数（最下位階層のフレーム周波数）のレイヤではストロービングによる動画質劣化を低減可能で、かつ他のフレーム周波数のレイヤでは高画質を維持可能となる。
実施の形態としての送受信システムの構成例を示すブロック図である。 階層分けされて得られた各周波数階層の画像データの概要を示す図である。 送信装置およびテレビ受信機の構成概要を示す図である。 送信装置のプリプロセッサの構成例を示すブロック図である。 プリプロセッサにおける処理を説明するための図である。 ブレンディング・インフォメーション・ＳＥＩメッセージの構造例を示す図である。 ブレンディング・インフォメーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合における各情報の具体例を示す図である。 混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合における各情報の具体例を示す図である。 混合処理情報を全ピクチャに付す場合における各情報の具体例を示す図である。 ２４０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機のポストプロセッサの構成例を示すブロック図である。 ２４０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機のポストプロセッサの処理を説明するための図である。 １２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機のポストプロセッサの構成例を示すブロック図である。 １２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機のポストプロセッサの処理を説明するための図である。 １２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機の処理を説明するための図である。 送信装置の構成例を示すブロック図である。 混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合におけるトランスポートストリームＴＳの構成例を示す図である。 混合処理情報を全ピクチャのみに付す場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２４０Ｈｚ/１２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 ６０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 送信装置、セットトップボックスおよびディスプレイの構成概要を示す図である。 ＨＤＭＩ・ブレンディング・インフォメーション・インフォフレームの構造例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システム］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、テレビ受信機２００を有する構成となっている。
　送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、所定フレーム周波数、この実施の形態においてはハイフレームレートである２４０Ｈｚのフレーム周波数の画像データが処理されて得られた、基本ストリーム、第１拡張ストリームおよび第２拡張ストリームが含まれる。ここで、２４０Ｈｚのフレーム周波数の画像データは、３６０°のシャッターアングルを持っている。また、各ストリームは、ＮＡＬ（Network Abstraction Layer）ユニット構造を有するものとされる。
　各ストリームは、２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データの符号化画像データを含んでいる。ここで、６０Ｈｚ階層の画像は、基本となるフレーム周波数を構成しており、最下位周波数階層のフレーム周波数画像である。６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われる。少なくとも、６０Ｈｚ階層の画像データに混合処理の情報（混合対象画像の情報、混合比の情報など）が付加されている。これにより、受信側では、この混合処理の情報に基づいて、６０Ｈｚ階層の画像データに対する逆混合処理（混合解除処理）を容易かつ適切に行い得るようになる。
　図２は、階層分けされて得られた各周波数階層の画像データの概要を示している。６０Ｈｚ階層の基本ストリームにより６０Ｈｚ画像が構成される。また、１２０Ｈｚ階層の第１拡張ストリームと６０Ｈｚ階層の基本ストリームとで１２０Ｈｚの画像が構成される。また、２４０Ｈｚ階層の第２拡張ストリームと１２０Ｈｚ階層の第１拡張ストリームと６０Ｈｚ階層の基本ストリームとで２４０Ｈｚの画像が構成される。６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データの画像データを用いた混合処理が行われている。
　図１に戻って、テレビ受信機２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。テレビ受信機２００は、６０Ｈｚの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、６０Ｈｚのフレーム周波数の画像データの各フレームの画像データを得て、画像再生をする。
　また、テレビ受信機２００は、１２０Ｈｚあるいは２４０Ｈｚのフレーム周波数の画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、１２０Ｈｚあるいは２４０Ｈｚのフレーム周波数の画像データの各フレームの画像データを得て、画像再生をする。この場合、テレビ受信機２００は、６０Ｈｚ階層の画像データに対しては、適宜、逆混合処理をする。
　図３は、送信装置１００およびテレビ受信機２００の構成概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力Ｒの画像シーケンスとテレビ受信機２００Ａのデコーダ２０４の出力Ｒの画像シーケンスとは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。
　送信装置１００では、プリプロセッサ１０２において、２４０Ｈｚのフレーム周波数の画像データＰが３階層に階層分けされ、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む２４０Ｈｚのフレーム周波数の画像データＲが得られる。この場合、プリプロセッサ１０２では、６０Ｈｚ階層の画像データについて、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われる。
　図４は、送信装置１００のプリプロセッサ１０２の構成例を示している。このプリプロセッサ１０２は、２４０Ｈｚ階層混合演算部１０２ａと、１２０Ｈｚ階層混合演算部１０２ｂを有している。２４０Ｈｚ階層混合演算部１０２ａに関しては、上述の２４０Ｈｚのフレーム周波数の画像データＰが入力され、２４０Ｈｚのフレーム周波数の画像データＱが出力される。
　図５（ａ）は、２４０Ｈｚのフレーム周波数の画像データＰを示している。この画像データＰは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム区間が繰り返される構成となっている。図５（ｂ）は、２４０Ｈｚのフレーム周波数の画像データＱを示している。この画像データＱは、Ｑ１，Ｑ２，Ｑ３，Ｑ４の４フレーム区間が繰り返される構成となっている。
　２４０Ｈｚ階層混合演算部１０２ａでは、画像データＱのＱ１，Ｑ２，Ｑ４のフレームの画像データとして、それぞれ、画像データＰのＰ１，Ｐ２，Ｐ４のフレームの画像データをそのまま出力するための処理が行われる。また、２４０Ｈｚ階層混合演算部１０２ａでは、画像データＱのＱ３のフレームの画像データとして、画像データＰ２，Ｐ３，Ｐ４のフレームの画像データの混合画像データｔ（Ｐ２，Ｐ３，Ｐ４）を出力するための処理（混合処理）が行われる。
　この場合、Ｑ３のフレームの画像データは、Ｐ２，Ｐ３，Ｐ４のフレームの画像データを用いて、以下の数式（１）に基づいて演算される。ここで、Ｐ３は６０Ｈｚ階層の画像データであり、Ｐ２，Ｐ４は２４０Ｈｚ階層の画像データである。また、ｃ，ｄ，ｅは、それぞれＰ２，Ｐ３，Ｐ４のフレームの画像データの混合比を示し、例えば、ｃ＝１/４、ｄ＝１/２、ｅ＝１/４とされる。
　Ｑ３＝ｃ＊Ｐ２＋ｄ＊Ｐ３＋ｅ＊Ｐ４　　　・・・（１）
　２４０Ｈｚ階層混合演算部１０２ａには、上述の混合処理を行うための情報である２４０Ｈｚ階層混合パラメータとして、“current_picture_position”、“blend_coefficient_A”、“blend_coefficient_B”などが与えられる。なお、この混合パラメータの詳細については後述する。
　また、１２０Ｈｚ階層混合演算部１０２ｂに関しては、上述の２４０Ｈｚ階層混合演算部１０２ａから出力される２４０Ｈｚのフレーム周波数の画像データＱが入力され、２４０Ｈｚのフレーム周波数の画像データＲが出力される。図５（ｃ）は、２４０Ｈｚのフレーム周波数の画像データＲを示している。この画像データＲは、Ｒ１，Ｒ２，Ｒ３，Ｒ４の４フレーム区間が繰り返される構成となっている。
　１２０Ｈｚ階層混合演算部１０２ｂでは、画像データＲのＲ１，Ｒ２，Ｒ４のフレームの画像データとして、それぞれ、画像データＱのＱ１，Ｑ２，Ｑ４のフレームの画像データをそのまま出力するための処理が行われる。また、画像データＲのＲ３のフレームの画像データとして、画像データＱ１，Ｑ３のフレームの画像データの混合画像データｔ（Ｑ１，Ｑ３）を出力するための処理（混合処理）が行われる。
　この場合、Ｒ３のフレームの画像データは、Ｑ１，Ｑ３のフレームの画像データを用いて、以下の数式（２）に基づいて演算される。ここで、Ｑ３は６０Ｈｚ階層の画像データであり、Ｑ１は１２０Ｈｚ階層の画像データである。また、ａ，ｂは、それぞれＱ１，Ｑ３のフレームの画像データの混合比を示し、例えば、ａ＝１/５、ｂ＝４/５とされる。
　Ｒ３＝ａ＊Ｑ１＋ｂ＊Ｑ３　　　・・・（１）
　１２０Ｈｚ階層混合演算部１０２ｂには、上述の混合処理を行うための情報である１２０Ｈｚ階層混合パラメータとして、“current_picture_position”、“blend_coefficient_A”、“blend_coefficient_B”などが与えられる。なお、この混合パラメータの詳細については後述する。
　画像データＲのＲ３のフレームの画像データは６０Ｈｚ階層の画像データを構成し、画像データＲのＲ１の画像データは＋６０Ｈｚの１２０Ｈｚ階層の画像データを構成し、さらに、画像データＲのＲ２，Ｒ４の画像データは＋１２０Ｈｚの２４０Ｈｚ階層の画像データを構成している。図５（ｃ）に示すように、画像データＲのＲ１，Ｒ２，Ｒ４のフレームの画像データはそれぞれ画像データＰのＰ１，Ｐ２，Ｐ４のフレームの画像データと同じである。また、画像データＲのＲ３のフレームの画像データは、画像データＰのＰ１～Ｐ４のフレームの画像データを混合して得られたものとなる。
　つまり、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データには混合処理は行われておらず、６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データの画像データを用いた混合処理が行われている。これにより、受信側では、基本となるフレーム周波数（６０Ｈｚ）のレイヤではストロービングによる動画質劣化を低減で可能で、かつ他のフレーム周波数（１２０Ｈｚ、２４０Ｈｚ）のレイヤでは高画質を維持可能となる。
　また、送信装置１００では、エンコーダ１０３において、プリプロセッサ１０２から出力される画像データＲに対して例えばＨＥＶＣ（High Efficiency Video Coding）による階層符号化処理が施されて、基本ストリームＳＴｂと、第１拡張ストリームＳＴe1、第２拡張ストリームＳＴe2が得られる。
　基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（図５（ｃ）のＲ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第１拡張ストリームには、１２０Ｈｚ階層の画像データ（図５（ｃ）のＲ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第２拡張ストリームには、２４０Ｈｚ階層の画像データ（図５（ｃ）のＲ２、Ｒ４のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。
　また、送信装置１００では、エンコーダ１０３において、少なくとも６０Ｈｚ階層の画像データに、混合対象画像の情報と混合比の情報等を含む混合処理の情報が付加される。この実施の形態において、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・インフォメーション・ＳＥＩメッセージ（Blending_information SEI message）が挿入される。
　図６は、ブレンディング・インフォメーション・ＳＥＩメッセージの構造例（Syntax）を示し、図７は、その構造例における主要な情報の内容（Semantics）を示している。「blending_information_id」のフィールドは、ブレンディング・インフォメーション・ＳＥＩメッセージであることを示す識別情報である。「number_of_blending_layers」のフィールドは、混合処理を行う周波数階層の数を示す。この周波数階層の数だけ、以下のフィールドが繰り返される。
　「framerate_layer」のフィールドは、対象となる周波数階層を示す。例えば、“１”は５０Ｈｚを示し、“２”は６０Ｈｚを示し、“３”は１００Ｈｚを示し、“４”は１２０Ｈｚを示し、“５”は２００Ｈｚを示し、“６”は２４０Ｈｚを示す。「blend_flag」のフィールドは、当該ピクチャは混合されているか否かを示す。例えば、“１”は混合されていることを示し、“０”は混合されていないことを示す。「blend_target_flag」のフィールドは、当該ピクチャは混合処理の対象であるか否かを示す。例えば、“１”は対象であることを示し、“０”は対象でないことを示す。
　「shutter_angle」は、対象となる階層のシャッターアングル（フレーム期間に対するシャッター開口率）を示す。例えば、“１”は３６０°（１００％）を示し、“２”は２７０°（７５％を示し、“３”は１８０°（５０％）を示し、“４”は９０°（２５％）を示す。「temporal_filter_taps_minus2」は、混合処理に寄与するピクチャ数を示す。この「temporal_filter_taps_minus2」の値に２を加えた値が混合処理に寄与するピクチャ数になる。
　「current_picture_position」は、混合処理に寄与するピクチャ（「blend_target_flag」が“１”）の中での現ピクチャの時間的位置を示す。混合処理に寄与するピクチャ数が２（「temporal_filter_taps_minus2」が０）である場合、“１０”は２つのピクチャのうち時間的順序が早い方であることを示し、“０１”は２つのピクチャのうち時間的順序が遅い方であることを示す。
　また、混合処理に寄与するピクチャ数が３（「temporal_filter_taps_minus2」が１）である場合、当該ピクチャが混合されているとき（「blend_flag」が“１”）は、３つのピクチャのうち時間的順序が中央であることを示す、例えば“１１”となる。また、混合処理に寄与するピクチャ数が３（「temporal_filter_taps」が３）である場合、当該ピクチャが混合されていないとき（「blend_flag」が“０”）は、例えば、“１０”は３つのピクチャのうち時間的順序が最も早いことを示し、“１１”は３つのピクチャのうち時間が中央であることを示し、“０１”は３つのピクチャのうち時間的順序が最も遅いことを示す。
　また、混合処理に寄与するピクチャ数だけ、「blend_coefficient_A」および「blend_coefficient_B」のフィールドが繰り返される。「blend_coefficient_A」のフィールドは、混合演算の係数の分子を示す。「blend_coefficient_B」のフィールドは、混合演算の係数の分母を示す。
　図８は、混合処理情報を６０Ｈｚ階層のピクチャ（図５（ｃ）のＲ３のフレーム（ピクチャ）参照）のみに付す場合における各情報の具体例を示している。この場合、「number_of_blending_layers」は２とされて、混合処理を行う周波数階層の数が２であることが示される。そして、１つ目の階層において、「framerate_layer」は“６”とされて、対象となる周波数階層が２４０Ｈｚであることが示される。
　そして、この２４０Ｈｚの周波数階層において、以下のことが示される。すなわち、「blend_flag」が“１”とされて、当該ピクチャは混合されていることが示される。また、「blend_target_flag」が“１”とされて、当該ピクチャは混合処理の対象であることが示される。また、「shutter_angle」が“２”とされて、シャッターアングルが２７０°であることが示される。ここで、Ｒ３は、１２０Ｈｚ再生の際に、１２０Ｈｚの期間でみると、２４０Ｈｚ時間軸の７５％にあたる期間の動き成分を持つので、「shutter_angle」は２７０°（＝２）になる。
　また、「temporal_filter_taps_minus2」が１とされて、混合処理に寄与するピクチャ数が３であることが示される。また、「current_picture_position」が“１１”とされて、当該ピクチャは３つのピクチャのうち時間的順序が中央であることが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も早いピクチャの混合比が１/４であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が中央のピクチャ（当該ピクチャ）の混合比が１/２であることが示される。また、３番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も遅いピクチャの混合比が１/４であることが示される。
　また、２つ目の階層において、「framerate_layer」は“４”とされて、対象となる周波数階層が１２０Ｈｚであることが示される。
　そして、この１２０Ｈｚの周波数階層において、以下のことが示される。すなわち、「blend_flag」が“１”とされて、当該ピクチャは混合されていることが示される。また、「blend_target_flag」が“１”とされて、当該ピクチャは混合処理の対象であることが示される。また、「shutter_angle」が“１”とされて、シャッターアングルが３６０°であることが示される。ここで、Ｒ３は、６０Ｈｚ再生の際に、６０Ｈｚの期間でみると、２４０Ｈｚ時間軸の１００％にあたる期間の動き成分を持つので、「shutter_angle」は３６０°（＝１）になる。このように、最下段周波数としてベースレイヤで伝送されるＲ３は、２段階のシャッターアングルを持つ。
　また、「temporal_filter_taps_minus2」が０とされて、混合処理に寄与するピクチャ数が２であることが示される。また、「current_picture_position」が“０１”とされて、当該ピクチャは２つのピクチャのうち時間的順序が遅い方であることが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、５とされ、時間的順序が早い方のピクチャの混合比が１/５であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ４、５とされ、時間的順序が遅い方のピクチャ（当該ピクチャ）の混合比が４/５であることが示される。
　図９は、図５（ｃ）の例とは異なって、画像データＲのＲ２のフレームが混合処理された場合であって、混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合における各情報の具体例を示している。この場合、「number_of_blending_layers」は２とされて、混合処理を行う周波数階層の数が２であることが示される。そして、１つ目の階層において、「framerate_layer」は“６”とされて、対象となる周波数階層が２４０Ｈｚであることが示される。この２４０Ｈｚの周波数階層における各情報は、詳細説明は省略するが、上述の図８の例と同様である。
　また、２つ目の階層において、「framerate_layer」は“４”とされて、対象となる周波数階層が１２０Ｈｚであることが示される。そして、この１２０Ｈｚの周波数階層において、「current_picture_position」が“１０”とされて、当該ピクチャは２つのピクチャのうち時間的順序が早い方であることが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ４、５とされ、時間的順序が早い方のピクチャ（当該ピクチャ）の混合比が４/５であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、５とされ、時間的順序が遅い方のピクチャの混合比が１/５であることが示される。詳細説明は省略するが、その他は、上述の図８の例と同様である。
　図１０は、混合処理情報を全ピクチャに付す場合における各情報の具体例を示している。この例は、図８の例と同様に、画像データＲのＲ３のフレームが混合処理された場合について示している。６０Ｈｚ階層のピクチャ（図５（ｃ）のＲ３のフレーム（ピクチャ）参照）付される混合処理情報については、図８の例と同様であるので、その説明は省略する。
　１２０Ｈｚ階層のピクチャ（図５（ｃ）のＲ１のフレーム（ピクチャ）参照）付される混合処理情報について説明する。この場合、「number_of_blending_layers」は１とされて、混合処理を行う周波数階層の数が１であることが示される。
　その１つの階層において、「framerate_layer」は“４”とされて、対象となる周波数階層が１２０Ｈｚであることが示される。そして、この１２０Ｈｚの周波数階層において、以下のことが示される。すなわち、「blend_flag」が“０”とされて、当該ピクチャは混合されていないことが示される。また、「blend_target_flag」が“１”とされて、当該ピクチャは混合処理の対象であることが示される。また、「shutter_angle」が“３”とされて、シャッターアングルが１８０°であることが示される。ここで、Ｒ１は、１２０Ｈｚ再生に利用されるもので、１２０Ｈｚの期間でみると、２４０Ｈｚ時間軸の５０％にあたる期間の動き成分を持つので、「shutter_angle」は１８０°（＝３）になる。
　また、「temporal_filter_taps_minus2」が０とされて、混合処理に寄与するピクチャ数が２であることが示される。また、「current_picture_position」が“１０”とされて、当該ピクチャは２つのピクチャのうち時間的順序が早い方であることが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、５とされ、時間的順序が早い方のピクチャ（当該ピクチャ）の混合比が１/５であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ４、５とされ、時間的順序が遅い方のピクチャの混合比が４/５であることが示される。
　次に、２４０Ｈｚ階層のピクチャ（図５（ｃ）のＲ２のフレーム（ピクチャ）参照）付される混合処理情報について説明する。この場合、「number_of_blending_layers」は１とされて、混合処理を行う周波数階層の数が１であることが示される。
　その１つの階層において、「framerate_layer」は“６”とされて、対象となる周波数階層が２４０Ｈｚであることが示される。そして、この２４０Ｈｚの周波数階層において、以下のことが示される。すなわち、「blend_flag」が“０”とされて、当該ピクチャは混合されていないことが示される。また、「blend_target_flag」が“１”とされて、当該ピクチャは混合処理の対象であることが示される。また、「shutter_angle」が“１”とされて、シャッターアングルが３６０°であることが示される。ここで、Ｒ２は、２４０Ｈｚ再生に利用されるもので、２４０Ｈｚの期間でみると、２４０Ｈｚ時間軸に沿った動き成分を持つので、「shutter_angle」は３６０°（＝１）になる。
　また、「temporal_filter_taps_minus2」が１とされて、混合処理に寄与するピクチャ数が３であることが示される。また、「current_picture_position」が“１０”とされて、当該ピクチャは３つのピクチャのうち時間的順序が最も早いことが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も早いピクチャ（当該ピクチャ）の混合比が１/４であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、２とされ、時間的順序が中央のピクチャの混合比が１/２であることが示される。また、３番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も遅いピクチャの混合比が１/４であることが示される。
　次に、２４０Ｈｚ階層のピクチャ（図５（ｃ）のＲ４のフレーム（ピクチャ）参照）付される混合処理情報について説明する。この場合、「number_of_blending_layers」は１とされて、混合処理を行う周波数階層の数が１であることが示される。
　その１つの階層において、「framerate_layer」は“６”とされて、対象となる周波数階層が２４０Ｈｚであることが示される。そして、この２４０Ｈｚの周波数階層において、以下のことが示される。すなわち、「blend_flag」が“０”とされて、当該ピクチャは混合されていないことが示される。また、「blend_target_flag」が“１”とされて、当該ピクチャは混合処理の対象であることが示される。また、「shutter_angle」が“１”とされて、シャッターアングルが３６０°であることが示される。ここで、Ｒ４は、２４０Ｈｚ再生に利用されるもので、２４０Ｈｚの期間でみると、２４０Ｈｚ時間軸に沿った動き成分を持つので、「shutter_angle」は３６０°（＝１）になる。
　また、「temporal_filter_taps_minus2」が１とされて、混合処理に寄与するピクチャ数が３であることが示される。また、「current_picture_position」が“０１”とされて、当該ピクチャは３つのピクチャのうち時間的順序が最も遅いことが示される。また、１番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も早いピクチャの混合比が１/４であることが示される。また、２番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、２とされ、時間的順序が中央のピクチャの混合比が１/２であることが示される。また、３番目の「blend_coefficient_A」、「blend_coefficient_B」がそれぞれ１、４とされ、時間的順序が最も遅いピクチャ（当該ピクチャ）の混合比が１/４であることが示される。
　２４０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ａでは、デコーダ２０４において、３つのストリームＳＴｂ，ＳＴe1，ＳＴe2に復号化処理が施されて、６０Ｈｚ階層の画像データＲ３と、１２０Ｈｚ階層の画像データＲ１と、２４０Ｈｚ階層の画像データＲ２，Ｒ４を含む２４０Ｈｚのフレーム周波数の画像データＲが出力される。
　そして、テレビ受信機２００Ａでは、ポストプロセッサ２０５において、２４０Ｈｚのフレーム周波数の画像データＲが処理されて、６０Ｈｚ階層の画像データＰ３と、１２０Ｈｚ階層の画像データＰ１と、２４０Ｈｚ階層の画像データＰ２，Ｐ４を含む２４０Ｈｚのフレーム周波数の画像データＰが得られる。この場合、ポストプロセッサ２０５では、６０Ｈｚ階層の画像データについて、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた逆混合処理（混合解除処理）が行われる。
　図１１は、テレビ受信機２００Ａのポストプロセッサ２０５の構成例を示している。このポストプロセッサ２０５は、１２０Ｈｚ階層逆混合演算部２０５ａと、２４０Ｈｚ階層逆混合演算部２０５ｂを有している。１２０Ｈｚ階層逆混合演算部２０５ａに関しては、上述の２４０Ｈｚのフレーム周波数の画像データＲが入力され、２４０Ｈｚのフレーム周波数の画像データＱが出力される。
　図１２（ａ）は、デコーダ２０４から出力される２４０Ｈｚのフレーム周波数の画像データＲを示している。この画像データＲは、Ｒ１，Ｒ２，Ｒ３，Ｒ４の４フレーム区間が繰り返される構成となっている。図１２（ｂ）は、１２０Ｈｚ階層逆混合演算部２０５ａから出力される２４０Ｈｚのフレーム周波数の画像データＱを示している。この画像データＱは、Ｑ１，Ｑ２，Ｑ３，Ｑ４の４フレーム区間が繰り返される構成となっている。
　１２０Ｈｚ階層逆混合演算部２０５ａでは、画像データＱのＱ１，Ｑ２，Ｑ４のフレームの画像データとして、それぞれ、画像データＲのＲ１，Ｒ２，Ｒ４のフレームの画像データをそのまま出力するための処理が行われる。また、画像データＱのＱ３のフレームの画像データとして、画像データＲ１，Ｒ３のフレームの画像データを用いて逆混合された画像データｔ´（Ｒ１，Ｒ３）を出力するための処理（逆混合処理）が行われる。この場合、Ｑ３のフレームの画像データとして、Ｒ１のフレームの画像データ成分が除かれたものが得られる。なお、このＱ３のフレームの画像データには、Ｒ２，Ｒ４のフレームの画像データの成分が含まれている。
　この場合、Ｑ３のフレームの画像データは、Ｒ１，Ｒ３のフレームの画像データを用いて、以下の数式（３）に基づいて演算される。ここで、Ｒ３は６０Ｈｚ階層の画像データであり、Ｒ１は１２０Ｈｚ階層の画像データである。また、ａ，ｂは、それぞれ、上述のプリプロセッサ１０２の１２０Ｈｚ階層混合演算部１０２ｂにおけるＱ１，Ｑ３のフレームの画像データの混合比を示し、例えば、ａ＝１/５、ｂ＝４/５とされる。
　Ｑ３＝（１/ｂ）｛（－１）＊ａ＊Ｒ１＋Ｒ３｝　　　・・・（３）
　１２０Ｈｚ階層逆混合演算部２０５ａには、上述の逆混合処理を行うための情報である１２０Ｈｚ階層混合パラメータとして、“current_picture_position”、“blend_coefficient_A”、“blend_coefficient_B”などが与えられる。この１２０Ｈｚ階層混合パラメータは、デコーダ２０４において、上述したように送信側で画像データＲに付加したものが抽出されて利用される。
　また、２４０Ｈｚ階層逆混合演算部２０５ｂに関しては、上述の１２０Ｈｚ階層逆混合演算部２０５ａから出力される２４０Ｈｚのフレーム周波数の画像データＱが入力され、２４０Ｈｚのフレーム周波数の画像データＰが出力される。図１２（ｃ）は、２４０Ｈｚ階層逆混合演算部２０５ｂから出力される２４０Ｈｚのフレーム周波数の画像データＰを示している。この画像データＰは、Ｐ１，Ｐ２，Ｐ３，Ｐ４の４フレーム区間が繰り返される構成となっている。
　２４０Ｈｚ階層逆混合演算部２０５ｂでは、画像データＰのＰ１，Ｐ２，Ｐ４のフレームの画像データとして、それぞれ、画像データＱのＱ１，Ｑ２，Ｑ４のフレームの画像データをそのまま出力するための処理行われる。また、画像データＰのＰ３のフレームの画像データとして、画像データＱ２，Ｑ３，Ｑ４のフレームの画像データを用いて逆混合された画像データｔ´（Ｑ２，Ｑ３，Ｑ４）を出力するための処理（逆混合処理）が行われる。この場合、Ｐ３のフレームの画像データとして、Ｑ２，Ｑ４のフレームの画像データ成分が除かれたものが得られる。これにより、２４０Ｈｚ階層逆混合演算部２０５ｂから出力される画像データＰは、上述した送信装置１００のプリプロセッサ１０２に入力された２０４Ｈｚのフレーム周波数の画像データＰと同様のものとなる。
　この場合、Ｐ３のフレームの画像データは、Ｑ２，Ｑ３，Ｑ４のフレームの画像データを用いて、以下の数式（４）に基づいて演算される。ここで、Ｑ３は６０Ｈｚ階層の画像データであり、Ｑ２，Ｑ４は２４０Ｈｚ階層の画像データである。また、ｃ，ｄ，ｅは、それぞれ、上述のプリプロセッサ１０２の２４０Ｈｚ階層混合演算部１０２ａにおけるＰ２，Ｐ３，Ｐ４のフレームの画像データの混合比を示し、例えば、ｃ＝１/４、ｄ＝１/２、ｅ＝１/４とされる。
　Ｐ３＝（１/ｄ）｛（－１）＊ｃ＊Ｑ２＋Ｑ３＋（－１）＊ｅ＊Ｑ４｝　　　・・・（４）
　２４０Ｈｚ階層逆混合演算部２０５ｂには、上述の逆混合処理を行うための情報である２４０Ｈｚ階層混合パラメータとして、“current_picture_position”、“blend_coefficient_A”、“blend_coefficient_B”などが与えられる。この２４０Ｈｚ階層混合パラメータは、デコーダ２０４において、上述したように送信側で画像データＲに付加したものが抽出されて利用される。
　図３に戻って、テレビ受信機２００Ａでは、ポストプロセッサ２０５で得られた２４０Ｈｚの画像データＰが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて、表示用画像データとなる。図１２（ｄ）は、２４０Ｈｚの画像データＰをそのまま表示用画像データとする場合の表示シーケンスを示している。
　また、１２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂでは、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴe1に復号化処理が施されて、６０Ｈｚ階層の画像データＲ３と、１２０Ｈｚ階層の画像データＲ１を含む１２０Ｈｚのフレーム周波数の画像データＲ´が得られる。
　そして、テレビ受信機２００Ｂでは、ポストプロセッサ２０５において、１２０Ｈｚのフレーム周波数の画像データＲ´が処理されて、６０Ｈｚ階層の画像データＱ３と、１２０Ｈｚ階層の画像データＱ１を含む１２０Ｈｚのフレーム周波数の画像データＱ´が得られる。この場合、ポストプロセッサ２０５では、６０Ｈｚ階層の画像データについて、１２０Ｈｚ階層の画像データを用いた逆混合処理（混合解除処理）が行われる。
　図１３は、テレビ受信機２００Ｂのポストプロセッサ２０５の構成例を示している。このポストプロセッサ２０５は、１２０Ｈｚ階層逆混合演算部２０５ａを有している。１２０Ｈｚ階層逆混合演算部２０５ａに関しては、上述の１２０Ｈｚのフレーム周波数の画像データＲ´が入力され、１２０Ｈｚのフレーム周波数の画像データＱ´が出力される。
　図１４（ａ）は、デコーダ２０４から出力される１２０Ｈｚのフレーム周波数の画像データＲ´を示している。この画像データＲ´は、Ｒ１，Ｒ３の２フレーム区間が繰り返される構成となっている。図１４（ｂ）は、１２０Ｈｚ階層逆混合演算部２０５ａから出力される１２０Ｈｚのフレーム周波数の画像データＱ´を示している。この画像データＱ´は、Ｑ１，Ｑ３の２フレーム区間が繰り返される構成となっている。
　１２０Ｈｚ階層逆混合演算部２０５ａでは、画像データＱ´のＱ１のフレームの画像データとして、それぞれ、画像データＲ´のＲ１のフレームの画像データをそのまま出力するための処理が行われる。また、画像データＱ´のＱ３のフレームの画像データとして、画像データＲ１，Ｒ３のフレームの画像データを用いて逆混合された画像データｔ´（Ｒ１，Ｒ３）を出力するための処理（逆混合処理）が行われる。この場合、Ｑ３のフレームの画像データとして、Ｒ１のフレームの画像データ成分が除かれたものが得られる。なお、このＱ３のフレームの画像データには、Ｒ２，Ｒ４のフレームの画像データの成分が含まれている。
　１２０Ｈｚ階層逆混合演算部２０５ａには、上述の逆混合処理を行うための情報である１２０Ｈｚ階層混合パラメータとして、“current_picture_position”、“blend_coefficient_A”、“blend_coefficient_B”などが与えられる。この１２０Ｈｚ階層混合パラメータは、デコーダ２０４において、上述したように送信側で画像データＲ´に付加したものが抽出されて利用される。
　図３に戻って、テレビ受信機２００Ｂでは、ポストプロセッサ２０５で得られた１２０Ｈｚの画像データＱ´が、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて、表示用画像データとなる。図１４（ｃ）は、１２０Ｈｚの画像データＱ´をそのまま表示用画像データとする場合の表示シーケンスを示している。
　また、６０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ｃでは、デコーダ２０４において、ストリームＳＴｂに復号化処理が施されて、６０Ｈｚ階層の画像データＲ３を含む６０Ｈｚのフレーム周波数の画像データＲ”が得られる。この６０Ｈｚ階層の画像データＲ３は、２４０Ｈｚのフレーム周波数の画像データＰにおけるＰ１，Ｐ２，Ｐ３，Ｐ４のフレームの画像データが混合されて得られたものである。
　そして、テレビ受信機２００Ｃでは、この画像データＲ”が、そのまま、あるいはＭＣＦＩ部２０６でフレーム補間がされてフレームレートが高められて、表示用画像データとなる。図１５（ａ）は、デコーダ２０４から出力される６０Ｈｚのフレーム周波数の画像データＲ”を示している。この画像データＲ”は、Ｒ３のフレーム区間が繰り返される構成となっている。図１５（ｂ）は、６０Ｈｚの画像データＲ”をそのまま表示用画像データとする場合の表示シーケンスを示している。
　「送信装置の構成」
　図１６は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００の各部の動作を制御する。
　プリプロセッサ１０２は、２４０Ｈｚのフレーム周波数の画像データＰを３階層に階層分けし、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む２４０Ｈｚのフレーム周波数の画像データＲを出力する（図４、図５参照）。この場合、６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われる。
　エンコーダ１０３は、プリプロセッサ１０２から出力される画像データＲに対して例えばＨＥＶＣ（High Efficiency Video Coding）による階層符号化処理を施し、基本ストリームＳＴｂと、第１拡張ストリームＳＴe1、第２拡張ストリームＳＴe2を得る。ここで、基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（図５（ｃ）のＲ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。
　また、第１拡張ストリームＳＴe1には、１２０Ｈｚ階層の画像データ（図５（ｃ）のＲ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第２拡張ストリームＳＴe2には、２４０Ｈｚ階層の画像データ（図５（ｃ）のＲ２、Ｒ４のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。
　この際、エンコーダ１０３は、少なくとも６０Ｈｚ階層の画像データに、混合対象画像の情報と混合比の情報等を含む混合処理の情報を付加する。具体的には、各ピクチャのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・インフォメーション・ＳＥＩメッセージ（図６参照）を挿入する。
　マルチプレクサ１０４は、エンコーダ１０３で生成された基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2を、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
　図１７は、トランスポートストリームＴＳの構成例を示している。この例は、混合処理情報を６０Ｈｚ階層のピクチャのみに付す場合の構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと、第１拡張ストリーム（第１のエンハンスストリーム）ＳＴe1と、第２拡張ストリーム（第２のエンハンスストリーム）ＳＴe2の３つのストリーム（サブストリーム）が含まれている。
　すなわち、この構成例では、パケット識別子「PID1」で識別される基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在し、パケット識別子「PID2」で識別される第１拡張ストリームＳＴe1のＰＥＳパケット「video PES2」が存在し、さらに、パケット識別子「PID3」で識別される第２拡張ストリームＳＴe2のＰＥＳパケット「video PES3」が存在する。
　ＰＥＳパケット「video PES1」でコンテナされる６０Ｈｚ階層の各ピクチャの符号化画像データには、ブレンディング・インフォメーション・ＳＥＩメッセージ（図６、図８、図９参照）が挿入されている。
　また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラムループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリストリームループが存在する。この構成例では、基本ストリームＳＴｂに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在し、第１の拡張ストリームＳＴe1に対応したビデオエレメンタリストリームループ「video ES2 loop」が存在し、さらに、第２の拡張ストリームＳＴe2に対応したビデオエレメンタリストリームループ「video ES3 loop」が存在する。
　「video ES1 loop」には、基本ストリームＳＴｂ（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ストリームタイプは、ＨＥＶＣ符号化の場合、基本ストリームを示す“０ｘ２４”とされる。
　また、「video ES2 loop」には、第１拡張ストリームＳＴe1（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ストリームタイプは、ＨＥＶＣ符号化の場合、拡張ストリームを示す“０ｘ２５”とされる。
　また、「video ES3 loop」には、第２拡張ストリームＳＴe2（video PES3）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。ストリームタイプは、ＨＥＶＣ符号化の場合、拡張ストリームを示す“０ｘ２５”とされる。
　図１８は、トランスポートストリームＴＳの他の構成例を示している。この例は、混合処理情報を全ピクチャに付す場合の構成例を示している。ＰＥＳパケット「video PES1」でコンテナされる６０Ｈｚ階層の各ピクチャの符号化画像データ、ＰＥＳパケット「video PES2」でコンテナされる１２０Ｈｚ階層の各ピクチャの符号化画像データおよびＰＥＳパケット「video PES3」でコンテナされる２４０Ｈｚ階層の各ピクチャの符号化画像データには、ブレンディング・インフォメーション・ＳＥＩメッセージ（図６、図１０参照）が挿入されている。その他は、図１７に示すトランスポートストリームＴＳの構成例と同様であるの、その詳細説明は省略する。
　図１６に示す送信装置１００の動作を簡単に説明する。２４０Ｈｚのフレーム周波数の画像データＰ（図５（ａ）参照）がプリプロセッサ１０２（図４参照）に入力される。このプリプロセッサ１０２では、画像データＰが３階層に階層分けされ、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む２４０Ｈｚのフレーム周波数の画像データＲ（図５（ｃ）参照）が得られる。そして、この場合、６０Ｈｚ階層の画像データ（図５（ｃ）のＲ３のフレーム（ピクチャ）の画像データ参照）のみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われる。
　プリプロセッサ１０２で得られた２４０Ｈｚの画像データＲは、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＲに対して例えばＨＥＶＣによる階層符号化処理が施され、基本ストリームＳＴｂと、第１拡張ストリームＳＴe1、第２拡張ストリームＳＴe2が得られる。
　基本ストリームＳＴｂには、６０Ｈｚ階層の画像データ（図５（ｃ）のＲ３のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。第１拡張ストリームＳＴe1には、１２０Ｈｚ階層の画像データ（図５（ｃ）のＲ１のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。また、第２拡張ストリームＳＴe2には、２４０Ｈｚ階層の画像データ（図５（ｃ）のＲ２、Ｒ４のフレーム（ピクチャ）の画像データ参照）の符号化画像データが含まれる。
　また、エンコーダ１０３では、少なくとも混合処理が施されている６０Ｈｚ階層の画像データの各ピクチャの符号化画像データの混合処理の情報が付加される。具体的には、６０Ｈｚ階層の画像データの各ピクチャのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンディング・インフォメーション・ＳＥＩメッセージ（図６参照）が挿入される。
　エンコーダ１０３で生成された基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2は、マルチプレクサ１０４に供給される。マルチプレクサ１０４では、各ストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
　マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、このＲＦ変調信号が送信アンテナから送信される。
　「テレビ受信機の構成」
　図１９は、２４０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ａの構成例を示している。このテレビ受信機２００Ａは、制御部２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。
　制御部２０１は、テレビ受信機２００Ａの各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2を取り出し、デコーダ２０４に供給する。
　デコーダ２０４は、ストリームＳＴｂ，ＳＴe1，ＳＴe2に復号化処理を施し、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む２４０Ｈｚのフレーム周波数の画像データＲ（図１２（ａ）参照）を得る。この場合、６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われている。
　また、デコーダ２０４は、ストリームＳＴｂ，ＳＴe1，ＳＴe2を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。この場合、混合処理の情報（混合対象画像の情報と混合比の情報等を含む）を持つブレンディング・インフォメーション・ＳＥＩメッセージ（図６参照）も抽出される。制御部２０１は、この混合処理の情報に基づいて、ポストプロセッサ２０５における６０Ｈｚ階層の画像データに対する逆混合処理（混合解除処理）を制御する。
　ポストプロセッサ２０５は、２４０Ｈｚのフレーム周波数の画像データＲを処理して、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む２４０Ｈｚのフレーム周波数の画像データＰを出力する（図１１、図１２参照）。この場合、６０Ｈｚ階層の画像データについては、混合処理の情報に基づいて、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた逆混合処理（混合解除処理）が施される。
　ＭＣＦＩ部２０６は、ポストプロセッサ２０５で得られた２４０Ｈｚのフレーム周波数の画像データＰに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られた２４０Ｈｚの画像データまたはＭＣＦＩ部２０６でフレームレートが高められた画像データによる画像表示をする。
　図１９に示すテレビ受信機２００Ａの動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂ、第１拡張ストリームＳＴe1および第２拡張ストリームＳＴe2が取り出され、デコーダ２０４に供給される。
　デコーダ２０４では、ストリームＳＴｂ，ＳＴe1，ＳＴe2に復号化処理が施され、２４０Ｈｚのフレーム周波数の画像データＲ（図１２（ａ）参照）が得られる。この画像データＲには、６０Ｈｚ階層の画像データ（図１２（ａ）のＲ３のフレーム（ピクチャ）の画像データ参照）、１２０Ｈｚ階層の画像データ（図１２（ａ）のＲ１のフレーム（ピクチャ）の画像データ参照）および２４０Ｈｚ階層の画像データ（図１２（ａ）のＲ２、Ｒ４のフレーム（ピクチャ）の画像データ参照）が含まれている。そして、６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われている。
　また、デコーダ２０４では、ストリームＳＴｂ，ＳＴe1，ＳＴe2を構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。この場合、混合処理の情報（混合対象画像の情報と混合比の情報等を含む）を持つブレンディング・インフォメーション・ＳＥＩメッセージ（図６参照）も抽出される。制御部２０１では、この混合処理の情報に基づいて、ポストプロセッサ２０５における６０Ｈｚ階層の画像データに対する逆混合処理（混合解除処理）を制御することが行われる。
　デコーダ２０４で得られた２４０Ｈｚのフレーム周波数の画像データＲは、ポストプロセッサ２０５に供給される。ポストプロセッサ２０５では、画像データＲが処理されて、２４０Ｈｚのフレーム周波数の画像データＰ（図１２（ｃ）参照）が得られる。この画像データＰには、６０Ｈｚ階層の画像データ（図１２（ｃ）のＰ３のフレーム（ピクチャ）の画像データ参照）、１２０Ｈｚ階層の画像データ（図１２（ｃ）のＰ１のフレーム（ピクチャ）の画像データ参照）および２４０Ｈｚ階層の画像データ（図１２（ｃ）のＰ２、Ｐ４のフレーム（ピクチャ）の画像データ参照）が含まれている。
　この場合、６０Ｈｚ階層の画像データについては、混合処理の情報に基づいて、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた逆混合処理（混合解除処理）が施される。そのため、ポストプロセッサ２０５から出力される２４０Ｈｚのフレーム周波数の画像データＰは、１２０Ｈｚ階層および２４０Ｈｚ階層の双方の混合が解除されたものとなり、上述した送信装置１００のプリプロセッサ１０２に入力された２４０Ｈｚのフレーム周波数の画像データＰと同様のものとなる。
　ポストプロセッサ２０５で得られた２４０Ｈｚのフレーム周波数の画像データ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた画像データはパネル表示部２０７に供給され、パネル表示部２０７には当該画像データによる画像表示がされる。
　１２０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂに関しても、図１９のテレビ受信機２００Ａと同様に構成される。テレビ受信機２００Ｂの場合、デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび第１拡張ストリームＳＴe1が取り出され、デコーダ２０４に供給される。
　また、テレビ受信機２００Ｂの場合、デコーダ２０４では、ストリームＳＴｂ，ＳＴe1に復号化処理が施され、１２０Ｈｚのフレーム周波数の画像データＲ´（図１４（ａ）参照）が得られる。この画像データＲ´には、６０Ｈｚ階層の画像データ（図１４（ａ）のＲ３のフレーム（ピクチャ）の画像データ参照）および１２０Ｈｚ階層の画像データ（図１４（ａ）のＲ１のフレーム（ピクチャ）の画像データ参照）が含まれている。そして、６０Ｈｚ階層の画像データのみ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われている。
　また、テレビ受信機２００Ｂの場合、ポストプロセッサ２０５では、画像データＲ´が処理されて、１２０Ｈｚのフレーム周波数の画像データＱ´（図１４（ｂ）参照）が得られる。この画像データＱ´には、６０Ｈｚ階層の画像データ（図１４（ｂ）のＱ３のフレーム（ピクチャ）の画像データ参照）および１２０Ｈｚ階層の画像データ（図１４（ｂ）のＱ１のフレーム（ピクチャ）の画像データ参照）が含まれている。
　この場合、６０Ｈｚ階層の画像データについては、混合処理の情報に基づいて、１２０Ｈｚ階層の画像データを用いた逆混合処理（混合解除処理）が施される。そのため、ポストプロセッサ２０５から出力される１２０Ｈｚのフレーム周波数の画像データＱ´は、１２０Ｈｚ階層での混合が解除されたものとなる。
　そして、テレビ受信機２００Ｂの場合、ホストプロセッサ２０５で得られた１２０Ｈｚのフレーム周波数の画像データ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた画像データはパネル表示部２０７に供給され、このパネル表示部２０７には当該画像データによる画像表示がされる。
　図２０は、６０Ｈｚの画像データを処理可能なデコード能力があるテレビ受信機２００Ｃの構成例を示している。このテレビ受信機２００Ｃは、制御部２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。
　制御部２０１は、テレビ受信機２００Ｃの各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂを取り出し、デコーダ２０４に供給する。
　デコーダ２０４は、基本ストリームＳＴｂに復号化処理を施して、６０Ｈｚ階層の画像データを含む６０Ｈｚのフレーム周波数の画像データＲ”（図１５（ａ）参照）を得る。この６０Ｈｚ階層の画像データは、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われている。
　ＭＣＦＩ部２０６は、この６０Ｈｚのフレーム周波数の画像データに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、デコーダ２０４で得られた６０Ｈｚのフレーム周波数の画像データまたはＭＣＦＩ部２０６でフレームレートが高められた画像データによる画像表示をする。
　図２０に示すテレビ受信機２００Ｃの動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂが取り出され、デコーダ２０４に供給される。
　デコーダ２０４では、基本ストリームＳＴｂに復号化処理が施されて、６０Ｈｚのフレーム周波数の画像データＲ”（図１５（ａ）参照）が得られる。この画像データＲ”には、６０Ｈｚ階層の画像データ（図１５（ａ）のＲ３のフレーム（ピクチャ）の画像データ参照）が含まれている。この６０Ｈｚ階層の画像データは、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを用いた混合処理が行われている。
　デコーダ２０４で得られた６０Ｈｚのフレーム周波数の画像データ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた画像データはパネル表示部２０７に供給され、このパネル表示部２０７には当該画像データによる画像表示がされる。
　以上説明したように、図１に示す送受信システム１０において、送信側では、２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けして得られた６０Ｈｚ階層、１２０Ｈｚ階層、２４０Ｈｚ階層の３つの周波数階層の画像データ（６０Ｈｚ階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）が送信される。そのため、受信側では、基本となる６０Ｈｚのフレーム周波数のレイヤではストロービングによる動画質劣化を低減でき、かつ１２０Ｈｚや２４０Ｈｚのフレーム周波数のレイヤでは高画質を維持できる。
　また、図１に示す送受信システム１０においては、受信側では、２４０Ｈｚのフレーム周波数の画像データを３階層に階層分けして得られた６０Ｈｚ階層、１２０Ｈｚ階層、２４０Ｈｚ階層の３つの周波数階層の画像データ（６０Ｈｚ階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）が受信され、表示能力に応じて、６０Ｈｚ階層から上位所定周波数階層までの画像データが用いられて表示用画像データが得られる。そのため、基本となる６０Ｈｚのフレーム周波数のレイヤではストロービングによる動画質劣化を低減でき、かつ１２０Ｈｚや２４０Ｈｚのフレーム周波数のレイヤでは高画質を維持できる。
　＜２．変形例＞
　なお、上述実施の形態においては、２４０Ｈｚのフレーム周波数の画像データを３階層に階層分けして得られた６０Ｈｚ階層、１２０Ｈｚ階層、２４０Ｈｚ階層の３つの周波数階層の画像データを送受信する例を示したが、階層分けをする元の画像データのフレーム周波数や階層数、さらには各階層の周波数については、これに限定されない。
　また、上述実施の形態においては、送信装置１００とテレビ受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されない。例えば、図２１に示すように、テレビ受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックス２００-1およびディスプレイ２００-2とされる送受信システム１０Ａも考えられる。なお、「ＨＤＭＩ」は登録商標である。
　図２２は、その場合における送信装置１００、セットトップボックス２００Ａおよびディスプレイ２００Ｂの構成概要を示している。詳細説明は省略するが、図３に示す送信装置１００およびテレビ受信機２００の構成と同様に動作する。なお、セットトップボックス２００Ａ-1からディスプレイ２００Ａ-1には、２４０Ｈｚのフレーム周波数の画像データＲと共に、６０Ｈｚ階層の画像データの逆混合処理（混合解除処理）を行うための混合処理の情報が送られる。同様に、セットトップボックス２００Ｂ-1からディスプレイ２００Ｂ-1には、１２０Ｈｚのフレーム周波数の画像データＲ´と共に、６０Ｈｚ階層の画像データの逆混合処理（混合解除処理）を行うための混合処理の情報が送られる。なお、ポストプロセッサ２０５の機能を、デコーダ２０４に持たせることも考えられる。
　セットトップボックス２００Ａ-1，２００Ｂ-1は、各ピクチャに付加する混合処理の情報を、例えば、それぞれのピクチャの画像データにおけるブランキング期間に挿入して送信する。ここでは、新規定義するＨＤＭＩ・ブレンディング・インフォメーション・インフォフレーム（HDMI blending_Information InfoFrame）を使用する。
　図２３は、ＨＤＭＩ・ブレンディング・インフォメーション・インフォフレームの構造例（Syntax）を示し、上述の図６のブレンディング・インフォメーション・ＳＥＩメッセージの構造例（Syntax）に対応したものであり、個々の情報の詳細については、その説明を省略する。このインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
　データバイト０（Ｎ＋０）に「number_of_blending_layers」の８ビット情報が配置されている。データバイト１（Ｎ＋１）に「framerate_layer」の８ビット情報が配置されている。データバイト２（Ｎ＋２）の第７ビットに「blending_flag」の１ビット情報が配置されている。また、データバイト２（Ｎ＋２）の第６ビットに「blend_target_flag」の１ビット情報が配置されている。また、データバイト２（Ｎ＋２）の第５ビットから第２ビットに「shutter_angle」の４ビット情報が配置されている。また、データバイト２（Ｎ＋２）の第１ビットから第０ビットに「temporal_filter_taps_minus2」の２ビット情報が配置されている。
　また、データバイト３（Ｎ＋３）の第７ビットから第６ビットに「current_picture_position」の２ビット情報が配置されている。また、データバイト４（Ｎ＋４）に「blend_coefficient_A」の８ビット情報が配置されている。また、データバイト５（Ｎ＋５）に「blend_coefficient_B」の８ビット情報が配置されている。そして、「Temporal_filter_taps_minus2」に２を加えた値だけ、データバイト４，５と同様の空間が、データバイト６（Ｎ＋６）以降に確保される。また、「number_of_blending_layers」の値だけ、データバイト１からデータバイト５（あるいは上述したようにデータバイト６以降に確保された空間）が繰り返される。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
　また、本技術は、以下のような構成を取ることもできる。
　（１）所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データを受信する受信部を備え、
　上記複数の周波数階層の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われており、
　表示能力に応じて、上記複数の周波数階層の画像データのうち上記最下位周波数階層から上位所定周波数階層までの画像データを用いて、表示用画像データを得る処理部をさらに備える
　受信装置。
　（２）上記処理部は、上記表示用画像データを上記最下位周波数階層の画像データより上位周波数階層の画像データを用いて得る場合、上記最下位周波数階層の画像データに逆混合処理を行う
　前記（１）に記載の受信装置。
　（３）少なくとも上記最下位周波数階層の画像データに上記混合処理の情報が付加されており、
　上記処理部は、上記混合処理の情報に基づいて、上記最下位周波数階層の画像データに逆混合処理を行う
　前記（２）に記載の受信装置。
　（４）上記混合処理の情報は、混合対象画像の情報と混合比の情報を含む
　前記（３）に記載の受信装置。
　（５）上記所定フレーム周波数は、上記最下位周波数階層のフレーム周波数の４倍以上であり、
　上記複数の周波数階層の画像データは、上記所定フレーム周波数の画像データが３階層以上に階層分けされて得られたものである
　前記（１）から（４）のいずれかに記載の受信装置。
　（６）上記所定フレーム周波数は２４０Ｈｚであり、上記最下位周波数階層のフレーム周波数は６０Ｈｚであり、
　上記複数の周波数階層の画像データは、上記２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む
　前記（５）に記載の受信装置。
　（７）上記所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである
　前記（１）から（６）のいずれかに記載の受信装置。
　（８）所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データを受信する手順を有し、
　上記複数の階層の周波数階層の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われており、
　表示能力に応じて、上記複数の周波数階層の画像データのうち上記最下位周波数階層から上位所定周波数階層までの画像データを用いて、表示用画像データを得る手順をさらに有する
　受信方法。
　（９）上記表示用画像データを得る手順において、上記表示用画像データを上記最下位周波数階層の画像データより上位周波数階層の画像データを用いて得る場合、上記最下位周波数階層の画像データに逆混合処理を行う
　前記（８）に記載の受信方法。
　（１０）少なくとも上記最下位周波数階層のフレーム周波数の画像データに上記混合処理の情報が付加されており、
　上記表示用画像データを得る手順において、上記混合処理の情報に基づいて、上記最下位周波数階層の画像データに逆混合処理を行う
　前記（９）に記載の受信方法。
　（１１）上記混合処理の情報は、混合対象画像の情報と混合比の情報を含む
　前記（１０）に記載の受信方法。
　（１２）上記所定フレーム周波数は、上記最下位周波数階層のフレーム周波数の４倍以上であり、
　上記複数の周波数階層の画像データは、上記所定フレーム周波数の画像データが３階層以上に階層分けされて得られたものである
　前記（８）から（１１）のいずれかに記載の受信方法。
　（１３）上記所定フレーム周波数は２４０Ｈｚであり、上記最下位周波数階層のフレーム周波数は６０Ｈｚであり、
　上記複数の周波数階層の画像データは、上記２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む
　前記（１２）に記載の受信方法。
　（１４）上記所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである
　前記（１）から（１３）のいずれかに記載の受信方法。
　（１５）所定フレーム周波数の画像データを階層分けし、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理を行って、複数の周波数階層の画像データを得る処理部と、
　上記複数の周波数階層の画像データを送信する送信部を備える
　送信装置。
　（１６）所定フレーム周波数の画像データを階層分けし、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理を行って、複数の周波数階層の画像データを得る手順と、
　上記複数の周波数階層の画像データを送信する手順を有する
　送信方法。
　本技術の主な特徴は、ハイフレームレートの画像データを階層分けして得られた複数の周波数階層の画像データ（最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われている）を受信し、表示能力に応じて、最下位周波数階層から上位所定周波数階層までの画像データを用いて表示用画像データを得ることで、基本となるフレーム周波数のレイヤではストロービングによる動画質劣化を低減でき、かつ他のフレーム周波数のレイヤでは高画質を維持できるようにしたことである（図２、図３、図５参照）。
　１０，１０Ａ・・・送受信システム
　１００・・・送信装置
　１０１・・・制御部
　１０２・・・プリプロセッサ
　１０３・・・エンコーダ
　１０４・・・マルチプレクサ
　１０５・・・送信部
　２００，２００Ａ，２００Ｂ，２００Ｃ・・・テレビ受信機
　２００-1，２００Ａ-1，２００Ｂ-1，２００Ｃ-1・・・・セットトップボックス
　２００-2，２００Ａ-2，２００Ｂ-2，２００Ｃ-2・・・ディスプレイ
　２０１・・・制御部
　２０２・・・受信部
　２０３・・・デマルチプレクサ
　２０４・・・デコーダ
　２０５・・・ポストプロセッサ
　２０６・・・ＭＣＦＩ部
　２０７・・・パネル表示部

Claims (16)

  1. 　所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データを受信する受信部を備え、
    　上記複数の周波数階層の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われており、
    　表示能力に応じて、上記複数の周波数階層の画像データのうち上記最下位周波数階層から上位所定周波数階層までの画像データを用いて、表示用画像データを得る処理部をさらに備える
    　受信装置。
  2. 　上記処理部は、上記表示用画像データを上記最下位周波数階層の画像データより上位周波数階層の画像データを用いて得る場合、上記最下位周波数階層の画像データに逆混合処理を行う
    　請求項１に記載の受信装置。
  3. 　少なくとも上記最下位周波数階層の画像データに上記混合処理の情報が付加されており、
    　上記処理部は、上記混合処理の情報に基づいて、上記最下位周波数階層の画像データに逆混合処理を行う
    　請求項２に記載の受信装置。
  4. 　上記混合処理の情報は、混合対象画像の情報と混合比の情報を含む
    　請求項３に記載の受信装置。
  5. 　上記所定フレーム周波数は、上記最下位周波数階層のフレーム周波数の４倍以上であり、
    　上記複数の周波数階層の画像データは、上記所定フレーム周波数の画像データが３階層以上に階層分けされて得られたものである
    　請求項１に記載の受信装置。
  6. 　上記所定フレーム周波数は２４０Ｈｚであり、上記最下位周波数階層のフレーム周波数は６０Ｈｚであり、
    　上記複数の周波数階層の画像データは、上記２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む
    　請求項５に記載の受信装置。
  7. 　上記所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである
    　請求項１に記載の受信装置。
  8. 　所定フレーム周波数の画像データを階層分けして得られた複数の周波数階層の画像データを受信する手順を有し、
    　上記複数の階層の周波数階層の画像データのうち最下位周波数階層の画像データのみ他の周波数階層の画像データを用いた混合処理が行われており、
    　表示能力に応じて、上記複数の周波数階層の画像データのうち上記最下位周波数階層から上位所定周波数階層までの画像データを用いて、表示用画像データを得る手順をさらに有する
    　受信方法。
  9. 　上記表示用画像データを得る手順において、上記表示用画像データを上記最下位周波数階層の画像データより上位周波数階層の画像データを用いて得る場合、上記最下位周波数階層の画像データに逆混合処理を行う
    　請求項８に記載の受信方法。
  10. 　少なくとも上記最下位周波数階層のフレーム周波数の画像データに上記混合処理の情報が付加されており、
    　上記表示用画像データを得る手順において、上記混合処理の情報に基づいて、上記最下位周波数階層の画像データに逆混合処理を行う
    　請求項９に記載の受信方法。
  11. 　上記混合処理の情報は、混合対象画像の情報と混合比の情報を含む
    　請求項１０に記載の受信方法。
  12. 　上記所定フレーム周波数は、上記最下位周波数階層のフレーム周波数の４倍以上であり、
    　上記複数の周波数階層の画像データは、上記所定フレーム周波数の画像データが３階層以上に階層分けされて得られたものである
    　請求項８に記載の受信方法。
  13. 　上記所定フレーム周波数は２４０Ｈｚであり、上記最下位周波数階層のフレーム周波数は６０Ｈｚであり、
    　上記複数の周波数階層の画像データは、上記２４０Ｈｚのフレーム周波数の画像データが３階層に階層分けされて得られた、６０Ｈｚ階層の画像データ、１２０Ｈｚ階層の画像データおよび２４０Ｈｚ階層の画像データを含む
    　請求項１２に記載の受信方法。
  14. 　上記所定フレーム周波数の画像データは、３６０°のシャッターアングルを持つ画像データである
    　請求項８に記載の受信方法。
  15. 　所定フレーム周波数の画像データを階層分けし、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理を行って、複数の周波数階層の画像データを得る処理部と、
    　上記複数の周波数階層の画像データを送信する送信部を備える
    　送信装置。
  16. 　所定フレーム周波数の画像データを階層分けし、最下位周波数階層の画像データにのみ他の周波数階層の画像データとの混合処理を行って、複数の周波数階層の画像データを得る手順と、
    　上記複数の周波数階層の画像データを送信する手順を有する
    　送信方法。
PCT/JP2019/029719 2018-08-10 2019-07-29 受信装置、受信方法、送信装置および送信方法 Ceased WO2020031782A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/264,994 US11483565B2 (en) 2018-08-10 2019-07-29 Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
CN201980051631.7A CN112534827B (zh) 2018-08-10 2019-07-29 接收装置、接收方法、发送装置和发送方法
EP19846920.7A EP3836556A4 (en) 2018-08-10 2019-07-29 RECEIVING DEVICE, RECEPTION PROCESS, TRANSMISSION DEVICE, AND TRANSMISSION PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018152086 2018-08-10
JP2018-152086 2018-08-10

Publications (1)

Publication Number Publication Date
WO2020031782A1 true WO2020031782A1 (ja) 2020-02-13

Family

ID=69415195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029719 Ceased WO2020031782A1 (ja) 2018-08-10 2019-07-29 受信装置、受信方法、送信装置および送信方法

Country Status (4)

Country Link
US (1) US11483565B2 (ja)
EP (1) EP3836556A4 (ja)
CN (1) CN112534827B (ja)
WO (1) WO2020031782A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017065128A1 (ja) * 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
WO2006007527A2 (en) * 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8619083B2 (en) * 2009-01-06 2013-12-31 Microsoft Corporation Multi-layer image composition with intermediate blending resolutions
JP5338394B2 (ja) * 2009-03-10 2013-11-13 日本電気株式会社 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
US9554132B2 (en) * 2011-05-31 2017-01-24 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
MY186153A (en) * 2012-12-26 2021-06-28 Sony Corp Image processing device and method
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
JP2015080034A (ja) * 2013-10-15 2015-04-23 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
CN107925766B (zh) * 2015-09-01 2022-05-10 索尼公司 发送装置、发送方法、接收装置和接收方法
JP6694280B2 (ja) * 2016-01-22 2020-05-13 日本放送協会 映像信号送信装置、映像信号受信装置及び映像信号送受信システム
JP6740533B2 (ja) * 2016-05-25 2020-08-19 日本放送協会 符号化装置、復号装置及びプログラム
WO2018123542A1 (en) * 2016-12-31 2018-07-05 Sharp Kabushiki Kaisha Systems and methods for reducing artifacts in temporal scalable layers of video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017065128A1 (ja) * 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20210329247A1 (en) 2021-10-21
CN112534827A (zh) 2021-03-19
EP3836556A4 (en) 2021-09-29
CN112534827B (zh) 2023-07-14
US11483565B2 (en) 2022-10-25
EP3836556A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP6809471B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR102561506B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2015076277A1 (ja) 送信装置、送信方法、受信装置および受信方法
EP3261352B1 (en) Transmission device, transmission method, reception device, and reception method
RU2767300C2 (ru) Высокоуровневая передача служебных сигналов для видеоданных типа "рыбий глаз"
US12120380B2 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
EP3668102A1 (en) Transmission device, transmission method, reception device, and reception method
KR20200077517A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6982990B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11956496B2 (en) Reception device, reception method, transmission device, and transmission method
WO2020031782A1 (ja) 受信装置、受信方法、送信装置および送信方法
WO2020039973A1 (ja) 受信装置、受信方法、送信装置および送信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019846920

Country of ref document: EP

Effective date: 20210310

NENP Non-entry into the national phase

Ref country code: JP