WO2004010707A1 - 符号化装置、符号化方法、復号化装置及び復号化方法 - Google Patents

符号化装置、符号化方法、復号化装置及び復号化方法 Download PDF

Info

Publication number
WO2004010707A1
WO2004010707A1 PCT/JP2003/009138 JP0309138W WO2004010707A1 WO 2004010707 A1 WO2004010707 A1 WO 2004010707A1 JP 0309138 W JP0309138 W JP 0309138W WO 2004010707 A1 WO2004010707 A1 WO 2004010707A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
encoding
information
output
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/009138
Other languages
English (en)
French (fr)
Inventor
Hendrikus Markus Veltman
Yoichi Yagasaki
Teruhiko Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US10/519,840 priority Critical patent/US8259799B2/en
Priority to EP03765323A priority patent/EP1536651A4/en
Publication of WO2004010707A1 publication Critical patent/WO2004010707A1/ja
Anticipated expiration legal-status Critical
Priority to US13/046,341 priority patent/US8228988B2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an encoding device, an encoding method, a decoding device, and a decoding device.
  • image information in which a plurality of unit image information are continuous (hereinafter, referred to as continuous image information) It is suitable for transmission via network media such as satellite broadcasting, cable TV or the Internet, or for processing on storage media such as optical disks, magnetic disks or flash memories.
  • network media such as satellite broadcasting, cable TV or the Internet
  • storage media such as optical disks, magnetic disks or flash memories.
  • the MPEG2 (ISO / IEC13818-2) coding method is defined as a general-purpose image coding method, and includes both interlaced scanning images and progressive scanning images, as well as standard resolution images and It is intended to cover high-definition images and is currently widely used in a wide range of professional and consumer applications.
  • a standard resolution interlaced scan image having 720 x 480 pixels has a high resolution of 4 to 8 [Mb ps] and 1920 x 108 pixels.
  • high coding efficiency (compression rate) and good image quality can be realized by assigning a code amount (bitlet) of 18 to 22 [Mbps].
  • This MPEG2 coding method mainly deals with high-quality coding suitable for broadcasting. Although it was used as an elephant, it did not correspond to a coding amount (bit rate) lower than the MPEG 1 coding method, that is, a coding method with higher coding efficiency. In the future, the need for such an encoding system is expected to increase with the spread of mobile terminals, for example, and the MPEG4 encoding system has been standardized in response to this.
  • the MPEG4 encoding method for images was approved as an international standard in February 1998, as IS0IEC144496-2.
  • JVT coding method For MPEG4 AVC.
  • H.264 hereinafter referred to as JVT coding method
  • This JVT coding method requires more computation for encoding or decoding than conventional coding methods such as MPEG2 and MPEG4, but achieves higher coding efficiency. It is known that
  • FIG. 8 shows a schematic configuration of an encoding device that executes an encoding process according to any of the above-described various encoding methods.
  • an encoding device 100 includes an image rearrangement buffer 102, an adder 103, an orthogonal transformation unit 104, a quantization unit 105, a lossless encoding unit 106, It consists of an accumulation buffer 107, an inverse quantization unit 108, an inverse orthogonal transform unit 109, a frame memory 110, a motion prediction / compensation unit 111, and a rate control unit 112. Is done.
  • the coding apparatus 100 accumulates the continuous image information in the image rearrangement buffer 102 and stores the continuous image information in the unit image information (frame or field information) according to the GOP (Group of Pictures) structure. Sort by data).
  • GOP Group of Pictures
  • the image rearrangement buffer 102 supplies the unit information of the continuous image information to be subjected to the intra prediction encoding to the orthogonal transform unit 104.
  • the orthogonal transform unit 104 performs an orthogonal transform process such as discrete cosine transform or Karhunen-Layer transform on the unit image information, and supplies the obtained orthogonal transform coefficient to the quantization unit 105.
  • the quantization unit 105 performs a quantization process according to the control of the rate control unit 112 on the orthogonal transform coefficient supplied from the orthogonal transform unit 104, and obtains the obtained quantization information (quantity
  • the orthogonalized transform coefficients obtained by the conversion are supplied to the lossless encoding unit 106 and the inverse quantization unit 108.
  • the lossless encoding unit 106 performs lossless encoding such as variable-length encoding or arithmetic encoding on the quantized information, and stores the obtained encoded information (encoded quantized information) in a storage buffer. Store in 107.
  • the inverse quantization unit 108 performs an inverse quantization process on the quantized information, and supplies the obtained orthogonal transform coefficient to the inverse orthogonal transform unit 109.
  • the inverse orthogonal transform unit 109 performs an inverse orthogonal transform process on the orthogonal transform coefficient, and stores the obtained unit image information in the frame memory 110 as necessary as reference image information.
  • the image rearrangement buffer 102 supplies the motion prediction / compensation unit 111 with respect to the unit image information to be subjected to the inter prediction coding in the continuous image information.
  • the motion prediction compensation unit 111 performs motion prediction and compensation processing using the unit image information and reference image information extracted from the frame memory 110, and adds the obtained predicted image information.
  • the adder 103 supplies the difference between the predicted image information and the corresponding unit image information to the orthogonal transformation unit 104 as difference information.
  • This difference information is subjected to various processes in the same manner as in the case of intra coding.
  • the difference information is stored in the storage buffer 107 as coded information, and is stored in the frame memory 110 as reference image information.
  • the frame memory 110 is stored in the frame memory 110 as reference image information.
  • the motion compensation / prediction unit 111 supplies the motion vector information obtained together with the predicted image information by performing the motion prediction / compensation process to the lossless encoding unit 106.
  • the reversible encoding unit 106 performs a lossless encoding process on the motion vector information, and generates the obtained encoded motion vector information as a header part of the corresponding encoded information.
  • the encoding device 100 sequentially generates encoded information for each unit of image information by executing the encoding process on the continuous image information, and thereafter stores the encoded information in the storage buffer 1. The output is sequentially performed via the address 0 7.
  • the decoding device 120 includes an accumulation buffer 122, a lossless decoding unit 122, an inverse quantization unit 123, an inverse orthogonal transform unit 124, and an adder 122. 5, an image rearrangement buffer 126, a motion prediction / compensation unit 127, and a frame memory 128.
  • the decoding device 120 temporarily stores the sequentially input encoded information in the storage buffer 122, and then supplies the encoded information to the lossless decoding unit 122. If the lossless decoding unit 122 is coding information that has been subjected to intra prediction coding, the lossless decoding unit 1222 performs decoding processing such as variable-length decoding or arithmetic decoding on the coding information and obtains the obtained information. The quantization information is supplied to the inverse quantization unit 123.
  • the inverse quantization unit 123 performs an inverse quantization process on the quantization information supplied from the lossless decoding unit 122, and supplies the obtained orthogonal transform coefficient to the inverse orthogonal transform unit 124.
  • the inverse orthogonal transform unit 124 performs inverse orthogonal transform processing on the orthogonal transform coefficients to generate original image information before encoding (hereinafter, referred to as restored image information). Images are stored in the sorting buffer.
  • the lossless decoding unit 122 encodes the coding motion vector inserted in the header of the coding information and the coding information.
  • the decoding information is subjected to a decoding process, and the obtained quantization information is supplied to the inverse quantization unit 123 and the motion vector information is supplied to the motion prediction / compensation unit 127 .
  • This quantized information is subjected to various processes in the same manner as when decoding the intra-encoded information, and as a result, is supplied to the adder 125 as difference information.
  • the motion prediction / compensation unit 127 generates predicted image information based on the motion vector information and the reference image information stored in the frame memory 128, and supplies this to the adder 125. I do.
  • the adder 125 combines the reference image information and the difference information, and stores the obtained restored image information in the image sorting buffer 126.
  • the decoding apparatus 120 sequentially generates the restored image information by executing the decoding process on the sequentially input encoded information, and thereafter, generates the restored image information.
  • the information is successively reproduced by sequentially outputting the information to, for example, a display unit (not shown) via the image sorting buffer 126.
  • the decoding device 120 when the decoded image information generated by performing the decoding process on each of the encoded information conforming to the MPEG2 encoding method is continuously reproduced, the decoding device 120 The image based on each of the restored image information can be appropriately displayed on the display unit without the need to adjust the output time of the restored image information via the image rearrangement buffer 126.
  • the JVT coding method can use B (Bidirectiona 1) pictures in addition to I and P pictures as inter prediction coding targets, as compared with the MPEG2 coding method.
  • B Bidirectiona 1
  • the degree of freedom in selecting pictures that can be selected as encoding targets is specified.
  • the output timing of the restored image information is not clearly defined, despite the fact that the decoding order in the decoding process is not uniquely determined due to such a rule. .
  • the decoding apparatus 120 continuously reproduces the reconstructed image information generated by executing the decoding processing on each piece of coded information conforming to the JVT coding method. Since there are restrictions on the resources of 26, there occurs a situation in which the encoded information is still being decoded despite the output time of the restored image information corresponding to the encoded information. problems force s seldom that the continuity is interrupted. Disclosure of the invention
  • the present invention has been made in view of such circumstances, and has been described in which a decoding apparatus is continuously re-used. It is an object of the present invention to provide an encoding device and an encoding method that can be generated, and a decoding device and a decoding method that can perform continuous reproduction.
  • an encoding device that executes an encoding process in accordance with an encoding method defined so that at least a B picture can be used as a prediction encoding target performs the encoding process.
  • a timing calculating means for calculating an output timing for the decoding result of the encoded information, and a timing calculating means for calculating the output timing.
  • a timing notifying means for notifying the decoding side of the output timing obtained before the decoding result of the corresponding encoded information is obtained.
  • the encoding apparatus allows the decoding side to recognize in advance the output timing assuming that the encoded information has been decoded on the decoding side, and to determine the decoding order for which the decoding order is not uniquely determined. Continuity of the output in the restored image information can be ensured even with the coded information coded according to the decoding method, and thus the decoding side can continuously reproduce the coded information.
  • an encoding method for executing an encoding process in accordance with an encoding method defined so that at least a B picture can be used as a target for predictive encoding a plurality of encoded images are generated as a result of performing the encoding process.
  • an output time for the decoding result of the coded information is calculated, and the calculated output time is decoded for the corresponding coded information.
  • the decoding side is notified before the result is obtained.
  • the decoding side is made to recognize in advance the output timing assuming that the encoded information has been decoded on the decoding side, and the decoding order is uniquely determined. Continuity of output in the restored image information can be ensured even with coded information coded according to a non-standard coding method, and thus can be continuously reproduced by the decoding side. .
  • a storage unit that temporarily stores the restored image information sequentially generated as a result of the decryption process, and a restored image that is stored in the storage unit.
  • the decoding apparatus it is possible to ensure the continuity of the output in the reconstructed image information even if the coding information is coded according to a coding method in which the decoding order is not uniquely determined. And thus can be played back continuously.
  • a decoding method for performing decoding processing on a plurality of pieces of encoded information encoded according to an encoding scheme defined so that at least a B picture can be used as a predictive encoding target A first step of temporarily storing the restored image information sequentially generated as a result of the decryption processing, a second step of outputting the stored restored image information, and a step of storing the restored image information
  • a third step is provided for re-outputting the restored image information output immediately before the failure when the failure occurs.
  • FIG. 1 is a block diagram showing an image reproduction system according to the first embodiment.
  • FIG. 2 is a functional block diagram showing the processing contents of the code control unit.
  • FIG. 3 is a chart for explaining the calculation of the output timing.
  • FIG. 4 is a flowchart showing the output timing notification processing procedure.
  • FIG. 5 is a block diagram showing an image reproduction system according to the second embodiment.
  • FIG. 6 is a chart for explaining re-output control.
  • FIG. 7 is a flowchart showing the re-output control processing procedure.
  • FIG. 8 is a block diagram showing a configuration of the encoding device.
  • FIG. 9 is a block diagram showing a configuration of the decryption device. BEST MODE FOR CARRYING OUT THE INVENTION
  • reference numeral 1 denotes an image reproducing system as a whole according to the first embodiment, in which an encoding device 2 and a decoding device 3 conforming to the JVT encoding method are connected to each other via a predetermined transmission path. It is constituted by doing.
  • the encoding device 2 includes an encoding unit 10 having the same configuration as the encoding device 100 described above with reference to FIG. 8, and a code control unit 11 that controls the encoding unit 10.
  • a recording medium such as an internal HDD (Hard Disk Drive) or the like.
  • the encoding information D 1 a to D 1 n is obtained for each of the unit image information (frame or field data) D 1 a to D 1 n. 2 (D2a, D2b,... Or D2n), and then sequentially outputs the coded information D2.
  • the decryption device 3 includes a decryption unit 20 having the same configuration as the decryption device 120 described above with reference to FIG. 9, and a decryption control unit 21 that controls the decryption unit 20.
  • the decoding information D 2 sequentially input via the transmission path is decoded by the decoding unit 20 controlled by the decoding control unit 21 in the same manner as described above with reference to FIG. ,
  • the restored image information D3 (D3a, D3b, ... or D3n) is sequentially generated, and then the restored image information D3 is sequentially output to a display unit (not shown). Continuous playback in this way.
  • the code control section 11 of the coding apparatus 2 is input to the coding section 10 based on program table information or the like which is stored in advance and conforms to the JVT coding method.
  • a condition hereinafter, referred to as an encoding condition relating to an encoding process such as a GOP structure and an encoding order for the continuous image information D1 is determined, and the encoding unit 10 is controlled according to the encoding condition.
  • the code control unit 11 decodes the encoded information D 2 in anticipation that the encoded information D 2 will be sequentially decoded on the decoding side (decoding device 3).
  • the output timing of the restored image information D3 which is the result is calculated, and the output timing is notified to the decryption device 3 before generating the restored image information D3. ing.
  • a decode delay (Hereinafter referred to as a decode delay) can be classified into a delay calculation unit 11a that calculates the delay and a header addition unit 11b that adds the decode delay as a header of the corresponding encoded information D2. .
  • the processing of the delay calculating section 11a and the header adding section will be specifically described using an example shown in FIG.
  • the column of “EI (E ncoder Input)” indicates each unit image information D 1 a to D 1 n input to the encoding unit 10 by a picture type assigned according to the GOP structure. , which indicates the order of the picture types before the encoding process.
  • the column of “EO (E ncoder Output)” is the result of executing the encoding process according to a predetermined encoding order for each unit image information D 1 a to D 1 n input to the encoding unit 10.
  • the picture type of the generated encoded information D 2 a to D 2 n is shown, that is, the order of the picture types after the encoding process is shown.
  • the column of “E d (Encoder Delay)” is generated by the process after the coding process is started on the unit image information D 1 a, D 1 b,... Or D 1 n.
  • a period until the encoded information D2 is output (hereinafter referred to as an encode delay) is shown, and is calculated based on the encoding condition.
  • the delay calculation unit 11a calculates a decode delay (the column of “Dd (Decoder Delay)”) for each piece of encoded information D2 based on the encode delay.
  • Dd Decoder Delay
  • the decoding delay for the encoding information D 2 (“B 13”) that provides the maximum encoding delay (10 [seconds]) is minimized (0 [second]).
  • the decoding delay of each piece of the encoded information D2a to D2n is calculated.
  • the delay calculating unit 11a calculates the encoding corresponding to each of the pieces of encoded information D2a to D2n from this 10 [seconds]. By subtracting the value of the delay, the value of the decode delay (the value of each item in the column of “Dd”) for the coded information D 2 a to D 2 n is calculated.
  • the delay calculation unit 11a generates each of the decode delays calculated in this way as decoded delay information D10, and sends it to the header addition unit 11b.
  • the header adding unit 11b responds every time the encoding unit 10 sequentially generates the encoded information D2 based on the decoded delay information D10 supplied from the delay calculating unit 11a. By replacing the decode delay as a header, it is added to the encoded information D2.
  • the encoded information D2a (“100” in the “EO” column) to which the decode delay is added as a header is output at the same time as the progress of the encode delay, and is transmitted via the transmission path. Input to the decryption device 3.
  • the transmission time of the transmission path between the coding device 2 and the decoding device 3 is not considered, and the input timing of the coding information D 2 in the decoding device 3 is determined by the coding unit. It is considered to be equivalent to the output time of the encoded information D2 from 10 ("EO" column). '
  • the decoding device 3 based on the decode delay of the encoded information D2, the output timing of the restored image information D3 which is the decoding result of the encoded information D2 is adjusted. That is, for example, the decoding delay of the first encoded information D 2 a (4 [seconds] in the “Dd” column) is determined by the decoding device 3 based on the header added to the encoded information D 2 a.
  • the decoding information is recognized by the decoding control unit 21 before the decoding process of the coded information D 2 a.
  • the remaining encoded information D 2 b to D 2 n are also generated as restored image information D 3 b to D 3 n in the decoding unit 20 in the same manner as the encoded information D 2 a.
  • the restored image information D3b to D3n is stored in the image rearrangement buffer 126 (FIG. 9) in the same picture type order as before the encoding processing (“DO (Decoder Output)” column) as necessary. The output is adjusted and the output timing is adjusted based on the corresponding encoding delay. As a result, continuous playback is performed.
  • the code control unit 11 executes the output time notification process to decode the decoding delay via the header assuming that the coded information D 2 has been decoded by the decoding device 3.
  • the device 3 can be recognized in advance.
  • the output timing notification processing as described above is sequentially executed according to the output timing notification processing procedure RT1 shown in FIG. That is, for example, when a predetermined operation for executing an encoding process is performed via an input unit (not shown), the code control unit 11 starts the output timing notification processing procedure RT1 from step SP0. Then, in the following step SP1, the largest encode delay is recognized from the encode delays calculated based on the encoding conditions.
  • step SP2 the code control unit 11 stores, for example, the coded information D2a present in the lossless coding unit 106 (FIG. 8) in the coding unit 10 in the accumulation buffer 107 (FIG. 8).
  • step SP3 it is determined whether or not the capture has succeeded. If a negative result is obtained, the process returns to step SP2 to capture the encoded information D2a again.
  • step SP2 the code control unit 11 proceeds to step SP3 where the encoding control unit reads the encoding fetched in step SP2 from the encoding delay recognized in step SP1.
  • the decoding delay 4 in the “D d” column
  • the calculated decoded delay is added as a header to the encoded information D2a.
  • step SP5 the code control unit 11 determines whether or not all the coded information D 2 has been taken into the accumulation buffer 107 (FIG. 8) in step SP5, and when a negative result is obtained, Returning to step SP2, the above-described processing is repeated. If an affirmative result is obtained, the process proceeds to step SP6 to end the output timing notification processing procedure RT1.
  • the code control unit 11 can execute the output timing notification processing in accordance with the output timing notification processing procedure RT1.
  • the decoding device 2 in anticipation that the encoded information D2 obtained as a result of encoding according to the JVT encoding method is decoded by the decoding device 3,
  • the decoding result of the coded information D 2 (each restored image information D 3) is Output timing (decode delay) to be calculated, and the calculated output timing is added as a header.
  • the decoding device 3 it is possible to make the decoding device 3 before the decoding process recognize the decoding delay assuming that the encoded information D2 has been decoded by the decoding device 3 via the header. Therefore, even with the coded information D2 coded according to the JVT coding method in which the decoding order is not uniquely determined, the continuity of the output in the restored image information D3 can be ensured.
  • the encoding information D 2 (which is the maximum period of the period (encoding delay) from the start of the encoding process to the time when the encoding information D 2 is output (encoding delay)).
  • the output timing (decode delay) for each restored image information D3 is calculated so that the decoding result of "B13" in Fig. 3) is output immediately.
  • each encoded information D 2 is set on the basis of the output time (encoded delay) on the decoding side with respect to the encoded information D 2 which spends the most time on the decoding process on the decoding side. Since the output timing (decode delay) for the decoding result (decompressed image information D 3) of the decoding device 3 can be calculated, the output timing during the decoding in the decoding device 3 is distributed (canceled). Adjustment can be made almost certainly without underflow.
  • the coded information D 2 By calculating the output time (decoded delay) for each of the restored image information D3 when 2 is decoded and adding the calculated output time as a header, the decoding order can be changed. Even if the encoded information D2 is encoded according to the JVT encoding method that cannot be uniquely determined, the continuity of the output in the restored image information D3 can be ensured. It can be played continuously.
  • the JVT coding method is applied.
  • the present invention is not limited to this, and it is possible to apply various other encoding schemes defined so that at least a B picture can be used as a target for predictive encoding.
  • the encoded information As a timing calculating means for calculating an output timing for the decoding result of the encoded information, the decoding result of the encoded information is set so that the decoded result of the encoded information D2 which has the largest encoding delay among the encoding delays is immediately output.
  • the decoding delay is calculated, the present invention is not limited to this. For example, instead of the decoding delay, the period from the generation of the decoding result of the encoded information to the output time may be calculated.
  • the decoding delay for the decoding result of the coded information is calculated based on the calculation result assuming the occupation ratio of the information amount stored in the decoding side buffer. Unishi and may be. If the output timing is calculated based on the calculation result, it is possible to calculate the output timing that ensures continuous playback on the decoding side. Further, in the first embodiment, the corresponding encoding information As a timing notification means for notifying the decoding side of the output timing before the decoding result of the decoding is obtained, the output timing (decoding delay) is determined based on the decoding delay information D 10 supplied from the delay calculating unit 11 a. Has been described as being added to the corresponding coded information D2 as a header, but the present invention is not limited to this. For example, the decoding processing is performed without adding the decoded delay information D10 as a header. The data may be directly output to the decryption side before.
  • 51 indicates an image reproduction system as a whole according to the second embodiment, and includes an encoding device 52 and a coding device 52 conforming to the JVT encoding method.
  • Decoding devices 53 are connected to each other via a predetermined transmission path. ⁇ ).
  • the encoding device 52 includes an encoding unit 10 and a code control unit 61 that controls the encoding unit 10.
  • the encoding control unit 61 performs the output time notification processing described above. Is not executed, but the rest is the same as in the case of the above-described first embodiment. In this case, the encoding device 52 executes the encoding process on the continuous image information D1 via the encoding unit 10 controlled by the encoding control unit 61, so that the decoding delay is reduced.
  • the encoded information D2 not added as a header is sequentially generated, and thereafter, the encoded information D2 is sequentially output.
  • the decryption device 53 has a decryption unit 20 and a decryption control unit 71 that controls the decryption unit 20 and is sequentially input via a transmission path.
  • the decoded image information D 3 is sequentially generated by executing the decoding process on the encoded information D 2 through the decoding unit 20 controlled by the decoding control unit 71, and the decoded image information D 3 is sequentially generated. Thereafter, the restored image information D3 is successively reproduced by sequentially outputting the restored image information D3 to a display unit (not shown).
  • the decoding control unit 71 of the decoding device 53 temporarily stores the sequentially input coded information D 2 in the storage buffer 1 2 1 (FIG. 9) in the decoding unit 20. Then, based on the header and the like included in the encoded information D 2, the order of the decryption processing of the encoded information D 2, the start timing of the decryption processing, and the like, This is called a decryption condition), and the decryption unit 20 is controlled in accordance with the decryption condition.
  • the decoding control unit 71 monitors the storage state of the restored image information D3 stored in the image rearranging buffer 126 (FIG.
  • the column of “EI” indicates the order of the picture types before the encoding process
  • the column of “EO” indicates the order of the picture types after the encoding process
  • “DO” indicates the decoding.
  • the column of “E d” indicates the encoding delay
  • the column of “Dd” indicates the decoding delay, respectively.
  • the transmission time of the transmission path between the encoder 52 and the decoder 53 is not considered, and the encoded information D 2 in the decoder 53 is not considered. Is considered to be equivalent to the output time of the encoded information D2 from the encoding unit 10 (the column of "EO").
  • the column of “S ud (Start-updelay)” indicates the period from the input of each piece of coding information D 2 to the start of the decoding process (hereinafter referred to as a start-up delay).
  • the start-up delay is calculated by the coding control unit 61 based on the coding conditions in the coding device 52, and is added as a header.
  • the decoding control unit 71 When the decoding control unit 71 inputs the first encoded information D 2 a (“100” in the “EO” column), the start-up delay for the encoded information D 2 a (in the “S ud” column) In accordance with “6” [second]), the encoding information D 2 a is immediately transmitted to the lossless encoding unit 122 to start decoding processing (“D d” column). At “0" [seconds]). As a result, the decoding control unit 71 can shorten the preparation period (startup time) for continuous reproduction.
  • the shift period (delay amount that has to be adjusted) from the originally intended decoding processing start time caused by such control is 6 [in FIG. In the following, this period is referred to as an adjustment delay amount), and the restored image information D 3 a, which is the result of the decryption processing of the encoded information D 2 a, is generated for this adjustment delay amount.
  • the decoding control unit 71 can ensure the continuity of the output in the restored image information D3 by executing the re-output control process.
  • step SP1 when, for example, a predetermined operation for executing the decoding process is performed via an input unit (not shown), the decoding control unit 71 executes this re-output control process procedure RT2 in step SP1. Starting from 0, the process waits for the input of the first coded information D 2 a in the following step SP 11, and when the coded information D 2 a is input, the process proceeds to step SP 12.
  • step SP12 the decoding control unit 71 immediately starts the decoding process without following the startup delay for the encoded information D2a, and in the next step SP13, the decoding process After outputting the restored image information D3a, in Step SP14, the restored image information D3a is output again to cancel a part of the adjustment delay amount.
  • the decoding control unit 71 starts decoding of the next restored image information D2 (D2b, D2c,..., D2n) in step SP15, and restores the image obtained by this process.
  • the image information D 3 (D 3 b, D 3 c,..., D 3 n) is output, and in the following step SP 16, the restored image information D 3 stored in the plane image sorting buffer 126 (FIG. 9) It is determined whether or not has failed. If a negative result is obtained, step SP 15 And repeat the above processing.
  • step SP17 the decryption control unit 71 proceeds to step SP17 where the restored image information D3 (“P05” in the “DO” column) output in step SP15 is output. And “P 10”) to cancel out part (or all) of the remaining adjustment delay amount, and proceed to the subsequent step SP 18.
  • the decoding control unit 71 determines whether or not all the adjustment delay amounts have been offset in this step SP 18, and if a negative result is obtained, returns to step SP 15 and repeats the above processing. Repeatedly, if a positive result is obtained, the process moves to the following step SP 19 to end this re-output control processing procedure RT 2.
  • the code control unit 11 can execute the re-output control process according to the re-output control process procedure RT2.
  • the decoding device 53 converts the decoded image information D 3 sequentially generated as a result of executing the decoding process on the encoded information D 2 encoded according to the JVT encoding method.
  • the restored image information D 3 temporarily stored in the sorting buffer 126 (FIG. 9) and stored in the image sorting buffer 126 (FIG. 9) fails, immediately before the failure, The output restored image information D3 is output again. Therefore, in the decoding device 53, even if the decoding information is the encoded information D2 encoded according to the JVT encoding method whose decoding order is not uniquely determined, the output of the restored image information D3 is Continuity can be ensured.
  • the decoding device 53 does not follow the decoding start time (startup delay) defined in the first encoded information D 2 a stored in the accumulation buffer 121 (FIG. 9), and The decoding of D 2a is started immediately, and the resulting delay (adjustment delay amount) from the decoding start time is represented by the restored image information D 26 stored in the image sorting buffer 126 (Fig. 9).
  • the restored image information output immediately before the time of the failure is offset by re-outputting it.
  • the preparation period (startup time) for continuous reproduction can be shortened, and the shift period (adjustment delay amount) caused by the shortening is periodically reduced.
  • the continuity of the output in the restored image information can be ensured while relaxing the data in such a manner as to be dispersed.
  • the reconstructed image information D 3 sequentially generated as a result of performing the decoding process on the encoded information D 2 encoded according to the JVT encoding method is stored in the image sorting buffer 1 2 6 (
  • the restored image information D 3 temporarily stored in the image rearrangement buffer 1 26 (FIG. 9) and the restored image information D 3 is collapsed the restored image information D 3 output immediately before the failure is stored.
  • the decoding continuity of the restored image information D 3 is maintained even if the encoded information D 2 is encoded according to the JVT encoding method, in which the decoding order is not uniquely determined. Can be secured, and thus, can be continuously reproduced.
  • the present invention is not limited to this, and at least a B picture can be used as a target for predictive coding.
  • Various other encoding schemes specified as described above can be applied.
  • a storage buffer is used as storage means for temporarily storing each coded information and restored image information sequentially generated as a result of a decoding process on the coded information.
  • 1 2 1 and the sorting buffer 1 2 6 are used separately, the present invention is not limited to this, and the storage buffer 1 2 1 and the sorting buffer 1 2 6 are shared. May be. In this case, the number of accumulations and the manner of accumulation can be changed as appropriate.
  • the decoding control unit 71 serving as output control means performs decoding specified in the first encoded information D 2a stored in the storage buffer 12 1 (FIG. 9).
  • the encoding information D 2 a is immediately started to be decoded without following the decoding start time (startup delay), and the resulting delay time of the decoding start time (adjustment delay amount) is rearranged into an image.
  • the restored image information D 3 stored in the buffer 1 26 (FIG. 9) fails, the restored image output immediately before the failure is output. The case in which the image information is canceled by re-outputting the image information has been described.
  • the restored image information D3 corresponding to the different encoded information D2 may be output again.
  • the present invention can be used when transmitting continuous image information via a network medium such as satellite broadcasting, cable TV, or the Internet, or when processing it on a storage medium such as an optical disk, a magnetic disk, or a flash memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

連続再生できるようにする。少なくともBピクチャを予測符号化対象として用いることができるよう規定された符号化方式に従って符号化処理を実行する符号化装置において、符号化処理を実行した結果生成される複数の符号化情報が復号化側で順次復号化されることを見越して、当該符号化情報の復号結果に対する出力時期を算出する時期算出手段と、時期算出手段により算出された出力時期を、対応する符号化情報の復号結果が得られる前に復号化側に通知する時期通知手段とを設けるようにした。

Description

明 細 書 符号化装置、 符号化方法、 復号化装置及び複号化方法 技術分野
本発明は、 符号化装置、 符号化方法、 復号化装置及び複号化装置に関し、 例え ば複数の単位画像情報が連続してなる画像情報 （以下、 これを連続画像情報と呼 ぶ） を、 衛星放送、 ケーブル TV若しくはインターネット等のネットワークメデ ィァを介して伝送する際に、 又は光ディスク、 磁気ディスク若しくはフラッシュ メモリ等の記憶メディア上で処理する際に好適なものである。 背景技術
近年、 連続画像をデジタル情報として取り扱い、 その際、 効率の高い情報の伝 送又は蓄積等を目的とし、 当該連続画像情報特有の冗長性を利用して離散コサイ ン変換等の直交変換や動き補償を用いて符号化 （圧縮） する MP EG (Mo v i n g P i c t u r e E x p e r t s G r o u p) などの符号化方式に準 拠した装置が、 放送局や一般家庭等において普及しつつある。
特に、 MP EG 2 ( I S O/ I E C 1 3 8 1 8— 2) 符号化方式は、 汎用画 像符号化方式として定義されており、 飛び越し走查画像及び順次走査画像の双方 、 並びに標準解像度画像及び高精細画像を網羅するようになされており、 プロフ ェッショナル用及びコンシューマー用途の広範なアプリケーションとして現在広 く用いられている。 この MP EG 2符号化方式では、 例えば 7 2 0 X 4 80画素 を持つ標準解像度の飛び越し走査画像であれば 4〜 8 [Mb p s ] 、 1 9 2 0 X 1 08 8画素を持つ高解像度の飛び越し走査画像であれば 1 8〜2 2 [Mb p s 〕 の符号量 （ビッ トレ ト） を割り当てることで、 高い符号化効率 （圧縮率） と 良好な画質の実現が可能である。
かかる MP EG 2符号化方式は、 主として放送用に適合する高画質符号化を対 象として用いられていたが、 MPEG 1符号化方式より低い符号量 （ビットレー ト） 、 つまりより高い符号化効率の符号化方式には対応していなかった。 今後こ のような符号化方式のニーズは、 例えば携帯端末の普及等に伴って高まると思わ れ、 これに対応して MPEG4符号化方式の標準化が行われた。 そして画像に関 する MP EG 4符号化方式については、 1 998年 1 2月に I S 0 I EC 1 4496— 2としてその規格が国際標準に承認された。
さらに、 近年、 VCEG団体と MP EG団体とのジョイントビデオチームによ つて MP EG 4 AVCあるレ、は H. 264と呼ばれる符号化方式 （以下、 これを J VT符号化方式と呼ぶ） が規格化された。 この J VT符号化方式では、 MPE G 2や MP EG 4等といった従来の符号化方式に比べ、 その符号化又は復号化に より多くの演算量が要求されるが、 より高い符号化効率が実現されることが知ら れている。
ここで、 上述した各種符号化方式のいずれかに従って符号化処理を実行する符 号化装置の概略構成を図 8に示す。 図 8において、 符号化装置 1 00は、 画像並 ベ替えバッファ 1 0 2と、 加算器 1 03と、 直交変換部 1 04と、 量子化部 1 0 5と、 可逆符号化部 1 06と、 蓄積バッファ 10 7と、 逆量子化部 1 08と、 逆 直交変換部 1 09と、 フレームメモリ 1 1 0と、 動き予測 ·補償部 1 1 1と、 レ 一ト制御部 1 1 2とによって構成される。
この場合、 符号化装置 1 00は、 連続画像情報を画像並べ替えバッファ 1 0 2 に蓄積し、 当該連続画像情報を GO P (G r o u p o f P i c t u r e s) 構造に応じて単位画像情報 （フレーム又はフィールドのデータ） ごとに並べ替え を行う。
ここで、 画像並べ替えバッファ 1 02は、 連続画像情報のうちイントラ予測符 号化を行うべき単位画像情報については、 直交変換部 1 04に供給する。 直交変 換部 1 04は、 この単位画像情報に対して離散コサイン変換又はカルーネン · レ 一べ変換等の直交変換処理を施し、 得られた直交変換係数を量子化部 1 05に供 給する。 量子化部 1 0 5は、 直交変換部 1 0 4から供給された直交変換係数に対して、 レート制御部 1 1 2の制御に応じた量子化処理を施し、 得られた量子化情報 （量 子化された直交変換係数） を可逆符号化部 1 0 6及び逆量子化部 1 0 8に供給す る。 可逆符号化部 1 0 6は、 量子化情報に対して可変長符号化あるいは算術符号 化等の可逆符号化処理を施し、 得られた符号化情報 （符号化された量子化情報） を蓄積バッファ 1 0 7に蓄積する。
逆量子化部 1 0 8は、 量子化情報に対して逆量子化処理を施し、 得られた直交 変換係数を逆直交変換部 1 0 9に供給する。 逆直交変換部 1 0 9は、 直交変換係 数に対して逆直交変換処理を施し、 得られた単位画像情報を参照画像情報として 必要に応じてフレームメモリ 1 1 0に蓄積する。
一方、 画像並べ替えバッファ 1 0 2は、 連続画像情報のうちインター予測符号 化を行うべき単位画像情報については、 動き予測 ·補償部 1 1 1に供給する。 動 き予測 '補償部 1 1 1は、 この単位画像情報と、 フレームメモリ 1 1 0より取り 出した参照画像情報とを用いて動き予測 ·補償処理を施し、 得られた予測画像情 報を加算器 1 0 3に供給する。 加算器 1 0 3は、 予測画像情報と対応する単位画 像情報との差分を差分情報として直交変換部 1 0 4に供給する。
この差分情報は、 イントラ符号化の場合と同様にして各種処理が施され、 この 結果、 符号化情報として蓄積バッファ 1 0 7に蓄積されると共に、 参照画像情報 としてフレームメモリ 1 1 0に必要に応じて.蓄積される。
また、 動き補償 ·予測部 1 1 1は、 動き予測 ·補償処理を施すことにより予測 画像情報と共に得られる動きべク トル情報を可逆符号化部 1 0 6に供給する。 可 逆符号化部 1 0 6は、 動きべク トル情報に対して可逆符号化処理を施し、 得られ た符号化動きべク トル情報を対応する符号化情報のヘッダ部として生成する。 このようにして符号化装置 1 0 0は、 連続画像情報に対して符号化処理を実行 することにより単位画像情報ごとに符号化情報を順次生成し、 この後、 当該符号 化情報を蓄積バッファ 1 0 7を介して順次出力するようになされている。
次に、 かかる符号化装置 1 0 0に対応する符号化方式に従って復号化処理を実 行する複号化装置の概略構成を図 9に示す。 図 9おいて、 復号化装置 1 2 0は、 蓄積バッファ 1 2 1と、 可逆復号部 1 2 2と、 逆量子化部 1 2 3と、 逆直交変換 部 1 2 4と、 加算器 1 2 5と、 画像並べ替えバッファ 1 2 6と、 動き予測 ·補償 部 1 2 7と、 フレームメモリ 1 2 8とによって構成される。
この場合、 復号化装置 1 2 0は、 順次入力される符号化情報を蓄積バッファ 1 2 1に一時的に格納した後に可逆復号部 1 2 2に供給する。 可逆復号部 1 2 2は 、 イントラ予測符号化が行われた符号化情報である場合には、 当該符号化情報に 対して可変長復号又は算術復号等の複号化処理を施し、 得られた量子化情報を逆 量子化部 1 2 3に供給する。
逆量子化部 1 2 3は、 可逆復号部 1 2 2から供給された量子化情報に対して逆 量子化処理を施し、 得られた直交変換係数を逆直交変換部 1 2 4に供給する。 逆 直交変換部 1 2 4は、 直交変換係数に対して逆直交変換処理を施して、 符号化処 理前の元の画像情報 （以下、 これを復元画像情報と呼ぶ） を生成し、 これを画像 並べ替えバッファ 1 2 6に格納する。
一方、 可逆復号部 1 2 2は、 インタ一予測符号化が行われた符号化情報である 場合には、 この符号化情報及び当該符号化情報のヘッダ部に挿入された符号化動 きべク トル情報に対してそれぞれ複号化処理を施し、 得られた量子化情報を逆量 子化部 1 2 3に供給すると共に、 動きべク トル情報を動き予測 ·補償部 1 2 7に 供給する。 この量子化情報は、 イントラ符号化された符号化情報を復号化する場 合と同様にして各種処理が施され、 この結果、 差分情報として加算器 1 2 5に供 給される。
また、 動き予測 ·補償部 1 2 7は、 動きべク トル情報とフレームメモリ 1 2 8 に格納された参照画像情報とに基づいて予測画像情報を生成し、 これを加算器 1 2 5に供給する。 加算器 1 2 5は、 この参照画像情報と差分情報とを合成し、 得 られた復元画像情報を画像並べ替えバッファ 1 2 6に格納する。
このようにして複号化装置 1 2 0は、 順次入力される符号化情報に対して復号 化処理を実行することにより復元画像情報を順次生成し、 この後、 当該復元画像 情報を画像並べ替えバッファ 1 26を介して例えば表示部 （図示せず） に順次出 力するようにして連続再生する。
ところで MP EG 2符号化方式では、 インター予測符号化対象として、 I ( I n t r a) ピクチャ及び P (P r e d i c t i v e) ピクチャのみを用いるよ う規定されているため、 復号化処理の際における複号化順が一義的に決まってく る。
従って、 復号化装置 1 20においては、 かかる MP EG 2符号化方式に準拠し た各符号化情報に対して複号化処理を実行して生成した復元画像情報を連続再生 する場合には、 当該復元画像情報の出力時期を画像並べ替えバッファ 1 26を介 してあえて調整しなくても、 当該各復元画像情報に基づく画像を適切に表示部に 表示することができる。
これに対して J VT符号化方式では、 インター予測符号化対象として、 I及び Pピクチャに加えて B (B i d i r e c t i o n a 1 ) ピクチャをも用いること ができる等、 MPEG 2符号化方式に比して予測符号化対象として選択できるピ クチャの選択自由度が多く規定されている。
しかしながら J VT符号化方式では、 このような規定に伴って復号化処理の際 における複号化順が一義的に決まらないにも係わらず、 復元画像情報の出力時期 については明確に規定していない。
従って、 複号化装置 1 20は、 かかる J VT符号化方式に準拠した各符号化情 報に対して複号化処理を実行して生成した復元画像情報を連続再生すると、 画像 並べ替えバッファ 1 26のリソースに制限があるので、 ある符号化情報に対応す る復元画像情報の出力時期であるにも係わらず当該符号化情報を未だ複号化中で あるといった事態が発生し、 この結果、 当該連続性が途切れてしまうという問題 力 sめった。 発明の開示
本発明は、 このような実状に鑑みてなされたものであり、 複号化装置に連続再 生させ得る符号化装置及び符号化方法と、 連続再生し得る復号化装置及び復号化 方法とを提供することを目的とする。
かかる課題を解決するため本発明においては、 少なくとも Bピクチャを予測符 号化対象として用いることができるよう規定された符号化方式に従って符号化処 理を実行する符号化装置において、 符号化処理を実行した結果生成される複数の 符号化情報が復号化側で順次復号化されることを見越して、 当該符号化情報の復 号結果に対する出力時期を算出する時期算出手段と、 時期算出手段により算出さ れた出力時期を、 対応する符号化情報の復号結果が得られる前に複号化側に通知 する時期通知手段とを設けるようにした。
従って、 本発明による符号化装置では、 符号化情報が復号側で復号化されたこ とを想定した出力時期を事前に複号化側に認識させて、 復号化順が一義的に決ま らない符号化方式に従って符号化された符号化情報であっても復元画像情報にお ける出力の連続性を確保することができ、 かく して、 復号化側に対して連続再生 させることができる。
また本発明においては、 少なくとも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化処理を実行する符号化方 法において、 符号化処理を実行した結果生成される複数の符号化情報が複号化側 で順次複号化されることを見越して、 当該符号化情報の復号結果に対する出力時 期を算出し、 当該算出した出力時期を、 対応する符号化情報の復号結果が得られ る前に複号化側に通知するようにした。
従って、 本発明による符号化方法では、 符号化情報が復号側で複号化されたこ とを想定した出力時期を事前に複号化側に認識させて、 複号化順が一義的に決ま らない符号化方式に従って符号化された符号化情報であっても復元画像情報にお ける出力の連続性を確保することができ、 かく して、 複号化側に対して連続再生 させることができる。
また本発明においては、 少なく とも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化された複数の符号化情報 に対して、 複号化処理を実行する複号化装置において、 複号化処理の結果順次生 成される復元画像情報を一時的に蓄積する蓄積手段と、 蓄積手段に蓄積される復 元画像情報の出力を制御する出力制御手段とを設け、 出力制御手段は、 蓄積手段 に蓄積される復元画像情報が破綻した場合に、 当該破綻時の直前に出力した復元 画像情報を再出力するようにした。
従って、 本発明による複号化装置では、 復号化順が一義的に決まらない符号化 方式に従って符号化された符号化情報であっても復元画像情報における出力の連 続性,を確保することができ、 かく して、 連続再生することができる。
また本発明においては、 少なくとも Bピクチャを予測符号化対象として用いる ことができるよう規定された符号化方式に従って符号化された複数の符号化情報 に対して、 復号化処理を実行する複号化方法において、 複号化処理の結果順次生 成される復元画像情報を一時的に蓄積する第 1のステップと、 蓄積される復元画 像情報の出力する第 2のステップと、 蓄積される復元画像情報が破綻した場合に 、 当該破綻時の直前に出力した復元画像情報を再出力する第 3のステップとを設 けるようにした。
従って、 本発明による複号化方法では、 複号化順が一義的に決まらない符号化 方式に従って符号化された符号化情報であっても復元画像情報における出力の連 続性を確保することができ、 かく して、 連続再生することができる。 図面の簡単な説明
図 1は、 第 1の実施の形態による画像再生システムを示すプロック図である。 図 2は、 符号制御部の処理内容を示す機能プロック図である。
図 3は、 出力時期の算出の説明に供する図表である。
図 4は、 出力時期通知処理手順を示すフローチヤ一トである。
図 5は、 第 2の実施の形態による画像再生システムを示すブロック図である。 図 6は、 再出力の制御の説明に供する図表である。
図 7は、 再出力制御処理手順を示すフローチヤ一トである。 図 8は、 符号化装置の構成を示すブロック図である。
図 9は、 複号化装置の構成を示すブロック図である。 発明を実施するための最良の形態
実施例 1
(1) 画像再生システム 1の構成
図 1において、 1は全体として第 1の実施の形態による画像再生システムを示 し、 J VT符号化方式に準拠した符号化装置 2及び複号化装置 3を所定の伝送路 を介して互いに接続することにより構成される。
符号化装置 2は、 図 8で上述した符号化装置 1 00と同一構成でなる符号化部 1 0と、 この符号化部 10の制御を司る符号制御部 1 1とを有しており、 外部か ら供給された又は内部の HDD (H a r d D i s k D r i v e ) 等の記録媒 体 （図示せず） から読み出した連続画像情報 D 1に対して、 当該符号制御部 1 1 に制御される符号化部 1 0を介して、 図 8で上述した場合と同様にして符号化処 理を実行することにより単位画像情報 （フレーム又はフィールドのデータ） D 1 a〜D 1 nごとに符号化情報 D 2 (D 2 a、 D 2 b、 ……又は D 2 n) を順次生 成し、 この後、 当該符号化情報 D 2を順次出力する。
一方、 複号化装置 3は、 図 9で上述した複号化装置 1 20と同一構成でなる復 号化部 20と、 この復号化部 20の制御を司る復号制御部 21とを有しており、 伝送路を介して順次入力される符号化情報 D 2に対して、 当該復号制御部 21に 制御される複号化部 20を介して、 図 9で上述した場合と同様にして複号化処理 を実行することにより復元画像情報 D 3 (D3 a、 D3 b、 ……又は D3 n) を 順次生成し、 この後、 当該復元画像情報 D 3を表示部 （図示せず） に順次出力す るようにして連続再生する。
(2) 符号制御部 1 1の構成
この符号化装置 2の符号制御部 1 1は、 予め内部に格納された J VT符号化方 式に準拠したプログラムゃテ一ブル情報等に基づいて、 符号化部 1 0に入力され た連続画像情報 D 1に対する GOP構造や、 符号化順等の符号化処理に関する条 件 （以下、 これを符号化条件と呼ぶ） を決定し、 この符号化条件に従って符号化 部 10を制御する。
かかる構成に加えて、 この符号制御部 1 1においては、 符号化情報 D 2が復号 化側 （復号化装置 3) で順次複号化されることを見越して、 当該符号化情報 D 2 の復号結果である復元画像情報 D 3の出力時期を算出し、 この出力時期を、 当該 復元画像情報 D 3を生成する前の複号化装置 3に通知する出力時期通知処理を実 行するようになされている。
ここで、 符号制御部 1 1における出力時期通知処理の処理内容を機能的に分類 すると、 例えば図 2に示すように、 符号化情報 D 2に対する複号化処理を実行し 始めてから、 当該処理により生成された復号画像情報 D 3を出力するまでの期間
(以下、 これをデコードディレイと呼ぶ） を算出するディレイ算出部 1 1 aと、 当該デコードディレイを対応する符号化情報 D 2のヘッダとして付加するヘッダ 付加部 1 1 bとに分類することができる。 これらディレイ算出部 1 1 a及びへッ ダ付加部の処理について、 図 3に示す例を用いて具体的に説明する。
この図 3において、 「E I (E n c o d e r I n p u t) 」 の欄は、 符号化 部 10に入力される各単位画像情報 D 1 a〜D 1 nを、 GOP構造に応じて割り 当てられたピクチャタイプで表しており、 即ち符号化処理前のピクチャタイプの 順序を示している。 「EO (E n c o d e r Ou t p u t) 」 の欄は、 符号化 部 1 0に入力された各単位画像情報 D 1 a〜D 1 nに対して所定の符号化順に従 つて符号化処理を実行した結果生成される符号化情報 D 2 a〜D 2 nのピクチャ タイプ表しており、 即ち符号化処理後のピクチャタイプの順序を示している。
「 E d (En c o d e r D e l a y) 」 の欄は、 単位画像情報 D 1 a、 D 1 b、 ……又は D 1 nに対して符号化処理を実行し始めてから、 当該処理により生 成された符号化情報 D 2を出力するまでの期間 （以下、 これをエンコードディレ ィと呼ぶ） をそれぞれ示しており、 符号化条件に基づいて算出される。 このェン コードディレイ （ 「E d」 の欄） に基づいて、 符号化情報1323〜1321 ( ΓΕ o」 の欄） の出力時期が必要に応じて調整される。 具体的に例えば、 I ピクチャ タイプである最初の単位画像情報 D 1 a ( 「E I」 欄における 「 I 00」 ） につ いては、 入力されたとき （ t =0) から、 符号化情報 D 2 a ( 「EO」 欄におけ る 「 1 00」 ） として生成されたときまでの期間が対応するエンコードディレイ ( 「E d」 欄における 「6」 [秒] ) に満たない場合には、 符号化部 1 0の蓄積 バッファ 1 07 (図 8) への蓄積により調整され、 当該エンコードディレイの経 過 （ t = 6) と同時期に出力される。
ディレイ算出部 1 1 aは、 かかるエンコードディレイに基づいて、 各符号化情 報 D 2に対するデコードディレイ （ 「Dd (D e c o d e r D e l a y) 」 の 欄） を算出するようになされており、 当該エンコードディレイ （ 「E d」 の欄） のうち、 最大のエンコードディレイ （1 0 [秒] ) となる符号化情報 D 2 ( 「B 13」 ） に対するデコードディレイが最小 （0 [秒] ) となるように、 各符号化 情報 D 2 a〜D 2 nのデコードディレイを算出する。
具体的にはディレイ算出部 1 1 aは、 エンコードディレイの最大値が 1 0 [秒 ] であるため、 この 1 0 [秒] から各々の符号化情報 D 2 a〜D 2 nに対応する エンコードディレイの値を減算することにより、 当該符号化情報 D 2 a〜D 2 n に対するデコードディレイの値 （ 「Dd」 の欄の各項の値） を算出する。
そしてディレイ算出部 1 1 aは、 このようにして算出した各デコードディレイ をデコ一ドディレイ情報 D 1 0として生成し、 これをヘッダ付加部 1 1 bに送出 するようになされている。
ヘッダ付加部 1 1 bは、 ディレイ算出部 1 1 aから供給されるデコードディレ ィ情報 D 1 0に基づいて、 符号化部 1 0において順次符号化情報 D 2が生成され るごとに、 対応するデコードディレイをヘッダとして置換することにより当該符 号化情報 D 2に付加する。
この場合、 かかるデコードディレイがヘッダとして付加された例えば符号化情 報 D 2 a ( 「EO」 欄における 「 1 00」 ) は、 エンコードディ レイの経過と同 時期に出力され、 伝送路を介して複号化装置 3に入力される。 なお、 図 3では、 説明の便宜上、 符号化装置 2と複号化装置 3との間における伝送路の伝送時間等 については考慮せず、 複号化装置 3.における符号化情報 D 2の入力時期は、 符号 化部 1 0からの符号化情報 D 2の出力時期 （ 「EO」 の欄） と同等とみなしてい る。 '
そして復号化装置 3では、 この符号化情報 D 2のデコードディレイに基づいて 、 当該符号化情報 D 2の復号結果である復元画像情報 D 3の出力時期が調整され る。 即ち、 例えば最初の符号化情報 D 2 aのデコードディレイ （ 「Dd」 欄にお ける 4 [秒] ) は、 復号化装置 3において、 当該符号化情報 D 2 aに付加された ヘッダに基づいて当該符号化情報 D 2 aの複号化処理前に復号制御部 2 1により 認識される。 この後、 符号化情報 D 2 aは、 復号化部 20において復元画像情報 D3 aとして生成され、 このとき入力時 （t = 6) からの経過期間が対応するェ ンコードディレイ （4 [秒] ) に満たない場合には、 画像並べ替えバッファ 1 2 6 (図 9) への蓄積により必要に応じて調整され、 当該デコードディレイの経過 (4 [秒] ( t = 1 0) ) と同時期に出力するようにして表示部に表示される。 また残りの符号化情報 D 2 b〜D 2 nについても、 符号化情報 D 2 aと同様に して、 複号化部 20において復元画像情報 D 3 b〜D 3 nとして生成され、 これ ら復元画像情報 D3 b〜D 3 nは、 必要に応じて、 画像並べ替えバッファ 1 26 (図 9) において符号化処理前と同じピクチャタイプの順序 （ 「DO (D e c o d e r Ou t p u t ) 」 の欄） に並び替えられると共に、 対応するェンコ ードディレイに基づいて出力時期が調整された後に出力され、 この結果、 連続再 生されることとなる。
このようにして符号制御部 1 1は、 出力時期通知処理を実行することにより、 符号化情報 D 2が複号化装置 3で復号化されたことを想定したデコードディレイ をヘッダを介して復号化装置 3に事前に認識させることができるようになされて いる。
ここで、 上述したような出力時期通知処理は、 図 4に示す出力時期通知処理手 順 RT 1に従って順次実行される。 すなわち、 符号制御部 1 1は、 例えば符号化処理を実行するための所定の操作 が入力部 （図示せず） を介して行われると、 この出力時期通知処理手順 R T 1を ステップ S P 0から開始し、 続くステップ S P 1において符号化条件に基づいて 算出されたェンコ一ドディレイのなかから最大のェンコ一ドディレイを認識する
(図 3において 「E d」 欄の 1 0 [秒] に相当） 。
そして符号制御部 1 1は、 ステップ S P 2において符号化部 1 0内の可逆符号 化部 1 0 6 (図 8 ) に存在する例えば符号化情報 D 2 aを蓄積バッファ 1 0 7 ( 図 8 ) に取り込み、 ステップ S P 3において当該取り込みが成功したか否かを判 定し、 否定結果が得られた場合には、 ステップ S P 2に戻って再度符号化情報 D 2 aを取り込む。
これに対して符号制御部 1 1は、 ステップ S P 2で肯定結果が得られた場合に は、 続くステップ S P 3において、 ステップ S P 1で認識したエンコードディレ ィから、 ステップ S P 2で取り込んだ符号化情報 D 2 aに対するェンコ一ドディ レイ （図 3において 「E d」 欄の 6 [秒] に相当） を減算することにより、 当該 符号化情報 D 2 aに対するデコードディレイ （ 「D d」 欄の 4 [秒] に相当） を 算出し、 ステップ S P 4において当該算出したデコ一ドディレイを当該符号化情 報 D 2 aにヘッダとして付加する。
そして符号制御部 1 1は、 ステップ S P 5において全ての符号化情報 D 2を蓄 積バッファ 1 0 7 (図 8 ) に取り込んだか否かを判定し、 否定結果が得られた場 合には、 ステップ S P 2に戻って上述の処理を繰り返し、 これに対して肯定結果 が得られた場合には、 続くステップ S P 6に移って、 この出力時期通知処理手順 R T 1を終了する。
このようにして符号制御部 1 1は、 出力時期通知処理手順 R T 1に従って出力 時期通知処理を実行することができるようになされている。
以上の構成において、 この符号化装置 2においては、 J V T符号化方式に従つ て符号化処理された結果得られる符号化情報 D 2が復号化装置 3側で復号化され ることを見越して、 当該符号化情報 D 2の復号結果 （各復元画像情報 D 3 ) に対 する出力時期 （デコードディレイ） を算出し、 当該算出した出力時期をヘッダと して付加するようにした。
従って、 この符号化装置 2では、 符号化情報 D 2が復号化装置 3で復号化され たことを想定したデコードディレイをヘッダを介して復号化処理前の復号化装置 3に認識させることができるため、 復号化順が一義的に決まらない J V T符号化 方式に従って符号化された符号化情報 D 2であっても、 復元画像情報 D 3におけ る出力の連続性を確保することができる。
この場合、 符号化装置 2においては、 符号化処理を実行し始めてから、 符号化. 情報 D 2を出力するまでの期間 （エンコードディレイ） のうち、 最大の期間とな る符号化情報 D 2 (図 3中 「B 1 3」 ） の復号結果が直ちに出力されるように、 各復元画像情報 D 3に対する出力時期 （デコードディレイ） を算出するようにし た。
従って、 この符号化装置 2では、 複号化側での復号化処理に最も時間を費やす 符号化情報 D 2に対する復号化側での出力時期 （エンコードディレイ） を基準に 、 各符号化情報 D 2の復号結果 （各復元画像情報 D 3 ) に対する出力時期 （デコ ードディレイ） を算出することができるため、 復号化装置 3での複号化中のを出 力時期を振り分ける （相殺する） ようにしてほぼ確実にアンダーフローを発生す ることなく調整することができる。
以上の構成によれば、 J V T符号化方式に従つて符号化処理された結果得られ る符号化情報 D 2が複号化装置 3側で復号化されることを見越して、 当該符号化 情報 D 2が復号化された際の各復元画像情報 D 3に対する出力時期 （デコ一ドデ ィレイ） を算出し、 当該算出した出力時期をヘッダとして付加するようにしたこ とにより、 複号化順が一義的に決まらない J V T符号化方式に従って符号化され た符号化情報 D 2であっても復元画像情報 D 3における出力の連続性を確保する ことができ、 かく して、 複号化装置 3に連続再生させることができる。
( 3 ) 他の実施の形態
なお上述の第 1の実施の形態においては、 J V T符号化方式を適用するように した場合について述べたが、 本発明はこれに限らず、 少なくとも Bピクチャを予 測符号化対象として用いることができるよう規定されたこの他種々の符号化方式 を適用することができる。
また上述の第 1の実施の形態においては、 符号化処理を実行した結果生成され る複数の符号化情報 D 2が複号化側で順次復号化されることを見越して、 当該符 号化情報の復号結果に対する出力時期を算出する時期算出手段として、 ェンコ一 ドディレイのうち、 最大のェンコ一ドディレイとなる符号化情報 D 2の復号結果 が直ちに出力されるように、 符号化情報の復号結果に対するデコードディレイを 算出するようにした場合について述べたが、 本発明はこれに限らず、 当該デコー ドディレイに代えて当該符号化情報の復号結果を生成してから出力時期までの期 間を算出したり、 あるいは複号化側のバッファに蓄積される情報量の占有率を想 定した計算結果に基づいて当該符号化情報の復号結果に対するディコードディレ ィを算出するようにしても良い。 かかる計算結果に基づいて出力時期を算出すれ ば、 復号化側に連続再生を確実にさせるような出力時期を算出することができる さらに上述の第 1の実施の形態においては、 対応する符号化情報の復号結果が 得られる前に複号化側に出力時期を通知する時期通知手段として、 ディレイ算出 部 1 1 aから供給されるデコードディレイ情報 D 1 0に基づいて、 当該出力時期 (デコードディレイ） をヘッダとして対応する符号化情報 D 2に付加するように した場合について述べたが、 本発明はこれに限らず、 例.えばヘッダとして付加す ることなくデコードディレイ情報 D 1 0を符号化処理前に直接複号化側に出力す るようにしても良い。
実施例 2
( 1 ) 画像再生システム 5 1の構成
図 1との対応部分に同一符号を付して示す図 5において、 5 1は全体として第 2の実施の形態による画像再生システムを示し、 J V T符号化方式に準拠した符 号化装置 5 2及び複号化装置 5 3を所定の伝送路を介して互いに接続することに より構成され^)。
符号化装置 5 2は、 符号化部 1 0と、 この符号化部 1 0の制御を司る符号制御 部 6 1とを有しており、 当該符号制御部 6 1は、 上述した出力時期通知処理を実 行しないが、 その他については上述の第 1の実施の形態の場合と同様である。 こ の場合、 符号化装置 5 2は、 連続画像情報 D 1に対して、 符号制御部 6 1に制御 される符号化部 1 0を介して符号化処理を実行することにより、 デコードディレ ィがヘッダとして付加されていない符号化情報 D 2を順次生成し、 この後、 当該 符号化情報 D 2を順次出力する。
一方、 複号化装置 5 3は、 複号化部 2 0と、 この複号化部 2 0の制御を司る復 号制御部 7 1とを有しており、 伝送路を介して順次入力される符号化情報 D 2に 対して、 当該復号制御部 7 1に制御される複号化部 2 0を介して複号化処理を実 行することにより復元画像情報 D 3を順次生成し、 この後、 当該復元画像情報 D 3を表示部 （図示せず） に順次出力するようにして連続再生する。
( 2 ) 復号制御部 7 1の構成
実際上、 この複号化装置 5 3の復号制御部 7 1は、 順次入力される符号化情報 D 2を複号化部 2 0内の蓄積バッファ 1 2 1 (図 9 ) に一時的に蓄積し、 当該符 号化情報 D 2に含まれるヘッダ等に基づいて、 当該符号化情報 D 2の複号化処理 順や、 複号化処理の開始時期あるいは等の複号化に関する条件 （以下、 これを復 号化条件と呼ぶ） を把握し、 この複号化条件に従って複号化部 2 0を制御する。 かかる構成に加えて復号制御部 7 1は、 複号化処理された後に画像並べ替えバ ッファ 1 2 6 (図 9 ) に蓄積される復元画像情報 D 3の蓄積状態を監視し、 当該 蓄積状態として破綻 （アンダーフロー） を検出したとき、 当該検出 （破綻） 時の 直前に出力した復元画像情報 D 3を再出力する再出力制御処理を実行するように なされている。 この再出力制御処理について、 図 6に示す例を用いて具体的に説 明する。
この図 6では、 図 3と同様に、 「E I」 の欄は符号化処理前のピクチャタイプ の順序、 「E O」 の欄は符号化処理後のピクチャタイプの順序、 「D O」 は復号 化後のピクチャタイプの順序、 「E d」 の欄はエンコードディレイ、 「Dd」 の 欄はデコードディレイをそれぞれ示している。 またこの図 6では、 図 3と同様に 、 符号化装置 5 2と複号化装置 53との間における伝送路の伝送時間等について は考慮せず、 複号化装置 53における符号化情報 D 2の入力時期は、 符号化部 1 0からの符号化情報 D 2の出力時期 （ 「EO」 の欄） と同等とみなしている。 そして 「S u d (S t a r t -u p d e l a y) 」 の欄は、 各符号化情報 D 2を入力してから複号化処理を開始し始めるまでの期間 （以下、 これをスタート アップディレイと呼ぶ） を示しており、 このスタートアップディレイは、 符号化 装置 52において、 符号化条件に基づいて符号制御部 6 1により算出され、 へッ ダとして付加されるようになされている。
復号制御部 7 1は、 まず最初の符号化情報 D 2 aを入力すると （ 「EO」 の欄 における 「1 00」 ） 、 当該符号化情報 D 2 aに対するスタートアップディレイ ( 「S u d」 の欄における 「6」 [秒] ) に従わず、 当該符号化情報 D 2 aを直 ちに可逆符号化部 1 22に送出して複号化処理を開始するように制御する （ 「D d」 の欄における 「0」 [秒] ) 。 この結果、 復号制御部 71は、 連続再生する 際の準備期間 （起動時間） を短縮するできるようになされている。
この場合、 復号制御部 7 1においては、 かかる制御により生じた本来開始すベ き復号処理開始時期との間のずれ期間 （調整しなければならない遅延量であり、 具体的に図 6では 6 [秒] である。 以下、 当該期間を調整分遅延量と呼ぶ） が発 生するので、 この調整分遅延量について、 符号化情報 D 2 aの複号化処理結果で ある復元画像情報 D 3 aを画像並べ替えバッファ 1 26を介して出力した後に再 出力 （ 「DO」 欄における 「 t = 8」 の項に相当） することにより、 当該調整分 遅延量の一部 （ 「Dd」 欄における 「t =8」 の 「2」 [秒」 に相当） を相殺す る。
そして復号制御部 7 1は、 符号化情報 D 2 aに続いて順次入力される符号化情 報 D 2 b、 D 2 c…… ( 「EO」 欄における 「P 0 1」 、 「P 02」 …… ) をス タートアップディレイに従って複号化処理を実行させ、 当該複号化処理後に画像 並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3 b、 D 3 c…… ( 「DO」 欄における 「P 0 1」 、 「P 02」 …… ) の蓄積状態を監視する。 この状態において復号制御部 7 1は、 画像並べ替えバッファ 1 26に蓄積され る復元画像情報 D 3が破綻 （アンダーフロー） するごとに （図 6では 「 t = l 8 」 及び 「 t = 30」 ） 、 当該破綻時直前に出力した復元画像情報 D 3 ( 「DOj 欄における 「P 05」 及び 「P 1 0」 ） を再出力することにより、 残りの調整分 遅延量を定期的に相殺する。
このようにして復号制御部 71は、 再出力制御処理を実行することにより、 復 元画像情報 D 3における出力の連続性を確保することができるようになされてい る。
ここで、 上述したような出力時期通知処理は、 図 7に示す再出力制御処理手順 RT 2に従って順次実行される。
すなわち、 復号制御部 7 1は、 例えば複号化処理を実行するための所定の操作 が入力部 （図示せず） を介して行われると、 この再出力制御処理手順 RT 2をス テツプ S P 1 0から開始し、 続くステップ S P 1 1において最初の符号化情報 D 2 aの入力を待ち受け、 当該符号化情報 D 2 aが入力された場合には、 ステップ S P 1 2に移る。
そして復号制御部 7 1は、 このステップ S P 1 2において符号化情報 D 2 aに 対するスタートアップディレイに従わず直ちに復号化処理を開始させ、 続くステ ップ S P 1 3において当該複号化処理結果である復元画像情報 D 3 aを出力させ た後に、 ステップ S P 14において当該復元画像情報 D 3 aを再出力させて調整 分遅延量の一部を相殺する。
続いて復号制御部 7 1は、 ステップ S P 1 5において次の復元画像情報 D2 ( D 2 b、 D2 c、 …… D 2 n) の複号化処理を開始させて当該処理により得られ る復元画像情報 D 3 (D 3 b、 D 3 c、 …… D 3 n) を出力させ、 続くステップ S P 1 6において面像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情 報 D 3が破綻したか否かを判定し、 否定結果が得られた場合、 ステップ S P 1 5 に戻って上述の処理を操り返す。
これに対して肯定結果が得られた場合、 復号制御部 7 1は、 続くステップ S P 1 7において、 ステップ S P 1 5で出力した復元画像情報 D 3 ( 「DO」 欄にお ける 「P 05」 及び 「P 1 0」 ） を再出力することにより、 残りの調整分遅延量 の一部 （又は全部） を相殺し、 続くステップ S P 1 8に移る。
そして復号制御部 7 1は、 このステップ S P 1 8において調整分遅延量が全て 相殺されたか否かを判定し、 否定結果が得られた場合には、 ステップ S P 1 5に 戻って上述の処理を繰り返し、 これに対して肯定結果が得られた場合には、 続く ステップ S P 1 9に移って、 この再出力制御処理手順 RT 2を終了する。
このようにして符号制御部 1 1は、 再出力制御処理手順 RT 2に従って再出力 制御処理を実行することができるようになされている。
以上の構成において、 この複号化装置 53は、 J VT符号化方式に従って符号 化された符号化情報 D 2に対して複号化処理を実行した結果順次生成される復元 画像情報 D 3を画像並べ替えバッファ 1 26 (図 9) に一時的に蓄積し、 当該画 像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3が破綻した場 合に、 当該破綻時の直前に出力した復元画像情報 D 3を再出力するようにした。 従って、 この複号化装置 53では、 複号化順が一義的に決まらない J VT符号 化方式に従って符号化された符号化情報 D 2であっても、 復元画像情報 D 3にお ける出力の連続性を確保することができる。
この場合、 復号化装置 5 3は、 蓄積バッファ 1 21 (図 9) に蓄積した最初の 符号化情報 D 2 aに定められた復号化開始時期 （スタートアップディレイ） に従 わず、 当該符号化情報 D 2 aを直ちに複号化を開始させ、 これにより生じた復号 化開始時期とのずれ期間 （調整分遅延量） を、 画像並べ替えバッファ 1 26 (図 9) に蓄積される復元画像情報 D 3が破綻した場合に、 当該破綻時の直前に出力 した復元画像情報を再出力することにより相殺するようにした。
従って、 この復号化装置 53では、 連続再生する際の準備期間 （起動時間） を 短縮できると共に、 当該短縮により生じたずれ期間 （調整分遅延量） を、 定期的 に分散するようにして緩和しながら復元画像情報における出力の連続性を確保す ることができる。
以上の構成によれば、 J V T符号化方式に従って符号化された符号化情報 D 2 に対して複号化処理を実行した結果順次生成される復元画像情報 D 3を画像並べ 替えバッファ 1 2 6 (図 9 ) に一時的に蓄積し、 当該画像並べ替えバッファ 1 2 6 (図 9 ) に蓄積される復元画像情報 D 3が破綻した場合に、 当該破綻時の直前 に出力した復元画像情報 D 3を再出力するようにしたことにより、 複号化順が一 義的に決まらない J V T符号化方式に従って符号化された符号化情報 D 2であつ ても、 復元画像情報 D 3における出力の連続性を確保することができ、 かく して 、 連続再生することができる。
( 3 ) 他の実施の形態
なお上述の第 2の実施の形態においては、 J V T符号化方式を適用するように した場合について述べたが、 本発明はこれに限らず、 少なくとも Bピクチャを予 測符号化対象として用いることができるよう規定されたこの他種々の符号化方式 を適用することができる。
また上述の第 2の実施の形態においては、 各符号化情報と、 当該符号化情報に 対する複号化処理の結果順次生成される復元画像情報とを一時的に蓄積する蓄積 手段として、 蓄積バッファ 1 2 1 と、 並べ替えバッファ 1 2 6とを別々に用いる ようにした場合について述べたが、 本発明はこれに限らず、 当該蓄積バッファ 1 2 1及び並べ替えバッファ 1 2 6共用するようにしても良い。 この場合、 ノ ッフ ァの数や蓄積の態様については適宜変更することができる。
また上述の第 2の実施の形態においては、 出力制御手段としての復号制御部 7 1により、 蓄積バッファ 1 2 1 (図 9 ) に蓄積した最初の上記符号化情報 D 2 a に定められた復号化開始時期 （スタートアップディレイ） に従わず、 当該符号化 情報 D 2 aを直ちに複号化を開始させ、 これにより生じた上記復号化開始時期の ずれ期間 （調整分遅延量） を、 画像並べ替えバッファ 1 2 6 (図 9 ) に蓄積され る復元画像情報 D 3が破綻した場合に、 当該破綻時の直前に出力した上記復元画 像情報を再出力することにより相殺するようにした場合について述べたが、 これ に加えて、 当該蓄積バッファ 1 2 1に蓄積された各符号化情報 D 2 a〜D 2 bの 蓄積順序 （すなわち 「E O」 の欄に相当） が当該符号化される前の順序 （すなわ ち 「E I」 の欄に相当） と異なっていた場合 （例えば図 6中 「t = 3 2」 の項に 相当） には、 その異なっていた符号化情報 D 2に対応する復元画像情報 D 3を再 出力するようにしても良い。 このようにすれば、 かかる順序が異なる場合に最も 増大するデコードディレイを、 再出力により補完でき、 復元画像情報 D 3におけ る出力の連続性を一段と確保することができる。 産業上の利用の可能性
本発明は、 連続画像情報を、 衛星放送、 ケーブル T V若しくはインターネッ ト 等のネットワークメディアを介して伝送する際に、 又は光ディスク、 磁気ディス ク若しくはフラッシュメモリ等の記憶メディア上で処理する際に利用可能である

Claims

請 求 の 範 囲
1 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化処理を実行する符号化装置において、
上記符号化処理を実行した結果生成される複数の符号化情報が復号化側で順次 復号化されることを見越して、 当該符号化情報の復号結果に対する出力時期を算 出する時期算出手段と、
上記時期算出手段により算出された上記出力時期を、 対応する上記符号化情報 の上記復号結果が得られる前に上記複号化側に通知する時期通知手段と
を具えることを特徴とする符号化装置。
2 . 上記時期算出手段は、
上記符号化処理を実行し始めてから、 上記符号化情報を '出力するまでの期間の うち、 最大の上記期間となる上記符号化情報の上記復号結果が直ちに出力される ように、 当該符号化情報の復号結果に対する出力時期を算出する
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
3 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化処理を実行する符号化方法において》
上記符号化処理を実行した結果生成される複数の符号化情報が複号化側で順次 複号化されることを見越して、 当該符号化情報の復号結果に対する出力時期を算 出する第 1のステップと、
上記第 1のステップで算出された上記出力時期を、 対応する上記符号化情報の 上記復号結果が得られる前に上記複号化側に通知する第 2のステップと
を具えることを特徴とする符号化方法。
4 . 上記第 1のステップでは、 上記符号化処理を実行し始めてから、 上記符号化情報を出力するまでの期間の うち、 最大の上記期間に該当する上記符号化情報の上記復号結果が直ちに出力さ れるように、 当該符号化情報の復号結果に対する出力時期を算出する
ことを特徴とする請求の範囲第 3項に記載の符号化方法。
5 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化された複数の符号化情報に対して、 複号化処理 を実行する複号化装置において、
上記複号化処理の結果順次生成される復元画像情報を一時的に蓄積する蓄積手 段と、
上記蓄積手段に蓄積される上記復元画像情報の出力を制御する出力制御手段と を具え、
上記出力制御手段は、
- 上記蓄積手段に蓄積される上記復元画像情報が破綻した場合に、 当該破綻時の 直前に出力した上記復元画像情報を再出力する
ことを特徴とする複号化装置。
6 . 上記蓄積手段は、 各上記符号化情報も一時的に蓄積し、
上記出力制御手段は、
上記蓄積手段に蓄積された最初の上記符号化情報に定められた復号化開始時期 に従わず、 当該符号化情報を直ちに複号化を開始させ、 これにより生じた上記復 号化開始時期とのずれ期間を、 上記破綻した場合に当該破綻時の直前に出力した 上記復元画像情報を再出力することにより相殺する
ことを特徴とする請求の範囲第 5項に記載の複号化装置。
7 . 上記蓄積手段は、 各上記符号化情報も一時的に蓄積し、
上記出力制御手段は、 上記蓄積手段に蓄積された各上記符号化情報の蓄積順序が当該符号化される前 の順序と異なっていた場合には、 その異なっていた上記符号化情報に対応する上 記復元画像情報を再出力する
ことを特徴とする請求の範囲第 5項に記載の複号化装置。
8 . 少なくとも Bピクチャを予測符号化対象として用いることができるよう規定 された符号化方式に従って符号化された複数の符号化情報に対して、 複号化処理 を実行する復号化方法において、
上記復号化処理の結果順次生成される復元画像情報を一時的に蓄積する第 1の ステップと、
上記蓄積される上記復元画像情報の出力する第 2のステップと、
上記蓄積される上記復元画像情報が破綻した場合に、 当該破綻時の直前に出力 した上記復元画像情報を再出力する第 3のステップと
ことを特徴とする複号化方法。
9 . 上記第 1のステップでは、
上記複号化処理前に各上記符号化情報を一時的に蓄積し、 当該蓄積した最初の 上記符号化情報については当該符号化情報に定められた復号化開始時期に従わず 、 当該符号化情報を直ちに復号化を開始させる復号開始ステップを具え、 上記第 3のステップでは、 ' 上記復号化開始ステップで上記復号化開始時期に従わずに復号化を開始させた ことにより生じた上記復号化開始時期とのずれ期間を、 上記破綻した場合に当該 破綻時の直前に出力した上記復元画像情報を再出力することにより相殺する ことを特徴とする請求の範囲第 8項に記載の複号化装置。
1 0 . 上記第 1のステップでは、
上記復号化処理前に各上記符号化情報を一時的に蓄積し、 当該蓄積された各上 記符号化情報の蓄積順序が当該符号化される前の順序と異なっているか否かを判 定する判定ステップを具え、
上記第 3のステップでは、
上記判定ステップで異なっている判定結果が得られた場合には、 その異なって いた上記符号化情報に対応する上記復元画像情報を再出力する
ことを特徴とする請求の範囲第 8項に記載の複号化方法。
PCT/JP2003/009138 2002-07-19 2003-07-18 符号化装置、符号化方法、復号化装置及び復号化方法 Ceased WO2004010707A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/519,840 US8259799B2 (en) 2002-07-19 2003-07-18 Encoding device, encoding method, decoding device, and decoding method
EP03765323A EP1536651A4 (en) 2002-07-19 2003-07-18 CODING DEVICE, CODING METHOD, DECODING DEVICE AND DECODING METHOD
US13/046,341 US8228988B2 (en) 2002-07-19 2011-03-11 Encoding device, encoding method, decoding device, and decoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002211829 2002-07-19
JP2002-211829 2002-07-19
JP2003276326A JP4806888B2 (ja) 2002-07-19 2003-07-17 復号化装置及び復号化方法
JP2003-276326 2003-07-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10519840 A-371-Of-International 2003-07-18
US13/046,341 Continuation US8228988B2 (en) 2002-07-19 2011-03-11 Encoding device, encoding method, decoding device, and decoding method

Publications (1)

Publication Number Publication Date
WO2004010707A1 true WO2004010707A1 (ja) 2004-01-29

Family

ID=30772222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009138 Ceased WO2004010707A1 (ja) 2002-07-19 2003-07-18 符号化装置、符号化方法、復号化装置及び復号化方法

Country Status (6)

Country Link
US (2) US8259799B2 (ja)
EP (1) EP1536651A4 (ja)
JP (1) JP4806888B2 (ja)
KR (1) KR100960821B1 (ja)
CN (1) CN1669331A (ja)
WO (1) WO2004010707A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US8483289B2 (en) 2008-04-17 2013-07-09 Broadcom Corporation Method and system for fast channel change
JP2006157481A (ja) 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
RU2579967C2 (ru) * 2011-03-11 2016-04-10 Сони Корпорейшн Устройство и способ обработки изображений
US10817224B2 (en) 2016-06-23 2020-10-27 Qualcomm Incorporated Preemptive decompression scheduling for a NAND storage device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818953A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 動画像復号表示装置
JPH08149464A (ja) * 1994-11-25 1996-06-07 Graphics Commun Lab:Kk フレームレート変換機能付き画像復号装置
JPH099258A (ja) * 1995-06-20 1997-01-10 Hitachi Ltd 符号化映像データの復号装置
JPH0937249A (ja) * 1995-07-20 1997-02-07 Hitachi Ltd 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
JPH09247670A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 情報多重化装置
JPH11122113A (ja) * 1997-10-09 1999-04-30 Sony Corp データ復号化装置及び方法
JP2002091424A (ja) * 2000-09-20 2002-03-27 Matsushita Electric Ind Co Ltd 画像表示装置及び画像表示方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991002419A1 (en) * 1989-08-09 1991-02-21 Alcatel N.V. Resequencing system for a switching node
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JP3644995B2 (ja) 1995-01-25 2005-05-11 株式会社日立国際電気 符号化伝送方式におけるタイムスタンプ値演算方法
JP3824678B2 (ja) * 1995-05-09 2006-09-20 株式会社ルネサステクノロジ 画像復号表示装置
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
WO1999016196A1 (fr) * 1997-09-25 1999-04-01 Sony Corporation Dispositif et procede de generation d'un train de donnees codees, systeme et procede de transmission de donnees et systeme et procede d'edition
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
JP2000228768A (ja) * 1999-02-05 2000-08-15 Sony Corp デジタル信号伝送装置および方法、並びに提供媒体
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
JP2000350183A (ja) * 1999-06-03 2000-12-15 Canon Inc 撮像装置遠隔制御システム
JP2001238110A (ja) * 2000-02-24 2001-08-31 Sony Corp 撮像装置および方法、並びに記録媒体
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
JP3866628B2 (ja) 2002-07-16 2007-01-10 日本電信電話株式会社 動画像符号化方法，動画像復号方法，画像符号化装置，画像復号装置，動画像符号化プログラム，動画像復号プログラムおよびそれらのプログラムの記録媒体
JP3534742B1 (ja) 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818953A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 動画像復号表示装置
JPH08149464A (ja) * 1994-11-25 1996-06-07 Graphics Commun Lab:Kk フレームレート変換機能付き画像復号装置
JPH099258A (ja) * 1995-06-20 1997-01-10 Hitachi Ltd 符号化映像データの復号装置
JPH0937249A (ja) * 1995-07-20 1997-02-07 Hitachi Ltd 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
JPH09247670A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 情報多重化装置
JPH11122113A (ja) * 1997-10-09 1999-04-30 Sony Corp データ復号化装置及び方法
JP2002091424A (ja) * 2000-09-20 2002-03-27 Matsushita Electric Ind Co Ltd 画像表示装置及び画像表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROSHI FUJIWARA: "Sashin MPEG kyokasho", ASCII CORP., 1 August 1994 (1994-08-01), pages 236 - 237, XP002917332 *
See also references of EP1536651A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置

Also Published As

Publication number Publication date
EP1536651A4 (en) 2010-12-29
JP2004056827A (ja) 2004-02-19
US8228988B2 (en) 2012-07-24
US8259799B2 (en) 2012-09-04
KR100960821B1 (ko) 2010-06-07
CN1669331A (zh) 2005-09-14
KR20050028017A (ko) 2005-03-21
US20110158318A1 (en) 2011-06-30
EP1536651A1 (en) 2005-06-01
US20050238099A1 (en) 2005-10-27
JP4806888B2 (ja) 2011-11-02

Similar Documents

Publication Publication Date Title
JP4480671B2 (ja) ビデオ・エンコーダのモード選択によるレート歪みトレードオフの制御方法および装置
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
JP4676450B2 (ja) デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JPH05153577A (ja) 動画像復号化装置
US20040013399A1 (en) Information processing method and apparatus
US8228988B2 (en) Encoding device, encoding method, decoding device, and decoding method
US20050238100A1 (en) Video encoding method for encoding P frame and B frame using I frames
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
EP2278806A2 (en) Image signal reproducing method and image signal reproducing apparatus
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
WO2001045402A1 (fr) Procede de reproduction d'image et procede de traitement d'image et dispositif de reproduction d'image, dispositif de traitement d'image et recepteur de television pouvant mettre en oeuvre ces procedes
JPH10191331A (ja) 画像データの符号化方法及び装置
JPH07203456A (ja) 符号化装置と復号化装置と映像記録装置
JP3200199B2 (ja) 動画像圧縮符号化方法
JP5007759B2 (ja) 符号化装置、符号化方法、復号化装置及び復号化方法
JP2003023637A (ja) 画像符号化方法および画像符号化装置
WO2001008420A1 (en) Device for encoding motion picture signals and encoding method
JP4573511B2 (ja) トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
KR100626419B1 (ko) 비디오 전송에서 비트 스트림들간의 교환
JP2006246277A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JPH08265776A (ja) 映像データ合成装置およびその方法
JP4974583B2 (ja) 画像符号化装置及び符号化方法
JPH07255056A (ja) 動画像再生方法及び装置
JPH1175200A (ja) 動画像符号化装置及びこれを用いた簡易復号化画像モニタ方法，制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057000542

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038170892

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003765323

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057000542

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003765323

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10519840

Country of ref document: US