WO2003088676A1 - Procede et dispositif de conversion de donnees video - Google Patents

Procede et dispositif de conversion de donnees video Download PDF

Info

Publication number
WO2003088676A1
WO2003088676A1 PCT/JP2003/004529 JP0304529W WO03088676A1 WO 2003088676 A1 WO2003088676 A1 WO 2003088676A1 JP 0304529 W JP0304529 W JP 0304529W WO 03088676 A1 WO03088676 A1 WO 03088676A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
motion vector
coding
unit
mpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/004529
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Yoshihisa Yamada
Fuminobu Ogawa
Kohtaro Asai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to KR20047016448A priority Critical patent/KR100719647B1/ko
Priority to EP03746441A priority patent/EP1475971A4/en
Priority to US10/501,897 priority patent/US7526027B2/en
Publication of WO2003088676A1 publication Critical patent/WO2003088676A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Patent Document 3 Patent Document 3
  • the present invention has been made in view of the above-mentioned problems of the related art, and by specifying a novel GPCR protein, a nucleic acid encoding the protein, and a site where the gene of the present invention is expressed, It is an object of the present invention to provide a new use of the gene expressed specifically in the ⁇ position and a protein encoded thereby.
  • the present inventors have conducted intensive studies in order to solve the above-mentioned problems, and as a result, have found a novel protein having an amino acid sequence different from that of the proteins described in Patent Documents 2 and 3 and the protein.
  • the present inventors have found nucleic acids to be encoded from mice and humans, and found that such nucleic acids are expressed in specific cells, thereby completing the present invention.
  • the present inventors first searched for a novel GPCR sequence (GenBank Accession No. 5) described in Biochemical and Bior> hysicaII Research Communication (vol.268, No.553-561) for the purpose of searching for a novel GPCR candidate gene.
  • a similarity search was performed using AB 030198).
  • partial sequences of AA 168673 and AA 791779 were found, and the new candidate GPCR gene was named "BG8".
  • AA164122 (IMAGE: 607331 manufactured by KURABO) as a probe as an I MAGE clone, and Video data conversion apparatus and video data conversion method
  • the present invention relates to a video light data conversion device and a video data conversion method for performing various conversions of video compression data in accordance with various international standard video compression / decompression methods. Fine
  • broadcasting such as digital broadcasting (satellite, terrestrial broadcasting, and cable), DVD, video CD, Internet, Mopile, etc. ⁇ MPEG and ITU-TH.
  • International standard video coding systems such as 26x are used.
  • the video format compressed by these encoding methods can be used in different formats such as supported encoding methods, transmission bit rate, spatial resolution (frame size), and time resolution (frame rate).
  • standard video coding methods such as MPEG and ITU-T H.26x consistently reduce signal redundancy in the time direction by motion compensation prediction (MC), and discrete cosine transform (Discrete Cosine Transform). Since the signal redundancy in the spatial direction is based on DCT), the syntax of the encoded data is common to some extent.
  • MC motion compensation prediction
  • Discrete Cosine Transform discrete cosine transform
  • the four macroblock areas in the input MPEG-2 stream correspond to the one macroblock area in MPEG-4 encoding. This is a problem of estimating the motion vector after resolution conversion from the original maximum four motion vectors, and many studies have been reported so far. For example, B. Shen et al., "Adaptive Motion- Vector Resampling ior Compressed Video Downsampling", IEEE Transactions on Circuits And Systems for Video Technology, vol.9, no. Reported a method in which a large motion vector is weighted heavily and the weighted average of the four motion vectors is calculated.
  • this method determines the value of the motion vector to be converted based on the activity value based on the prediction residual signal in the input compressed data as a criterion.
  • the present invention has been made to solve the above-described problems, and has been made in consideration of the above-described problems. It is an object of the present invention to obtain an apparatus and a video data conversion method. Disclosure of the invention
  • the video data conversion device divides each frame of a video signal into predetermined partial regions, and selects a coding parameter such as a motion vector in units of the first video to perform coding.
  • the second video coding method which receives video coded data according to the coding method as an input, divides each frame of the video signal into predetermined partial regions, and selects coding parameters for each unit to perform coding. It performs conversion into video encoded data, and performs a conversion from a motion vector, which is an encoding parameter of a predetermined partial area unit in the first video encoding system, to a motion vector in the second video encoding system.
  • a motion vector mapping unit that generates a motion vector candidate to be used in a unit of a predetermined partial area; and a motion vector candidate among the motion vector candidates in the generated second video coding scheme.
  • Vector candidate In the second video coding method, a prediction error evaluation value for evaluating prediction efficiency in the case of using a motion vector and a value for evaluating a motion vector code amount by using the motion vector candidate are used.
  • FIG. 1 is a configuration diagram showing a video transcoder (video data-to-evening conversion device) according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing motion vector mapping and coding mode determination processing in the video transcoder.
  • FIG. 3 is an explanatory diagram showing a transcoding unit with resolution conversion.
  • FIG. 4 is an explanatory diagram illustrating types of motion prediction modes in MPEG-2 video encoding.
  • FIG. 5 is a block diagram showing a video transcoder (video data conversion apparatus) according to Embodiment 2 of the present invention.
  • FIG. 6 is a flowchart showing the motion vector mapping and coding mode determination processing in the video transcoder.
  • FIG. 7 is an explanatory diagram showing the monitoring operation of the MPEG-2 encoding mode by the encoding mode estimating unit 8.
  • FIG. 8 is an explanatory diagram showing the monitoring operation of the MPEG-2 motion vector by the motion vector mapping unit 7.
  • Embodiment 1 5 In the first embodiment, a description will be given of a video transcoder which receives MPEG-2 video data and outputs MPEG-4 video data whose spatial resolution has been downsampled to half the length and width.
  • MPEG-4 is an encoding method conforming to the MPEG-4 simple profile.
  • FIG. 1 is a configuration diagram showing a video transcoder (video data-to-evening conversion device) according to Embodiment 1 of the present invention.
  • an MPEG-2 decoder unit 2 is an MPEG-2 compliant coding system. Then, the input compressed data 1 is input and the decoded image 5 is generated from the input compressed data 1.
  • the variable-length decoding unit 2A performs the syntax analysis of the input compressed data 1 according to the MPEG-2 standard, and encodes the prediction residual signal coded data 2B, the coding mode information 3, and the motion vector. Generate 4.
  • the inverse quantization unit 2C performs inverse quantization of the prediction residual signal coded data 2B generated by the variable length decoding unit 2A, and the inverse DCT unit 2D performs the prediction residual after inverse quantization. Reverse for difference signal coded data! ) Perform CT and output the predicted residual signal decoded value 2E.
  • the motion compensation unit 2F generates a predicted image 2I based on the motion vector information 4 generated by the variable length decoding unit 2A and the reference image data 2H stored in the frame memory 2G. I do.
  • the adder 2J adds the predicted residual signal decoded value 2E output from the inverse DCT unit 2D and the predicted image 21 generated by the motion compensation unit 2F to generate a decoded image 5. . Note that the decoded image 5 is stored in the frame memory 2G as reference image data 2H.
  • the resolution conversion section 6 converts the resolution of the decoded image 5 generated by the MPEG-2 decoder section 2 to a resolution of 1/2 size in the vertical and horizontal directions in the pixel area.
  • the motion vector mapping unit 7 converts the motion vector information 4 generated by the variable-length decoding unit 2A into motion vector mapping information 11 1 (a motion vector map) usable for MPEG-4 encoding.
  • the coding mode estimator 8 encodes the MPEG-4 from the coding mode information 3 generated by the variable length decoder 2A.
  • the coding mode setting information 12 to be used in step 6 is determined.
  • the MPEG-encoder 10 encodes the decoded image 9 whose resolution has been converted by the resolution converter 6 in MPEG-4.
  • the motion compensator 10A generates a predicted image 10C according to the motion vector mapping information 11 and the reference image data stored in the frame memory 10M.
  • the subtractor 10 P calculates the difference between the input signal 9, which is a decoded image whose resolution has been converted by the resolution converter 6, and the predicted image 10 C generated by the motion compensator 10 A. Generates a prediction residual signal.
  • the encoding parameter overnight judgment unit 10B determines the encoding mode / motion vector to be used for encoding for each MPEG-4 macro block according to the encoding mode setting information 12 and the like. .
  • the DCT section 10D is generated by the subtractor 10P when the encoding mode determined by the encoding parameter decision section 10B is the INTER mode or the INTEMV mode. Perform DCT on the prediction residual signal, and perform DCT on input signal 9 when the coding mode is INTRA mode.
  • the quantization unit 10E quantizes the output signal of the DCT unit 10D.
  • the inverse quantization unit 10 F inversely quantizes the output signal of the quantization unit 10 E, and the inverse DCT unit 10 G performs inverse DCT on the output signal of the inverse quantization unit 10 F to perform prediction residual. Outputs the signal decoding value 1 0 H.
  • the adder 10Q adds the predicted residual signal decoded value 10H output from the inverse DCT unit 10G and the predicted image 10C generated by the motion compensation unit 10A.
  • the addition result 10I is stored in the frame memory 10M for use in the MC of the subsequent frames.
  • the variable length coding unit 10J arranges the output signal of the quantization unit 10E in the format of the MPEG-4 video stream.
  • the encoding control unit 10L controls the encoding mode determination unit 10B, the quantization unit 10E, the inverse quantization unit 10F, and the like.
  • the variable-length decoding unit 2A of the MPEG-2 decoder unit 2 performs a syntax analysis of the input compressed data 1 in accordance with the MPEG-2 standard, and outputs a prediction residual signal coded data 2B and a coding model. Then, it generates the command information 3 and the motion vector information 4.
  • the inverse quantization unit 2C Upon receiving the encoded prediction residual signal data 2B from the variable length decoding unit 2A, the inverse quantization unit 2C performs inverse quantization on the encoded prediction residual signal data 2B.
  • the inverse DCT unit 2D When the inverse DCT unit 2D receives the inversely quantized prediction residual signal coded data from the inverse quantization unit 2C, the inverse DCT unit 2D performs inverse DCT on the predicted residual signal encoded data to perform the prediction residual signal Output decrypted value 2E.
  • the motion compensation unit 2F Upon receiving the motion vector information 4 from the variable-length decoding unit 2A, the motion compensation unit 2F converts the motion vector information 4 and the reference image data 2H stored in the frame memory 2G into two. Therefore, a predicted image 2 I is generated. It is assumed that the motion vector information 4 includes, in addition to the motion vector value, all information related to the MC, such as a flag indicating whether the frame prediction or the field prediction is used.
  • the adder 2J adds the predicted image 2I and the predicted residual signal decoded value 2E output from the inverse DCT unit 2D to add the predicted image 2I. Generate the decoded image 5. Note that the decoded image 5 is stored in the frame memory 2G as a reference image data 2H in order to use for subsequent frame motion compensation.
  • the MPEG-2 decoded image 5 generated by the MPEG-2 decoder unit 2 is input to a resolution conversion unit 6 as a spatial resolution conversion unit.
  • the resolution conversion unit 6 determines the pixel-to-pixel By performing the subtraction, the resolution of the MPEG-2 decoded image 5 is reduced to, for example, a spatial resolution of 1/2 length and width. This result is the input signal 9 to the MPEG-4 encoder unit 10.
  • an encoding pattern that inserts two B frames between I (intra) or P (unidirectionally predicted) frames is often used.
  • all B frames are thinned out.
  • the frame rate can be reduced to 1/3.
  • one (intra) frame of MPEG-2 is left as one (intra) frame of MPEG-4, and similarly, a P (one-way prediction) frame of MPEG-2 is used. Shall be converted as P (unidirectional prediction) frame even in MPEG-4.
  • Figure 2 shows the motion vector mapping and coding in the video transcoder.
  • 9 is a flowchart illustrating a conversion mode determination process.
  • FIG. 3 is an explanatory diagram showing a transcoding unit with resolution conversion.
  • MPEG-4 one or four motion vectors are assigned to a macro block.
  • mapping motion vectors as shown in FIG. 3 (A)
  • Fig. 3 (B) When converting four MPEG-2 motion vectors to one MPEG-4 motion vector, and as shown in Fig. 3 (B), four MPEG-2 motion vectors convert four MPEG-4 motion vectors to four MPEG-2 motion vectors.
  • -4 There are two ways to convert to motion vector.
  • the coding mode estimating unit 8 examines the state of the coding mode distribution in the 2 ⁇ 2 macroblock of MPEG-2 shown in FIG. If all four macroblocks are in INTRA mode, and if all four macroblocks are in SKIP mode, the encoding mode after conversion to be used in MPEG-4 encoding is mandatory. INTRA and SK IP. In this case, all the motion vectors are set to zero, and the subsequent steps are skipped.
  • the INTRA mode is a mode in which coding is performed within a frame without using motion estimation
  • the SK IP mode is a mode in which image data at the same position in a reference image is copied as it is. This is the mode in which encoded information is not transmitted.
  • the optimal MPEG-4 encoding mode among the possible MPE G-4 encoding modes is determined again according to the process following step 2).
  • the coding mode setting information 12 output from the coding mode estimating unit 8 indicates that the INTRA mode, the SK IP mode, or the INTER mode may be forced. Includes three case options. 2) Selection of motion vector candidates
  • the MPEG-2 motion vector for 2 ⁇ 2 macroblocks output from the variable length decoding unit 2A of the MPEG-2 decoder unit 2 is used.
  • the motion vector candidates to be used in the MPEG-4 encoder unit 10 are determined from the motion vector.
  • MPEG-2 supports compression coding of an interlace signal, and has two structures: frame structure coding using a frame as a coding unit and field structure coding using a field as a coding unit. One of the three encoding modes can be selected.
  • a macroblock consisting of 16 ⁇ 16 pixels is formed in the frame image region, and in the field structure coding, the macroblock is formed in the field image region.
  • a frame is defined as a set of image fields that combine a top field (the field that forms the top line) and a bottom field (the field that forms the bottom line) in a comb. Therefore, the macroblock in the field structure coding has an area covering the vertical direction twice as large as the macroblock in the frame image area.
  • FIG. 4 is an explanatory diagram for explaining types of motion prediction modes in MPEG-2 video encoding.
  • 11 Fig. 4 (A) shows the motion prediction mode that can be used when encoding the frame structure
  • Fig. 4 (B) shows the motion prediction mode that can be used when encoding the field structure.
  • frame prediction predicts a macro block consisting of frame images in one trajectories-out vector v fr.
  • prediction is performed for individual field regions of a macroblock composed of a frame image using individual motion vectors v tf and v bf .
  • one field vector V generates the first prediction image from the same field position (refer to the top field for the top field prediction).
  • the vector V was scaled based on the distance between the fields, and the A second predicted image is generated by the motion vector to which the vector dniv is added, and the average of the first and second predicted images is used as the predicted image of each field.
  • field prediction predicts a macroblock composed of a field image with one motion vector v f ⁇ .
  • the 16x8 prediction divides a macroblock consisting of a field image into two upper and lower 16x8 areas, and predicts them using individual motion vectors V fi , upper and Vn. ⁇ Er. I do.
  • prediction is performed by applying the rules for frame structure coding to the field.
  • the motion vector mapping unit 7 generates a motion vector for MPEG-4 encoding corresponding to the above-described MPEG-2 motion prediction mode.
  • a motion vector used for MPEG-4 encoding is selected according to the following procedure.
  • the motion vector defined in the unit of MPEG-2 macroblock is downscaled to the scale of the motion vector after resolution conversion according to the nature of the prediction, and the MPE G-2 2X2 Four motion vectors corresponding to the macroblock area are uniquely determined, and those motion vectors are set as motion vector candidates for the MPE G-4 INTER4V mode.
  • the I NTER4V mode divides a macroblock area consisting of 16 x 16 pixels, which can be defined by a frame image area, into four 8x8 pixel blocks, and predicts each with a separate motion vector This is the mode.
  • the case shown in Fig. 3 (B) is applicable.
  • select motion vector candidates for INTER4V mode based on the following rules.
  • a motion vector obtained by dividing the motion vector v fr by half in the horizontal and vertical directions is taken as a candidate.
  • a motion vector obtained by halving the top field motion vector v tf in the horizontal direction is a candidate.
  • a candidate motion vector is obtained by halving the average value of the motion vector V and ⁇ + dmv for the top field in the horizontal direction.
  • the motion vector obtained by dividing the motion vector v fi by 1/2 in the horizontal direction and 1/4 in the vertical direction is a candidate. 13
  • the motion vector obtained by halving the average value of the motion vector V and ⁇ + dmv in the horizontal direction and 1/2 in the vertical direction is considered as a candidate.
  • the INTER mode is a mode in which a macroblock area consisting of 16 x 16 pixels defined in the frame image area is predicted by one motion vector.
  • the case of (A) in Fig. 3 corresponds to this case.
  • the motion vector candidates for INTER and INTER4V selected in the above 1-1) and 1-2) are input to the MPEG-4 encoder unit 10 as motion vector mapping information 11.
  • motion vector candidates to be used in MPEG-4 INTER and INTER4V are selected.Therefore, among the remaining encoding modes, INTRA mode or SKIP mode, Select the mode with the highest coding efficiency. As a result, the final coding mode and motion vector are determined. This process is executed by the encoding parameter overnight determination unit 10B.
  • the E m, SKIP, INTER with respect to the INTER4V mode, for example, sum of absolute differences between the input signal 9, the prediction image candidates obtained from the motion compensation unit 1 OA using the motion vector v n And so on.
  • the motion vector v m is zero and R vm is also zero.
  • the average value of the luminance signal in the macro block of the input signal 9 is regarded as the predicted image candidate as the INTRA mode E ffl ,
  • the absolute sum of the subtracted differences can be used.
  • E n is not only the luminance signal, color difference components (Cb, Cr components) may be configured to define in consideration of.
  • the Cb and Cr components in the 8 pixel region correspond to each other.
  • the average value (DC component) of 8 ⁇ 8 regions of Cb and Cr is calculated using the above INTRA model. Similar to the case of the luminance component of the input signal 9, it can be considered as a predicted image candidate, and can be configured to take into account the sum of absolute differences obtained by subtracting the average value from each of the Cb and Cr components of the input signal 9. As a result, it is possible to evaluate a motion vector in consideration of not only the similarity of the luminance pattern but also the similarity of the color, and it is possible to suppress deterioration due to a color shift that is visually noticeable.
  • the code amount R "are hand zero motion vector, since the DCT coefficients to be encoded increases, the weight o:. Keep changing the weights of the evaluation of pre-E n by ffl This Accordingly, it is possible to perform a mode determination in consideration of the added amount of the DCT coefficient code amount of the INTRA mode in a pseudo manner.
  • the weighting evaluation for E n is not multiplication weights m, may be realized by adding the offset value 0 n.
  • Qp is the quantization step parameter of the Mac to be encoded.
  • m is defined as the count and the above process is described in the form of m loop processing. If it is judged from the coding mode setting information 12 output from the coding mode estimating unit 8 that the INTER mode has an evaluation value, m and the cost evaluation value min_J are initialized and processing is performed. Start (step ST3).
  • step ST5 the average value of the luminance values in the macro block is calculated (step ST5). Otherwise, get the predicted picture candidate by using the motion compensator 1 0 B using the motion vector v m determined from the motion vector mapping information 1 1 (step ST6). From the result of step ST5 or step ST6, the sum of absolute differences between the result and the luminance signal of the encoding target macroblock represented by the input signal 9 is calculated, and the cost is calculated using the sum ⁇ ⁇ ⁇ as described above ( Step ST7). In steps ST8 and ST9, the candidate is updated to the mode m with the minimum cost, m is incremented in step ST10, and the above processing is continued until the loop ends in step ST11.
  • the optimal mode selection is performed for all possible encoding modes. In addition, it is possible to select the associated motion vector.
  • the motion vector and coding mode to be used for MPEG-4 encoding can be determined collectively using the same criteria. it can.
  • the motion vector extracted from the input compressed data 1 is reused in the MPEG-4 encoder 10 by reusing the motion vector information and the encoding mode information.
  • the vector mapping information 11 and the encoding mode setting information 12 are input and used for encoding the input signal 9 which is an MPEG-2 decoded image after resolution conversion. These pieces of information are used by the coding parameter overnight determination unit 10B to determine the coding mode and the motion vector used for coding for each MPEG-4 macroblock unit.
  • the motion compensation unit 10A generates a predicted image 10C, and calculates a difference from the input signal 9 to generate a predicted residual signal.
  • a predicted image 10C is passed through the DCT section 10D and the quantization section 10E, and are arranged in the form of an MPEG-4 video stream by the variable length coding section 10J.
  • the quantized prediction residual signal is returned to the prediction residual signal decoded value 10 H through the inverse quantization unit 10 F and the inverse DCT unit 10 G, and is added to the prediction image 10 C. Stored in frame memory 10M for use in MC of subsequent frames.
  • variable-length coding unit 10J includes therein a prediction process for AC and DC components and a scanning process for run-length coding of DCT coefficients.
  • the coding control unit 10L performs coding based on the buffer occupancy 10K. Control.
  • a macro program is grouped in plurals in raster scan order, and the dependency on the surrounding image area in the frame is cut off to recover quickly from errors.
  • the determined quantization step parameter 10 N is input to the quantization unit 10 E and the inverse quantization unit 10 F, and is also input to the encoding parameter overnight determination unit 10 B for the above calculation. Is done.
  • the motion in the MPEG-2 data is performed by the transcoder that performs the conversion operation from the MPEG-2 video data to the MPEG-4 video data.
  • the optimal coding mode and motion vector in MPEG-4 coding are determined while reusing the information of the vector and coding mode, so the transcoding video quality can be reduced with a small amount of calculation. Can be improved.
  • the motion vector detection processing with a large computational load is simplified, so that the video transcoding from MPEG-2 to MPEG-4 is more efficient than the conventional simple motion vector reuse method.
  • the quality of the teaching can be improved.
  • the process of determining the quantization step parameter (Qp) 10N in the encoding control unit 10L, or the frame or video packet can be further improved by closely coordinating the macroblock and other setting units with the MPEG-2 motion vector and coding mode information reuse policy described in (3) above. You.
  • the MPEG-4 Simple Profile is assumed, but the transcoder of this configuration is compatible with the MPEG-4 Advanced Simple File and the movement described in Annex F in ITU-TH.263. It can be applied to any multi-mode encoding method conforming to the MPEG-4 Simple Profile, such as the case where the prediction option is saboted. 19
  • the resolution conversion unit 6 functions not only as a spatial resolution conversion unit but also as a time resolution conversion unit, and the time resolution (frame rate) by thinning out the P frames to which the effect of motion prediction propagates.
  • the resolution conversion unit 6 may function as a spatial resolution conversion unit and a time resolution conversion unit, or may function only as a time resolution conversion unit without functioning as a spatial resolution conversion unit.
  • FIG. 5 is a configuration diagram showing a video transcoder (video data conversion apparatus) according to Embodiment 2 of the present invention. Note that the configuration of the transcoder of the second embodiment is the same as the internal configuration of the transcoder of the first embodiment shown in FIG. 1, and the operations of the resolution conversion unit 6 and the motion vector mapping unit ⁇ Since the operation is different from the first embodiment, the operation different from the first embodiment will be described in detail.
  • the MPEG-2 decoded image 5 is reduced to a vertical and horizontal spatial resolution of 1/2 in the resolution conversion unit 6 by pixel thinning based on a predetermined downsampled fill. Further, based on the encoded frame instruction information 13 notified from the MPEG-4 encoder unit 10, the input frame rate of the input signal 9 to the MPEG-4 encoder unit 10 is controlled.
  • the description of the first embodiment is given.
  • the P frame depends on the instruction of the encoded frame instruction information 13 It is also configured to perform thinning of 20 m.
  • the encoded frame instruction information 13 indicates the encoded frame value
  • the MPE G-4 encoder unit 10 When the encoding is performed at the variable frame rate, the display time information of the frame to be encoded or the offset information of the number of frames from the immediately preceding MPEG-4 encoded frame is shown.
  • This process is performed in cooperation with the motion vector mapping unit 7, the coding mode estimation unit 8, and the coding parameter overnight judgment unit 10B that is a component of the MPEG-4 encoder unit 10 in Fig. 5. Performed by
  • FIG. 6 is a flowchart showing a motion vector mapping and a coding mode determination process in the video transcoder.
  • the encoding mode estimating unit 8 examines the distribution of the encoding mode in the 2 ⁇ 2 macroblock of MPEG-2 shown in FIG.
  • FIG. 7 is an explanatory diagram showing the monitoring operation of the MPEG-2 encoding mode by the encoding mode estimating unit 8.
  • step ST12 and ST13 Monitor the MPEG-2 encoding mode (steps ST12 and ST13). If all four macroblocks of MPEG-2 are in INTRA mode at least once, the converted encoding mode to be used in MPEG-4 encoding is forced to INTRA mode.
  • the frames starting from the frame immediately before MPEG-4 encoding and ending with the frame currently encoding are processed.
  • the encoding mode to be used in MPEG-4 encoding is forced to be SK IP.
  • monitoring of the MPEG-2 encoding mode during frame thinning shall be performed only for P frames, and I-frames shall be MPEG-4 encoded without thinning as I frames. Reset the monitoring of the MPEG-2 encoding mode (steps ST14 and ST15). If INTRA or SK IP is compulsory, the motion vector shall be set to all zeros and the subsequent steps shall be skipped.
  • the encoding mode setting information 12 output from the encoding mode estimating unit 8 includes three cases, in which there is a possibility of forcibly INTM, forcibly SK IP, or INTER mode. Choices are output (Step ST0) As a result, only in cases where it is determined that the possibility of the INTER mode is considered, the possible MPEG-4 encoding mode The optimum mode is determined again in terms of the coding efficiency.
  • the MPEG-2 motion vector is monitored during the frame decimation from the frame targeted for MPEG-4 encoding to the frame currently targeted for encoding (steps ST12 and ST13). From the MPEG-2 motion vector obtained as a result of monitoring, a candidate motion vector used in the MPEG-4 encoder unit 10 is determined.
  • This process is performed in the motion vector mapping unit 7. Based on the result of 1) above, this process considers, in principle, the case where the SK IP mode or the INTER mode occurs as the MPEG-2 encoding mode during frame thinning. . Therefore, the following rules are applied.
  • the motion vector candidate of the encoding target macroblock is calculated by the following equation using the motion vector of the macroblock existing at the same spatial position of the frame to be thinned out as a result of the frame rate conversion. It is obtained by accumulating more.
  • V G4 5 (-MPEG2
  • v MPEG4 is the motion vector candidate of the macroblock to be MPEG-4 encoded
  • k is the frame count that is thinned out as a result of the frame rate conversion, and is the motion vector scale according to the resolution.
  • Ring v k MPEG2 represents the motion vector of MPEG-2 corresponding to the macro block area for MPEG-4 encoding.
  • MPEG4 there are two types of MPEG4 , INTER and INTER4V. As described in 2-2) of the first embodiment, first, a motion vector candidate of INTEMV is obtained, and then an INTER motion vector candidate is obtained. Is determined.
  • Step ST1, ST2 Rule 2: S (v k MPEG2) is frame-off accompanying Lee pointer race coding - taking into account the differences in Le Dobeku torr, 2-1 in the first embodiment) of 23 Perform the scaling process according to the rules.
  • motion vector candidates to be used for MPEG-4 I NTER and I NTER4V were selected.Therefore, the remaining encoding modes were most likely to be encoded among INTRA and SK IP. Select an efficient mode (steps ST3 to ST11). As a result, the final encoding mode and motion vector are determined.
  • This process is executed by the encoding parameter overnight determination unit 10B.
  • the processing in the encoding parameter overnight determination unit 10B conforms to 3) of the first embodiment.
  • a reference image used for motion prediction a locally decoded image of an MPEG-4 encoded frame is used immediately before the frame currently being encoded.
  • all codes that can be used in MPEG-4 encoding can be used for transcoding that executes time resolution (frame rate conversion) with P frame decimation. It is possible to select the optimal mode and the associated motion vector for the optimization mode.
  • the motion vector detection processing with a large computational load is simplified, so that it is compared with the conventional simple motion vector reuse method.
  • Video transcoding quality from MPEG-2 to MPEG-4 can be improved.
  • the transcoder of this configuration uses the MPEG-4 Advanced Simple Applicable to all multi-mode encoding methods conforming to the MPEG-4 Simple Profile, such as the case where 24 files and motion prediction options described in Annex F in ITU-T I.263 are used.
  • the present invention is applicable to general transcoding for MC + DCT video coding.
  • the video data conversion device and the video data conversion method according to the present invention require a small amount of computation when performing various conversions of video compression data conforming to various international standard video compression / decompression methods. Suitable for those who need to improve the lance code image quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Television Systems (AREA)

Description

4
Biological Chemistry)」 、 2001年、 第 276巻、 第 37号、 p. 35 123-35132
(特許文献 1 )
特開平 5— 310526号公報
(特許文献 2 )
国際公開第 01/57085号パンフレツト
(特許文献 3 )
国際公開第 01Z07609号パンフレツト 発 明 の 開 示
本発明は、 上記従来技術の有する課題に鑑みてなされたものであり、 新規な G PCRタンパク質、 当該タンパク質をコードする核酸、 さらには、 本発明の遺伝 子が発現する部位を特定することにより、 ^位特異的に発現する当該遺伝子及び それによつてコードされるタンパク質の新たな用途を提供することを目的とする。
本発明者らは、 上記の課題を解決するために鋭意研究を行った結果、 特許文 献 2及び特許文献 3に記載の夕ンパク質とはァミノ酸配列が異なる新規夕ンパク 質及び当該タンパク質をコードする核酸をマウス及びヒトより見いだすとともに、 かかる核酸が特定の細胞に発現していることを見いだし本発明を完成した。
すなわち、 まず、 本発明者らは新規 GPCR候補遺伝子の探索を目的に、 Biochemical and Bior>hysica丄 Research Communication (vol.268,No.553-561) に記載の新規 GPCR配列 （GenBank Ac c e s s i on No. AB 030198) を用いて、 類似性検索を行った。 検索の結果、 類似性の高い GP CR候補配列としてマウス ESTの d a t a b a s eより、 GenB ank A c c e s s i on No. AA 164122、 AA 562774、 AA8641 16、 AA 068008、 AA 821407、 AA 795969、 AA 7990 21、 AA 756761、 AA 168673、 AA 791779の部分配列を見 出し、 当該新規 GPCR候補遺伝子を 「BG8」 と命名した。
次に本発明者らは、 I MAGEクローンとして、 AA164122 ( I MAG E： 607331 KURABO社製） をプローブとしてマウス皮膚 c DNAラ 映像データ変換装置及び映像データ変換方法 技術分野
この発明は、 各種国際標準の映像圧縮 · 伸長方式に準拠したビデオ圧 縮データの各種変換を行う映像明データ変換装置及び映像データ変換方法 に関するものである。 細
背景技術
現在、 デジタル放送 （衛星、 地上波、 ケ一プル） 、 DVD、 ビデオ C D 、 イ ン夕一ネッ ト、 モパイルなど、 放送 ■ 通信 · ノ ヅケージにまたがる 多様なアプリケーションにおいて、 MPEG や ITU- T H.26x などの国際標 準映像符号化方式が活用されている。
これらの符号化方式で圧縮された映像コンテンヅを、 サポートする符 号化方式、 伝送ビッ ト レー ト、 空間解像度 （フ レームサイズ） 、 時間解 像度（フレームレー ト）などの条件が異なるブラッ トフオームで再利用す る要求が高まっており、 これを背景として映像 トランスコーディ ング技 術の研究開発が盛んに行われている。
特に、 MPEG や ITU- T H.26x などの標準映像符号化方式は、 一貫して 、 動き補償予測 （Motion Compensation, 以下 M C ) による時間方向の 信号冗長度削減、 離散コサイ ン変換 （Discrete Cosine Transform, 以 下 D C T ) による空間方向の信号冗長度削減を基本としているため、 符 号化データの構文 （シンタ ックス） がある程度共通化されている。 この ことを利用したビヅ トス ト リームレベルでの変換を考えることによ り、 上記標準映像符号化方式を対象として演算負荷を低減した トランスコー 2 ディ ング技術が主に検討されてきている。
その中でも、 NTSC 解像度 （ 704x480 画素フ レーム、 30f rames/sec) の MPEG-2 ビデオを、 SIF ( 352x240 画素） の低フレームレ一 ト MPEG- 4 も しくは H.263 ビデオへ変換する問題は、 既存 MPEG- 2 コンテンヅの有 効活用の観点から実用化要求が高く、 ホッ ト トピックとなっている (例 えば、 Wang Xing Guo, Zheng Wei Guo, and Ishfaq Ahmad, "MPEG - 2 To MPEG - 4 Transcoding", Workshop and Exhibition on MPEG- 4 (WEMP) 2001.など） 。
このような映像トランスコ一ディ ング技術においては、 トランスコ一 ダ入力の MPEG- 2 ビデオス ト リームに含まれる動きべク トルを、 MPEG - 4 符号化に利用可能な動きべク トルへ変換する処理が重要となる。
縦横 1/2 の解像度変換が行われるため、 入力 MPEG- 2 ス ト リームの 4 つのマクロブロック領域が、 ち ょうど MPEG- 4 符号化時の 1マクロブロ ックの領域に対応する。 この問題は、 も との最大 4本の動きベク トルか ら、 解像度変換後の動きベク トルを推定する問題であり、 これまで多く の検討報告がなされている。 例えば、 B.Shen 他、 "Adaptive Motion- Vector Resampling ior Compressed Video Downsampling" , IEEE Transactions on Circuits And Systems for Video Technology, vol.9， no.6, Sep.1999 では、 入力圧縮データにおいて、 予測残差が大 きい動きべク トルに大きな重みをかけて 4つの動きべク トルの重み付け 平均をとる手法を報告している。
これはいわば、 入力圧縮データ中の予測残差信号を判断基準として、 そのァクティ ビティ値に基づいて変換すべき動きべク トルの値を決定す る手法であ り、 M.R.Hashemi 他、 "Compressed Domain Motion Vector Resampling for Downscaling of MPEG Video", IEEE International Conference on Image Processing, Kobe, Japan, Oct.1999 においても 3 その変形が報告されている。
従来の映像データ変換方法は以上のように構成されているので、 変換 すべき動きべク トルが 1本のケースに適用が限定される他、 変換後の動 きべク トルの符号化性能の意味での最適性を保証するものではないとい う課題があった。
この発明は上記のような課題を解決するためになされたもので、 第 2 の映像符号化方式における符号化性能のィ ンパク トを考慮した動きべク トル等を変換することができる映像データ変換装置及び映像デ一夕変換 方法を得ることを目的とする。 発明の開示
この発明に係る映像データ変換装置は、 映像信号の各フレームを所定 部分領域に分割し、 その単位で動きべク トル等の符号化パラメ一夕を選 択して符号化を行う第 1の映像符号化方式に従う映像符号化データを入 力として、 映像信号の各フレームを所定部分領域に分割し、 その単位で 符号化パラメ一夕を選択して符号化を行う第 2の映像符号化方式に従う 映像符号化データへの変換を行うものであって、 前記第 1の映像符号化 方式における所定部分領域単位の符号化パラメ一夕である動きべク トル から、 前記第 2の映像符号化方式における所定の部分領域の単位で用い る動きべク トルの候補を生成する動きべク トルマッピング部と、 前記生 成された第 2の映像符号化方式における動きべク トルの候補のうち、 該 動きべク トル候補を用いた場合の予測効率を評価する予測誤差評価値と 、 該動きぺク トル候補を用いることによる動きべク トル符号量を評価す る値とに基づいて、 第 2の映像符号化方式において使用する動きべク ト ルを決定する符号化パラメ一夕判定部とを備えるようにしたものである 4 このことによって、 第 2の映像符号化方式における符号化性能のィ ン パク トを考慮した動きべク トル等を変換することが可能になる効果があ る。 図面の簡単な説明
第 1図はこの発明の実施の形態 1 による映像トランスコーダ （映像デ —夕変換装置） を示す構成図である。
第 2図は映像 トランスコーダにおける動きぺク トルマッピングと符号 化モー ド判定処理を示すフローチャートである。
第 3図は解像度変換を伴う トランスコ一ディ ング単位を示す説明図で ある。
第 4図は MPEG- 2 ビデオ符号化における動き予測モー ドの種別を説明 する説明図である。
第 5図はこの発明の実施の形態 2 による映像トランスコーダ （映像デ 一夕変換装置） を示す構成図である。
第 6図は映像 トランスコーダにおける動きべク トルマッピングと符号 化モー ド判定処理を示すフローチャートである。
第 7図は符号化モー ド推定部 8の MPEG-2 符号化モ一 ドの監視動作を 示す説明図である。
第 8図は動きべク トルマッ ピング部 7の MPEG- 2 動きべク トルの監視 動作を示す説明図である。 発明を実施するための最良の形態
以下、 この発明をよ り詳細に説明するために、 この発明を実施するた めの最良の形態について、 添付の図面に従って説明する。
実施の形態 1 . 5 この実施の形態 1では、 MPEG- 2 ビデオデ一夕を入力とし、 空間解像 度が縦横 1/2 にダウンサンプリ ングされた MPE G- 4 ビデオデータを出力 する映像 トランスコーダについて説明する。 以下の説明では、 MPEG- 4 は MPE G- 4シンプルプロファイルに準拠する符号化方式とする。
第 1図はこの発明の実施の形態 1 による映像 トランスコーダ （映像デ —夕変換装置） を示す構成図であ り、 図において、 MPEG-2 デコーダ部 2は MPE G- 2 準拠の符号化方式で圧縮された入力圧縮デ一夕 1を入力し 、 その入力圧縮デ一夕 1 から復号画像 5 を生成する。 可変長復号部 2 A は MPEG-2 規格にしたがって入力圧縮デ一夕 1のシンタ ツクス解析を実 施し、 予測残差信号符号化データ 2 B、 符号化モー ド情報 3及び動きべ ク トル倩報 4を生成する。 逆量子化部 2 Cは可変長復号部 2 Aによ り生 成された予測残差信号符号化データ 2 Bの逆量子化を実施し、 逆 D C T 部 2 Dは逆量子化後の予測残差信号符号化データに対する逆！） C Tを実 施して予測残差信号復号値 2 Eを出力する。
動き補償部 2 Fは可変長復号部 2 Aによ り生成された動きべク トル情 報 4 とフレームメモリ 2 Gに格納されている参照画像データ 2 Hとにし たがって予測画像 2 I を生成する。 加算器 2 Jは逆 D C T部 2 Dから出 力された予測残差信号復号値 2 E と動き補償部 2 Fによ り生成された予 測画像 2 1 を加算して復号画像 5を生成する。 なお、 フレームメモリ 2 Gには復号画像 5が参照画像データ 2 Hとして格納される。
解像度変換部 6は MPEG- 2 デコーダ部 2 によ り生成された復号画像 5 の解像度を、 画素領域で縦横 1 /2のサイズの解像度に変換する。 動きべ ク トルマッピング部 7は可変長復号部 2 Aによ り生成された動きべク ト ル情報 4から MPEG- 4 符号化に利用可能な動きべク トルマッピング情報 1 1 (動きベク トルの候補） を生成する。 符号化モ一ド推定部 8は可変 長復号部 2 Aによ り生成された符号化モー ド情報 3から MPEG-4 符号化 6 で利用すべき符号化モー ド設定情報 1 2を決定する。
MPEG- エンコーダ部 1 0は解像度変換部 6 によ り解像度が変換され た復号画像 9 を MPEG- 4 で符号化する。 動き補償部 1 0 Aは動きべク ト ルマッピング情報 1 1 とフレームメモリ 1 0 Mに格納されている参照画 像データとにしたがって予測画像 1 0 Cを生成する。 減算器 1 0 Pは解 像度変換部 6 によ り解像度が変換された復号画像である入力信号 9 と動 き補償部 1 0 Aによ り生成された予測画像 1 0 Cとの差分をとつて予測 残差信号を生成する。 符号化パラメ一夕判定部 1 0 Bは符号化モード設 定情報 1 2等にしたがって MPEG-4 の各マク口プロ ック単位に符号化に 用いる符号化モー ドゃ動きべク トルを決定する。
D C T部 1 0 Dは符号化パラメ一夕判定部 1 0 Bによ り決定された符 号化モ一ドが INTERモード又は INTEMVモ一ドの場合、 減算器 1 0 Pに よ り生成された予測残差信号に対する D C Tを実施し、 その符号化モー ドが INTRAモードの場合、 入力信号 9 に対する D C Tを実施する。 量子 化部 1 0 Eは D C T部 1 0 Dの出力信号を量子化する。 逆量子化部 1 0 Fは量子化部 1 0 Eの出力信号を逆量子化し、 逆 D C T部 1 0 Gは逆量 子化部 1 0 Fの出力信号に対する逆 D C Tを実施して予測残差信号復号 値 1 0 Hを出力する。 加算器 1 0 Qは逆 D C T部 1 0 Gから出力された 予測残差信号復号値 1 0 Hと動き補償部 1 0 Aによ り生成された予測画 像 1 0 Cを加算する。 なお、 その加算結果 1 0 Iは、 以降のフレームの M Cに用いるためにフレームメモリ 1 0 Mに格納される。
可変長符号化部 1 0 Jは量子化部 1 0 Eの出力信号を MPEG- 4 ビデオ ス ト リームの形式に配列する。 符号化制御部 1 0 Lは符号化モー ド判定 部 1 0 B、 量子化部 1 0 Eや逆量子化部 1 0 F等を制御する。
次に動作について説明する。
①. 入力 MPEG-2 ビデオス ト リームの復号処理 7 まず、 MPEG- 2 準拠の符号化方式で圧縮された入力圧縮データ 1 が MPEG-2デコーダ部 2 に入力される。
MPEG- 2 デコーダ部 2の可変長復号部 2 Aは、 MPEG-2 規格にしたがつ て入力圧縮データ 1のシン夕ックス解析を実施し、 予測残差信号符号化 データ 2 B、 符号化モ一ド情報 3及び動きべク トル情報 4を生成する。 逆量子化部 2 Cは、 可変長復号部 2 Aから予測残差信号符号化データ 2 Bを受ける と、 その予測残差信号符号化データ 2 Bの逆量子化を実施 する。
逆 D C T部 2 Dは、 逆量子化部 2 Cから逆量子化後の予測残差信号符 号化データを受けると、 その予測残差信号符号化データに対する逆 D C Tを実施して予測残差信号復号値 2 Eを出力する。
動き補償部 2 Fは、 可変長復号部 2 Aから動きべク トル情報 4を受け ると、 その動きベク トル情報 4 とフレームメモリ 2 Gに格納されている 参照画像デ一夕 2 Hとにしたがって予測画像 2 I を生成する。 なお、 動 きベク トル情報 4 には、 動きベク トル値の他に、 フレーム予測かフィ一 ルド予測かを示すフラグなど、 M Cに関わるすべての情報を含んでいる ものとする。
加算器 2 Jは、 動ぎ補償部 2 Fが予測画像 2 I を生成すると、 その予 測画像 2 I と逆 D C T部 2 Dから出力された予測残差信号復号値 2 E と を加算して復号画像 5 を生成する。 なお、 復号画像 5は、 以後のフレー ムの動き補償に用いるため、 参照画像デ一夕 2 Hとしてフレームメモリ 2 Gに格納される。
②. 解像度変換処理
MPEG- 2 デコーダ部 2 によ り生成された MPEG- 2復号画像 5は、 空間解 像度変換部と しての解像度変換部 6に入力される。
解像度変換部 6は、 所定のダウンサンプルフィル夕に基づいた画素間 8 引きを実施することによ り、 MPEG- 2 復号画像 5の解像度を例えば縦横 1/2 の空間解像度に縮小する。 この結果が MPEG- 4 エンコーダ部 1 0へ の入力信号 9 となる。
なお、 時間方向の解像度変換は、 例えば、 S . J . Wee 他， " F i e l d- to - frame Transcoding with Spatial And Temporal Do龍 sampl ing" , IEEE Internat ional Conference on Image Process ing, Kobe , Japan, Oct . 1999で閧示されているように、 MPEG- 2ス ト リ一ム中に Bフレーム（ 両方向予測フレーム）が存在する場合に、 Bフ レームを間引く ことでフ レームレートを削減する処理のみを許容する。 これは、 Bフレームは、 I (イ ン トラ）または P (片方向予測）フレームとは異なり、 それ自身を別 のフレームの予測に使用されないため、 これを間引 く ことによって他の フレームの品質に影響が及ぶことがないからである。
例えば、 I (イ ン トラ）または P (片方向予測）フレームの間に Bフレー ムを 2 フレーム揷入する符号化パターンがよ く用いられているが、 この 場合、 Bフレームをすベて間引く ことによって、 フレームレ一 トを 1/3 に低減するこ とが可能である。 また、 この実施の形態 1 では、 MPEG-2 の 1 (イ ン トラ）フレームは MPEG-4 でも 1 (イ ン トラ）フレームのままと し、 同じ く MPEG- 2 の P (片方向予測）フレームは MPEG- 4 でも P (片方向 予測）フレームとして変換を行う ものとする。
③. 動きべク トルマツビング及び符号化モー ド選択処理
以下、 本発明のポイ ン トである動きべク トルマッピング処理並びに符 号化モー ド選択処理について説明する。 なお、 本プロセスは、 第 1 図に おける動きベク トルマ ッ ピング部 7、 符号化モー ド推定部 8、 及び MPEG-4 エンコーダ部 1 0の符号化パラメ一夕判定部 1 0 Bとの連携に よって実行される。
第 2図は映像 トランスコーダにおける動きべク トルマッピングと符号 9 化モード判定処理を示すフローチャートである。
MPEG-2 復号画像 5 と、 MPEG- 4 エンコーダ部 1 0の入力信号 9 とは、 空間解像度が縦横 1/2 であるので、 以下説明する処理手順は、 MPEG-2 の 2 X 2個のマクロブロヅク、 即ち、 MPEG-4 の 1マクロブロ ックを単位 として実行されるものとする。 第 3図は解像度変換を伴う トランスコ一 ディ ング単位を示す説明図である。
MPEG- 4 では、 マクロブロ ックに対して 1本も し くは 4本の動きべク トルが割り当てられるため、 動きべク トルのマッピングの方法としては 、 第 3図（A )のように、 4本の MPEG- 2 動きべク トルから 1本の MPEG - 4 動きベク トルに変換する場合と、 第 3図（B )のように、 4本の MPEG- 2 動きベク トルから 4本の MPEG- 4 動きべク トルに変換する場合の 2通り がある。
1 ) 事前の強制符号化モード判定（ステップ ST0 )
まず、 符号化モード推定部 8が、 第 3図に示す MPEG- 2 の 2 x 2 マク ロブロック内の符号化モー ド分布の様子を調べる。 4つのマクロブロ ッ クのすべてが INTRAモードである場合、 及び 4つのマクロブロックのす ぺてが SKIPモ一 ドである場合は、 それぞれ MPEG- 4符号化で用いるべき 変換後の符号化モードは強制的に INTRA、 SK IP とする。 この場合には、 動きべク トルはすべてゼロとし、 以降のステップをスキップする。
なお、 INTRA モー ドとは、 動き予測を用いずにフレーム内で符号化す るモー ドであ り、 SK IP モー ドとは、 参照画像中の同一位置の画像デー 夕をそのままコピーするモー ドであって、 符号化情報を伝送しないモー ドである。
この結果、 4つのマクロプロ ックのいずれかに動き予測モードを含ん でいるケースについてのみ INTERモード、 即ち、 動きベク トルを用いて 動き予測を行うモードを採用することで、 符号化効率がよくなる可能性 10 が含まれるケースとみなされる。 ただし、 この場合、 以下の手順 2 )以 降のプロセスに従い、 取り得る MPE G-4 符号化モードのうち、 符号化効 率の意味で最適なモードを再度決定する。
したがって、 符号化モード推定部 8から出力される符号化モー ド設定 情報 1 2 には、 強制的に INTRA モー ド、 強制的に SK I P モード、 も しく は INTERモー ドの可能性がある、 という 3ケースの選択肢が含まれる。 2 ) 動きべク トル候補の選定
上記 1 )において INTER モー ドの利用価値があると判断された場合は 、 MPEG- 2 デコーダ部 2の可変長復号部 2 Aから出力される 2 x 2マクロ ブロック分の MPEG- 2 の動きべク トルから、 MPEG- 4エンコーダ部 1 0に て用いる動きべク トルの候補を定める。
本プロセスは、 動きべク トルマッピング部 7において実施される。
MPEG- 2 はイ ン夕レース信号の圧縮符号化をサポー ト し、 フ レームを 符号化単位とするフレーム構造符号化と、 フィール ドを符号化単位とす るフィール ド構造符号化との、 2 つの符号化モー ドのいずれかを選択で き る 。
フレーム構造符号化では、 1 6 x 1 6画素からなるマクロブロ ックを フレーム画像領域で構成し、 フィールド構造符号化ではフィ一ル ド画像 領域でマクロブロ ックを構成する。 フレームは、 ト ップフィール ド（上 部ライ ンを構成するフィール ド）と、 ボ トムフィール ド（下部ライ ンを構 成するフィール ド）を く し状に組合せた画像デ一夕と して定義されるた め、 フィールド構造符号化におけるマクロブロックは、 フレーム画像領 域におけるマクロブロックに対して、 垂直方向をカバーする領域が 2倍 な る 。
第 4図は MPEG- 2 ビデオ符号化における動き予測モードの種別を説明 する説明図である。 11 第 4図（A )はフ レーム構造符号化時に利用可能な動き予測モー ドであ り、 同図（B )はフ ィール ド構造符号化時に利用可能な動き予測モードで ある。 第 4図（ A )において、 フ レーム予測は、 フ レーム画像からなるマ クロブロックを 1本の軌きベク トル vfrで予測する。 フィール ド予測は 、 フレーム画像からなるマクロブロックの個々のフィ一ル ド領域に対し て、 個別の動きベク トル vtf および vbf で予測を行う。
このとき、 参照するフィール ドが ト ップフィール ドか、 ボトムフィー ル ドかを選択することが可能である。 デュアルプライム予測は、 1本の フィ一ル ドぺク トル V で、 同一フィ一ル ド位置から第 1 の予測画像を生 成する（ ト ップフ ィール ドの予測は ト ップフ ィ 一ル ドを参照、 ボ トムフ ィ一ル ドの予測はボトムフィール ドを参照）とともに、 別フ ィ ール ド位 置からは、 べク トル V をフィール ド間距離に基づいてスケ一リ ングした 結果に、 微小べク トル dnivを加算した動きべク トルで第 2の予測画像を 生成し、 第 1及び第 2の予測画像の加算平均を個々のフィール ドの予測 画像として用いる。
第 4図 （B ) において、 フ ィ ール ド予測は、 フィ ール ド画像からなる マクロブロ ックを 1本の動きべク トル vf ^ で予測する。 1 6 X 8予測は 、 フィ ール ド画像からなるマクロブロックを上下 1 6 x 8の 2つの領域 に分割し、 それそれを個別の動きベク トル Vf i , upp e rおよび Vn . ^erで予測 する。 デュアルプライム予測は、 フ レーム構造符号化の場合のルールを フィール ドに適用した予測を行う。
動きベク トルマッピング部 7では、 以上の MPEG- 2 動き予測モードに 対応して、 MPEG- 4 符号化のための動きべク トルを生成する。 この実施 の形態 1では、 MPEG-4 符号化に利用する動きベク トルは、 以下の手順 で選定する。
2-1 ) INTER4Vモー ド用動きべク トル候補の選定（ステップ ST1 ) 12
MPEG- 2 のマクロブロ ックの単位に定義される動きべク トルを、 その 予測の性質に応じて解像度変換後の動きべク トルのスケールにダウンス ケールして、 MPE G-2 の 2 X 2マクロブロヅクの領域に対応する 4本の動 きべク トルを一意に定め、 それら動きべク トルを、 MPE G- 4 の I NTER4V モードのための動きべク トル候補とする。
I NTER4V モ一 ドとは、 フレーム画像領域で定義きれる 1 6 x 1 6画素 からなるマクロブロック領域を 4つの 8 X 8画素ブロ ヅクに分割し、 そ れそれ個別の動きべク トルで予測するモー ドのこ とである。 第 3図（ B ) のケースが該当する。 本ステップについては、 以下のルールに基づいて INTER4Vモードのための動きべク トル候補を選定する。
〇フレーム構造符号化の場合
[フレーム予測の場合]
動きべク トル vf rを水平方向と垂直方向で 1 /2 した動きべク トルを候 補とする。
[フィ一ル ド予測の場合]
ト ップフィール ドの動きベク トル vtf を、 水平方向で 1 /2 した動きべ ク トルを候補とする。
[デュアルプライ ム予測の場合]
ト ップフィール ドのための動きべク トル V および αν +dmv の平均値を 、 水平方向で 1/2 した動きべク トルを候補とする。
〇フィ一ル ド構造符号化の場合
以下、 ト ップフィール ドの予測に用いるべク トルについてのみ抽出を 行う。
[フィ一ル ド予測の場合]
動きべク トル vf i を水平方向に 1 /2、 垂直方向に 1 /4 した動きべク ト ルを候補とする。 13
[ 1 6 χ8予測の場合]
動きべク トル vfi,upperと vfi,i。werを平均し、 水平方向と垂直方向で 1/2 した動きべク トルを候補とする。
[デュアルプライム予測の場合]
動きべク トル V および ν+dmv の平均値を、 水平方向に 1/2、 垂直方 向に 1/4した動きべク トルを候補とする。
2-2) INTERモ一 ド対応動きべク トル候補の選定（ステップ ST2)
上記定められた 4本の動きべク トルから、 MPEG- 4 の INTER モー ドの ための動きべク トルを定める。 INTER モー ドとは、 フレーム画像領域で 定義される 1 6 x1 6画素からなるマクロブロック領域を 1本の動きべ ク トルで予測するモー ドのことである。 第 3図の（ A )のケースが該当す る。
これは、 例えば、 B. Shen 他、 "Adaptive Motion-Vector Resampling for Compressed Video Downsampl mg" , IEEE Transactions on Circuits And Systems for Video Technology, vol .9, no.6, Sep.1999 に開示される方法で決定することが考えられる。
以上 1-1)， 1-2)で選定される INTER用、 INTER4V用動きベク トル候補 は、 動きべク トルマッ ピング情報 1 1 として、 MPEG- 4 エンコーダ部 1 0へ入力される。
3) 符号化モー ド判定
上記 2)によ り、 MPEG- 4の INTER及び INTER4Vで利用すべき動きべク トルの候補が選定されるため、 残る符号化モー ドの可能性として INTRA モー ド又は SKIP モー ドのう ち、 最も符号化効率のよいモードを選択す る。 この結果と して、 最終的な符号化モー ドと動きベク トルが決定され る。 この処理は、 符号化パラメ一夕判定部 1 0 Bで実行される。
このモード判定処理に、 判定基準として、 下式に示すレート歪コス ト 14
Jmを用いる。
v *j= arg min J
m ！ m
J = E + R
m m m vm 同式において、 m は符号化モー ド種別、 vmはモー ド mの場合の動きべ ク トル、 M はモー ド種別の集合（M=(INTRA，SKIP，INTER，INTEMV))、 B はモード mに応じて定まる定数、 Emはモ一 ド m使用時の予測誤差評価値 、 Rvmは動きべク トルが vnの場合の動きべク トル符号量、 λは正の定数 、 m*, vB*は本評価の結果選定される符号化モー ドと動きベク トルであ る。 なお、 この 3)の符号化モー ド判定の際、 予測誤差評価値と、 動き べク トル符号量とのどちらか一方のみに基づく ようにしても良い。
Em としては、 SKIP, INTER, INTER4V モー ドに関しては、 例えば、 入力 信号 9 と、 動きベク トル vn を用いて動き補償部 1 O Aから得られる予 測画像候補との間の差分絶対値和などで定義することができる。 なお、 SKIP の場合の動きべク トル vmはゼロであ り、 Rvmもゼロであるとする。 同じ評価式で INTRAモードも評価を行うために、 INTRAモードの Efflとし ては、 入力信号 9 におけるマクロプロ ック内の輝度信号平均値を予測画 像候補とみなし、 それを入力信号 9から差し引いた差分の絶対値和を用 いることができる。 なお、 En は輝度信号のみでなく、 色差成分（Cb、 Cr 成分）を加味して定義するように構成してもよい。
MPEG- 2 及び MPEG- 4 の符号化対象映像の色成分サンプル比は、 多くの 場合、 Y:Cb:Cr=4:2:0(輝度成分 1 6 x 1 6画素領域に対して、 8 x 8画 素領域の Cb、 Cr成分が対応するケース）を用いることが多いので、 例え ば、 Cb、 Cr のそれそれの 8 χ8領域の平均値（DC 成分）を上記 INTRA モ 15 ードの輝度成分のケースと同様、 予測画像候補とみなし、 入力信号 9の Cb、 Cr 各成分から該平均値を差し引いた差分絶対値和を加味するよう に構成できる。 これによつて、 輝度パターンの類似度だけでなく、 色の 類似度も考慮した動きべク トルを評価することが可能となり、 視覚的に 目立ちやすい色ずれによる劣化を抑制することができる。
また、 INTRA モードでは、 動きベク トルの符号量 R„がゼロである一 方、 符号化すべき D C T係数が多くなるため、 重み o:ffl によって予め En に対する評価の重みを変更しておく。 これによつて、 擬似的に INTRAモ ードの D C T係数符号量の加算分を考慮したモー ド判定を行うことが可 能となる。
なお、 En に対する評価の重み付けは重み m の乗算でなく、 オフセ ッ ト値 0nの加算で実現してもよい。
ま た、 え の値 と して は、 例えば、 Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol . 15, no. 6, pp. 74-90, Nov. 1998.に開示される以下の値を用いることができる。 ただし、 Qp は、 符 号化対象マク口ブ口ックの量子化ステップパラメ一夕である。
Figure imgf000018_0001
第 2図では、 便宜上、 m をカウン夕として定義し、 m のループ処理の 形式で上記プロセスを記述している。 符号化モー ド推定部 8から出力さ れる符号化モー ド設定情報 1 2よ り、 INTER モー ドの評価価値がある と 判断される場合に、 m及びコス ト評価値 min_J を初期化して処理を開始 する（ステップ ST3)。
m =3(INTRA)か否かの判定を経て（ステップ ST4)、 INTRAである場合は 16
、 当該マクロブロ ック内の輝度値の平均値を算出する（ステップ ST5 )。 さもなくば、 動きベク トルマッピング情報 1 1から定まる動きベク トル vm を用いて動き補償部 1 0 Bを利用して予測画像候補を得る（ステップ ST6 )。 ステップ ST5 またはステップ ST6の結果は、 入力信号 9で表され る符号化対象マクロブロ ックの輝度信号との間で差分絶対値和が計算さ れ、 それを上記 Επ としてコス ト を算出する（ステップ ST7 )。 ステツ プ ST8 , ST9 において、 コス ト最小となるモード mへの候補更新が行なわ れ、 ステップ ST10で mをイ ンク リメン ト し、 ステップ ST11でループが 終了するまで上記処理を継続する。
以上の手順によ り、 ステップ ST0で I NTERモー ドの利用価値があると 判断されるケースでは、 MPEG- 4 符号化において、 取り得るすべての符 号化モー ドを対象として最適なモード選択、 並びに、 それに付随する動 きべク トルを選定するこ とが可能となる。
従来技術では、 上記 1 )に記載したような動きベク トル候補の選定は 開示しているが、 その結果得られる動きべク トル自身の符号量コス ト、 MPEG-4 符号化へのイ ンパク ト までは評価されない。 特に低レー トの MPEG- 4 符号化を行うような場合には、 動きべク トルの符号量の大きさ を無視し難く なるが、 上記判定規範を用いるこ とで、 I NTER、 INTER4V の動きべク トル候補のう ち、 符号量と予測精度の最適な ト レー ドオフを 与えるものを選択することができる。
また、 INTRA、 SK IP も同様の評価尺度で判定を行う ようにすることで 、 同一の判定規範で MPEG-4 符号化に用いるべき動きベク トルと符号化 モー ドを一括して決定することができる。
④. MPEG-4符号化処理
以上の結果、 MPEG-4 エンコーダ 1 0 には、 入力圧縮データ 1から抽 出された動きベク トル倩報、 符号化モー ド情報を再利用する形で、 動き 17 べク トルマツピング情報 1 1、 符号化モード設定情報 1 2が入力され、 解像度変換後の MPEG- 2 復号画像である入力信号 9の符号化に用いられ る。 これらの情報は、 符号化パラメ一夕判定部 1 0 Bにおいて、 MPEG-4 の各マクロブロ ック単位に符号化に用いる符号化モー ド及び動きべク ト ルの決定に利用される。
その結果、 INTEI INTER4V のいずれかのモー ドの場合は、 動き補償 部 1 0 Aで予測画像 1 0 Cが生成され、 入力信号 9 との差分をとつて予 測残差信号が生成され、 それが D C T部 1 0 D、 量子化部 1 0 Eを経て 可変長符号化部 1 0 Jによって MPEG- 4 ビデオス ト リームの形式に配列 される。
INTRA モードの場合は、 入力信号 9そのものが！） C T、 量子化された のち可変長符号化される。 SK IP モー ドの場合は、 当該マクロプロ ヅク が SKIPであることを示すフラグ（not_coded )のみをビッ トス ト リームに 多重することで符号化される。
量子化後の予測残差信号は、 逆量子化部 1 0 F、 逆 D C T部 1 0 Gを 経て予測残差信号復号値 1 0 Hに戻され、 予測画像 1 0 Cと加算された のち、 以降のフレームの M Cに用いるためにフレームメモリ 1 0 Mに格 納される。
なお、 可変長符号化部 1 0 Jは、 その内部に A C、 D C成分の予測処 理、 D C T係数のランレングス符号化のためのスキャニング処理を含ん でいる。
また、 可変長符号化部 1 0 Jの出力は、 バッファ リ ングされた後、 伝 送も しく は記録されることから、 符号化制御部 1 0 Lがバッファ占有量 1 0 Kに基づいた符号化制御を実施する。 ここでは、 主として、 マクロ プロ ヅクをラスタスキヤン順に複数個グルーピングした単位で、 フレー ム内での周辺画像領域との依存関係を断ち切ることで誤りからの早期復 18 帰に用いられるビデオパケッ ト、 マクロブロ ックなどの単位で、 量子化 ステップパラメ一夕（Qp ) 1 0 Nを決定する処理を行う。 決定された量子 化ステップパラメータ 1 0 Nは、 量子化部 1 0 E、 逆量子化部 1 0 Fへ 入力されるとともに、 上記 の算出のため符号化パラメ一夕判定部 1 0 Bにも入力される。
以上で明らかなように、 この実施の形態 1 によれば、 MPEG- 2 映像デ —夕から MPEG- 4 映像デ一夕への変換動作を行う トランスコーダによ り 、 MPEG- 2 データ中の動きべク トルや符号化モー ドの情報を再利用しな がら MPEG-4 符号化における最適な符号化モ一ド並びに動きべク トルの 決定を行うので、 少ない演算量で トランスコ一 ド映像の品質を向上させ ることが可能である。
特に、 この実施の形態 1では、 演算負荷の大きい動きベク トル検出処 理を簡略化 したので、 従来の単純動きべク トル再利用手法に比べて MPEG- 2 から MPEG- 4 への映像トランスコ一ティ ング品質を向上させるこ とができる。
なお、 詳しく は述べなかったが、 本構成によれば、 符号化制御部 1 0 Lにおける量子化ステップパラメ一夕（Qp ) l 0 Nの決定プロセス、 も し くは、 フレームやビデオパケッ ト、 マクロブロック等の設定単位と、 上 記③に述べた MPEG-2 の動きベク トル · 符号化モード情報再利用の方針 とを密に連携させることで、 さらに符号化効率の改善を行うことができ る。
また、 上記では、 MPEG- 4 シンプルプロファイルを前提として記載し たが、 本構成の トランスコーダは、 MPE G- 4 ァ ドバンス ドシンプルプ口 ファイルや、 I TU- T H . 263 において Annex F に記載される動き予測ォプ ショ ンをサボ一 卜するケースなど、 MPEG-4 シンプルプロファイルに準 ずるあらゆる多モー ド符号化方式に適用可能である。 19
実施の形態 2 .
この実施の形態 2では、 解像度変換部 6が空間解像度変換部としてだ けでなく、 さらに時間解像度変換部として機能して、 動き予測の影響が 伝播する Pフレームを間引く ことによる時間解像度 （フレームレー ト） の変換を行う実施の形態について説明する。 なお、 解像度変換部 6は、 空間解像度変換部及び時間解像度変換部として機能しても良いし、 空間 解像度変換部としては機能せず時間解像度変換部としてのみ機能するよ うにしても勿論よい。
第 5図はこの発明の実施の形態 2による映像トランスコーダ （映像デ 一夕変換装置） を示す構成図である。 なお、 この実施の形態 2の トラン スコーダの構成は、 第 1 図に示す実施の形態 1 の トランスコーダの内部 構成と同じであり、 解像度変換部 6及び動きべク トルマツ ピング部 Ίの 動作が上記実施の形態 1 と異なるため、 上記実施の形態 1 と異なる動作 については詳細に説明する。
次に動作について説明する。
① . 入力 MPEG-2 ビデオス ト リームの復号処理
上記実施の形態 1 と同じ動作である。
② . 解像度変換処理
MPEG- 2 復号画像 5は、 解像度変換部 6 において、 所定のダウンサン プルフィル夕に基づいた画素間引きによ り、 縦横 1 /2の空間解像度へ縮 小される。 さ らに、 MPEG- 4 エンコーダ部 1 0から通知される符号化フ レーム指示情報 1 3に基づいて、 MPEG- 4 エンコーダ部 1 0への入力信 号 9の入力フレームレ一トを制御する。
この実施の形態 2では、 上記実施の形態 1 に述べた： Bフレームの間引 き処理だけでなく、 符号化フレーム指示情報 1 3の指示次第で Pフレー 20 ムの間引きも行う構成とする。
符号化フ レーム指示情報 1 3は、 MPE G- 4 エンコーダ部 1 0が固定フ レームレー トで符号化を行う場合には、 その符号化フ レームレー ト値を 示し、 MPE G- 4 ェンコーダ部 1 0が可変フ レームレー 卜で符号化を行う 場合には、 符号化対象となるフ レームの表示時刻情報、 あるいは、 直前 の MPE G- 4 符号化フレームからのフレーム数オフセヅ ト情報などを示し ている。
③. 動きベク トルマツビングおよび符号化モー ド選択処理
以下、 この実施の形態 2のポイ ン トである動きべク トルマッピング処 理並びに符号化モー ド選択処理について説明する。
本プロセスは、 第 5図における動きベク トルマッピング部 7、 符号化 モ一 ド推定部 8、 及び MPEG- 4 エンコーダ部 1 0の構成要素である符号 化パラメ一夕判定部 1 0 Bとの連携によって実行される。
第 6図は映像トランスコーダにおける動きベク トルマッピングと符号 化モー ド判定処理を示すフローチヤ一トである。
MPE G- 2復号画像 5 と MPE G- 4エンコーダ部入力信号 9 とは、 空間解像 度が縦横 1 /2 であるので、 以下説明する処理手順は、 MPE G- 2 の 2 x 2個 のマクロブロ ック、 即ち、 MPEG-4 の 1マクロブロ ックを単位として実 行されるものとする（第 3図を参照）。
1 ) 事前の強制符号化モー ド判定
まず、 符号化モ一 ド推定部 8 において、 第 3図に示す MPE G- 2 の 2 X 2マクロブロック内の符号化モー ド分布の様子を調べる。
第 7図は符号化モー ド推定部 8 の MPE G- 2 符号化モー ドの監視動作を 示す説明図である。
第 7図に示すように、 この実施の形態 2では、 符号化フ レーム指示情 報 1 3 に基づき、 直前に MP EG- 4 符号化の対象となったフレーム以降、 21 現在符号化対象となる フ レーム に至る までのフ レーム間引きの間、
MPEG- 2 符号化モー ドの監視を行う（ステ ップ ST12、 ST13 )。 MPEG- 2 の 4 つのマクロプロックのすべてが INTRAモー ドになる場合が 1回でもあれ ば、 MPEG- 4符号化で用いるべき変換後の符号化モー ドは強制的に INTRA モー ドとする。
一方、 4つのマクロブロ ックのすべてが SK IP モー ドになる場合につ いては、 直前に MPEG- 4 符号化の対象となったフ レーム以降、 現在符号 化対象となるフ レームに至るまで、 フ レーム間引きの間、 常に SK IP が 継続する場合については MPEG- 4 符号化で用いるべき符号化モードは強 制的に SK IP とし、 一回でも SK IPでないケースがある場合は INTERモー ドの可能性を検討するものとする。 ただし、 フ レーム間引きを行ってい る間の MPEG-2 符号化モー ドの監視は Pフレームについてのみ行う もの とし、 I フレームはそのまま I フ レームとして間引きを行わずに MPEG- 4 符号化を行い、 MPEG-2 符号化モー ドの監視を リセッ トする（ステップ ST14、 ST15 )。 強制的に INTRAまたは SK IP となる場合については、 動き べク トルはすぺてゼロ とし、 以降のステップをスキップする。
したがって、 符号化モー ド推定部 8から出力される符号化モード設定 情報 1 2 には、 強制的に INTM、 強制的に SK IP、 も しく は INTERモー ド の可能性がある、 という 3ケースの選択肢が出力される（ステップ ST0 ) この結果、 INTER モー ドの可能性を検討すると判断されたケースにつ いてのみ、 以下の手順 2 )以降のプロセスに従い、 取り得る MPEG- 4符号 化モー ドのうち符号化効率の意味で最適なモードを再度決定する。
2 ) 動きべク トル候補の選定
上記 1 )において INTER モー ドの利用価値があると判断された場合は 、 第 8図に示すように、 符号化フレーム指示情報 1 3 に基づき、 直前に 22
MPEG- 4 符号化の対象となったフ レーム以降、 現在符号化対象となるフ レームに至るまでのフレーム間引きの間、 MPEG- 2 動きべク トルの監視 を行う（ステップ ST12、 ST13 )。 監視の結果得られる MPEG-2 動きべク ト ルから、 MPEG- 4 エンコーダ部 1 0 にて用いる動きべク トルの候補を定 める。
本プロセスは、 動きベク トルマッピング部 7において実施される。 上 記 1 )の結果から、 本プロセスでは、 原則、 フレーム間引きが行なわれ る間の MPEG- 2の符号化モードとして SK IPモー ドも しく は INTERモー ド が発生するケースを考慮することになる。 そこで、 以下のルールを適用 する。
ルール 1 ： 符号化対象マク口プロックの動きべク トル候補は、 フ レー ムレ一 ト変換の結果、 間引かれるフ レームの同一空間位置に存在するマ クロブロ ックの動きベク トルを下式によ り累積することで求める。
V G4 = > 5(- MPEG2
ここで、 vMPEG4 は、 MPEG-4 符号化対象マクロブロックの動きベク トル 候補、 k はフ レームレー ト変換の結果間引かれるフ レームのカウン夕、 は解像度にあわせた動きべク トルのスケ一リ ング、 vk MPEG2は MPEG- 4 符号化対象マク口プロック領域に対応する MPEG-2 の動きべク トルを表 している。 ただし、 vMPEG4には INTER、 INTER4Vの 2種類があり、 上記実 施の形態 1の 2- 2 )に述べたように、 まず INTEMV の動きべク トル候補 を求めたのち、 INTER動きベク トル候補を定める。 （ステップ ST1、 ST2 ) ルール 2 ： S ( vk MPEG2 )は、 イ ンタ レース符号化に伴う フ レーム · フ ィ —ル ドベク トルの違いを考慮して、 上記実施の形態 1 における 2-1 )の 23 ルールに従うスケーリ ング処理を行う。
ルール 3 ： フレームカウン夕 kのいずれかの時点で、 SK IP モー ドが 発生する場合は、 累積すべき動きべク トル vk MPE G2はゼロとする。
ルール 4 ： I フレームでは MPEG- 2 動きべク トルの監視ならびに上記 動きべク トル累積をリセヅ 卜する（ステップ ST 14、 ST 15 ) o
3 ) 符号化モー ド判定
上記 2 )によ り、 MPEG- 4 の I NTER及び I NTER4Vで利用すべき動きべク トルの候補が選定されたため、 残る符号化モー ドの可能性として INTRA 、 SK IP のうち、 最も符号化効率のよいモー ドを選択する（ステップ ST3 ~ ST 1 1 )。 この結果として、 最終的な符号化モー ドと動きベク トルが決 定される。 この処理は、 符号化パラメ一夕判定部 1 0 Bで実行される。 以下、 符号化パラメ一夕判定部 1 0 Bにおける処理は上記実施の形態 1 の 3 )に準ずる。 ただし、 動き予測に用いる参照画像は、 現在符号化対 象となるフレームの直前に MPEG- 4 符号化されたフレームの局所復号画 像を用いることになる。
以上の手順によ り、 この実施の形態 2によれば、 Pフレームの間引き を伴う時間解像度 （フレームレー ト変換） を実行する トランスコーディ ングに際しても、 MPEG- 4 符号化において取り得るすべての符号化モー ドを対象として最適なモー ド選択並びにそれに付随する動きベク トルを 選定することが可能となる。
特に、 この実施の形態 2では、 Pフレームの間引きを行う トランスコ ーダにおいても、 演算負荷の大きい動きべク トル検出処理を簡略化した ので、 従来の単純動きべク トル再利用手法に比べて MPEG-2 から MPEG - 4 への映像トランスコーティ ング品質を向上させることができる。
なお、 上記では、 MPEG-4 シンプルプロファイルを前提として記載し たが、 本構成の トランスコーダは、 MPEG-4 ァ ドバンス ドシンプルプ口 24 ファイルや、 I TU- T Η. 263 において Annex F に記載される動き予測ォプ ショ ンをサボ一 トするケースなど、 MPEG- 4 シンプルプロファイルに準 ずるあらゆる多モー ド符号化方式に適用可能であり、 本発明は、 M C + D C T映像符号化方式を対象とする トラ ンスコ一ディ ング全般について 適用可能である。 産業上の利用可能性
以上のように、 この発明に係る映像データ変換装置及び映像データ変 換方法は、 各種国際標準の映像圧縮 ·伸長方式に準拠したビデオ圧縮デ 一夕の各種変換を行う際、 少ない演算量で ト ランスコー ド映像の品質を 向上させる必要があるものに適している。

Claims

25 請 求 の 範 囲
1 . 映像信号の各フレームを所定部分領域に分割し、 その単位で動きべ ク トル等の符号化パラメ一夕を選択して符号化を行う第 1の映像符号化 方式に従う映像符号化データを入力として、 映像信号の各フレームを所 定部分領域に分割し、 その単位で符号化パラメ一夕を選択して符号化を 行う第 2の映像符号化方式に従う映像符号化データへの変換を行う映像 デ一夕変換装置であって、 前記第 1の映像符号化方式における所定部分 領域単位の符号化パラメ一夕である動きべク トルから、 前記第 2の映像 符号化方式における所定の部分領域の単位で用いる動きぺク トルの候補 を生成する動きベク トルマツビング部と、 前記生成された第 2の映像符 号化方式における動きべク トルの候補のうち、 該動きべク トル候補を用 いた場合の予測効率を評価する予測誤差評価値と、 該動きべク トル候補 を用いることによる動きべク トル符号量を評価する値とに基づいて、 第 2の映像符号化方式において使用する動きべク トルを決定する符号化パ ラメ一夕判定部とを備えることを特徴とする映像デ一夕変換装置。
2 . 前記動きベク トルマッピング部は、 前記第 2の映像符号化方式がと り うる動き予測の種類の分だけ動きべク トル候補を生成することを特徴 とする請求の範囲第 1項記載の映像データ変換装置。
3 . さらに、 前記第 1の映像符号化方式における所定部分領域単位の符 号化パラメ一夕である符号化モー ドに基づき、 前記第 2の映像符号化方 式における所定の部分領域の単位の符号化モー ドを推定する符号化モー ド推定部を備え、 前記符号化パラメ一夕判定部は、 符号化モー ドを決定 する際、 前記符号化モ一 ド推定部によって推定された符号化モー ドに基 26 づいて前記第 2の映像符号化方式における所定部分領域単位で用いるベ き符号化モー ドを強制的に決定するか、 あるいは前記予測誤差評価値と 前記動きべク トル符号量の評価値とに基づいて前記第 2の映像符号化方 式における所定の部分領域の単位で用いるべき符号化モー ドを決定する かを選択して、 第 2の映像符号化方式において使用すべき符号化モー ド を判定することを特徴とする請求の範囲第 1項記載の映像データ変換装
4 . さらに、 前記第 1の映像符号化方式によって符号化された映像デー 夕の空間解像度を、 水平および垂直方向に各半分の解像度に変換する空 間解像度変換部を備えることを特徴とする請求の範囲第 1項記載の映像 データ変換装置。
5 . さらに、 前記第 1の映像符号化方式によって符号化された映像デ一 夕の時間解像度を、 フレーム間動き予測に使用しないフレームを間引 く ことで実現する時間解像度変換部を備えることを特徴とする請求の範囲 第 1項記載の映像データ変換装置。
6 . さらに、 前記第 1の映像符号化方式によって符号化された映像デー 夕の時間解像度を、 フ レーム間動き予測に使用するフ レームを含めて間 引く ことで実現する時間解像度変換部を備え、 前記動きべク トルマツピ ング部は、 フレーム間動き予測に使用するフレームが間引かれる場合は 、 間引かれたフレームにおける動きベク トルを利用して、 第 2の映像符 号化方式で用いるべき動きべク トル候補を決定し、 前記符号化モード判 定手段は、 フ レーム間動き予測に使用するフレームが間引かれる場合は 、 間引かれたフ レームにおける符号化モー ドを利用して、 第 2の映像符 27 号化方式で用いるべき符号化モードを決定することを特徴とする請求の 範囲第 3項記載の映像データ変換装置。
7 . 前記第 1 の映像符号化方式は、 I S(V IEC 13818-2 に規定される MPEG- 2 映像符号化方式であり、 前記第 2の映像符号化方式は、 I S0/ IEC 14496-2 に規定される MPEG- 4 映像符号化方式であることを特徴とする 請求の範囲第 1項記載の記載の映像データ変換装置。
8 . 映像信号の各フレームを所定部分領域に分割し、 その単位で一部の 符号化パラメ一夕を選択して符号化を行う第 1の映像符号化方式に従う 映像符号化データを入力として、 映像信号の各フレームを所定部分領域 に分割し、 その単位で一部の符号化パラメ一夕を選択して符号化を行う 第 2の映像符号化方式に従う映像符号化データへの変換を行う際の映像 デ一夕変換方法であって、 前記第 1の映像符号化方式における所定部分 領域単位の符号化パラメ一夕である動きべク トルから、 前記第 2の映像 符号化方式における所定の部分領域の単位で用いる動きぺク トルの候補 を生成し、 生成した第 2の映像符号化方式における動きべク トルの候補 のうち、 該動きべク トル候補を用いた場合の予測効率を評価する予測誤 差評価値と、 該動きべク トル候補を用いることによる動きべク トル符号 量を評価する値とのうち少なく とも一方に基づいて、 第 2の映像符号化 方式において使用する動きべク トルを決定することを特徴とする映像デ 一夕変換方法。
PCT/JP2003/004529 2002-04-16 2003-04-09 Procede et dispositif de conversion de donnees video Ceased WO2003088676A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20047016448A KR100719647B1 (ko) 2002-04-16 2003-04-09 영상 데이터 변환 장치 및 영상 데이터 변환 방법
EP03746441A EP1475971A4 (en) 2002-04-16 2003-04-09 VIDEO DATA IMPLEMENTATION DEVICE AND VIDEO DATA IMPLEMENTING PROCESS
US10/501,897 US7526027B2 (en) 2002-04-16 2003-04-09 Video data converter and video data converting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002112860A JP4193406B2 (ja) 2002-04-16 2002-04-16 映像データ変換装置および映像データ変換方法
JP2002-112860 2002-04-16

Publications (1)

Publication Number Publication Date
WO2003088676A1 true WO2003088676A1 (fr) 2003-10-23

Family

ID=29243335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004529 Ceased WO2003088676A1 (fr) 2002-04-16 2003-04-09 Procede et dispositif de conversion de donnees video

Country Status (6)

Country Link
US (1) US7526027B2 (ja)
EP (1) EP1475971A4 (ja)
JP (1) JP4193406B2 (ja)
KR (1) KR100719647B1 (ja)
CN (1) CN100353769C (ja)
WO (1) WO2003088676A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281448A (zh) * 2005-07-22 2011-12-14 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US7483577B2 (en) * 2004-03-02 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. System and method for joint de-interlacing and down-sampling using adaptive frame and field filtering
US20050201469A1 (en) * 2004-03-11 2005-09-15 John Sievers Method and apparatus for improving the average image refresh rate in a compressed video bitstream
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
KR100681252B1 (ko) * 2004-10-02 2007-02-09 삼성전자주식회사 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더
JP5046335B2 (ja) * 2004-11-04 2012-10-10 トムソン ライセンシング ビデオ符号器におけるｂフレームの高速モード決定のための方法および装置
EP1662799A3 (en) * 2004-11-30 2012-05-30 Humax Co., Ltd. Video down-sampling transcoding method and device
EP1662800A1 (en) * 2004-11-30 2006-05-31 Humax Co., Ltd. Image down-sampling transcoding method and device
KR100718468B1 (ko) 2004-11-30 2007-05-16 주식회사 휴맥스 영상 축소 트랜스 코딩 방법 및 장치
US7933335B2 (en) 2004-11-30 2011-04-26 Panasonic Corporation Moving picture conversion apparatus
KR100718467B1 (ko) 2004-11-30 2007-05-16 주식회사 휴맥스 영상 축소 트랜스코딩 방법 및 장치
KR101147744B1 (ko) * 2005-02-22 2012-05-25 엘지전자 주식회사 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
JP4604805B2 (ja) * 2005-04-12 2011-01-05 Ｋｄｄｉ株式会社 ビデオ情報変換装置及びプログラム
JP4682102B2 (ja) * 2005-09-02 2011-05-11 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4600997B2 (ja) * 2005-11-08 2010-12-22 Ｋｄｄｉ株式会社 符号化方式変換装置
KR100801974B1 (ko) 2005-12-08 2008-02-12 한국전자통신연구원 저비용 움직임 추정 장치 및 움직임 추정 방법
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
JP2007228400A (ja) * 2006-02-24 2007-09-06 Mitsubishi Electric Corp 動画像変換装置
TW200743386A (en) * 2006-04-27 2007-11-16 Koninkl Philips Electronics Nv Method and apparatus for encoding/transcoding and decoding
EP2026585A4 (en) * 2006-05-24 2016-08-31 Panasonic Ip Man Co Ltd IMAGE ENCODING DEVICE AND METHOD, AND IMAGE ENCODING INTEGRATED CIRCUIT
TWI348651B (en) * 2006-06-09 2011-09-11 Via Tech Inc A system for reducing bandwidth requirements for transferring graphics data and its related method
JP4245026B2 (ja) 2006-09-20 2009-03-25 株式会社豊田中央研究所 被覆膜の除膜方法および被覆部材の再生方法
JP2008109637A (ja) * 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
JP4882948B2 (ja) * 2007-10-04 2012-02-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8098732B2 (en) * 2007-10-10 2012-01-17 Sony Corporation System for and method of transcoding video sequences from a first format to a second format
US8457958B2 (en) * 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
JP5378939B2 (ja) * 2009-10-02 2013-12-25 日立コンシューマエレクトロニクス株式会社 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
US20110142129A1 (en) * 2009-12-11 2011-06-16 General Instrument Corporation Mpeg video resolution reduction system
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
US8358698B2 (en) * 2010-01-08 2013-01-22 Research In Motion Limited Method and device for motion vector estimation in video transcoding using full-resolution residuals
US20110170608A1 (en) * 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US8340188B2 (en) * 2010-01-08 2012-12-25 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
US8681873B2 (en) * 2010-02-19 2014-03-25 Skype Data compression for video
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011126282A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
CN101964910B (zh) * 2010-08-20 2012-08-22 华中科技大学 基于码率型转码辅助的视频空间分辨率转换方法
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
US9749657B2 (en) 2011-01-21 2017-08-29 Sharp Kabushiki Kaisha Buffer compression for motion vector competition
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP6421426B2 (ja) 2014-03-26 2018-11-14 沖電気工業株式会社 符号化方式変換装置及びプログラム
JP6291971B2 (ja) * 2014-03-31 2018-03-14 富士通株式会社 符号化装置、符号化方法及び符号化プログラム
KR102647887B1 (ko) * 2014-10-31 2024-03-14 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
JP6574148B2 (ja) * 2016-07-13 2019-09-11 Kddi株式会社 トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体および符号化装置
JP6977422B2 (ja) 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US10764603B2 (en) 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding
EP4451668A3 (en) * 2019-04-24 2024-11-20 Nevermind Capital LLC Methods and apparatus for encoding, communicating and/or using images
US12167006B2 (en) 2019-07-09 2024-12-10 Alibaba Group Holding Limited Resolution-adaptive video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322176A (ja) * 1995-12-20 1997-12-12 Sanyo Electric Co Ltd 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法
JPH10191350A (ja) * 1996-12-13 1998-07-21 Sgs Thomson Microelectron Sa 運動量を推定するための方法およびデバイス
JPH10336672A (ja) * 1997-05-30 1998-12-18 Oki Electric Ind Co Ltd 符号化方式変換装置およびその動きベクトル検出方法
JP2000312363A (ja) * 1999-02-25 2000-11-07 Matsushita Electric Ind Co Ltd 動画像符号化方式の変換方法及びその装置
JP2001525638A (ja) * 1997-11-27 2001-12-11 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーディング
JP2002010267A (ja) * 2000-06-26 2002-01-11 Sony Corp 動きベクトル変換装置及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105299A (ja) 1992-09-22 1994-04-15 Casio Comput Co Ltd 動画像圧縮装置
ATE176747T1 (de) * 1993-03-26 1999-02-15 British Telecomm Transkoder
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
JPH07264597A (ja) 1994-03-18 1995-10-13 Nippon Telegr & Teleph Corp <Ntt> 動き補償方法
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
JP3778960B2 (ja) 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
JP3058028B2 (ja) 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
JPH09322173A (ja) 1996-05-27 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 動画像テロップ抽出方法及び装置
JP3150627B2 (ja) 1996-10-04 2001-03-26 日本電信電話株式会社 復号信号の再符号化方法
JPH11243551A (ja) 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
JP3855522B2 (ja) * 1999-02-23 2006-12-13 松下電器産業株式会社 動画変換装置
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
JP2001268579A (ja) 2000-03-23 2001-09-28 Sanyo Electric Co Ltd 動画像再符号化装置
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322176A (ja) * 1995-12-20 1997-12-12 Sanyo Electric Co Ltd 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法
JPH10191350A (ja) * 1996-12-13 1998-07-21 Sgs Thomson Microelectron Sa 運動量を推定するための方法およびデバイス
JPH10336672A (ja) * 1997-05-30 1998-12-18 Oki Electric Ind Co Ltd 符号化方式変換装置およびその動きベクトル検出方法
JP2001525638A (ja) * 1997-11-27 2001-12-11 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーディング
JP2000312363A (ja) * 1999-02-25 2000-11-07 Matsushita Electric Ind Co Ltd 動画像符号化方式の変換方法及びその装置
JP2002010267A (ja) * 2000-06-26 2002-01-11 Sony Corp 動きベクトル変換装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281448A (zh) * 2005-07-22 2011-12-14 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法

Also Published As

Publication number Publication date
JP4193406B2 (ja) 2008-12-10
EP1475971A1 (en) 2004-11-10
KR100719647B1 (ko) 2007-05-17
US20050041740A1 (en) 2005-02-24
US7526027B2 (en) 2009-04-28
KR20040105872A (ko) 2004-12-16
EP1475971A4 (en) 2010-03-03
CN1640149A (zh) 2005-07-13
CN100353769C (zh) 2007-12-05
JP2003309851A (ja) 2003-10-31

Similar Documents

Publication Publication Date Title
WO2003088676A1 (fr) Procede et dispositif de conversion de donnees video
CN100566426C (zh) 视频编码/解码的方法和设备
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
KR20110008653A (ko) 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
CN102415098A (zh) 图像处理设备和方法
KR100755107B1 (ko) 화상 부호 열 변환 장치 및 화상 부호 열 변환을 위한 방법 및 프로그램을 기록한 기록매체
JP2005203905A (ja) 画像符号化装置、画像符号化方法並びに画像符号化プログラム
JP3866624B2 (ja) 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
EP1628487A2 (en) Method and apparatus for estimating motion
JP5649296B2 (ja) 画像符号化装置
JP2002152752A (ja) 画像情報変換装置及び方法
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
JP2009284058A (ja) 動画像符号化装置
KR100899658B1 (ko) 고속 동작을 위한 ｍｐｅｇ２／ｈ．２６４ 디지털 비디오트랜스코딩 시스템 및 방법
JP4438749B2 (ja) 符号化装置、符号化方法およびプログラム
JP2005532716A (ja) 動画像符号化装置及び方法
JP2009206911A (ja) 動画像変換装置
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP2020102798A (ja) 動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラム
JP2007036725A (ja) 符号化装置
JP2007228400A (ja) 動画像変換装置
JP2005184495A (ja) 動画像符号化装置およびその方法
KR20070051294A (ko) 움직임 추정을 위한 방법 및 장치
KR20160087206A (ko) 영상 트랜스코더 및 트랜스코딩 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10501897

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003746441

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038055872

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020047016448

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003746441

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020047016448

Country of ref document: KR