WO2000005899A1 - Systeme de codage d'images - Google Patents

Systeme de codage d'images Download PDF

Info

Publication number
WO2000005899A1
WO2000005899A1 PCT/JP1998/003277 JP9803277W WO0005899A1 WO 2000005899 A1 WO2000005899 A1 WO 2000005899A1 JP 9803277 W JP9803277 W JP 9803277W WO 0005899 A1 WO0005899 A1 WO 0005899A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
reduced
motion information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP1998/003277
Other languages
English (en)
French (fr)
Inventor
Masahiro Kazayama
Tadashi Kasezawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP1998/003277 priority Critical patent/WO2000005899A1/ja
Priority to US09/463,596 priority patent/US6574370B1/en
Priority to KR10-2000-7003002A priority patent/KR100431013B1/ko
Priority to EP98933892A priority patent/EP1018841A4/en
Priority to TW087112229A priority patent/TW376665B/zh
Publication of WO2000005899A1 publication Critical patent/WO2000005899A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Definitions

  • the present invention relates to an image coding system using motion compensated prediction represented by MPEG2 and the like. Background art
  • FIG. 11 is a block diagram showing, for example, a configuration of an image encoder using motion compensated prediction performed in M PEG 2 and the like.
  • reference numeral 300 denotes an image encoder
  • reference numeral 310 denotes an input terminal
  • reference numeral 300 denotes a subtractor
  • reference numeral 303 denotes an orthogonal transformer (DCT)
  • reference numeral 304 denotes a quantizer
  • 306 is a variable length coder
  • 307 is a variable length coded data.
  • 308 is an inverse quantizer
  • 309 is an inverse orthogonal transformer (IDCT)
  • 310 is an adder
  • 311 is a frame memory
  • 312 is a motion-compensated predicted image data ( Reference image).
  • 3 20 is a motion detection unit
  • 3 2 1 is a motion vector value
  • 3 2 2 is a motion compensation prediction unit.
  • FIG. 12 is a diagram showing a motion detection range in the above-described conventional image encoder.
  • the image encoder 300 basically processes one frame of image data in macroblock units.
  • a reference image 3 1 2 is input from the input terminal 301 from a macroblock image of 16 pixels ⁇ 16 lines from the input terminal 301 and subjected to motion compensation prediction in the subtractor 302.
  • orthogonal transform is performed by an orthogonal transformer (DCT) 303, and the result is quantized by a quantizer 304 to obtain quantized data 3 Get 0 5.
  • DCT orthogonal transformer
  • variable-length encoder 306 performs variable-length encoding of the quantized data 305, and sends out variable-length encoded data 307.
  • the quantized data 305 is inversely quantized by an inverse quantizer 308, and an inverse orthogonal transform (IDCT) 309 performs an inverse orthogonal transform.
  • IDCT inverse orthogonal transform
  • the adder 310 adds the reference image 312 for which motion compensation prediction has been performed, and stores the result in the frame memory 311.
  • the motion detection section 320 detects the motion from the data from the frame memory 311 and the macroblock data from the input terminal 301 to obtain the motion vector 3221. Further, the motion compensation prediction section 3 2 2 performs motion compensation prediction based on the motion vector 3 2 1.
  • FIG. 12 is a diagram showing a search range of a conventional image encoder.
  • reference numeral 330 denotes a searched range
  • reference numeral 331 denotes a motion vector finally obtained.
  • the amount of calculation in the motion detection unit 320 is very large. In order to support images with large movements, it is necessary to widen the search range for motion, and if the search range is widened, the amount of computation increases according to the size of the search range.
  • An image encoding system includes: a global motion detection unit configured to detect a motion of the entire screen between a reduced image of a current frame and a reduced image of a reference frame and output global motion information; It is provided with an image encoding unit that performs motion detection in a narrow search range around the global motion information and performs an image encoding process using motion compensation prediction.
  • the global motion detection unit may include a first image reduction unit that reduces an image of a current frame, and a second image reduction unit that reduces an image of a reference frame.
  • the first and second image reduction units perform sub-sampling after filtering an image of horizontal a pixels and vertical b lines (a and b are integers). The image is reduced by creating data of one pixel.
  • the motion detection unit may be configured to:
  • the global motion detection unit performs global motion detection, detects partial motion of the screen between the reduced image of the current frame and the reduced image of the reference frame, and outputs local motion information.
  • the global motion detection unit further selects the most suitable motion information in the current macroblock from the detected global motion information and local motion information, and selects the image code as macroblock motion information. It has a macro-lock motion determining unit that outputs to the conversion unit.
  • the global motion detection unit may include an image reduction unit configured to reduce an input image, and a reduced image frame memory configured to store at least two frames of the reduced image.
  • a motion detection unit that performs global motion detection.
  • the image reduction unit performs sub-sampling after filtering an image of horizontal a pixels and vertical b lines (a and b are integers), and performs one-pixel data. Is performed to reduce the image.
  • the motion detection unit performs the global motion detection, and further includes a screen portion between the reduced image of the current frame and the reduced image of the reference frame.
  • the global motion detection unit further detects a global motion and outputs local motion information, and further detects the most suitable motion in the current macro block based on the detected global motion information and local motion information.
  • FIG. 1 is a block diagram showing an overall configuration of an image encoding system according to Embodiment 1 of the present invention
  • FIG. 2 is a block diagram illustrating a configuration of a global motion detection unit of the image encoding system according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating a motion detection range of the image encoding system according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating a configuration of a global motion detecting unit of the image encoding system according to the second embodiment of the present invention.
  • FIG. 5 is a diagram showing an image image before image reduction in an image encoding system according to Embodiment 3 of the present invention.
  • FIG. 6 is a diagram showing an image image after image reduction in the image encoding system according to Embodiment 3 of the present invention.
  • FIG. 7 is a block diagram showing a configuration of a global motion detection unit of an image coding system according to Embodiment 4 of the present invention.
  • FIG. 8 is a block diagram illustrating a configuration of a motion detection unit in a global motion detection unit of an image encoding system according to Embodiment 4 of the present invention.
  • FIG. 9 is a diagram showing an example of screen division in local motion detection in a motion detection unit in a global motion detection unit of an image encoding system according to Embodiment 4 of the present invention.
  • FIG. 10 is a diagram showing Embodiment 5 of the present invention. A block diagram showing a configuration of a global motion detection unit of the image encoding system;
  • FIG. 11 is a block diagram showing the configuration of a conventional image encoder.
  • FIG. 12 is a diagram showing a motion detection range of a conventional image encoder. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram illustrating an overall configuration of an image encoding system according to Embodiment 1 of the present invention.
  • 100 is a global motion detector
  • 300 is a conventional motion detector shown in FIG.
  • This is an image encoding unit having the same configuration as the image encoder.
  • a global motion is obtained by a global motion detecting unit 100, and an encoding process is performed by an image encoding unit 300.
  • FIG. 2 is a block diagram illustrating a configuration of the global motion detection unit of the image encoding system according to Embodiment 1 of the present invention.
  • 101 is an image of the current frame
  • 102 is an image reduction unit
  • 103 is a reduced image of the current frame
  • 104 is a reference obtained using, for example, a frame memory (not shown).
  • Frame image data is an image reduction unit
  • 106 is a reduced image of a reference frame.
  • Reference numeral 107 denotes a motion detection unit, and 1 ⁇ 8 denotes global motion information.
  • the image data 101 of the current frame is input to one image reduction unit 102 to obtain a reduced image 103 of the current frame.
  • the image data 104 of the reference frame is put into the other image reduction unit 105 to obtain a reduced image 106 of the reference frame.
  • the motion detecting unit 107 obtains global motion information 108 from the reduced image 103 of the current frame and the reduced image 106 of the reference frame.
  • the global motion information 108 is a vector having the smallest evaluation value, such as the sum of absolute differences between the current frame and the reference frame, as in the related art.
  • FIG. 3 is a diagram showing a search range in the image encoding unit 300 when the vector obtained by the global motion detection unit 100 is used.
  • reference numeral 109 denotes a motion vector finally obtained by the global motion detection unit 100
  • 110 denotes a range searched by the image encoding unit 300
  • 331 denotes an image encoding unit. This is the motion vector finally obtained in 300. That is, the motion vector 331 finally obtained by the image encoding unit 300 is the same as the conventional one shown in FIG. Note that 3 Reference numeral 30 denotes a search range of the conventional image encoder 300.
  • the global motion detection unit 100 detects the motion of the entire screen.
  • FIG. 4 is a block diagram illustrating a configuration of a global motion detection unit of the image encoding system according to Embodiment 2 of the present invention. Note that the image encoding unit is the same as that in the first embodiment.
  • 1 2 1 is the input image data
  • 1 2 2 is the image reduction section
  • 1 2 3 is the reduced image data
  • 1 2 4 1 2 5 and 1 2 6 are the reduced image frame memories
  • 128 is a motion detector
  • 129 is global motion information.
  • Fig. 4 shows the case where three frame memories for reduced images are prepared.
  • input image data 1 2 1 is input to an image reduction section 1 2 2 to obtain a reduced image data 1 2 3.
  • the reduced image data 123 is input to the reduced image frame memories 124 to 126.
  • the reduced image frame memories 124 to 126 have a capacity of three frames here, for example, one frame for the current frame, one frame for the reference frame for forward prediction, and the reference for backward prediction. One frame shall be used for the frame.
  • the selector 127 selects the image data of the current frame and the two frames of the image data of the reference frame from these three frames, and the motion detection unit 128 from the images of these two frames Find 1 2 9
  • the global motion detection unit 100A prior to the image encoding unit 300, detects the motion of the entire screen, and the detection result is used as the motion in the image encoding unit 300.
  • Embodiment 3 In the above embodiments, the method of reducing an image has not been described. In Embodiment 3, an example of a method of reducing an image will be described. If the size of the image is too large, the effect on the reduction in the amount of computation is diminished. On the other hand, if it is too small, the correct motion vector may not always be obtained.
  • Figure 5 shows the image before reduction, with horizontal H macroblocks and vertical
  • HXV macroblocks HXV macroblocks
  • Fig. 6 shows the image after reduction, and shows an image (H x V pixels) consisting of horizontal H pixels and vertical V lines.
  • one frame corresponds to one pixel.
  • the reduction ratio may be further increased, or conversely, the reduction ratio may be reduced.
  • the image may differ considerably between the first field and the second field in macroblock units. In such a case, rather than creating a reduced image using the images of the first and second fields, a reduced image is created using only one of the first and second fields. This makes accurate motion detection possible.
  • the average value of 16 pixels ⁇ 8 lines of the first field or 16 pixels ⁇ 8 lines of the second field is set as the value of one pixel of the reduced image.
  • the reduction ratio may be further increased, or the reduction ratio may be decreased. Also, it is not always necessary to reduce at the same reduction rate in the horizontal and vertical directions. If a reduced image is created using the method described above, the entire motion can be detected with a small amount of computation. In addition, by creating a reduced image using an image of only the first field or the second field, accurate motion detection can be performed even for an image having a large motion.
  • Example 4 In the above embodiment, only the global motion information is obtained by the global motion detecting unit. In the fourth embodiment, an example in which the oral motion information is also obtained will be described.
  • FIG. 7 is a block diagram illustrating a configuration of a global motion detection unit of an image coding system according to Embodiment 4 of the present invention.
  • the image encoding unit is the same as that in the first embodiment.
  • 100 B is a global motion detecting unit
  • 101 is an image of the current frame
  • 110 is an image reducing unit
  • 103 is a reduced image of the current frame
  • 104 is a reduced image of the current frame.
  • 105 is an image reduction unit
  • 106 is a reduced image of the reference frame.
  • reference numeral 140 denotes a motion detection unit, 141 global motion information and oral motion information, 142 a macroblock motion decision unit (MB motion decision unit), and 144 Is macroblock motion information, 144 is a full image frame memory, 144 is a macroblock data cutout section (MB data cutout section), and 144 is a macroblock data cutout section.
  • the image data 101 of the current frame is put into an image reduction unit 102 to obtain a reduced image 103 of the current frame.
  • the data 104 of the reference frame is put into the image reducing unit 105 to obtain a reduced image 106 of the reference frame.
  • the motion detection unit 140 uses the reduced image 103 of the current frame and the reduced image 106 of the reference frame to obtain global motion information of the entire screen and partial local motion of the screen.
  • Ask for information 1 4 1 in the macroblock motion determination unit 144
  • the current The most appropriate motion information is selected in the black block, and the motion information is notified to the motion detection unit 320 of the image encoding unit 300 as macroblock motion information 144.
  • the global motion detecting unit 100B performs the processing.
  • the macro block motion information 1 4 3 and the synchronized macro block data 1 4 6 are sent together. That is, in FIG. 7, the image data 101 of the current frame is input to the full image frame memory 144.
  • FIG. 8 is a block diagram showing a configuration of the motion detection unit 140 for obtaining global motion information and local motion information.
  • reference numeral 140 denotes a motion detector
  • 1401 denotes a global motion calculator
  • 1402 denotes global motion information
  • 1403 denotes a mouth motion calculator
  • 144 denotes a motion calculator. It is information about the movement of the mouth.
  • the global motion calculation unit 1401 obtains the motion of the entire reduced image based on the reduced image data 103 of the current frame image and the reduced image data 106 of the reference frame image, and obtains global motion information 1 Output as 402.
  • the oral motion calculation unit 1403 calculates the motion of a part of the reduced image based on the reduced image data 103 of the current frame image and the reduced image data 106 of the reference frame image. Output as local motion information 144.
  • the oral movement calculation section 1443 is required for the number of screen divisions.
  • the motion information such as global motion information and local motion information referred to here is a set of evaluation values and motion vector values such as the sum of absolute differences between two frames, whichever is smaller. Means at least one set of information from.
  • Figure 9 shows an example of screen division for a reduced image with horizontal H pixels and vertical V lines (H and V are integers), which is divided into m in the horizontal direction and n in the vertical direction (m and n are integers). .
  • mxn local motion calculation sections 1443 are required. Note that it is not necessary to divide the area into the same area, and when it is not necessary to obtain a motion for a specific part, it is not necessary to perform a simple motion detection for that part. As described above, by providing the local motion calculation unit 1403 in the motion detection unit 140, it is possible to detect a motion that also follows a local motion of an image, such as the movement of a car. .
  • Embodiment 5 An image encoding system according to Embodiment 5 of the present invention will be described with reference to the drawings. FIG.
  • FIG. 10 shows a global configuration of an image encoding system according to Embodiment 5 of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a motion detection unit. Note that the image encoding unit is the same as in the first embodiment.
  • 1 2 1 is the input image data
  • 1 2 2 is the image reduction unit
  • 1 2 3 is the reduced image data
  • 1 2 4, 1 2 5 and 1 2 6 are the reduced image frame memories
  • 127 are selectors.
  • 150 is a motion detecting section
  • 151 is global motion information and oral motion information
  • 152 is a macroblock motion determining section (MB motion determining section)
  • Reference numeral 53 denotes macro block motion information
  • reference numeral 15 4 denotes a full image frame memory
  • reference numeral 15 5 denotes a macro block data overnight cutout section (MB data overnight cut out section)
  • reference numeral 15 6 denotes a macro block data overnight section.
  • the motion detector 150 to macroblock decoder 156 is the same as the motion detector 140 to macroblock decoder 146 of the fourth embodiment.
  • FIG. 10 shows a case where three frame memories for reduced images are prepared.
  • the input image data 121 is input to the image reduction unit 122 to obtain a reduced image 123.
  • This reduced image 123 is input to the reduced image frame memory, and the reduced image frame memories 124 to 126 have a capacity of three frames here, for example, one frame for the current frame and one frame for the previous frame.
  • One frame is used for the reference frame for direction prediction, and one frame is used for the reference frame for backward prediction.
  • the selector 127 selects the two frames of the image of the current frame and the image of the reference frame from these. From these images, the motion detection section 150 obtains global motion information of the entire screen and local motion information 151 of the screen.
  • the macroblock motion determining unit 152 selects the most suitable motion information in the current macroblock from the obtained global motion information and oral motion information 151, and The motion information is notified to the motion detection unit 320 in the image encoding unit 300 as motion information 153.
  • the global motion detecting unit 100C performs the processing. And send the encoded data synchronized with the motion information together. That is, in FIG. 10, the input image data 121 is input to the full image frame memory 154.
  • the macroblock de-sampling section 15 5 starts decoding the data of the specific macroblock corresponding to the macroblock motion information 15 3 from the data stored in the full image frame memory 15 4. Is cut out and sent to the input terminal 301 in the image encoding unit 300 as macroblock data 156.
  • the mouth motion calculating unit in the motion detecting unit 150 it is possible to detect a motion that also follows a local motion of an image, such as a movement of a car.
  • by synchronizing the macroblock motion information 153 with the macroblock data 156 and sending it to the image encoding unit 300 when the image encoding unit 300 becomes one chip, etc. Also, effective motion compensation prediction is performed without changing the image encoding unit 300. Further, compared to the fourth embodiment, there is no need to have a plurality of image reduction units, and the amount of calculation can be reduced. Industrial applicability
  • the image encoding system reduces the compression of the current frame.
  • a global motion detection unit that detects the motion of the entire screen between the small image and the reduced image of the reference frame and outputs global motion information; and a narrow peripheral area based on the global motion information.
  • An image encoding unit that performs motion detection in the search range and performs an image encoding process using motion compensated prediction is provided, so that it is possible to reduce the amount of calculation in the motion estimation of the image encoding unit.
  • the global motion detecting unit reduces the image of the current frame and the first image reducing unit, and reduces the image of the reference frame.
  • a second image reduction unit and a motion detection unit that performs global motion detection between the reduced image of the current frame and the reduced image of the reference frame.
  • the effect is that it can be reduced.
  • the first and second image reduction units filter an image of a horizontal a pixel and a vertical b line (a and b are integers). Sub-sampling is performed to reduce the image by creating 1-pixel data.For example, by reducing an image of about 1 macroblock to 1 pixel, the amount of calculation in the global motion detection unit should also increase significantly. The effect is that an appropriate movement can be requested.
  • the motion detection unit performs the global motion detection, and performs the global motion detection on the reduced image of the current frame and the reduced image of the reference frame. Detecting a partial motion of the screen between the two and outputting low-level motion information, the global motion detection unit further detects the current macro based on the detected global motion information and verbal motion information. Since there is a macroblock motion determining unit that selects the most suitable motion information in the block and outputs it as macroblock motion information to the image encoding unit, it is necessary to obtain the optimal motion even for local motion of the image. This has the effect that it can be performed.
  • the global motion detection unit stores an image reduction unit that reduces an input image, and at least two or more frames of the reduced image.
  • a reduced image frame memory a selector for extracting the reduced image of the current frame and the reduced image of the reference frame from the reduced images stored in the reduced image frame memory; and a selector for extracting the reduced image of the current frame and the reference frame. Since it has a motion detection unit that performs global motion detection with a reduced image, it is not necessary to have a plurality of image reduction units, and it is possible to reduce the amount of calculation. .
  • the image reduction unit performs sub-sampling after filtering an image of horizontal a pixels and vertical b lines (a and b are integers), Since the image is reduced by creating a one-pixel image, for example, by reducing an image of about one macroblock to one pixel, the amount of calculation in the global motion detection unit also increases significantly. This has the effect of being able to seek appropriate movements without having to do so. Furthermore, in the image encoding system according to the present invention, as described above, the motion detection unit performs the global motion detection, and performs the global motion detection on the reduced image of the current frame and the reduced image of the reference frame.
  • the global motion detecting unit further detects the current macroblock from the detected global motion information and local motion information.
  • a macroblock motion determining unit that selects the most suitable motion information in the above and outputs it to the image encoding unit as macroblock motion information, so that it is possible to obtain the optimal motion even for the local motion of the image. It has the effect of being able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 画像符号化システム 技術分野
この発明は、 M P E G 2等に代表される動き補償予測を用いた画像符号化シス テムに関するものである。 背景技術
従来の画像符号化技術について図面を参照しながら説明する。 図 1 1は、 例え ば、 M P E G 2等で行なわれている動き補償予測を用いた画像符号化器の構成を 示すブロック図である。 図 1 1において、 3 0 0は画像符号化器、 3 0 1は入力端子、 3 0 2は減算器 、 3 0 3は直交変換器 （D C T )、 3 0 4は量子化器、 3 0 5は量子化デ一夕、 3 0 6は可変長符号化器、 3 0 7は可変長符号化デ一夕である。 また、 3 0 8は 逆量子化器、 3 0 9は逆直交変換器 （ I D C T ) 、 3 1 0は加算器、 3 1 1はフ レームメモリ、 3 1 2は動き補償予測画像デ一夕 （参照画像） である。 さらに、 3 2 0は動き検出部、 3 2 1は動きベクトル値、 3 2 2は動き補償予測部である
次に、 上記の画像符号化器の動作について図面を参照しながら説明する。 図 1 2は、 上記の従来の画像符号化器における動き検出範囲を示す図である。 画像符号化器 3 0 0は、 基本的には、 1フレームの画像デ一夕をマクロブロッ ク単位に処理する。 図 1 1において、 入力端子 3 0 1から 1 6画素 X 1 6ライン の 1マクロブロックの画像デ一夕を入力し、 減算器 3 0 2において、 動き補償予 測を行った参照画像 3 1 2との差分をとる。 つづいて、 直交変換器 （D C T ) 3 0 3で直交変換を行い、 その結果を量子化器 3 0 4で量子化し、 量子化データ 3 0 5を得る。 つづいて、 可変長符号化器 3 0 6では量子化デ一夕 3 0 5の可変長 符号化を行い、 可変長符号化データ 3 0 7を送出する。 また、 量子化デ一夕 3 0 5は逆量子化器 3 0 8で逆量子化され、 逆直交変換器 ( I D C T ) 3 0 9で逆直交変換が行われる。 つづいて、 加算器 3 1 0において 、 動き補償予測を行った参照画像 3 1 2と加算され、 フレームメモリ 3 1 1に蓄 えられる。 動き検出部 3 2 0では、 フレームメモリ 3 1 1からのデータと、 入力端子 3 0 1からのマクロブロックデ一夕から、 動き検出を行い、 動きベクトル 3 2 1を求 める。 また、 動き補償予測部 3 2 2は、 動きベクトル 3 2 1に基づき動き補償予 測を行う。 さらに、 動きベクトル 3 2 1は、 可変長符号化器 3 0 6に送られ、 可 変長符号化が行われ、 可変長符号化デ一夕 3 0 7として送出される。 図 1 2は、 従来の画像符号化器の探索範囲を示した図である。 同図において、 3 3 0は探索した範囲、 3 3 1は最終的に求まった動きべクトルを示したもので ある。 従来の画像符号化器は、 動き検出部 3 2 0における演算量が非常に大きい。 動 きの大きい画像に対応するためには、 動きの探索範囲を広くとる必要があり、 探 索範囲を広くとると、 演算量は探索範囲のサイズに応じて増大する。 最近では、 現行の S D T V画像に比べて、 高解像度な H D T V画像の符号化等も盛んに行な われるようになってきたが、 解像度が高い分、 探索範囲を広くする必要がある。 これらの符号化処理を 1チップに収めようとすると、 動き検出部 3 2 0におけ る演算量を減らすことが求められることになる。 したがって、 動きの探索範囲を 広くとろうとすると、 画素を間引くなど、 演算精度を落とす必要があり、 必ずし も正確な動きを検出できるというわけではなかった。 また、 カメラのパン等の画像については、 どのマクロブロックにおいても、 ほ とんど同じ動き検出結果が得られ、 カメラの動きの近辺のみを探索すれば十分で あるが、 実際には探索範囲内を全て探索しており、 無駄な演算を行う必要がある という問題点があった。 この発明は、 前述した問題点を解決するためになされたもので、 動き検出にお ける演算量を削減することができる画像符号化システムを得ることを目的とする
発明の開示
この発明に係る画像符号化システムは、 現フレームの縮小画像と参照フレーム の縮小画像との間で画面全体の動きを検出しグロ一バルな動き情報を出力するグ ローバル動き検出部と、 前記グロ一バルな動き情報に基づきその周辺の狭い探索 範囲で動き検出を行い、 動き補償予測を用いた画像の符号化処理を行う画像符号 化部とを備えたものである。 また、 この発明に係る画像符号化システムは、 前記グローバル動き検出部が、 現フレームの画像を縮小化する第 1の画像縮小部と、 参照フレームの画像を縮小 化する第 2の画像縮小部と、 前記現フレームの縮小画像と前記参照フレームの縮 小画像との間でグロ一バルな動き検出を行う動き検出部とを有するものである。 また、 この発明に係る画像符号化システムは、 前記第 1及び第 2の画像縮小部 が、 水平 a画素、 垂直 bライン （a、 bは整数） の画像をフィル夕リングした後 サブサンプリングを行い、 1画素のデータを作成することにより画像縮小化を行 うものである。 さらに、 この発明に係る画像符号化システムは、 前記動き検出部が、 前記グロ
—バルな動き検出を行うとともに、 前記現フレームの縮小画像と前記参照フレー ムの縮小画像との間で画面の部分的な動きを検出しローカルな動き情報を出力し 、 前記グロ一バル動き検出部は、 さらに、 前記検出されたグローバルな動き情報 及びローカルな動き情報から、 現在のマクロプロックにおいて一番ふさわしい動 き情報を選択してマクロブロック動き情報として前記画像符号化部へ出力するマ クロプロック動き決定部を有するものである。
また、 この発明に係る画像符号化システムは、 前記グロ一バル動き検出部が、 入力画像を縮小化する画像縮小部と、 前記縮小化された画像を少なくとも 2フレ —ム以上蓄える縮小画像フレームメモリと、 前記縮小画像フレームメモリに蓄え られた縮小画像のうち、 現フレームの縮小画像と参照フレームの縮小画像を取り 出すセレクタと、 前記現フレームの縮小画像と前記参照フレームの縮小画像との 間でグローバルな動き検出を行う動き検出部とを有するものである。 また、 この発明に係る画像符号化システムは、 前記画像縮小部が、 水平 a画素 、 垂直 bライン （a、 bは整数） の画像をフィル夕リングした後サブサンプリン グを行い、 1画素のデータを作成することにより画像縮小化を行うものである。 さらに、 この発明に係る画像符号化システムは、 前記動き検出部が、 前記グロ —バルな動き検出を行うとともに、 前記現フレームの縮小画像と前記参照フレー ムの縮小画像との間で画面の部分的な動きを検出し口一カルな動き情報を出力し 、 前記グローバル動き検出部は、 さらに、 前記検出されたグローバルな動き情報 及びローカルな動き情報から、 現在のマクロプロックにおいて一番ふさわしい動 き情報を選択してマクロブロック動き情報として前記画像符号化部へ出力するマ クロブロック動き決定部を有するものである。 図面の簡単な説明
図 1はこの発明の実施例 1に係る画像符号化システムの全体構成を示すプロッ ク図、
図 2はこの発明の実施例 1に係る画像符号化システムのグローバル動き検出部 の構成を示すプロック図、 図 3はこの発明の実施例 1に係る画像符号化システムの動き検出範囲を示す図 図 4はこの発明の実施例 2に係る画像符号化システムのグロ一バル動き検出部 の構成を示すブロック図、
図 5はこの発明の実施例 3に係る画像符号化システムにおける画像縮小前の画 像イメージを示す図、
図 6はこの発明の実施例 3に係る画像符号化システムにおける画像縮小後の画 像イメージを示す図、
図 7はこの発明の実施例 4に係る画像符号化システムのグローバル動き検出部 の構成を示すブロック図、
図 8はこの発明の実施例 4に係る画像符号化システムのグロ一バル動き検出部 中の動き検出部の構成を示すブロック図、
図 9はこの発明の実施例 4に係る画像符号化システムのグローバル動き検出部 中の動き検出部におけるローカル動き検出における画面分割例を示した図、 図 1 0はこの発明の実施例 5に係る画像符号化システムのグロ一バル動き検出 部の構成を示すブロック図、
図 1 1は従来の画像符号化器の構成を示すブロック図、
図 1 2は従来の画像符号化器の動き検出範囲を示す図である。 発明を実施するための最良の形態
以下、 この発明の各実施例について図面に基づき説明する。 実施例 1 . この発明の実施例 1に係る画像符号化システムについて図面を参照しながら説 明する。 図 1は、 この発明の実施例 1に係る画像符号化システムの全体構成を示 すブロック図である。 なお、 各図中、 同一符号は同一又は相当部分を示す。 図 1において、 1 0 0はグロ一バル動き検出部、 3 0 0は図 1 1に示す従来の 画像符号化器と同一構成の画像符号化部である。 グロ一バル動き検出部 1 0 0でグローバルな動きを求め、 画像符号化部 3 0 0 で符号化処理を行う。 なお、 画像符号化部 3 0 0の処理については、 ほとんど従 来と同様の処理を行っている。 図 2は、 この発明の実施例 1に係る画像符号化システムのグロ一バル動き検出 部の構成を示すブロック図である。 図 2において、 1 0 1は現フレームの画像デ一夕、 1 0 2は画像縮小部、 1 0 3は現フレームの縮小画像、 1 0 4は例えば図示しないフレームメモリを使用し て得た参照フレームの画像データ、 1 0 5は画像縮小部、 1 0 6は参照フレーム の縮小画像である。 また、 1 0 7は動き検出部、 1◦ 8はグロ一バルな動き情報 である。 同図において、 現フレームの画像デ一夕 1 0 1を一方の画像縮小部 1 0 2に入 れ、 現フレームの縮小画像 1 0 3を得る。 同様に、 参照フレームの画像デ一夕 1 0 4を他方の画像縮小部 1 0 5に入れ、 参照フレームの縮小画像 1 0 6を得る。 そして、 動き検出部 1 0 7では、 現フレームの縮小画像 1 0 3及び参照フレーム の縮小画像 1 0 6より、 グローバルな動き情報 1 0 8を求める。 このグローバル な動き情報 1 0 8は、 従来と同様に、 現フレームと参照フレームにおける、 差分 絶対値和などといった、 評価値の一番小さいもののべクトルである。 図 3は、 グローバル動き検出部 1 0 0で求まったベクトルを使用した場合の画 像符号化部 3 0◦における探索範囲を示した図である。 同図において、 1 0 9が グロ一バル動き検出部 1 0 0において最終的に求まった動きベクトル、 1 1 0は 画像符号化部 3 0 0において探索した範囲、 3 3 1は画像符号化部 3 0 0で最終 的に求まった動きベクトルである。 すなわち、 画像符号化部 3 0 0で最終的に求 まった動きベクトル 3 3 1は、 図 1 2に示す従来のものと同じである。 なお、 3 3 0は従来の画像符号化器 3 0 0の探索範囲である。 以上のように、 画像符号化部 3 0 0の符号化に先立ち、 グローバル動き検出部 1 0 0において画面全体の動きを検出する。 そして、 検出結果 （動きベクトル 1 0 9 ) を画像符号化部 3 0 0中の動き検出部 3 2 0において使用するため、 画像 符号化部 3 0 0の動き検出部 3 2 0は、 動きべクトル 1 0 9の周辺である狭い探 索範囲 1 1 0を探索するだけよく、 動き検出における演算量を低減することがで きる。 実施例 2 . 上記の実施例 1では、 現フレームの画像と、 参照フレームの画像を同時に入力 する場合について説明したが、 この実施例 2では、 複数フレーム分のメモリをも ち、 現フレーム画像と、 参照フレーム画像を任意に設定できるようにした場合に ついて説明する。 この発明の実施例 2に係る画像符号化システムについて図面を参照しながら説 明する。 図 4は、 この発明の実施例 2に係る画像符号化システムのグロ一バル動 き検出部の構成を示すブロック図である。 なお、 画像符号化部は、 上記の実施例 1と同様である。 図 4において、 1 2 1は入力画像デ一夕、 1 2 2は画像縮小部、 1 2 3は縮小 画像データ、 1 2 4， 1 2 5及び 1 2 6は縮小画像フレームメモリ、 1 2 7はセ レク夕、 1 2 8は動き検出部、 1 2 9はグロ一バルな動き情報である。 図 4は、 縮小画像のフレームメモリを 3枚用意した場合について示したもので ある。 同図において、 入力画像データ 1 2 1を画像縮小部 1 2 2に入力し、 縮小 画像デ一夕 1 2 3を得る。 この縮小画像デ一夕 1 2 3は、 縮小画像フレームメモ リ 1 2 4 ~ 1 2 6に入力される。 縮小画像フレームメモリ 1 2 4〜1 2 6は、 ここでは 3フレーム分の容量をも ち、 例えば、 現フレーム用として 1フレーム、 前方向予測用参照フレーム用とし て 1フレーム、 後方向予測用参照フレーム用として 1フレーム使用するものとす る。 セレクタ 1 2 7は、 これら 3フレームの中から、 現フレームの画像デ一夕と、 参照フレームの画像データの 2フレームを選択し、 これら 2フレームの画像から 動き検出部 1 2 8は、 動き情報 1 2 9を求める。 上記の実施例 1と同様に、 画像符号化部 3 0 0に先立ち、 グロ一バル動き検出 部 1 0 O Aにおいて画面全体の動きを検出し、 検出結果を画像符号化部 3 0 0中 の動き検出部 3 2 0において使用するため、 画像符号化部 3 0 0の動き検出部 3 2 0における演算量を低減することができる。 また、 実施例 1に比べ、 画像縮小 部を複数持つ必要がなく、 演算量も削減できる。 実施例 3 . 以上の実施例では、 画像の縮小方法に関しては述べなかったが、 この実施例 3 では、 画像の縮小方法の例について説明する。 画像のサイズは、 あまり大きくす ると、 演算量の削減に対しては効果が薄くなる。 一方、 あまり小さくすると、 正 しい動きべクトルが求まるとは限らない。 この発明の実施例 3に係る画像符号化システムについて図面を参照しながら説 明する。 図 5は、 縮小前の画像イメージを示したもので、 水平 Hマクロブロック、 垂直
Vマクロブロックからなる画像 （H X Vマクロブロック） を示したものである （
H、 Vは整数） 。 図中、 1つの枠が 1マクロブロック （ 1 6画素 X 1 6ライン） に相当する。 この画像を縮小する際、 例えば 1マクロブロック = 1 6画素 X 1 6 ラインの 2 5 6画素の平均値を求め、 この平均値を縮小画像の 1画素の値とする
図 6は、 縮小後の画像イメージを示したもので、 水平 H画素、 垂直 Vラインか らなる画像 （H x V画素） を示したものである。 図中、 1つの枠が 1画素に相当 する。 以上、 1マクロブロックを 1画素に縮小する場合について述べたが、 もっと縮 小率を大きくしてもよいし、 逆に縮小率を小さくしてもよい。 また、 必ずしも水 平方向と垂直方向に対して、 同じ縮小率で縮小する必要もない。 また、 イン夕レース画像の場合、 動きの大きな画像においては、 マクロブロッ ク単位でみると第 1フィールドと第 2フィ一ルドにおいて、 画像はかなり異なる 場合がある。 このような場合においては、 第 1フィールド及び第 2フィールドの 画像を用いて縮小画像を作成するよりは、 第 1フィールドあるいは、 第 2フィー ルドのいずれか一方の画像だけを用いて縮小画像を作成したほうが、 正確な動き 検出が可能となる。 例えば、 第 1フィールドの 1 6画素 X 8ラインあるいは、 第 2フィールドの 1 6画素 X 8ラインの平均値を縮小画像の 1画素の値とする。 以 上、 1マクロブロックを 1画素に縮小する場合について述べたが、 もっと縮小率 を大きくしてもよいし、 逆に縮小率を小さくしてもよい。 また、 必ずしも水平方 向と垂直方向に対して、 同じ縮小率で縮小する必要もない。 上記のような方法で、 縮小画像を作成すれば、 それほど多くない演算量で、 全 体の動きを検出できる。 また、 第 1フィールドまたは第 2フィールドのみの画像 を用いて縮小画像を作成することにより、 動きの大きな画像においても、 正確な 動き検出が可能である。 実施例 4 . 以上の実施例では、 グローバル動き検出部でグロ一バルな動き情報だけを求め ていたが、 この実施例 4では、 口一カルな動き情報も求める例について説明する
この発明の実施例 4に係る画像符号化システムについて図面を参照しながら説 明する。 図 7は、 この発明の実施例 4に係る画像符号化システムのグローバル動 き検出部の構成を示すブロック図である。 なお、 画像符号化部は、 上記の実施例 1と同様である。 図 7において、 1 0 0 Bはグロ一バル動き検出部、 1 0 1は現フレームの画像 デ一夕、 1 0 2は画像縮小部、 1 0 3は現フレームの縮小画像、 1 0 4は例えば 図示しないフレームメモリを使用して得た参照フレームの画像デ一夕、 1 0 5は 画像縮小部、 1 0 6は参照フレームの縮小画像である。 また、 同図において、 1 4 0は動き検出部、 1 4 1グロ一バルな動き情報及び 口一カルな動き情報、 1 4 2はマクロブロック動き決定部 （M B動き決定部） 、 1 4 3はマクロプロック動き情報、 1 4 4はフル画像フレームメモリ、 1 4 5は マクロブロックデータ切り出し部 （M Bデ一夕切り出し部） 、 1 4 6はマクロブ 口ックデ一夕である。 図 7において、 現フレームの画像デ一夕 1 0 1を画像縮小部 1 0 2に入れ、 現 フレームの縮小画像 1 0 3を得る。 同様に、 参照フレームのデータ 1 0 4を画像 縮小部 1 0 5に入れ、 参照フレームの縮小画像 1 0 6を得る。 次に、 動き検出部 1 4 0では、 現フレームの縮小画像 1 0 3及び参照フレーム の縮小画像 1 0 6より、 画面全体のグロ一バルな動き情報及び画面の部分的な口 一カルな動き情報 1 4 1を求める。 次に、 マクロプロヅク動き決定部 1 4 2では
、 求まったグローバルな動き情報及びローカルな動き情報 1 4 1から、 現在のマ クロブロックにおいて一番ふさわしい動き情報が選択され、 マクロプロック動き 情報 1 4 3として画像符号化部 3 0 0の動き検出部 3 2 0に通知する。 また、 画像符号化部 3 0 0との接続を考えた場合、 画像符号化部 3 0 0ではマ クロブロック単位で処理が行われているので、 グロ一バル動き検出部 1 0 0 Bに おいて、 マクロブロック動き情報 1 4 3と同期のとれたマクロブロックデ一夕 1 4 6を一緒に送付する。 すなわち、 図 7において、 現フレームの画像デ一夕 1 0 1をフル画像フレーム メモリ 1 4 4に入力する。 次に、 マクロブロックデ一夕切り出し部 1 4 5では、 フル画像フレ一ムメモリ 1 4 4に入っているデータから、 マクロプロック動き情 報 1 4 3に対応する特定のマクロブロックのデ一夕を切り出し、 マクロブロック デ一夕 1 4 6として、 画像符号化部 3 0 0中の入力端子 3 0 1に送付する。 図 8は、 グローバル動き情報とローカル動き情報を求める動き検出部 1 4 0の 構成を示すプロック図である。 図 8において、 1 4 0は動き検出部、 1 4 0 1はグロ一バル動き演算部、 1 4 0 2はグローバル動き情報、 1 4 0 3は口一カル動き演算部、 1 4 0 4は口一力 ル動き情報である。 グロ一バル動き演算部 1 4 0 1では、 現フレーム画像の縮小画像データ 1 0 3 及び参照フレーム画像の縮小画像データ 1 0 6をもとに、 縮小画像全体の動きを 求め、 グローバル動き情報 1 4 0 2として出力する。 また、 口一カル動き演算部 1 4 0 3では、 現フレーム画像の縮小画像データ 1 0 3及び参照フレーム画像の 縮小画像デ一夕 1 0 6をもとに、 縮小画像の一部分の動きを求め、 ローカル動き 情報 1 4 0 4として出力する。 なお、 口一カル動き演算部 1 4 0 3は、 画面分割 数分だけ必要である。 なお、 ここでいっているグロ一バル動き情報、 ローカル動き情報といった動き 情報は、 2フレーム間の差分絶対値和などといった評価値及び動きべクトル値を 1セットとしたものを、 評価値の小さい方から少なくとも 1セット分以上の情報 を意味している。 図 9は、 水平 H画素、 垂直 Vライン （H、 Vは整数） の縮小画像における画面 分割の例で、 水平方向に m分割、 垂直方向に n分割 （m、 nは整数） したもので ある。 この例の場合、 ローカル動き演算部 1 4 0 3は、 m x n個必要である。 な お、 必ずしも同じ面積に分割する必要はないし、 特定の部分について動きを求め る必要がない場合、 その部分に関する口一カルな動き検出を行う必要もない。 以上のように、 動き検出部 1 4 0にローカル動き演算部 1 4 0 3を設けること により、 例えば車の移動といったような、 画像の局所的な動きにも追従した動き を検出することができる。 また、 マクロブロック動き情報 1 4 3とマクロプロックデ一夕 1 4 6を同期し て、 画像符号化部 3 0 0に送付することにより、 画像符号化部 3 0 0が 1チップ になった場合などにおいても、 画像符号化部 3 0 0はそのままで、 効果的な動き 補償予測が行われる。 実施例 5 . 上記の実施例 4では、 現フレームの画像と参照フレームの画像を同時に入力す る場合で口一カルな動き情報も求める例について説明したが、 この実施例 5では 、 複数フレーム分のメモリをもち、 現フレーム画像と参照フレーム画像を任意に 設定できるようにした場合で口一カルな動き情報も求める例について説明する。 この発明の実施例 5に係る画像符号化システムについて図面を参照しながら説 明する。 図 1 0は、 この発明の実施例 5に係る画像符号化システムのグロ一バル 動き検出部の構成を示すブロック図である。 なお、 画像符号化部は、 上記の実施 例 1と同様である。 図 1 0において、 1 2 1は入力画像デ一夕、 1 2 2は画像縮小部、 1 2 3は縮 小画像デ一夕、 1 2 4， 1 2 5及び 1 2 6は縮小画像フレームメモリ、 1 2 7は セレクタである。 また、 同図において、 1 5 0は動き検出部、 1 5 1はグロ一バルな動き情報及 び口一カルな動き情報、 1 5 2はマクロプロック動き決定部 （M B動き決定部） 、 1 5 3はマクロブロック動き情報、 1 5 4はフル画像フレームメモリ、 1 5 5 はマクロブロックデ一夕切り出し部 （M Bデ一夕切り出し部） 、 1 5 6はマクロ プロックデ一夕である。 これら動き検出部 1 5 0〜マクロブロックデ一夕 1 5 6は、 実施例 4の動き検 出部 1 4 0〜マクロプロヅクデ一夕 1 4 6と同様である。 図 1 0は、 縮小画像のフレームメモリを 3枚用意した場合について示したもの である。 同図において、 入力画像デ一夕 1 2 1を画像縮小部 1 2 2に入力し、 縮 小画像 1 2 3を得る。 この縮小画像 1 2 3は、 縮小画像フレームメモリに入力さ れ 縮小画像フレームメモリ 1 2 4〜 1 2 6は、 ここでは 3フレーム分の容量をも ち、 例えば、 現フレーム用として 1フレーム、 前方向予測用参照フレーム用とし て 1フレーム、 後方向予測用参照フレーム用として 1フレーム使用するものとす る。 次に、 セレクタ 1 2 7は、 これらの中から、 現フレームの画像と、 参照フレ一 ムの画像の 2フレームを選択する。 これらの画像から動き検出部 1 5 0で画面全 体のグローバル動き情報及び画面の部分的なローカル動き情報 1 5 1を求める。 そして、 マクロブロック動き決定部 1 5 2では、 求まったグロ一バルな動き情報 及び口一カルな動き情報 1 5 1から、 現在のマクロブロックにおいて一番ふさわ しい動き情報が選択され、 マクロブロック動き情報 1 5 3として画像符号化部 3 0 0中の動き検出部 3 2 0に通知する。 また、 画像符号化部 3 0 0との接続を考えた場合、 画像符号化部 3 0 0ではマ クロブロック単位で処理が行われているので、 グロ一バル動き検出部 1 0 0 Cに おいて、 動き情報と同期のとれた符号化デ一夕を一緒に送付する。 すなわち、 図 1 0において、 入力画像デ一夕 1 2 1をフル画像フレームメモリ 1 5 4に入力する。 次に、 マクロブロックデ一夕切り出し部 1 5 5では、 フル画 像フレームメモリ 1 5 4に入っているデ一夕から、 マクロブロック動き情報 1 5 3に対応する特定のマクロブロックのデ一夕を切り出し、 マクロブロックデー夕 1 5 6として、 画像符号化部 3 0 0中の入力端子 3 0 1に送付する。 以上のように、 動き検出部 1 5 0に口一カル動き演算部を設けることにより、 例えば車の移動といったような、 画像の局所的な動きにも追従した動きを検出す ることができる。 また、 マクロプロック動き情報 1 5 3とマクロプロヅクデ一夕 1 5 6を同期し て、 画像符号化部 3 0 0に送付することにより、 画像符号化部 3 0 0が 1チップ になった場合などにおいても、 画像符号化部 3 0 0はそのままで、 効果的な動き 補償予測が行われる。 さらに、 上記の実施例 4に比べ、 画像縮小部を複数持つ必要がなく、 演算量も 削減できる。 産業上の利用の可能性
この発明に係る画像符号化システムは、 以上説明したとおり、 現フレームの縮 小画像と参照フレームの縮小画像との間で画面全体の動きを検出しグ口一バルな 動き情報を出力するグロ一バル動き検出部と、 前記グローバルな動き情報に基づ きその周辺の狭い探索範囲で動き検出を行い、 動き補償予測を用いた画像の符号 化処理を行う画像符号化部とを備えたので、 画像符号化部の動き検出における演 算量を削減できるという効果を奏する。 また、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記グロ 一バル動き検出部が、 現フレームの画像を縮小化する第 1の画像縮小部と、 参照 フレームの画像を縮小化する第 2の画像縮小部と、 前記現フレームの縮小画像と 前記参照フレームの縮小画像との間でグローバルな動き検出を行う動き検出部と を有するので、 画像符号化部の動き検出における演算量を削減できるという効果 を奏する。 また、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記第 1 及び第 2の画像縮小部が、 水平 a画素、 垂直 bライン （a、 bは整数） の画像を フィル夕リングした後サブサンプリングを行い、 1画素のデータを作成すること により画像縮小化を行うので、 例えば 1マクロプロック程度の画像を 1画素に縮 小することにより、 グローバル動き検出部における演算量もそれほど増やすこと なく、 適切な動きを求めることができるという効果を奏する。 さらに、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記動 き検出部が、 前記グロ一バルな動き検出を行うとともに、 前記現フレームの縮小 画像と前記参照フレームの縮小画像との間で画面の部分的な動きを検出しロー力 ルな動き情報を出力し、 前記グローバル動き検出部は、 さらに、 前記検出された グローバルな動き情報及び口一カルな動き情報から、 現在のマクロブロックにお いて一番ふさわしい動き情報を選択してマクロブロック動き情報として前記画像 符号化部へ出力するマクロプロック動き決定部を有するので、 画像の局所的な動 きについても最適な動きを求めることができるという効果を奏する。 また、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記グロ 一バル動き検出部が、 入力画像を縮小化する画像縮小部と、 前記縮小化された画 像を少なくとも 2フレーム以上蓄える縮小画像フレームメモリと、 前記縮小画像 フレームメモリに蓄えられた縮小画像のうち、 現フレームの縮小画像と参照フレ ームの縮小画像を取り出すセレクタと、 前記現フレームの縮小画像と前記参照フ レームの縮小画像との間でグローバルな動き検出を行う動き検出部とを有するの で、 画像縮小部を複数もたなくてもよく、 さらに、 演算量を削減することがする ことができるという効果を奏する。 また、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記画像 縮小部が、 水平 a画素、 垂直 bライン （a、 bは整数） の画像をフィル夕リング した後サブサンプリングを行い、 1画素のデ一夕を作成することにより画像縮小 化を行うので、 例えば 1マクロブ口ック程度の画像を 1画素に縮小することによ り、 グロ一バル動き検出部における演算量もそれほど増やすことなく、 適切な動 きを求めることができるという効果を奏する。 さらに、 この発明に係る画像符号化システムは、 以上説明したとおり、 前記動 き検出部が、 前記グロ一バルな動き検出を行うとともに、 前記現フレームの縮小 画像と前記参照フレームの縮小画像との間で画面の部分的な動きを検出し口一力 ルな動き情報を出力し、 前記グローバル動き検出部は、 さらに、 前記検出された グローバルな動き情報及びローカルな動き情報から、 現在のマクロブロックにお いて一番ふさわしい動き情報を選択してマクロプロック動き情報として前記画像 符号化部へ出力するマクロプロック動き決定部を有するので、 画像の局所的な動 きについても最適な動きを求めることができるという効果を奏する。

Claims

請 求 の 範 囲
1 . 現フレームの縮小画像と参照フレームの縮小画像との間で画面全体の動きを 検出しグロ一バルな動き情報を出力するグロ一バル動き検出部と、
前記グローバルな動き情報に基づきその周辺の狭い探索範囲で動き検出を行い
、 動き補償予測を用レ、た画像の符号化処理を行う画像符号化部と
を備えた画像符号化システム。
2 . 前記グローバル動き検出部は、
現フレームの画像を縮小化する第 1の画像縮小部と、
参照フレームの画像を縮小化する第 2の画像縮小部と、
前記現フレームの縮小画像と前記参照フレームの縮小画像との間でグローバル な動き検出を行う動き検出部と
を有する請求項 1の画像符号化システム。
3 . 前記第 1及び第 2の画像縮小部は、 水平 a画素、 垂直 bライン （a、 bは整 数） の画像をフィル夕リングした後サブサンプリングを行い、 1画素のデータを 作成することにより画像縮小化を行う請求項 2の画像符号化システム。
4 . 前記動き検出部は、 前記グロ一バルな動き検出を行うとともに、 前記現フレ ームの縮小画像と前記参照フレームの縮小画像との間で画面の部分的な動きを検 出しローカルな動き情報を出力し、
前記グロ一バル動き検出部は、 さらに、
前記検出されたグローバルな動き情報及びローカルな動き情報から、 現在のマ ク口プロックにおいて一番ふさわしい動き情報を選択してマクロプロック動き情 報として前記画像符号化部へ出力するマクロブロック動き決定部
を有する請求項 3の画像符号化システム。
5 . 前記グロ一バル動き検出部は、 入力画像を縮小化する画像縮小部と、
前記縮小化された画像を少なくとも 2フレーム以上蓄える縮小画像フレームメ モリと、
前記縮小画像フレームメモリに蓄えられた縮小画像のうち、 現フレームの縮小 画像と参照フレームの縮小画像を取り出すセレクタと、
前記現フレームの縮小画像と前記参照フレームの縮小画像との間でグローバル な動き検出を行う動き検出部と
を有する請求項 1の画像符号化システム。
6 . 前記画像縮小部は、 水平 a画素、 垂直 bライン （a、 bは整数） の画像をフ ィル夕リングした後サブサンプリングを行い、 1画素のデータを作成することに より画像縮小化を行う請求項 5の画像符号化システム。
7 . 前記動き検出部は、 前記グロ一バルな動き検出を行うとともに、 前記現フレ ―ムの縮小画像と前記参照フレームの縮小画像との間で画面の部分的な動きを検 出し口一カルな動き情報を出力し、
前記グロ一バル動き検出部は、 さらに、
前記検出されたグ口一バルな動き情報及びローカルな動き情報から、 現在のマ ク口プロックにおいて一番ふさわしい動き情報を選択してマクロプロック動き情 報として前記画像符号化部へ出力するマクロブロック動き決定部
を有する請求項 6の画像符号化システム。
PCT/JP1998/003277 1998-07-22 1998-07-22 Systeme de codage d'images Ceased WO2000005899A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP1998/003277 WO2000005899A1 (fr) 1998-07-22 1998-07-22 Systeme de codage d'images
US09/463,596 US6574370B1 (en) 1998-07-22 1998-07-22 Image encoding system
KR10-2000-7003002A KR100431013B1 (ko) 1998-07-22 1998-07-22 화상 부호화 시스템
EP98933892A EP1018841A4 (en) 1998-07-22 1998-07-22 Image encoding system
TW087112229A TW376665B (en) 1998-07-22 1998-07-27 Image encoding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1998/003277 WO2000005899A1 (fr) 1998-07-22 1998-07-22 Systeme de codage d'images

Publications (1)

Publication Number Publication Date
WO2000005899A1 true WO2000005899A1 (fr) 2000-02-03

Family

ID=14208662

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/003277 Ceased WO2000005899A1 (fr) 1998-07-22 1998-07-22 Systeme de codage d'images

Country Status (5)

Country Link
US (1) US6574370B1 (ja)
EP (1) EP1018841A4 (ja)
KR (1) KR100431013B1 (ja)
TW (1) TW376665B (ja)
WO (1) WO2000005899A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101819A1 (ja) * 2004-04-12 2005-10-27 Mitsubishi Denki Kabushiki Kaisha 表示装置
WO2007057985A1 (ja) * 2005-11-21 2007-05-24 Sharp Kabushiki Kaisha 画像符号化装置および画像符号化方法
WO2007057986A1 (ja) * 2005-11-15 2007-05-24 Sharp Kabushiki Kaisha 動きベクトル算出装置および動きベクトル算出方法
JP2010148037A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 動画像再生装置、動画像再生方法および動画像再生プログラム
US7929609B2 (en) 2001-09-12 2011-04-19 Trident Microsystems (Far East) Ltd. Motion estimation and/or compensation
WO2011077628A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 画像符号化方法、画像符号化装置及び撮像システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703736A1 (en) * 2005-03-14 2006-09-20 BRITISH TELECOMMUNICATIONS public limited company Global motion estimation
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
KR20070053402A (ko) * 2005-11-21 2007-05-25 주식회사 대우일렉트로닉스 영상 압축 시스템의 움직임 보상 방법
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
KR101811718B1 (ko) 2013-05-31 2018-01-25 삼성전자주식회사 영상 처리 방법 및 장치
US9986189B2 (en) 2016-01-04 2018-05-29 Samsung Electronics Co., Ltd. Pixel sensors and imaging devices for providing multiple sub sample images within a single frame

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224490A (ja) * 1989-02-27 1990-09-06 Victor Co Of Japan Ltd 動きベクトル検出回路
JPH02295288A (ja) * 1989-05-10 1990-12-06 Nec Corp 動ベクトル検出装置
JPH06197332A (ja) * 1992-12-25 1994-07-15 Canon Inc 画像符号化装置及び画像送信装置
JPH08140098A (ja) * 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 動き補償符号化装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823570B2 (ja) 1988-10-17 1998-11-11 日本電信電話株式会社 フレーム間符号化装置およびフレーム間符号化方法
JP3889040B2 (ja) * 1994-09-02 2007-03-07 メディアテック インコーポレイション 広域−局所ブロック動き推定用の方法及び装置
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224490A (ja) * 1989-02-27 1990-09-06 Victor Co Of Japan Ltd 動きベクトル検出回路
JPH02295288A (ja) * 1989-05-10 1990-12-06 Nec Corp 動ベクトル検出装置
JPH06197332A (ja) * 1992-12-25 1994-07-15 Canon Inc 画像符号化装置及び画像送信装置
JPH08140098A (ja) * 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 動き補償符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1018841A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929609B2 (en) 2001-09-12 2011-04-19 Trident Microsystems (Far East) Ltd. Motion estimation and/or compensation
WO2005101819A1 (ja) * 2004-04-12 2005-10-27 Mitsubishi Denki Kabushiki Kaisha 表示装置
US7830400B2 (en) 2004-04-12 2010-11-09 Mitsubishi Electric Corporation Display unit
WO2007057986A1 (ja) * 2005-11-15 2007-05-24 Sharp Kabushiki Kaisha 動きベクトル算出装置および動きベクトル算出方法
WO2007057985A1 (ja) * 2005-11-21 2007-05-24 Sharp Kabushiki Kaisha 画像符号化装置および画像符号化方法
US8300695B2 (en) 2005-11-21 2012-10-30 Sharp Kabushiki Kaisha Image encoding apparatus and image encoding method
JP2010148037A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 動画像再生装置、動画像再生方法および動画像再生プログラム
US8045620B2 (en) 2008-12-22 2011-10-25 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method and computer readable medium
WO2011077628A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 画像符号化方法、画像符号化装置及び撮像システム

Also Published As

Publication number Publication date
EP1018841A4 (en) 2002-01-30
EP1018841A1 (en) 2000-07-12
KR100431013B1 (ko) 2004-05-12
KR20010030652A (ko) 2001-04-16
TW376665B (en) 1999-12-11
US6574370B1 (en) 2003-06-03

Similar Documents

Publication Publication Date Title
JP3263960B2 (ja) 動きベクトル符号器および復号器
RU2251820C2 (ru) Экстраполяция вектора движения для перекодировки видеопоследовательности
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
US20130128980A1 (en) Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
JPH09163380A (ja) 画像符号化装置及び動きベクトル検出方法
EP1386486B1 (en) Detection and proper interpolation of interlaced moving areas for mpeg decoding with embedded resizing
JPH10322705A (ja) 動き検出及び動き補償予測回路
KR100431013B1 (ko) 화상 부호화 시스템
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
EP1819173B1 (en) Motion vector predictive encoding apparatus and decoding apparatus
JP4523024B2 (ja) 画像符号化装置および画像符号化方法
JP3309519B2 (ja) 動きベクトル検出装置
JPH05103313A (ja) 画像情報処理方法及び装置
JPH10164596A (ja) 動き検出装置
JP2000308066A (ja) 動画像符号化装置および動画像符号化方法
JP2001078199A (ja) 映像信号符号化装置
JP2000059779A (ja) 動画像符号化装置および動画像符号化方法
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体
JP2925046B2 (ja) 動画像の動き補償予測方法
JPH0795590A (ja) 映像信号処理装置、映像信号処理方法及び撮像装置
KR100617177B1 (ko) 움직임 추정 방법
JPH10257496A (ja) インターレース動画像の動き補償予測装置
KR100242649B1 (ko) 그물구조를 이용한 움직임추정방법
JPH10262255A (ja) 画像符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1998933892

Country of ref document: EP

Ref document number: 09463596

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1020007003002

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998933892

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007003002

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1020007003002

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 1998933892

Country of ref document: EP