JPH1023420A - Motion detection method and motion detection device - Google Patents
Motion detection method and motion detection deviceInfo
- Publication number
- JPH1023420A JPH1023420A JP17247596A JP17247596A JPH1023420A JP H1023420 A JPH1023420 A JP H1023420A JP 17247596 A JP17247596 A JP 17247596A JP 17247596 A JP17247596 A JP 17247596A JP H1023420 A JPH1023420 A JP H1023420A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- search range
- image
- frame
- motion search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 計算量を増加させることなく、動き探索範囲
を拡大し、動きの大きな画像でも画質劣化なく画像圧縮
符号化することを目的とする。
【解決手段】 画像の動きの大きさを示す時間的に前に
検出された動き探索範囲決定用情報である前フレームの
２次元ブロック毎の動きベクトルを入力し、各２次元ブ
ロックの動きベクトルのうち最大値を示すブロック数を
カウントし、その値が総数の５０％を超えているときに
動き探索範囲を２倍にし、動きベクトルを検出する。こ
の際、画像データは１／２にサブサンプリングする。
(57) [Summary] [PROBLEMS] To expand a motion search range without increasing the amount of calculation, and to perform image compression encoding of an image with a large motion without deterioration in image quality. Kind Code: A1 A motion vector for each two-dimensional block of a previous frame, which is information for determining a motion search range detected earlier in time indicating the magnitude of motion of an image, is input. The number of blocks showing the maximum value is counted, and when the value exceeds 50% of the total number, the motion search range is doubled and a motion vector is detected. At this time, the image data is sub-sampled to 1/2.
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、デジタル画像を圧
縮して伝送、記録する際に用いる動き検出方法および動
き検出装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion detecting method and a motion detecting apparatus used for compressing, transmitting, and recording a digital image.
【０００２】[0002]
【従来の技術】画像圧縮符号化はデジタル画像の伝送、
記録にとって必須の技術である。現在、一般的に用いら
れているのは、動き補償を行ってフレーム間差分を計算
し、その差分信号を２次元ＤＣＴ（離散コサイン変換）
する方式である。以下、ＩＴＵ−Ｔ Ｈ．２６１規格を
例にとり、上述した動き補償フレーム間差分２次元ＤＣ
Ｔを用いた画像符号化方法、およびそこで用いる動き検
出方法を説明する。2. Description of the Related Art Image compression encoding is a transmission of digital images,
This is an essential technology for recording. At present, a commonly used method is to perform motion compensation, calculate an inter-frame difference, and convert the difference signal into a two-dimensional DCT (discrete cosine transform).
It is a method to do. Hereinafter, ITU-TH. 261 standard as an example, the above-described motion-compensated inter-frame difference two-dimensional DC.
An image encoding method using T and a motion detection method used therein will be described.
【０００３】図８は動き補償フレーム間差分２次元ＤＣ
Ｔのブロック図である。図８において、１０１はＤＣＴ
回路、１０２は量子化器、１０３は逆量子化器、１０４
は逆ＤＣＴ回路、１０５はフレームメモリ、１０６は動
き補償フレーム間予測回路、１０７Ｃは動き検出装置、
１０８はフレーム内・フレーム間切り替え信号である。
また、動き検出装置１０７Ｃは、バッファメモリ１、誤
差計算回路２、誤差比較回路３、アドレス発生回路４か
らなる。FIG. 8 shows a motion compensation inter-frame difference two-dimensional DC.
It is a block diagram of T. 8, reference numeral 101 denotes a DCT
Circuit, 102 is a quantizer, 103 is an inverse quantizer, 104
Is an inverse DCT circuit, 105 is a frame memory, 106 is a motion compensation inter-frame prediction circuit, 107C is a motion detection device,
Reference numeral 108 denotes an intra-frame / inter-frame switching signal.
The motion detection device 107C includes a buffer memory 1, an error calculation circuit 2, an error comparison circuit 3, and an address generation circuit 4.
【０００４】以上のように構成された従来の画像符号化
装置について、以下その動作を説明する。符号化の最初
のフレーム、すなわち第１フレームは、フレーム内・フ
レーム間切り替え信号１０８により、フレーム内符号化
に切り替えられ、差分が取られることなく、フレームご
とにフレーム内符号化される。すなわち、画像データ
は、２次元ブロック単位でＤＣＴ回路１０１で変換係数
に変換され、量子化器１０２で変換係数を量子化された
後、伝送路に送出される。一般的に、画像は相関が高い
ため、ＤＣＴを行うと、低い周波数成分に対応する変換
係数にエネルギーが集中する。したがって、視覚的に目
立たない高い周波数成分を粗く、重要な成分である低い
周波数成分を細かく量子化を行うことで、画質劣化を最
小限にとどめ、かつデータ量を減らすことが可能とな
る。上記伝送路に送出した量子化後の変換係数は、同時
に逆量子化器１０３、逆ＤＣＴ変換回路１０４を経て実
時間データに戻され、フレームメモリ１０５に蓄えられ
る。[0004] The operation of the conventional image coding apparatus configured as described above will be described below. The first frame of encoding, that is, the first frame, is switched to intra-frame encoding by the intra-frame / inter-frame switching signal 108, and intra-frame encoding is performed for each frame without taking a difference. That is, the image data is converted into a transform coefficient by the DCT circuit 101 in a two-dimensional block unit, the transform coefficient is quantized by the quantizer 102, and then transmitted to the transmission path. Generally, since an image has a high correlation, when DCT is performed, energy is concentrated on transform coefficients corresponding to low frequency components. Therefore, by coarsely quantizing high-frequency components that are not visually conspicuous and finely quantizing low-frequency components that are important components, it is possible to minimize image quality degradation and reduce the amount of data. The quantized transform coefficients sent to the transmission path are simultaneously returned to real-time data via the inverse quantizer 103 and the inverse DCT transform circuit 104, and are stored in the frame memory 105.
【０００５】一方、第２フレーム以降の画像は、フレー
ム内・フレーム間切り替え信号１０８により、フレーム
間符号化に切り替えられ、動き補償された上で前フレー
ムの画像との差分が取られ、フレームごとにフレーム間
の画像信号の差分が符号化される。つまり、フレームメ
モリ５に格納した前フレームの画像データと動き検出装
置１０７Ｃで検出した２次元ブロック単位の動きベクト
ルとに基づいて第２フレーム以降の画像の予測値が動き
補償フレーム間予測回路１０６で生成され、第２フレー
ム以降の画像と動き補償フレーム間予測回路１０６で生
成された第２フレーム以降の予測値との差分である予測
誤差が、２次元ブロック単位でＤＣＴ回路１０１で変換
係数に変換され、量子化器１０２で変換係数を量子化さ
れた後、伝送路に送出される。上記伝送路に送出した量
子化後の変換係数は、同時に逆量子化器１０３、逆ＤＣ
Ｔ変換回路１０４を経て実時間データに戻し、フレーム
メモリ１０５に蓄える。On the other hand, the images of the second and subsequent frames are switched to inter-frame coding by the intra-frame / inter-frame switching signal 108, and after motion compensation, a difference from the image of the previous frame is obtained. The difference of the image signal between the frames is encoded. That is, based on the image data of the previous frame stored in the frame memory 5 and the motion vector of the two-dimensional block unit detected by the motion detection device 107C, the predicted value of the image of the second and subsequent frames is calculated by the motion compensation inter-frame prediction circuit 106. A prediction error, which is a difference between the generated image of the second and subsequent frames and the predicted value of the second and subsequent frames generated by the motion compensation inter-frame prediction circuit 106, is converted into a conversion coefficient by the DCT circuit 101 in units of two-dimensional blocks. After the transform coefficients are quantized by the quantizer 102, they are sent out to the transmission path. The quantized transform coefficients transmitted to the transmission path are simultaneously dequantized by the inverse quantizer 103 and the inverse DC.
The data is returned to real-time data via the T conversion circuit 104 and stored in the frame memory 105.
【０００６】つぎに、動き検出装置１０７Ｃについて詳
しく説明する。この動き検出装置１０７Ｃでは、例えば
良く知られた、全探索方法を用いて、２次元ブロック単
位にフレーム間の動きベクトルを求める構成となってい
る。図９は動き検出装置の動作を示す説明図で、以下、
図９を参照しながら動き検出動作を説明する。図９にお
いて、１１１は第２フレームのある１つの２次元ブロッ
クでｍ画素（水平方向）×ｎ画素（垂直方向）の矩形ブ
ロックからなる。１１２Ａ，１１２Ｂは誤差計算を行う
ための第１フレームの２次元ブロックであり、大きさは
２次元ブロック１１１と同じ大きさである。１１３は動
き検出によって求めた動きベクトルで、２次元ブロック
１１１の中心座標と２次元ブロック１１２Ｂの中心座標
を結ぶものである。Next, the motion detecting device 107C will be described in detail. The motion detection device 107C is configured to obtain a motion vector between frames in units of two-dimensional blocks using, for example, a well-known full search method. FIG. 9 is an explanatory diagram showing the operation of the motion detection device.
The motion detection operation will be described with reference to FIG. In FIG. 9, reference numeral 111 denotes a certain two-dimensional block of the second frame, which is a rectangular block of m pixels (horizontal direction) × n pixels (vertical direction). 112A and 112B are two-dimensional blocks of the first frame for performing error calculation, and have the same size as the two-dimensional block 111. A motion vector 113 obtained by motion detection connects the center coordinates of the two-dimensional block 111 and the center coordinates of the two-dimensional block 112B.
【０００７】図９における二次元ブロック１１１は、第
２フレームにおける中心座標(x,y,2) を有する２次元ブ
ロックであり、二次元ブロックを中心座標に対応した記
号S(x,y,2)で表す。また、２次元ブロック１１２Ａ，１
１２Ｂは第１フレームにおける中心座標(x,y,1) ，(x+m
x,y+my,1) をそれぞれ有する２次元ブロックであり、同
様に二次元ブロックを中心座標に対応した記号S(x,y,
2)，S(x+mx,y+my,1)で表す。ただし、ｘはフレームの中
心を原点とする水平方向の画素座標を示し、ｙはフレー
ムの中心を原点とする垂直方向の画素座標を示し、ｘ，
ｙの後の１，２の数字はフレーム番号を示す。また、１
１４は動きベクトルを計算する２次元ブロックを示す矩
形（水平方向２ｈ、垂直方向２ｖ）の動き探索範囲であ
り、ｘｈは動き探索範囲の中心（図では、座標(x,y,1)
）を原点とする水平方向の局部画素座標を示し、ｙｖ
は動き探索範囲の中心（図では、座標(x,y,1) ）を原点
とする垂直方向の局部画素座標を示している。The two-dimensional block 111 in FIG. 9 is a two-dimensional block having the center coordinates (x, y, 2) in the second frame, and the symbol S (x, y, 2) corresponding to the center coordinates is used as the two-dimensional block. ). Also, the two-dimensional blocks 112A, 1
12B is the center coordinates (x, y, 1) in the first frame, (x + m
x, y + my, 1), and similarly, the symbol S (x, y,
2), S (x + mx, y + my, 1). Here, x indicates the pixel coordinates in the horizontal direction with the center of the frame as the origin, y indicates the pixel coordinates in the vertical direction with the center of the frame as the origin, x,
The numbers 1 and 2 after y indicate the frame numbers. Also, 1
Numeral 14 denotes a rectangular (horizontal direction 2h, vertical direction 2v) motion search range indicating a two-dimensional block for calculating a motion vector, and xh denotes the center of the motion search range (coordinates (x, y, 1 in the figure).
) Indicates the horizontal local pixel coordinates with the origin at yv
Indicates local pixel coordinates in the vertical direction with the origin at the center of the motion search range (coordinates (x, y, 1) in the figure).
【０００８】第２フレームの画像データは、フレーム間
符号化されるときに、同時にバッファメモリ１に入力す
る。なお、第１フレームの画像データは、既にバッファ
メモリ１に格納されている。今、基準を第２フレーム
（現フレーム）の２次元ブロック１１１とし、第１フレ
ーム（前フレーム）の２次元ブロック１１２Ｂと第２フ
レーム（現フレーム）の２次元ブロック１１１の間の動
きベクトル１１３を検出する。バッファメモリ１に入力
した第１，第２フレームの画像は、ｍ×ｎ画素ずつの２
次元ブロック単位で読み出し、２次元ブロック単位で動
きベクトルを検出する。[0008] The image data of the second frame is simultaneously input to the buffer memory 1 when inter-frame encoding is performed. The image data of the first frame has already been stored in the buffer memory 1. Now, the reference is assumed to be the two-dimensional block 111 of the second frame (current frame), and the motion vector 113 between the two-dimensional block 112B of the first frame (previous frame) and the two-dimensional block 111 of the second frame (current frame) is To detect. The images of the first and second frames input to the buffer memory 1 are 2 × m × n pixels.
Reading is performed in units of dimensional blocks, and a motion vector is detected in units of two-dimensional blocks.
【０００９】以下、座標を用いて動きベクトルの検出手
順について、具体的に説明する。アドレス発生回路４に
より、第２フレームにおける中心座標(x,y,2) を有する
２次元ブロックS(x,y,2)の画像データを読み出し、この
２次元ブロックS(x,y,2)を基準ブロックにとり、以下の
手順でこの基準ブロックと第１フレームとの間の動きを
検出する。バッファメモリ１には上述したように第１フ
レームの画像データも格納してあり、つぎに第１フレー
ムにおける中心座標(x,y,1) を有する２次元ブロックS
(x,y,1)の各画像データを読み出す。誤差計算回路２で
は、前記２つの２次元ブロックS(x,y,2)，S(x,y,1)にお
ける画像データの振幅の２乗誤差の和（以下、単に誤差
という）σ(x,y)(0,0)を〔数１〕で計算し、誤差比較回
路３に送る。Hereinafter, a procedure for detecting a motion vector using coordinates will be specifically described. The address generating circuit 4 reads out image data of the two-dimensional block S (x, y, 2) having the center coordinates (x, y, 2) in the second frame, and reads the two-dimensional block S (x, y, 2). Is taken as a reference block, and the motion between this reference block and the first frame is detected in the following procedure. The buffer memory 1 also stores the image data of the first frame as described above, and then stores the two-dimensional block S having the center coordinates (x, y, 1) in the first frame.
Read each image data of (x, y, 1). In the error calculation circuit 2, the sum of the square errors of the amplitudes of the image data in the two two-dimensional blocks S (x, y, 2) and S (x, y, 1) (hereinafter simply referred to as error) σ (x , y) (0, 0) is calculated by [Equation 1] and sent to the error comparison circuit 3.
【００１０】[0010]
【数１】 (Equation 1)
【００１１】つぎに、アドレス発生回路４は、第１フレ
ームにおける水平方向１画素隣のｍ×ｎブロックすなわ
ち中心座標(x+1,y,1) の二次元ブロックS(x+1,y,1)のア
ドレスを発生する。誤差計算回路２では、同様にσ(x,
y)(+1,0) を計算し、誤差比較回路３に送る。誤差比較
回路３では、σ(x,y)(0,0)とσ(x,y)(+1,0) を比較し、
小さい方を選択する。以下同様に、−ｈ＜ｘｈ＜ｈ、−
ｖ＜ｙｖ＜ｖの範囲でアドレスを逐次変更しながら２次
元ブロックの画像データを読み出し、σ(x,y)(xh,yv)を
計算する。Next, the address generation circuit 4 generates an m × n block adjacent to one pixel in the horizontal direction in the first frame, that is, a two-dimensional block S (x + 1, y, 1) having center coordinates (x + 1, y, 1). Generate the address of 1). In the error calculation circuit 2, σ (x,
y) (+ 1,0) is calculated and sent to the error comparison circuit 3. The error comparison circuit 3 compares σ (x, y) (0,0) with σ (x, y) (+ 1,0),
Select the smaller one. Hereinafter, similarly, -h <xh <h,-
The image data of the two-dimensional block is read while sequentially changing the address in the range of v <yv <v, and σ (x, y) (xh, yv) is calculated.
【００１２】誤差比較回路３は、以上で計算された誤差
σ(x,y)(xh,yv)から最小値をとる誤差σ(x,y)(mx,my)を
選択し、同時にアドレスmx，myを出力する。したがっ
て、２次元ブロックS(x,y,2)における動きベクトル１１
３はmv(mx, my)となる。以下、第２フレーム内におい
て、複数に分割された２次元ブロックの全てについて上
記した動作を繰り返すことにより、第２フレーム内の全
ての２次元ブロックの動きベクトルが求まる。The error comparison circuit 3 selects an error σ (x, y) (mx, my) which takes the minimum value from the errors σ (x, y) (xh, yv) calculated above, and at the same time an address mx , My is output. Therefore, the motion vector 11 in the two-dimensional block S (x, y, 2)
3 becomes mv (mx, my). Hereinafter, in the second frame, the motions of all the two-dimensional blocks in the second frame are obtained by repeating the above operation for all of the two-dimensional blocks divided into a plurality.
【００１３】動き補償フレーム間予測回路１０６は、第
２フレームについて各２次元ブロック毎に検出した動き
ベクトルを用いて、第２フレームの動き補償した予測値
を２次元ブロック単位で生成する。第２フレームの画像
は、まず第１フレームの画像データと第２フレームの動
きベクトルから上述した方法で生成した予測値との差
分、すなわち予測誤差を計算する。その後、前述した予
測誤差をフレーム毎に、第１フレームと同様の方法で符
号化する。第３フレーム以降は、第２フレームと同様の
方法で予測誤差を符号化する。The motion-compensated inter-frame prediction circuit 106 generates a motion-compensated predicted value of the second frame in units of two-dimensional blocks using the motion vector detected for each two-dimensional block in the second frame. For the image of the second frame, first, a difference between the image data of the first frame and the predicted value generated by the above-described method from the motion vector of the second frame, that is, a prediction error is calculated. After that, the above-described prediction error is encoded for each frame in the same manner as in the first frame. After the third frame, the prediction error is encoded in the same manner as in the second frame.
【００１４】以上のような構成により、現フレームを分
割した２次元ブロックの位置を中心とする前フレームの
所定の動き探索範囲内で、現フレームを分割した２次元
ブロックと同じ大きさの２次元ブロックの画像データを
逐次位置を変更しながら抽出し、前フレームの所定の動
き探索範囲内の各２次元ブロックの画像データと現フレ
ームの分割した２次元ブロックの画像データとの誤差計
算および前フレームの所定の動き探索範囲内の位置の異
なる２次元ブロックについての誤差比較を行うことによ
り、現フレームを分割した２次元ブロックに対して画像
データの誤差がもっとも最も少ない前フレームの所定の
動き探索範囲内の２次元ブロックの位置を探索し、現フ
レームを分割した２次元ブロックの位置と現フレームを
分割した２次元ブロックに対して画像データの誤差がも
っとも最も少ない前フレームの所定の動き探索範囲内の
２次元ブロックの位置とから現フレームを分割した２次
元ブロックの前フレームからの画面上の動きを示す動き
ベクトルを計算することになる。With the above configuration, a two-dimensional block having the same size as the two-dimensional block obtained by dividing the current frame is set within a predetermined motion search range of the previous frame centered on the position of the two-dimensional block obtained by dividing the current frame. The image data of the block is extracted while sequentially changing the position, the error calculation between the image data of each two-dimensional block within the predetermined motion search range of the previous frame and the image data of the divided two-dimensional block of the current frame, and the previous frame Is compared with the two-dimensional block at a different position within the predetermined motion search range, the predetermined motion search range of the previous frame having the smallest image data error with respect to the two-dimensional block obtained by dividing the current frame. Search for the position of the two-dimensional block within the two-dimensional block, and determine the position of the two-dimensional block obtained by dividing the current frame and the two-dimensional block obtained by dividing the current frame. Motion indicating the motion on the screen from the previous frame of the two-dimensional block obtained by dividing the current frame from the position of the two-dimensional block within the predetermined motion search range of the previous frame having the least error of the image data with respect to the previous frame You will calculate a vector.
【００１５】以上の方法によれば、予測誤差を符号化す
ることになるので、フレーム内符号化のように、画像デ
ータを直接符号化する場合に比べ、エネルギーが減少
し、さらに高効率な符号化が可能となる（例えば、ITU-
T Recommendation H.261, "Codec for audiovisual ser
vices at px64 kbit/s", Geneva, 1990 ）。According to the above method, since the prediction error is coded, the energy is reduced and a more efficient code is obtained as compared with the case where the image data is directly coded as in the intra-frame coding. (For example, ITU-
T Recommendation H.261, "Codec for audiovisual ser
vices at px64 kbit / s ", Geneva, 1990).
【００１６】[0016]
【発明が解決しようとする課題】しかしながら、上記の
動き検出方法は以下のような問題点を有していた。ま
ず、動きの大きさは画像の内容に依存し、スポーツなど
では早い動きすなわちフレーム間で大きな動きが多く、
一方風景などでは静止に近い画像が多い。動きの大きな
場合に備え、動き探索範囲を広く取ることが望ましい
が、従来の技術で述べたように、計算量は探索範囲に比
例するため、大きな探索範囲はハードウェアの増大につ
ながる。また、従来の動き検出装置で求めた動きベクト
ルでは、探索範囲外の動きが生じた場合、フレーム間差
分が大きくなり、画質の劣化をもたらす。However, the above-described motion detection method has the following problems. First, the size of the motion depends on the content of the image, and in sports and the like, there are many fast motions, that is, many large motions between frames,
On the other hand, in a landscape or the like, there are many images that are close to still. It is desirable to increase the motion search range in preparation for a large motion. However, as described in the related art, since the amount of calculation is proportional to the search range, a large search range leads to an increase in hardware. In addition, in the motion vector obtained by the conventional motion detection device, if a motion outside the search range occurs, the difference between frames increases, resulting in deterioration of image quality.
【００１７】本発明の目的は、大きな動きに対応するこ
とができ、画質を劣化させない動き検出方法および動き
検出装置を提供することである。本発明の目的は、大き
な動きへの対応に伴うハードウェアの増加を最小限にと
どめることができる動き検出方法および動き検出装置を
提供することである。An object of the present invention is to provide a motion detecting method and a motion detecting apparatus which can cope with a large motion and do not degrade image quality. An object of the present invention is to provide a motion detection method and a motion detection device capable of minimizing an increase in hardware accompanying a large motion.
【００１８】[0018]
【課題を解決するための手段】請求項１記載の動き検出
方法は、現フレームを分割した２次元ブロックの位置を
中心とする前フレームの所定の動き探索範囲内で、現フ
レームを分割した２次元ブロックの前フレームからの画
面上の動きを示す動きベクトルを計算する動き検出方法
であって、画像の動きの大きさを示す時間的に前に検出
された動き探索範囲決定用情報を入力し、動き探索範囲
決定用情報に基づいて動き探索範囲を定めることを特徴
とする。According to a first aspect of the present invention, there is provided a motion detecting method for dividing a current frame within a predetermined motion search range of a previous frame centered on a position of a two-dimensional block obtained by dividing the current frame. A motion detection method for calculating a motion vector indicating a motion on a screen from a previous frame of a dimensional block, comprising: inputting motion search range determination information detected earlier in time indicating the magnitude of motion of an image; The motion search range is determined based on the motion search range determination information.
【００１９】この方法によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。請求項２記載の動き検出方法は、
請求項１記載の動き検出方法において、動き探索範囲の
変更を、フレーム単位で行うことを特徴とする。According to this method, the motion search range can be changed in accordance with the motion of the image, a large motion can be handled, and the difference between frames can be reduced.
Does not degrade image quality. The motion detection method according to claim 2 is
2. The motion detection method according to claim 1, wherein the change of the motion search range is performed on a frame basis.
【００２０】この方法によると、フレーム毎に動き探索
範囲の変更を行うことが可能で、画像の動きの変化に速
やかに対応することができ、画質を劣化させない。請求
項３記載の動き検出方法は、請求項１記載の動き検出方
法において、動き探索範囲の変更を、フレームを分割し
た２次元ブロック単位で行うことを特徴とする。According to this method, it is possible to change the motion search range for each frame, and it is possible to quickly respond to a change in the motion of an image without deteriorating the image quality. According to a third aspect of the present invention, in the motion detection method of the first aspect, the change of the motion search range is performed in units of two-dimensional blocks obtained by dividing a frame.
【００２１】この方法によると、２次元ブロック単位で
動き探索範囲の変更を行うことが可能で、画像の動きの
変化にいっそう速やかに対応することができる。請求項
４記載の動き検出方法は、請求項１記載の動き検出方法
において、動き探索範囲決定用情報が、前フレーム以前
の１または複数のフレームについて２次元ブロック単位
毎に既に計算した動きベクトルであることを特徴とす
る。According to this method, it is possible to change the motion search range in units of two-dimensional blocks, and it is possible to respond more quickly to changes in the motion of an image. According to a fourth aspect of the present invention, in the motion estimation method according to the first aspect, the information for determining a motion search range is a motion vector already calculated for each one or a plurality of frames before the previous frame for each two-dimensional block. There is a feature.
【００２２】この方法によれば、動きベクトルに基づい
て動き探索範囲を定めることができる。請求項５記載の
動き検出方法は、請求項１記載の動き検出方法におい
て、動き探索範囲決定用情報が、前フレーム以前の１ま
たは複数のフレームについて２次元ブロック単位毎に既
に動きベクトルを計算した際に計算した誤差であること
を特徴とする。According to this method, the motion search range can be determined based on the motion vector. According to a fifth aspect of the present invention, in the motion detection method according to the first aspect, the motion search range determination information has already calculated a motion vector for each of two-dimensional block units for one or more frames before the previous frame. It is characterized in that it is an error calculated at that time.
【００２３】この方法によれば、動きベクトルを計算し
た際の誤差に基づいて動き探索範囲を定めることができ
る。請求項６記載の動き検出方法は、請求項１記載の動
き検出方法において、動き探索範囲決定用情報が、前フ
レーム以前の１または複数のフレームについて２次元ブ
ロック単位毎に既に計算した動きベクトルを用いて動き
補償する際の動き補償モードを、動き補償を行わないイ
ントラモードに設定した２次元ブロックの個数であるこ
とを特徴とする。According to this method, the motion search range can be determined based on the error in calculating the motion vector. According to a sixth aspect of the present invention, in the motion estimation method according to the first aspect, the motion search range determination information includes a motion vector already calculated for each two-dimensional block for one or a plurality of frames before the previous frame. The motion compensation mode when performing motion compensation by using the number of two-dimensional blocks is set to an intra mode in which motion compensation is not performed.
【００２４】この方法によると、前フレームの動き補償
結果に基づいて動き探索範囲を定めることができ、動き
探索範囲をより精度よく決めることができる。請求項７
記載の動き検出装置は、現フレームを分割した２次元ブ
ロックの位置を中心とする前フレームの所定の動き探索
範囲内で、現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出装置であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、動き探索範囲決定用情報から動き探索範囲を計算す
る動き探索範囲計算手段を設けたことを特徴とする。According to this method, the motion search range can be determined based on the motion compensation result of the previous frame, and the motion search range can be determined more accurately. Claim 7
The motion detection device described above detects a motion on the screen from the previous frame of the two-dimensional block obtained by dividing the current frame within a predetermined motion search range of the previous frame centered on the position of the two-dimensional block obtained by dividing the current frame. A motion estimating device that calculates a motion vector that indicates a magnitude of a motion of an image, and inputs information for determining a motion search range detected earlier in time that indicates a magnitude of motion of an image, and calculates a motion search range from the information for determining a motion search range. A motion search range calculation means for calculation is provided.
【００２５】この構成によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。請求項８記載の動き検出方法は、
現フレームを分割した２次元ブロックの前フレームから
の画面上の動きを示す動きベクトルを計算する動き検出
方法であって、画像の動きの大きさを示す時間的に前に
検出された動き探索範囲決定用情報を入力し、動き探索
範囲決定用情報に基づいて動き探索範囲を定めるとき
に、時間的に前に動きベクトルを計算した際の演算量を
超えないようにすることを特徴とする。According to this configuration, the motion search range can be changed in accordance with the motion of the image, a large motion can be dealt with, and the difference between frames can be reduced.
Does not degrade image quality. The motion detection method according to claim 8,
What is claimed is: 1. A motion detection method for calculating a motion vector indicating a motion on a screen from a previous frame of a two-dimensional block obtained by dividing a current frame, wherein a motion search range detected earlier in time indicating a magnitude of motion of an image. When the determination information is input and the motion search range is determined based on the motion search range determination information, it is characterized in that the amount of calculation when the motion vector is calculated earlier in time is not exceeded.
【００２６】この方法によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。しかも、動きベクトルの計算のた
めの演算量が増えないので、動きベクトル演算のための
ハードウェア量が増えることはない。請求項９記載の動
き検出方法は、請求項８記載の動き検出方法において、
動きベクトルの探索範囲をＮ倍に拡大する際は、入力す
る画像を１／Ｎでサブサンプリングすることを特徴とす
る。According to this method, the motion search range can be changed in accordance with the motion of the image, a large motion can be handled, and the difference between frames can be reduced.
Does not degrade image quality. In addition, since the amount of calculation for calculating the motion vector does not increase, the amount of hardware for calculating the motion vector does not increase. The motion detecting method according to claim 9 is the motion detecting method according to claim 8,
When the search range of the motion vector is enlarged N times, the input image is sub-sampled by 1 / N.
【００２７】この方法によると、サブサンプリングによ
って動き探索範囲内の画素数が同じとなり、動きベクト
ルの計算のための演算量が増えない。請求項１０記載の
動き検出方法は、請求項８記載の動き検出方法におい
て、動きベクトルの探索範囲を水平方向にＮ倍に拡大す
る際は、垂直方向に１／Ｎ倍の探索範囲とし、垂直方向
にＮ倍に拡大する際は水平方向に１／Ｎ倍の探索範囲と
することを特徴とする。According to this method, the number of pixels in the motion search range becomes the same due to the subsampling, and the amount of calculation for calculating the motion vector does not increase. According to a tenth aspect of the present invention, in the motion detecting method of the eighth aspect, when the search range of the motion vector is expanded N times in the horizontal direction, the search range is 1 / N times in the vertical direction, When the magnification is N times in the direction, the search range is 1 / N times in the horizontal direction.
【００２８】この方法によると、動き探索範囲を水平も
しくは垂直方向に拡大したときは、それと直交する方向
には拡大比の逆数で縮小するので、動き探索範囲内の画
素数が同じとなり、動きベクトルの計算のための演算量
が増えない。請求項１１記載の動き検出装置は、現フレ
ームを分割した２次元ブロックの位置を中心とする前フ
レームの所定の動き探索範囲内で、現フレームを分割し
た２次元ブロックの前フレームからの画面上の動きを示
す動きベクトルを計算する動き検出装置であって、画像
の動きの大きさを示す時間的に前に検出された動き情報
を入力し、動き探索範囲決定用情報から動き探索範囲を
計算するときに、時間的に前に動きベクトルを計算した
際の演算量を超えないようにする動き探索範囲計算手段
を設けたことを特徴とする。According to this method, when the motion search range is expanded in the horizontal or vertical direction, the motion search range is reduced by a reciprocal of the expansion ratio in a direction orthogonal to the horizontal direction. Does not increase the amount of calculation for calculating. 12. The motion detection apparatus according to claim 11, wherein the motion detection apparatus is configured to display a motion detection device on a screen from a previous frame of the two-dimensional block obtained by dividing the current frame within a predetermined motion search range of the previous frame centered on a position of the two-dimensional block obtained by dividing the current frame. A motion detection device for calculating a motion vector indicating a motion of an image, comprising inputting motion information detected earlier in time indicating the magnitude of motion of an image, and calculating a motion search range from information for determining a motion search range. In this case, a motion search range calculation means is provided so as not to exceed a calculation amount when a motion vector was calculated earlier in time.
【００２９】この構成によると、符号化の際に画像の動
きに応じて動き探索範囲を変えることができ、大きな動
きに対応することができてフレーム間差分を小さくする
ことができ、画質を劣化させない。請求項１２記載の画
像圧縮符号化装置は、請求項１まはた請求項８記載の動
き検出方法によって求めた動きベクトルを用いて、画像
圧縮符号化する。According to this configuration, at the time of encoding, the motion search range can be changed according to the motion of the image, large motion can be handled, the difference between frames can be reduced, and image quality deteriorates. Do not let. According to a twelfth aspect of the present invention, an image compression encoding apparatus performs image compression encoding using a motion vector obtained by the motion detection method according to the first or eighth aspect.
【００３０】この構成によると、圧縮符号化の際に符号
化の際に画像の動きに応じて動き探索範囲を変えること
ができ、大きな動きに対応することができてフレーム間
差分を小さくすることができ、画質を劣化させない。請
求項１３記載の画像復号化装置は、請求項１２記載の画
像圧縮符号化装置より圧縮符号化した圧縮画像データを
復号する。According to this configuration, it is possible to change the motion search range according to the motion of the image at the time of encoding at the time of compression encoding, to cope with large motion, and to reduce the difference between frames. And does not degrade image quality. An image decoding apparatus according to a thirteenth aspect decodes compressed image data that has been compression-encoded by the image compression encoding apparatus according to the twelfth aspect.
【００３１】この構成によると、圧縮画像データを復号
する際に、画質の劣化を少なくできる。請求項１４記載
の画像記録媒体は、請求項１２記載の画像圧縮符号化装
置より圧縮符号化した圧縮画像データを記録する。この
構成によると、圧縮画像データを記録する際に、画質の
劣化を少なくできる。According to this configuration, when decoding the compressed image data, deterioration of the image quality can be reduced. An image recording medium according to a fourteenth aspect records compressed image data that has been compression-encoded by the image compression encoding apparatus according to the twelfth aspect. According to this configuration, when recording the compressed image data, deterioration of the image quality can be reduced.
【００３２】請求項１５記載の回路規模見積もり方法
は、 請求項１２記載の画像圧縮符号化装置より圧縮符
号化した圧縮画像データを伝送する。この構成による
と、圧縮画像データを伝送する際に、画質の劣化を少な
くできる。According to a fifteenth aspect of the present invention, a circuit size estimating method transmits compressed image data that has been compression-encoded by the image compression encoding device according to the twelfth aspect. According to this configuration, when transmitting the compressed image data, deterioration of the image quality can be reduced.
【００３３】[0033]
【発明の実施の形態】以下、本発明の第１の実施の形態
における動き検出方法および動き検出装置について、図
面を参照しながら説明する。図１は本発明の第１の実施
の形態における動き検出装置１０７Ａのブロック図で、
バッファメモリ１、誤差計算回路２、誤差比較回路３、
アドレス発生回路４、ＣＰＵ５で構成する。図１におい
て、誤差比較回路３からＣＰＵ４へ入力されているライ
ンは第１の実施の形態における動き検出で用いる動きベ
クトルの入力経路を示し、誤差計算回路２からＣＰＵ４
へ入力されているラインは後述の第２の実施の形態にお
ける動き検出で用いる誤差の入力経路を示しており、図
１を第１および第２の実施の形態の説明で参照するため
に、便宜上２本のラインを記載しているが、いずれか一
方が選択的に設けられものである。また図２はＣＰＵ５
の動作を示す説明図である。画像符号化装置全体の構成
については、動き検出装置１０７Ａ以外図８に示したも
のと同様である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a motion detection method and a motion detection device according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of a motion detection device 107A according to the first embodiment of the present invention.
Buffer memory 1, error calculation circuit 2, error comparison circuit 3,
It comprises an address generation circuit 4 and a CPU 5. In FIG. 1, a line input from the error comparison circuit 3 to the CPU 4 indicates an input path of a motion vector used for motion detection according to the first embodiment, and a line from the error calculation circuit 2 to the CPU 4
The line input to the へ indicates an input path of an error used in motion detection according to a second embodiment described later. For convenience, FIG. 1 is referred to in the description of the first and second embodiments. Although two lines are described, either one is selectively provided. FIG. 2 shows the CPU 5
It is an explanatory view showing the operation of. The configuration of the entire image encoding device is the same as that shown in FIG. 8 except for the motion estimation device 107A.
【００３４】以上のように構成された動き検出装置１０
７Ａについて以下図１および図２を用いて説明する。図
１において、バッファメモリ１、誤差計算回路２、誤差
比較回路３、アドレス発生回路４の動作は従来例とほぼ
同様であり、第２フレームの動きベクトルにいては、従
来例と同様にブロック単位に計算する。ところが、第３
フレーム以降の各フレームの動きベクトルを計算すると
きの手順が従来例とは異なる。第３フレーム以降の各フ
レームの動きベクトルを計算する際に、この実施の形態
では、前フレーム（第３フレームの場合には、第２フレ
ーム）の動きベクトルを、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報としてＣ
ＰＵ５に入力し、以下に示すような演算処理を行って、
アドレス発生回路４を制御することにより動き探索範囲
を変更する。この際、ＣＰＵ５が動き探索範囲決定用情
報から動き探索範囲を計算する動き探索範囲計算手段と
して機能する。The motion detecting apparatus 10 configured as described above
7A will be described below with reference to FIGS. In FIG. 1, the operations of a buffer memory 1, an error calculation circuit 2, an error comparison circuit 3, and an address generation circuit 4 are almost the same as those in the conventional example, and the motion vector of the second frame is in block units as in the conventional example. To calculate. However, the third
The procedure for calculating the motion vector of each frame after the frame is different from the conventional example. When calculating the motion vector of each frame after the third frame, in this embodiment, the motion vector of the previous frame (the second frame in the case of the third frame) indicates the magnitude of the motion of the image. C as the motion search range determination information detected earlier in time
Input to PU5 and perform the following arithmetic processing,
The motion search range is changed by controlling the address generation circuit 4. At this time, the CPU 5 functions as a motion search range calculating means for calculating a motion search range from the information for motion search range determination.
【００３５】図２は本発明の第１の実施の形態における
動き検出方法にかかるＣＰＵ５の処理動作を示すフロー
チャートである。図２について説明すると、ステップ２
１で前フレーム（例えば、第２フレーム）の全２次元ブ
ロックの動きベクトルを読み込み、ステップ２２で通常
時の動き探索範囲の水平方向の最大値ｈを示す動きベク
トルの個数をカウントする。ステップ２３で個数が全ブ
ロックの５０以上かどうかを判定し、個数が全ブロック
の５０％以上である場合には画像の動きが大きいものと
して水平方向の動き探索範囲を例えば２ｈに拡大する。
動き探索範囲を２倍に拡大するためには、ステップ２４
に示したように誤差計算回路２への入力を１サンプル毎
に間引いて、すなわち１／２にサブサンプルして入力す
るようにアドレス発生回路４を制御する。このようにす
ることにより、各２次元ブロック当たりの計算量は１／
２になるので、動き探索範囲が２倍になっても、総計算
量は動き探索範囲を広げない場合と等しくなる。また、
ステップ２５に示すようにｈ／２を超える動きベクトル
の個数も同時にカウントしておき、ステップ２６でｈ／
２を超える動きベクトルの個数が１０％以下であるか判
定し、１０％以下であるときは、動きが少ないものとし
て動き探索範囲をｈ／２とする。この場合には、誤差計
算回路２へは間引かずに入力する（ステップ２７）。な
お、ｈを超える動きベクトルが５０％未満で、かつｈ／
２を超える動きベクトルの個数が１０％を超えている場
合は、動き探索範囲の変更を行わず、サブサンプリング
は行わない。FIG. 2 is a flowchart showing the processing operation of the CPU 5 according to the motion detection method according to the first embodiment of the present invention. Referring to FIG. 2, step 2
At step 1, the motion vectors of all the two-dimensional blocks of the previous frame (for example, the second frame) are read, and at step 22, the number of motion vectors indicating the maximum value h in the horizontal direction of the normal motion search range is counted. In step 23, it is determined whether the number is 50 or more of all blocks. If the number is 50% or more of all blocks, the motion of the image is assumed to be large and the horizontal motion search range is expanded to, for example, 2h.
In order to double the motion search range, step 24
As shown in (1), the address generation circuit 4 is controlled so that the input to the error calculation circuit 2 is thinned out for each sample, that is, the data is subsampled by half and input. By doing so, the amount of calculation per each two-dimensional block is 1 /
Therefore, even if the motion search range is doubled, the total amount of calculation is equal to the case where the motion search range is not expanded. Also,
As shown in step 25, the number of motion vectors exceeding h / 2 is counted at the same time.
It is determined whether the number of motion vectors exceeding 2 is 10% or less, and if it is 10% or less, the motion search range is set to h / 2 assuming that the motion is small. In this case, the data is input to the error calculation circuit 2 without thinning (step 27). Note that the motion vector exceeding h is less than 50% and h /
If the number of motion vectors exceeding 2 exceeds 10%, the motion search range is not changed, and no sub-sampling is performed.
【００３６】上記動作により、画像の動きが大きいとき
には計算量を増加させることなく探索範囲を広げること
が可能となる。一般的に、サブサンプルした画像から動
き検出を行うと、動きの検出精度が低下するため画質劣
化につながる。しかしながら動きの大きな場合は、動き
が追従しないことに起因する画質劣化の方が影響が大き
いため、サブサンプルした画像であっても動き探索範囲
を拡大した方が画質は向上する。また、この実施の形態
によれば動きの少ないときはサブサンプルしない画像で
動き検出を行うので、画質劣化を生ずることはなく、さ
らに動き探索範囲を狭めているので、探索に要する処理
時間を短くできる。With the above operation, when the motion of the image is large, the search range can be expanded without increasing the amount of calculation. In general, when motion detection is performed from a subsampled image, the accuracy of motion detection decreases, leading to image quality deterioration. However, when the motion is large, the image quality degradation caused by the motion not following has a greater effect. Therefore, even if the image is a subsampled image, the image quality is improved by enlarging the motion search range. Also, according to this embodiment, when there is little motion, motion detection is performed on an image without sub-sampling, so that image quality does not deteriorate and the motion search range is narrowed, so that the processing time required for search is reduced. it can.
【００３７】なお、第１の実施の形態では、ベクトルの
最大値で動き検出範囲変更の判断を行ったが、これに限
るものではなく、例えばベクトルの平均値、メジアン、
分散を利用し、これらを実験により定めた閾値と比較
し、その比較結果を動き検出範囲変更の判断基準とする
こともできる。また、範囲の拡大は２倍であったが、３
倍以上の整数Ｎ倍であってもよい。In the first embodiment, the change of the motion detection range is determined based on the maximum value of the vector. However, the present invention is not limited to this. For example, the average value of the vector, the median,
Using the variance, these can be compared with a threshold value determined by experiment, and the comparison result can be used as a criterion for changing the motion detection range. The range was twice as large, but 3 times.
It may be an integer N times the number of times or more.
【００３８】この実施の形態によると、画像の動きに応
じて動き探索範囲を変えることができ、大きな動きに対
応することができてフレーム間差分を小さくすることが
でき、画質を劣化させない。しかも、動きベクトルの計
算のための演算量が増えないので、動きベクトル演算の
ためのハードウェア量が増えることはない。図３は本発
明の第２の実施の形態における動き検出方法にかかるＣ
ＰＵ５の動作を示すフローチャートである。動き検出装
置１０７Ａの構成については、図１と同じで、ＣＰＵ５
の処理動作のみ第１の実施の形態と異なる。第１の実施
の形態と異なるのは、動きベクトルの検出のための動き
探索範囲の拡大を動きベクトルを統計的処理して判定す
るのではなく、誤差計算回路２の出力である動き検出誤
差で行う点である。According to this embodiment, the motion search range can be changed in accordance with the motion of the image, large motion can be handled, the difference between frames can be reduced, and the image quality does not deteriorate. In addition, since the amount of calculation for calculating the motion vector does not increase, the amount of hardware for calculating the motion vector does not increase. FIG. 3 shows C according to the motion detection method in the second embodiment of the present invention.
6 is a flowchart illustrating an operation of a PU5. The configuration of the motion detection device 107A is the same as that of FIG.
Only the processing operation is different from the first embodiment. The difference from the first embodiment is that the expansion of the motion search range for detecting the motion vector is not determined by statistical processing of the motion vector, but by the motion detection error output from the error calculation circuit 2. The point to do.
【００３９】動きベクトルの検出の際に得られる誤差、
つまり従来例における誤差σ(x,y)(mx,my)は動きベクト
ル検出後の残差を示し、画像の動きが大きく、動き探索
範囲を超え、動きが当たらないような場合は誤差σ(x,
y)(mx,my)が大きくなる。第２の実施の形態では、動き
ベクトルの検出の際に得られる誤差σ(x,y)(mx,my)を利
用して動き探索範囲の変更を行う。具体的には、２次元
ブロック単位に生成される動き検出誤差σ(x,y)(mx,my)
をフレーム全体で合計し合計値をまず求める（ステップ
３１，３２）。つぎに、あらかじめ実験的に定めた閾値
Ｔｍａｘ，Ｔｍａｘ／２と上記合計値を比較し（ステッ
プ３３，３４）、合計値が閾値Ｔｍａｘより大きい場合
は動きが大きいと判断し、探索範囲を例えば２倍に拡
大、すなわち誤差計算回路２の入力を１／２にサブサン
プリングする（ステップ３４）。逆に、合計値が閾値Ｔ
ｍａｘの１／２より小さい場合、誤差計算回路２の入力
をサブサンプリングしないこととする（ステップ３
６）。An error obtained in detecting a motion vector,
That is, the error σ (x, y) (mx, my) in the conventional example indicates the residual after the detection of the motion vector, and when the motion of the image is large, exceeds the motion search range and the motion does not hit, the error σ ( x,
y) (mx, my) increases. In the second embodiment, the motion search range is changed using an error σ (x, y) (mx, my) obtained at the time of detecting a motion vector. Specifically, a motion detection error σ (x, y) (mx, my) generated in units of two-dimensional blocks
Are calculated for the entire frame to obtain a total value first (steps 31 and 32). Next, the total values are compared with threshold values Tmax and Tmax / 2 experimentally determined in advance (steps 33 and 34). If the total value is larger than the threshold value Tmax, it is determined that the motion is large, and the search range is set to, for example, 2 That is, the input of the error calculation circuit 2 is sub-sampled to 1/2 (step 34). Conversely, the sum is equal to the threshold T
If it is smaller than 1/2 of max, the input of the error calculation circuit 2 is not sub-sampled (step 3).
6).
【００４０】以上のような実施の形態によっても、第１
の実施の形態と同様の効果を得ることができる。図４は
本発明の第３の実施の形態における動き検出装置１０７
Ｂを用いた画像符号化装置のブロック図、図５は動き検
出装置１０７Ｂの動き検出方法にかかるＣＰＵ５の動作
を示すフローチャートである。According to the above embodiment, the first
The same effect as that of the embodiment can be obtained. FIG. 4 shows a motion detection device 107 according to the third embodiment of the present invention.
B is a block diagram of an image encoding device using B, and FIG. 5 is a flowchart showing the operation of the CPU 5 according to the motion detection method of the motion detection device 107B.
【００４１】図４において、符号１０１〜１０６、１０
８で示す要素は図８の従来の画像符号化装置と同様の動
作を行う。また、動き検出装置１０７Ｂについては、図
１の動き検出装置０７Ａとほぼ同様であるが、前フレー
ムの２次元ブロックごとの動き補償モードを示す信号を
動き補償フレーム間予測回路１０６から入力する点が異
なる。In FIG. 4, reference numerals 101 to 106, 10
The element denoted by 8 performs the same operation as that of the conventional image encoding apparatus of FIG. The motion estimation device 107B is substantially the same as the motion estimation device 07A of FIG. 1 except that a signal indicating the motion compensation mode for each two-dimensional block of the previous frame is input from the motion compensation inter-frame prediction circuit 106. different.
【００４２】この実施の形態では、動き探索範囲の切り
替えを前フレームの２次元ブロックごとの動き補償モー
ドを示す信号を統計処理することで行う。動きが大きく
動きが当たらない場合、動き補償しても動き補償後の誤
差σ(x,y)(mx,my)が大きくなるのは第２の実施の形態で
述べたとおりであり、そのような誤差σ(x,y)(mx,my)の
大きな動きベクトルを動き補償に用いても動き補償を的
確に行えないので、動き補償予測フレーム間予測回路１
０６では、一般的に、予測誤差、すなわち予測値（動き
補償して生成した２次元ブロック）と符号化対象ブロッ
クとの誤差の大きさを実験で定めた閾値と比較し、動き
ベクトルの大きさあるいは誤差σ(x,y)(mx,my)の大きさ
が閾値より小さいときには、動きベクトルを用いて動き
補償を行うが、閾値より大きくなって動きが当たらない
場合に自動的に、動き補償しないモード、すなわちイン
トラモードをそのブロックで選択するように構成されて
いるが、２次元ブロック単位の動き補償モードを示す信
号を動き補償フレーム間予測回路１０６からＣＰＵ５に
入力し、フレームの２次元ブロックのうちイントラモー
ドが選択されたブロック数をカウントし、その数を閾値
と比較し、その比較結果を動き探索範囲を決める基準と
している。In this embodiment, the switching of the motion search range is performed by statistically processing a signal indicating the motion compensation mode for each two-dimensional block of the previous frame. When the motion is large and the motion does not hit, the error σ (x, y) (mx, my) after the motion compensation becomes large even if the motion is compensated, as described in the second embodiment. Even if a motion vector having a large error σ (x, y) (mx, my) is used for motion compensation, the motion compensation cannot be accurately performed.
At step 06, the prediction error, that is, the magnitude of the error between the prediction value (two-dimensional block generated by motion compensation) and the current block is compared with a threshold value determined by experiment, and the magnitude of the motion vector is calculated. Alternatively, when the magnitude of the error σ (x, y) (mx, my) is smaller than the threshold, motion compensation is performed using a motion vector. A mode indicating no motion mode, that is, an intra mode, is selected for the block. However, a signal indicating the motion compensation mode in units of two-dimensional blocks is input from the motion compensation inter-frame prediction circuit 106 to the CPU 5, and the two-dimensional block of the frame is input. The number of blocks for which the intra mode is selected is counted, the number is compared with a threshold value, and the comparison result is used as a reference for determining a motion search range.
【００４３】ここで、ＣＰＵ５の処理動作について図５
を参照して説明する。図５では、ＣＰＵ５は、前フレー
ムの動き補償モードを示す信号をステップ５１で読み込
み、ステップ５２でイントラモードが選択されたブロッ
ク数を１フレーム内で合計し、ステップ５３で全ブロッ
ク中の５０％以上がイントラブロックであるかどうかを
判断し、５０％以上である場合は動きが大きいと判断
し、動き探索範囲を例えば２倍に拡大、すなわち誤差計
算回路２の入力をサブサンプリングする。５０％未満で
あれば、動き探索範囲は元のままで、サブサンプリング
も行わない。Here, the processing operation of the CPU 5 will be described with reference to FIG.
This will be described with reference to FIG. In FIG. 5, the CPU 5 reads in step 51 a signal indicating the motion compensation mode of the previous frame, sums up the number of blocks in which intra mode has been selected in step 52 within one frame, and in step 53, 50% of all blocks It is determined whether or not the above is an intra block. If it is 50% or more, it is determined that the motion is large, and the motion search range is expanded to, for example, twice, that is, the input of the error calculation circuit 2 is sub-sampled. If it is less than 50%, the motion search range remains unchanged and no sub-sampling is performed.
【００４４】以上の実施の形態によっても、動き探索範
囲の切り替えを行うことができる。この実施の形態で
は、動き探索範囲を狭くすることはできないが、第２の
実施の形態に比べ、実際に画像符号化した結果を用いる
ため、より精度の高い判定が可能となる。なお、以上で
は第１、第２、第３の実施の形態を分けて説明したが、
これらの実施の形態の条件を組み合わせて用いることも
可能である。According to the above embodiment, the motion search range can be switched. In this embodiment, the motion search range cannot be narrowed. However, compared to the second embodiment, the result of actual image encoding is used, so that a more accurate determination can be made. Although the first, second, and third embodiments have been described separately,
It is also possible to use the conditions of these embodiments in combination.
【００４５】また、以上の実施の形態では、動き探索範
囲を切り替えるための閾値として、動きベクトルの最大
値を示す個数が全ブロックの５０％、動きベクトル検出
の際の誤差σ(x,y)(mx,my)の合計値が閾値Ｔｍａｘの１
／２、イントラブロックが全ブロック中の５０％などを
例として説明しているが、これらに限るものではなく、
実際の利用形態にあわせて調節することができる。In the above-described embodiment, the threshold value for switching the motion search range is such that the number of the maximum values of the motion vectors is 50% of all the blocks, and the error σ (x, y) at the time of detecting the motion vector. The sum of (mx, my) is 1 of the threshold Tmax
/ 2, 50% of the total number of intra blocks are described as an example, but the invention is not limited to these.
It can be adjusted according to the actual usage.
【００４６】さらに、以上の実施の形態において、動き
検出誤差は２乗誤差を加算して得たが、絶対値誤差を用
いることもできる。図６は本発明の第４の実施の形態に
おける動き検出装置１０７Ａの動き検出方法にかかるＣ
ＰＵ５の動作を示すフローチャートである。この実施の
形態では、動き探索範囲の拡大に伴う演算量の増大を、
サブサンプリングによるのではなく、水平、垂直の動き
探索範囲を同時に変更することによって行う。図６にお
いて、ステップ６１〜６３で前フレームまでの動き探索
範囲（水平方向の動き探索範囲→ｈ、垂直方向の動き探
索範囲→ｖ）を設定し、ｈ×ｖ→Ｓの演算を行う。計算
量は動き探索範囲の面積に比例するため水平方向ｈと、
垂直方向のｖを掛け合わせた値Ｓは総計算量に比例す
る。ステップ６４，６５で現フレームについての水平、
垂直の新しい動き探索範囲を判定し、水平方向の動き探
索範囲ｈ’，垂直方向の動き探索範囲ｖ’を別々に求め
る。範囲判定方法は実施の形態１〜３のいずれかの方法
を用いる。つぎに、ステップ６６でｈ’×ｖ’と先に計
算したＳの比較を行い、Ｓを超えた際、水平探索範囲を
２倍に拡大する場合は、垂直探索範囲を１／２にし（ス
テップ６７，６８）、垂直探索範囲を２倍にする場合
は、水平探索範囲を１／２にする（ステップ６９，７
０）。また、水平、垂直とも２倍に拡大と判定した場合
は、両方とも拡大しない（ステップ７１，７２）。Further, in the above embodiment, the motion detection error is obtained by adding the square error, but the absolute value error can be used. FIG. 6 is a diagram illustrating a C according to the motion detection method of the motion detection device 107A according to the fourth embodiment of the present invention.
6 is a flowchart illustrating an operation of a PU5. In this embodiment, the increase in the amount of computation due to the expansion of the motion search range
This is done not by subsampling but by simultaneously changing the horizontal and vertical motion search ranges. In FIG. 6, in steps 61 to 63, a motion search range up to the previous frame (horizontal motion search range → h, vertical motion search range → v) is set, and the calculation of h × v → S is performed. Since the amount of calculation is proportional to the area of the motion search range, the horizontal direction h,
The value S multiplied by v in the vertical direction is proportional to the total amount of calculation. In steps 64 and 65, the horizontal for the current frame,
A new vertical motion search range is determined, and a horizontal motion search range h ′ and a vertical motion search range v ′ are separately obtained. As the range determination method, any one of the first to third embodiments is used. Next, in step 66, h ′ × v ′ is compared with the previously calculated S. When the horizontal search range is doubled when the value exceeds S, the vertical search range is reduced to half (step S66). 67, 68), when doubling the vertical search range, halving the horizontal search range (steps 69, 7).
0). If it is determined that the horizontal and vertical magnifications are doubled, both are not enlarged (steps 71 and 72).
【００４７】実際の画像では、動きが大きい際、水平あ
るいは垂直どちらか一方向のみの場合が多く、この実施
の形態によって、ハードウェアを増加させることなく圧
縮画像の画質向上を図ることが可能となる。また以上の
実施の形態では、すべて前フレームの動き検出、あるい
は動き補償のモードを利用するとしたが、これに限るも
のではなく、時間的に前に検出された情報ならば何でも
利用できる。例えば、ハードウェアの応答が十分早けれ
ば、同じフレーム内の時間的に前の２次元ブロックの動
き検出情報を用いることも可能である。あるいは、前フ
レームの情報からだけでなく、時間的に前の複数フレー
ムの情報を用いて、判定することもまた可能である。In an actual image, when the motion is large, there are many cases in which only one of the horizontal and vertical directions is provided. According to this embodiment, it is possible to improve the image quality of the compressed image without increasing the hardware. Become. Further, in the above-described embodiments, the mode of motion detection or motion compensation of the previous frame is used, but the present invention is not limited to this, and any information detected earlier in time can be used. For example, if the response of the hardware is sufficiently fast, it is also possible to use the motion detection information of a two-dimensional block that is temporally earlier in the same frame. Alternatively, the determination can be made not only from the information of the previous frame but also the information of a plurality of frames that are temporally previous.
【００４８】さらに、蓄積メディアに対する符号化など
複数回の符号化が可能な場合には、１回目の符号化で得
た動き情報から動き探索範囲をあらかじめ計算し、２回
目の符号化で１回目で定めた動き探索範囲を用いて動き
ベクトルを検出することもできる。図７は本発明の第５
の実施の形態における動き検出装置１０７Ｂを用いた画
像符号化装置７０、記録媒体７１、伝送路７２、画像復
号化装置７３を説明するためのブロック図である。な
お、動き検出装置１０７Ａを用いて画像符号化装置７０
を構成してもよいのは当然であり、動き探索範囲の変更
の際に、サブサンプリング等の処理を行わないもので、
画像符号化装置を構成してもよいのはいうまでもない。Further, when encoding can be performed a plurality of times, such as encoding for a storage medium, a motion search range is calculated in advance from the motion information obtained in the first encoding, and the first search is performed in the second encoding. The motion vector can also be detected using the motion search range determined in. FIG. 7 shows the fifth embodiment of the present invention.
10 is a block diagram for describing an image encoding device 70, a recording medium 71, a transmission path 72, and an image decoding device 73 using the motion estimation device 107B according to the embodiment. FIG. Note that the image encoding device 70 is
Of course, when the motion search range is changed, processing such as sub-sampling is not performed.
It goes without saying that an image encoding device may be configured.
【００４９】第５の実施の形態における画像符号化装置
７０は第３の実施の形態で用いた画像符号化装置と同様
のものである。第５の実施の形態では、第３の実施の形
態における画像符号化装置７０により生成した符号化出
力を記録媒体７１に記録、あるいは伝送路７２を通して
伝送し、画像復号化装置７３にて復号し、実時間画像デ
ータに戻している。The image coding device 70 according to the fifth embodiment is similar to the image coding device used in the third embodiment. In the fifth embodiment, the coded output generated by the image coding device 70 according to the third embodiment is recorded on a recording medium 71 or transmitted through a transmission path 72 and decoded by an image decoding device 73. , To real-time image data.
【００５０】画像符号化装置７０において、ＤＣＴ回路
１０２，量子化器１０３等が次フレームの画像データと
動き補償フレーム間予測回路から出力される予測値の予
測誤差を符号化する符号化手段を構成し、逆量子化器１
０３および逆ＤＣＴ回路１０４が符号化手段の出力を復
号化する復号化手段を構成し、復号化手段の出力と動き
補償フレーム間予測回路の出力とを加えた次フレームの
画像データでフレームメモリ１０５を更新するようにし
ている。In the image encoding device 70, the DCT circuit 102, the quantizer 103 and the like constitute encoding means for encoding the image data of the next frame and the prediction error of the prediction value output from the motion compensation inter-frame prediction circuit. And the inverse quantizer 1
03 and the inverse DCT circuit 104 constitute decoding means for decoding the output of the coding means, and the frame memory 105 stores the image data of the next frame to which the output of the decoding means and the output of the motion compensation inter-frame prediction circuit are added. Is to be updated.
【００５１】画像復号化装置７３は、動き補償回路１１
０以外の、逆量子化器１０３Ｂ、逆ＤＣＴ回路１０４
Ｂ、フレームメモリ１０５Ｂは画像符号化装置７０の逆
量子化器１０３、逆ＤＣＴ回路１０４、フレームメモリ
１０５と同様のものを用いている。動き補償回路１１０
は、画像符号化装置における動き補償フレーム間予測回
路１０６から、モード選択部分の機能を除いた回路であ
る。復号化時には、モードがあらかじめ定まっているた
め、符号化出力に多重されているモード信号を用いて動
き補償を行う。従来の画像復号化装置と異なるのは、動
き補償の範囲を拡大した場合にも対応できる点である。
なお、上記の動き補償回路１１０は、フレームメモリと
アドレス発生回路とからなり、従来例と異なるのは、動
き補償の範囲を拡げ得ること、つまり従来例より大きな
アドレスを発生し得るアドレス発生回路を備えている点
である。The image decoding device 73 includes the motion compensation circuit 11
Inverse quantizer 103B, inverse DCT circuit 104 other than 0
B, the frame memory 105B is the same as the inverse quantizer 103, the inverse DCT circuit 104, and the frame memory 105 of the image encoding device 70. Motion compensation circuit 110
Is a circuit obtained by removing the function of the mode selection portion from the motion compensation inter-frame prediction circuit 106 in the image encoding device. At the time of decoding, since the mode is predetermined, motion compensation is performed using the mode signal multiplexed on the encoded output. The difference from the conventional image decoding device is that it can cope with a case where the range of motion compensation is expanded.
The motion compensation circuit 110 includes a frame memory and an address generation circuit. The difference from the conventional example is that the range of motion compensation can be expanded, that is, an address generation circuit capable of generating a larger address than the conventional example is provided. The point is.
【００５２】この実施の形態によれば、第１〜第４の実
施の形態の動き補償装置、ならびに画像圧縮装置により
生成した圧縮符号化出力を記録、伝送、復号することが
可能となり、効果は先の実施の形態と同様である。According to this embodiment, it is possible to record, transmit, and decode the compression-encoded output generated by the motion compensation device and the image compression device of the first to fourth embodiments, and the effect is as follows. This is the same as the previous embodiment.
【００５３】[0053]
【発明の効果】請求項１記載の動き検出方法によれば、
画像の動きの大きさを示す時間的に前に検出された動き
探索範囲決定用情報を入力し、動き探索範囲決定用情報
に基づいて動き探索範囲を定めるので、画像の動きに応
じて動き探索範囲を拡大することができ、動きの大きな
画像でも画質劣化のない圧縮符号化が可能となる。According to the motion detecting method of the first aspect,
Since the information for determining the motion search range detected earlier in time indicating the magnitude of the motion of the image is input and the motion search range is determined based on the information for determining the motion search range, the motion search is performed according to the motion of the image. The range can be expanded, and even a large-motion image can be subjected to compression encoding without image quality deterioration.
【００５４】請求項２記載の動き検出方法によれば、フ
レーム毎に動き探索範囲の変更を行うことが可能で、画
像の動きの変化に速やかに対応することができ、画質を
劣化させない。請求項３記載の動き検出方法によれば、
２次元ブロック単位で動き探索範囲の変更を行うことが
可能で、画像の動きの変化にいっそう速やかに対応する
ことができる。According to the motion detecting method of the present invention, it is possible to change the motion search range for each frame, and it is possible to quickly respond to a change in the motion of an image without deteriorating the image quality. According to the motion detection method of the third aspect,
It is possible to change the motion search range in units of two-dimensional blocks, and it is possible to respond more quickly to changes in the motion of an image.
【００５５】請求項４記載の動き検出方法によれば、動
きベクトルに基づいて動き探索範囲を定めることがで
き、画像の動きに対応して動き探索範囲を容易に定める
ことができる。請求項５記載の動き検出方法によれば、
動きベクトルを計算した際の誤差に基づいて動き探索範
囲を定めることができ、画像の動きに対応して動き探索
範囲を容易に定めることができる。According to the motion detecting method of the fourth aspect, the motion search range can be determined based on the motion vector, and the motion search range can be easily determined corresponding to the motion of the image. According to the motion detection method of the fifth aspect,
The motion search range can be determined based on the error when calculating the motion vector, and the motion search range can be easily determined corresponding to the motion of the image.
【００５６】請求項６記載の動き検出方法によれば、前
フレームの動き補償結果に基づいて動き探索範囲を定め
ることができ、動き探索範囲をより精度よく決めること
ができる。請求項７記載の動き検出装置によれば、画像
の動きの大きさを示す時間的に前に検出された動き探索
範囲決定用情報を入力し、動き探索範囲決定用情報に基
づいて動き探索範囲を定めるので、画像の動きに応じて
動き探索範囲を拡大することができ、動きの大きな画像
でも画質劣化のない圧縮符号化が可能となる。According to the motion detecting method of the sixth aspect, the motion search range can be determined based on the motion compensation result of the previous frame, and the motion search range can be determined more accurately. According to the motion detection device of the seventh aspect, the information for determining the motion search range detected earlier in time indicating the magnitude of the motion of the image is input, and the motion search range is determined based on the information for determining the motion search range. Is determined, the motion search range can be expanded in accordance with the motion of the image, and compression encoding without deterioration in image quality can be performed even for an image having a large motion.
【００５７】請求項８記載の動き検出方法によれば、画
像の動きの大きさを示す時間的に前に検出された動き探
索範囲決定用情報を入力し、動き探索範囲決定用情報に
基づいて動き探索範囲を定めるときに、時間的に前に動
きベクトルを計算した際の演算量を超えないようにする
ので、画像の動きに応じて動き探索範囲を拡大すること
ができ、動きの大きな画像でも画質劣化のない圧縮符号
化が可能となり、しかも計算量を増加させることはな
く、ハードウェアが増大することはない。According to the motion detecting method of the present invention, the information for determining the motion search range, which is detected earlier in time and indicates the magnitude of the motion of the image, is input, and based on the information for determining the motion search range. When determining the motion search range, the amount of calculation when the motion vector was calculated earlier in time is not exceeded, so the motion search range can be expanded according to the motion of the image, and the image with large motion However, it is possible to perform compression encoding without deterioration of image quality, and furthermore, there is no increase in the amount of calculation and no increase in hardware.
【００５８】請求項９記載の動き検出方法によれば、サ
ブサンプリングによって動き探索範囲内の画素数が同じ
となり、動きベクトルの計算のための演算量が増えな
い。請求項１０記載の動き検出方法によれば、動き探索
範囲を水平もしくは垂直方向に拡大したときは、それと
直交する方向には拡大比の逆数で縮小するので、動き探
索範囲内の画素数が同じとなり、動きベクトルの計算の
ための演算量が増えない。According to the motion detecting method of the ninth aspect, the number of pixels in the motion search range becomes the same by subsampling, and the amount of calculation for calculating the motion vector does not increase. According to the motion detection method of the tenth aspect, when the motion search range is expanded in the horizontal or vertical direction, the motion search range is reduced by a reciprocal of the expansion ratio in a direction orthogonal thereto, so that the number of pixels in the motion search range is the same. And the amount of calculation for calculating the motion vector does not increase.
【００５９】請求項１１記載の動き検出装置によれば、
画像の動きの大きさを示す時間的に前に検出された動き
探索範囲決定用情報を入力し、動き探索範囲決定用情報
に基づいて動き探索範囲を定めるときに、時間的に前に
動きベクトルを計算した際の演算量を超えないようにす
るので、画像の動きに応じて動き探索範囲を拡大するこ
とができ、動きの大きな画像でも画質劣化のない圧縮符
号化が可能となり、しかも計算量を増加させることはな
く、ハードウェアが増大することはない。According to the motion detecting device of the eleventh aspect,
When inputting the information for determining a motion search range detected earlier in time indicating the magnitude of the motion of the image and determining the motion search range based on the information for determining the motion search range, a motion vector Since the amount of calculation when calculating is not exceeded, the motion search range can be expanded according to the motion of the image. And the hardware does not increase.
【００６０】請求項１２記載の画像圧縮符号化装置によ
れば、符号化の際に画像の動きに応じて動き探索範囲を
変えることができ、大きな動きに対応することができて
フレーム間差分を小さくすることができ、画質を劣化さ
せない。しかも、動きベクトルの計算のための演算量が
増えないので、動きベクトル演算のためのハードウェア
量が増えることはない。According to the image compression / encoding apparatus of the twelfth aspect, at the time of encoding, the motion search range can be changed in accordance with the motion of the image, and it is possible to cope with a large motion, and the difference between frames can be reduced. It can be made smaller and does not degrade image quality. In addition, since the amount of calculation for calculating the motion vector does not increase, the amount of hardware for calculating the motion vector does not increase.
【００６１】請求項１３記載の画像復号化装置によれ
ば、圧縮画像データを復号する際に、画質の劣化を少な
くできる。請求項１４記載の画像記録媒体によれば、圧
縮画像データを記録する際に、画質の劣化を少なくでき
る。請求項１５記載の画像伝送媒体によれば、圧縮画像
データを伝送する際に、画質の劣化を少なくできる。According to the image decoding apparatus of the thirteenth aspect, when decoding the compressed image data, the deterioration of the image quality can be reduced. According to the image recording medium of the present invention, when recording the compressed image data, the deterioration of the image quality can be reduced. According to the image transmission medium of the present invention, when transmitting the compressed image data, the deterioration of the image quality can be reduced.
【図１】本発明の第１の実施の形態における動き検出装
置のブロック図である。FIG. 1 is a block diagram of a motion detection device according to a first embodiment of the present invention.
【図２】本発明の第１の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。FIG. 2 is a flowchart illustrating an operation of a CPU of the motion detection device according to the first embodiment of the present invention.
【図３】本発明の第２の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。FIG. 3 is a flowchart illustrating an operation of a CPU of the motion detection device according to the second embodiment of the present invention.
【図４】本発明の第３の実施の形態における動き検出装
置を用いた画像符号化装置のブロック図である。FIG. 4 is a block diagram of an image encoding device using a motion estimation device according to a third embodiment of the present invention.
【図５】本発明の第３の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。FIG. 5 is a flowchart illustrating an operation of a CPU of a motion detection device according to a third embodiment of the present invention.
【図６】本発明の第４の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。FIG. 6 is a flowchart illustrating an operation of a CPU of a motion detection device according to a fourth embodiment of the present invention.
【図７】本発明の第５の実施の形態における動き検出装
置を用いた画像符号化装置、記録媒体、伝送路、画像復
号装置のブロック図である。FIG. 7 is a block diagram of an image encoding device, a recording medium, a transmission path, and an image decoding device using a motion estimation device according to a fifth embodiment of the present invention.
【図８】従来の動き補償フレーム間差分２次元ＤＣＴの
ブロック図である。FIG. 8 is a block diagram of a conventional motion compensated inter-frame difference two-dimensional DCT.
【図９】従来の動き検出装置のブロック図である。FIG. 9 is a block diagram of a conventional motion detection device.
１ バッファメモリ ２ 誤差計算回路 ３ 誤差比較回路 ４ アドレス発生回路 ５ ＣＰＵ ７０ 画像符号化装置 ７１ 記録媒体 ７２ 伝送路 ７３ 画像復号化装置 １０１ ＤＣＴ回路 １０２ 量子化器 １０３ 逆量子化器 １０４ 逆ＤＣＴ回路 １０５ フレームメモリ １０６ 動き補償フレーム間予測回路 １０７Ａ 動き検出装置 １０７Ｂ 動き検出装置 １１０ 動き補償回路 DESCRIPTION OF SYMBOLS 1 Buffer memory 2 Error calculation circuit 3 Error comparison circuit 4 Address generation circuit 5 CPU 70 Image encoding device 71 Recording medium 72 Transmission line 73 Image decoding device 101 DCT circuit 102 Quantizer 103 Inverse quantizer 104 Inverse DCT circuit 105 Frame memory 106 Motion compensation inter-frame prediction circuit 107A Motion estimation device 107B Motion estimation device 110 Motion compensation circuit
Claims (15)
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出方法であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報に基づいて前記動き探
索範囲を定めることを特徴とする動き検出方法。1. Within a predetermined motion search range of the previous frame centered on the position of a two-dimensional block obtained by dividing the current frame, a motion on the screen from the previous frame of the two-dimensional block obtained by dividing the current frame is determined. A motion estimation method for calculating a motion vector to be indicated, the motion search range determination information detected earlier in time indicating the magnitude of the motion of the image is input, and based on the motion search range determination information, A motion detection method characterized by defining a motion search range.
行うことを特徴とする請求項１記載の動き検出方法。2. The method according to claim 1, wherein the change of the motion search range is performed on a frame basis.
した２次元ブロック単位で行うことを特徴とする請求項
１記載の動き検出方法。3. The motion detection method according to claim 1, wherein the change of the motion search range is performed in units of two-dimensional blocks obtained by dividing a frame.
以前の１または複数のフレームについて２次元ブロック
単位毎に既に計算した動きベクトルであることを特徴と
する請求項１記載の動き検出方法。4. The motion detection method according to claim 1, wherein the information for determining a motion search range is a motion vector already calculated for each two-dimensional block for one or a plurality of frames before the previous frame.
以前の１または複数のフレームについて２次元ブロック
単位毎に既に動きベクトルを計算した際に計算した誤差
であることを特徴とする請求項１記載の動き検出方法。5. The motion search range determining information is an error calculated when a motion vector has already been calculated for one or a plurality of frames before the previous frame for each two-dimensional block unit. The motion detection method described.
以前の１または複数のフレームについて２次元ブロック
単位毎に既に計算した動きベクトルを用いて動き補償す
る際の動き補償モードを、動き補償を行わないイントラ
モードに設定した前記２次元ブロックの個数であること
を特徴とする請求項１記載の動き検出方法。6. The motion search range determination information includes a motion compensation mode when one or more frames before a previous frame are subjected to motion compensation using a motion vector already calculated for each two-dimensional block unit. 2. The motion detection method according to claim 1, wherein the number of the two-dimensional blocks set in the intra mode in which the motion detection is not performed.
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出装置であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報から前記動き探索範囲
を計算する動き探索範囲計算手段を設けたことを特徴と
する動き検出装置。7. Within a predetermined motion search range of the previous frame centered on the position of the two-dimensional block obtained by dividing the current frame, the motion on the screen from the previous frame of the two-dimensional block obtained by dividing the current frame is determined. A motion estimation device for calculating a motion vector indicating the motion search range, the motion search range determination information detected temporally before indicating the magnitude of the motion of the image, and the motion search range determination information is input from the motion search range determination information. A motion detection device comprising a motion search range calculation means for calculating a range.
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出方法であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報に基づいて前記動き探
索範囲を定めるときに、時間的に前に前記動きベクトル
を計算した際の演算量を超えないようにすることを特徴
とする動き検出方法。8. Within a predetermined motion search range of the previous frame centered on the position of the two-dimensional block obtained by dividing the current frame, the motion on the screen from the previous frame of the two-dimensional block obtained by dividing the current frame is determined. A motion estimation method for calculating a motion vector to be indicated, the motion search range determination information detected earlier in time indicating the magnitude of the motion of the image is input, and based on the motion search range determination information, A motion detection method characterized in that when a motion search range is determined, the amount of calculation when the motion vector is calculated earlier in time is not exceeded.
る際は、入力する画像を１／Ｎでサブサンプリングする
ことを特徴とする請求項８記載の動き検出方法。9. The motion detection method according to claim 8, wherein when the search range of the motion vector is enlarged by N times, the input image is sub-sampled by 1 / N.
Ｎ倍に拡大する際は、垂直方向に１／Ｎ倍の探索範囲と
し、垂直方向にＮ倍に拡大する際は水平方向に１／Ｎ倍
の探索範囲とすることを特徴とする請求項８記載の動き
検出方法。10. When the search range of a motion vector is enlarged by N times in the horizontal direction, the search range is 1 / N times in the vertical direction. When the search range is enlarged by N times in the vertical direction, the search range is 1 / N in the horizontal direction. 9. The method according to claim 8, wherein the search range is doubled.
の位置を中心とする前記前フレームの所定の動き探索範
囲内で、前記現フレームを分割した２次元ブロックの前
フレームからの画面上の動きを示す動きベクトルを計算
する動き検出装置であって、画像の動きの大きさを示す
時間的に前に検出された動き情報を入力し、前記動き探
索範囲決定用情報から前記動き探索範囲を計算するとき
に、時間的に前に前記動きベクトルを計算した際の演算
量を超えないようにする動き探索範囲計算手段を設けた
ことを特徴とする動き検出装置。11. A motion on the screen from a previous frame of the two-dimensional block obtained by dividing the current frame within a predetermined motion search range of the previous frame centered on a position of the two-dimensional block obtained by dividing the current frame. A motion estimating device for calculating a motion vector to be indicated, comprising inputting motion information detected earlier in time indicating the magnitude of motion of an image and calculating the motion search range from the information for motion search range determination. A motion detection device characterized in that a motion search range calculation means is provided which does not exceed a calculation amount when the motion vector was calculated earlier in time.
出方法によって求めた動きベクトルを用いて、画像圧縮
符号化する画像圧縮符号化装置。12. An image compression encoding apparatus that performs image compression encoding using a motion vector obtained by the motion estimation method according to claim 1.
より圧縮符号化した圧縮画像データを復号する画像復号
化装置。13. An image decoding apparatus for decoding compressed image data compressed and encoded by the image compression encoding apparatus according to claim 12.
より圧縮符号化した圧縮画像データを記録する画像記録
媒体。14. An image recording medium for recording compressed image data compressed and encoded by the image compression encoding apparatus according to claim 12.
より圧縮符号化した圧縮画像データを伝送する画像伝送
媒体。15. An image transmission medium for transmitting compressed image data compressed and encoded by the image compression encoding apparatus according to claim 12.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17247596A JPH1023420A (en) | 1996-07-02 | 1996-07-02 | Motion detection method and motion detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17247596A JPH1023420A (en) | 1996-07-02 | 1996-07-02 | Motion detection method and motion detection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1023420A true JPH1023420A (en) | 1998-01-23 |
Family
ID=15942682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17247596A Pending JPH1023420A (en) | 1996-07-02 | 1996-07-02 | Motion detection method and motion detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1023420A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003056838A1 (en) * | 2001-12-25 | 2003-07-10 | Matsushita Electric Industrial Co., Ltd. | Moving picture compression/coding apparatus and motion vector detection method |
| JP2011091794A (en) * | 2009-10-20 | 2011-05-06 | Intel Corp | Method and apparatus for adaptively choosing a search range for motion estimation |
| US8019168B2 (en) | 2003-01-10 | 2011-09-13 | Renesas Electronics Corporation | Motion detecting device and search region variable-shaped motion detector |
| US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
| US9509995B2 (en) | 2010-12-21 | 2016-11-29 | Intel Corporation | System and method for enhanced DMVD processing |
| US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US10250885B2 (en) | 2000-12-06 | 2019-04-02 | Intel Corporation | System and method for intracoding video data |
-
1996
- 1996-07-02 JP JP17247596A patent/JPH1023420A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10701368B2 (en) | 2000-12-06 | 2020-06-30 | Intel Corporation | System and method for intracoding video data |
| US10250885B2 (en) | 2000-12-06 | 2019-04-02 | Intel Corporation | System and method for intracoding video data |
| WO2003056838A1 (en) * | 2001-12-25 | 2003-07-10 | Matsushita Electric Industrial Co., Ltd. | Moving picture compression/coding apparatus and motion vector detection method |
| EP1460854A4 (en) * | 2001-12-25 | 2008-10-22 | Matsushita Electric Industrial Co Ltd | COMPRESSION DEVICE / ENCODED IMAGE ENCODING DEVICE AND MOTION VECTOR DETECTION METHOD |
| US8019168B2 (en) | 2003-01-10 | 2011-09-13 | Renesas Electronics Corporation | Motion detecting device and search region variable-shaped motion detector |
| US9955179B2 (en) | 2009-07-03 | 2018-04-24 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US9538197B2 (en) | 2009-07-03 | 2017-01-03 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
| US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US9445103B2 (en) | 2009-07-03 | 2016-09-13 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
| US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
| US10404994B2 (en) | 2009-07-03 | 2019-09-03 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US10863194B2 (en) | 2009-07-03 | 2020-12-08 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US11765380B2 (en) | 2009-07-03 | 2023-09-19 | Tahoe Research, Ltd. | Methods and systems for motion vector derivation at a video decoder |
| JP2011091794A (en) * | 2009-10-20 | 2011-05-06 | Intel Corp | Method and apparatus for adaptively choosing a search range for motion estimation |
| US9509995B2 (en) | 2010-12-21 | 2016-11-29 | Intel Corporation | System and method for enhanced DMVD processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769681B (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium | |
| JP3190529B2 (en) | Video data block conversion system | |
| CN108924553B (en) | Video encoding and decoding method, apparatus, computer equipment and storage medium | |
| JPH09163380A (en) | Image coding apparatus and motion vector detection method | |
| JPH04177992A (en) | Picture coder having hierarchical structure | |
| JP4518111B2 (en) | Video processing apparatus, video processing method, and program | |
| JP3874179B2 (en) | Encoded video converter | |
| JP3667105B2 (en) | Motion vector detection method and apparatus for implementing the method | |
| JP2684941B2 (en) | Image encoding method and image encoding device | |
| CN108848377B (en) | Video encoding and decoding method, apparatus, computer equipment and storage medium | |
| TWI225372B (en) | Method of detecting motion vector | |
| KR20040000312A (en) | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing | |
| CN101389032A (en) | A Method of Intra-frame Predictive Coding Based on Image Interpolation | |
| CN100571400C (en) | Image encoding device and image encoding method | |
| JP2006279917A (en) | Moving picture encoding apparatus, moving picture decoding apparatus, and moving picture transmission system | |
| US20040120586A1 (en) | Processor and processing method for an image signal, image display apparatus, generation apparatus and generation method for coefficient data used therein, program for executing each of these methods, and computer-readable medium recording the program | |
| JP2002281508A (en) | Skip region detection type moving picture coding apparatus and recording medium | |
| JP3784086B2 (en) | Video signal encoding / decoding device and encoding / decoding method | |
| KR0152014B1 (en) | Motion Estimation Method in Image Data Compression and Its Apparatus | |
| JP4154772B2 (en) | Image information conversion apparatus and conversion method | |
| KR100584537B1 (en) | How to save surveillance camera information using MB4 | |
| JPH1042300A (en) | Motion vector detection device | |
| JPH10164596A (en) | Motion detection device | |
| WO2000062554A1 (en) | Image processing method and image processing device | |
| JP2934175B2 (en) | Video coding method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051206 |