JPH1051784A - Dynamic image coder - Google Patents

Dynamic image coder

Info

Publication number
JPH1051784A
JPH1051784A JP20024296A JP20024296A JPH1051784A JP H1051784 A JPH1051784 A JP H1051784A JP 20024296 A JP20024296 A JP 20024296A JP 20024296 A JP20024296 A JP 20024296A JP H1051784 A JPH1051784 A JP H1051784A
Authority
JP
Japan
Prior art keywords
frame
image
picture
circuit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20024296A
Other languages
Japanese (ja)
Other versions
JP3599909B2 (en
Inventor
Yoshihiro Hori
吉宏 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP20024296A priority Critical patent/JP3599909B2/en
Publication of JPH1051784A publication Critical patent/JPH1051784A/en
Application granted granted Critical
Publication of JP3599909B2 publication Critical patent/JP3599909B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a stable compression coding with high image quality. SOLUTION: A scene change detection circuit 102 detects a frame having a scene change. An image replacement discrimination circuit 104 discriminates whether or not a frame causing a scene change is a B-picture (two inter-frame coding frames to conduct compression by referencing two past and future frames) and in the case of the B-picture, the circuit 104 gives a signal to a changeover circuit 106. Upon the receipt of the signal, the changeover circuit 106 makes switching to provide an output of an image replacement code in place of the code of the B-picture. The recording of the Bpicture requiring many codes is inhibited and codes to display an image of other frame in place of the image are recorded, then a stable compression coding is realized.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は動画像符号化装置
に関し、特にテレビジョン信号などの動画像映像信号
を、フレーム内符号化と、フレーム間符号化とを組合せ
た動き予測を用いて、可変長符号により圧縮符号化する
動画像符号化装置に関する。特に、シーンチェンジ発生
時の悪影響を防止することで、画質の安定化を図る動画
像符号化装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding apparatus, and more particularly to a moving picture coding apparatus such as a television signal which can be variably encoded using motion prediction combining intra-frame coding and inter-frame coding. The present invention relates to a moving image encoding device that performs compression encoding using a long code. In particular, the present invention relates to a moving picture coding apparatus that stabilizes image quality by preventing adverse effects when a scene change occurs.

【0002】[0002]

【従来の技術】動画像を圧縮符号化する符号化方式とし
て、MPEG方式がMPEG−Video(ISO/I
EC 11172−2)およびMPEG2−Video
(ISO/IEC 13818−2)として規格化され
ている。この方式は、記録以外にもデジタル放送、デジ
タル伝送といった放送、通信分野で広く用いられてい
る。
2. Description of the Related Art As an encoding method for compressing and encoding moving images, the MPEG method is MPEG-Video (ISO / I / O).
EC 11172-2) and MPEG2-Video
(ISO / IEC 13818-2). This method is widely used in broadcasting and communication fields such as digital broadcasting and digital transmission in addition to recording.

【0003】MPEG方式では、1フレームの画像内で
符号化を行なう、I−Pictureと呼ばれるフレー
ム内符号化フレーム、そして過去のフレームを参照する
ことにより圧縮を行なうP−Picture、過去およ
び未来の2つのフレームを参照することにより圧縮を行
なう、B−Pictureと呼ばれる2つのフレーム間
符号化フレームによってフレームデータが構成されてい
る。そして、P−Pictureは再生時間順に最も近
い過去に存在する参照フレーム(参照されるフレームで
あり、I−PictureまたはP−Picture)
を参照することにより、B−Pictureは最も近い
過去に存在する参照フレームと最も近い未来に存在する
参照フレームとを参照することにより符号化および復号
化がなされる。
[0003] In the MPEG system, an intra-frame coded frame called I-Picture, which performs coding within one frame image, and P-Picture, which performs compression by referring to past frames, and past and future 2 frames. Frame data is composed of two inter-coded frames called B-Pictures which perform compression by referring to one frame. The P-Picture is the closest reference frame existing in the past in the order of the reproduction time (the frame to be referred to, ie, I-Picture or P-Picture)
, The B-Picture is coded and decoded by referring to the reference frame present in the closest past and the reference frame present in the closest future.

【0004】MPEG方式とは、複数のフレームの集合
であるGOP(グループオブピクチャ)をフレームシー
ケンス中に構成し、このGOP内で1枚のフレームのフ
レーム内圧縮を行ない、これ以外のフレームは、他の画
像データを参照することによりフレーム間圧縮を行な
い、圧縮符号化する方式である。
[0004] In the MPEG system, a GOP (Group of Pictures), which is a set of a plurality of frames, is formed in a frame sequence, and one frame is subjected to intra-frame compression within this GOP. In this method, inter-frame compression is performed by referring to other image data, and compression encoding is performed.

【0005】フレーム内圧縮ではDCT(Discrete Cos
ine Transform )と量子化とを用いて得られたデータの
可変長符号化を行なうという方式が取られている。
In intra-frame compression, DCT (Discrete Cos
A method of performing variable length coding of data obtained by using ine transform and quantization is employed.

【0006】まず、フレームデータをマクロブロックと
呼ばれる小領域に分割し、この領域内の8×8の画素ブ
ロックごとにDCT変換を施し、周波数領域を求める。
人間の視覚特性は高周波に対して鈍感なために、この得
られた周波数領域中の高周波領域への符号割当を少なく
することにより、人間の視覚的には大きな劣化の感じら
れないフレームデータを求めることができる。この割当
を行なうのが量子化である。
First, frame data is divided into small areas called macroblocks, and a DCT transform is performed for each 8 × 8 pixel block in this area to obtain a frequency domain.
Since the human visual characteristics are insensitive to high frequencies, by reducing the code allocation to the high frequency region in the obtained frequency region, frame data that does not visually notice a great deterioration of humans is obtained. be able to. This allocation is performed by quantization.

【0007】量子化は8×8画素のDCT変換を行なっ
た結果得られた8×8の周波数領域データに対し、ある
マトリックスで除算をすることにより実現される。
[0007] Quantization is realized by dividing 8x8 frequency domain data obtained as a result of performing 8x8 pixel DCT transform by a certain matrix.

【0008】復号器側では、このマトリックスを可変長
復号器から得られたデータに対して乗算(逆量子化)す
ることにより、元の逆DCT演算を行なうマトリックス
を得ることが可能になる。
On the decoder side, the matrix obtained by performing the original inverse DCT operation can be obtained by multiplying (inversely quantizing) the data obtained from the variable length decoder by the matrix.

【0009】ここで、高次のデータ、つまり高周波領域
のデータに対する除算値を大きく設定することにより、
高周波領域の符号化精度を下げることができる。またこ
れにより高周波領域に相当するデータを少なくすること
ができる。
Here, by setting a large division value for high-order data, that is, data for a high-frequency region,
It is possible to reduce the encoding accuracy in the high frequency region. This also makes it possible to reduce the data corresponding to the high frequency range.

【0010】このようにして得られた量子化データは、
ゼロ値の多いものとなる。このため、このデータに対し
てゼロ値の数と、それに続く実値という組で可変長符号
化テーブルが形成される。可変長符号化とは、エントロ
ピー符号化の1種で、出現頻度の高いデータには短い符
号を割当て、出現頻度の低いデータには長い符号を割当
てるものである。この組合せにより、効率の高い圧縮が
行なわれる。MPEGではこのフレームはI−Pict
ureと呼ばれている。
[0010] The quantized data thus obtained is
The result is one with many zero values. For this reason, a variable length encoding table is formed by a set of the number of zero values for this data and the actual value following the zero value. Variable-length coding is a type of entropy coding in which a short code is assigned to data with a high appearance frequency and a long code is assigned to data with a low appearance frequency. This combination results in efficient compression. In MPEG, this frame is I-Pict.
ure.

【0011】フレーム間圧縮の方法としては、動きベク
トル検出を用いた動き補償という手法が用いられる。こ
れにフレーム内圧縮と同様に、DCTと量子化と可変長
符号化とが組合せられて符号化が行なわれる。まず、フ
レームデータをフレーム内圧縮の場合と同様にマクロブ
ロックと呼ばれる小領域に分割する。そして、フレーム
間圧縮においては、そのフレームデータだけではなく、
参照を行なう他のフレームデータが必要となる。このフ
レームデータとしては、時間的に近い位置に存在するフ
レームのデータが用いられる。そして、各マクロブロッ
クごとに、参照されるフレームデータ中から、最もその
マクロブロックにデータ的に近い領域が検索される。こ
の「データ的に近い領域」とは、通常画素データについ
て輝度のみ比較して、その自乗誤差平均が最も少ない値
を示す領域をいう。
As a method of inter-frame compression, a technique called motion compensation using motion vector detection is used. As in the case of intra-frame compression, DCT, quantization, and variable-length coding are combined to perform coding. First, the frame data is divided into small areas called macroblocks as in the case of intra-frame compression. And in the inter-frame compression, not only the frame data,
Other frame data for reference is required. As this frame data, data of a frame existing at a position close in time is used. Then, for each macroblock, an area closest to the macroblock in terms of data is searched from the referenced frame data. The “region similar in data” refers to a region in which only the luminance of the normal pixel data is compared and the average of the square errors thereof is the smallest.

【0012】MPEGの場合には、この検索は半画素単
位で行なうことになっている。これによって各マクロブ
ロックの所定の範囲の領域から、この検索精度でデータ
的に最も近い領域が検索されることになる。これを動き
予測と呼ぶ。
In the case of MPEG, this search is performed in half-pixel units. As a result, the area closest to the data with this search accuracy is searched from the area within the predetermined range of each macroblock. This is called motion prediction.

【0013】また、この動き量は動きベクトルと呼ば
れ、この値も可変長符号化される。これにより復号側で
は、参照するフレームデータが存在すれば、この「デー
タ的に近い」領域を切出すことが可能となる。
The amount of motion is called a motion vector, and this value is also subjected to variable length coding. Thus, on the decoding side, if there is frame data to be referenced, it is possible to cut out this “data-wise close” area.

【0014】得られたフレームデータは、符号化しよう
としているマクロブロックのデータと、当然全く同じも
のではない。このため、この差を補償してやる必要があ
る。MPEGでは、この差の補償のために、各画素ごと
(輝度、色差)に差分を取り、この差分領域データを構
成する。
The obtained frame data is, of course, not exactly the same as the data of the macroblock to be encoded. Therefore, it is necessary to compensate for this difference. In MPEG, in order to compensate for this difference, a difference is calculated for each pixel (luminance, color difference), and this difference area data is configured.

【0015】そして、これらの中で8×8画素の各領域
ごとにデータのDCT演算を行ない、フレーム内圧縮の
場合と同様に量子化を行なう。ただし、ここで行なわれ
る量子化は、差分データのものであるため、通常全体的
に精度を落とすものとして行なわれる。
Then, a DCT operation is performed on the data for each area of 8 × 8 pixels, and quantization is performed in the same manner as in the case of intra-frame compression. However, since the quantization performed here is for the difference data, it is generally performed as if the accuracy is reduced as a whole.

【0016】このため、差分値においては通常高周波領
域と低周波領域との区別を行なわないものがMPEGで
はデフォルトとして用意されている。もちろん、この量
子化マトリックスもエンコーダ側で自由に変更可能であ
る。
For this reason, the difference value which does not usually distinguish between the high-frequency region and the low-frequency region is prepared as a default in MPEG. Of course, this quantization matrix can also be freely changed on the encoder side.

【0017】このようにして得られたデータを逆量子化
し、逆DCTし、参照されるフレームデータがデコーダ
内部に存在していれば、この得られた値をその動き量か
ら得られた画像領域に加算することにより、マクロブロ
ックの復号が行なわれることになる。
The data obtained in this manner is inversely quantized and inversely DCT-processed. If the frame data to be referred to exists in the decoder, the obtained value is used as the image area obtained from the motion amount. , The macroblock is decoded.

【0018】MPEGでは、このフレーム間圧縮された
画像データは、2種類存在している。過去のフレームか
らのみ参照が行なわれるフレームデータをP−Pict
ureという。また、過去および未来の双方から参照が
行なわれるフレームデータをB−Pictureと呼
ぶ。
In MPEG, there are two types of image data compressed between frames. Frame data referred to only from a past frame is referred to as P-Pict.
ure. Frame data referred to from both the past and the future is called a B-Picture.

【0019】P−Pictureは時間的に過去に位置
するIまたはP−Pictureだけから予測される。
B−Pictureは時間的に過去および未来に位置す
るIもしくはP−Pictureだけから予測される。
このため、B−Pictureは動き予測のための参照
フレームとして用いられることはない。
The P-Picture is predicted only from I or P-Picture located in the past in time.
The B-Picture is predicted only from the I or P-Picture located in the past and future in time.
Therefore, B-Picture is not used as a reference frame for motion estimation.

【0020】これらのフレーム圧縮手法を組合せること
により、得られた符号化データは原画像データと比較し
て数分の1から数百分の1のデータになる。また比較的
高い画質が得られている。
By combining these frame compression techniques, the obtained coded data is reduced to several hundredths to several hundredths compared with the original image data. Also, relatively high image quality is obtained.

【0021】ただし、フレームの参照という方法を用い
ているために、上記手法を実現するためには、復号器側
において参照される側のフレームデータを保持する構造
が必要になる。また、復号器側では、参照される側のフ
レームデータとしては、復号されたフレームデータしか
当然存在しないために、エンコーダとしては、この条件
でエンコードを行なわなくてはならない。つまり、符号
化の過程において、I−PictureおよびP−Pi
ctureを符号化後、復号器と同じ条件で復号を行な
い、その復号後のフレームデータを保持する必要があ
る。そして、このフレームデータを参照することによ
り、フレーム間圧縮であるP−Picture、B−P
ictureの符号化を行なわなくてはならない。
However, since the method of referring to a frame is used, in order to realize the above method, a structure for holding the frame data of the reference side on the decoder side is required. In addition, on the decoder side, only the decoded frame data exists as the frame data to be referred to, so that the encoder must perform encoding under this condition. That is, during the encoding process, I-Picture and P-Pi
It is necessary to perform decoding under the same conditions as those of the decoder after encoding the cture, and hold the decoded frame data. Then, by referring to the frame data, P-Picture, BP
must be encoded.

【0022】図5に、MPEG動画像のフレームシーケ
ンスの一例を示す。図中Aは各フレームの表示順であ
り、MPEGで最も一般的に用いられるフレームの種類
の順を示しているが、もちろんこの順番に限定されるも
のではない。矢印は終点に当たるフレームの符号化、復
号を行なう場合に、始点にあるフレームデータを参照す
ることを示している。
FIG. 5 shows an example of a frame sequence of an MPEG moving image. In the figure, A indicates the display order of each frame, and indicates the order of the types of frames most commonly used in MPEG, but is not limited to this order. The arrow indicates that the frame data at the start point is referred to when encoding and decoding the frame at the end point.

【0023】この中で、503、518はI−Pict
ureである。506、509、512および515は
P−Pictureである。501、502、504、
505、507、508、510、511、513、5
14、516、および517はB−Pictureであ
る。たとえば、フレーム501および502は、I−P
icture503が復号され、復号器であればフレー
ムとして復号器内部に保持されていないと復号すること
ができない。エンコーダであれば、エンコードが終了
し、I−Pictureの復号が行なわれてエンコーダ
内部にフレームデータとして保持されていないとエンコ
ードできないことになる。
Among them, 503 and 518 are I-Pict.
ure. 506, 509, 512 and 515 are P-Pictures. 501, 502, 504,
505, 507, 508, 510, 511, 513, 5
14, 516 and 517 are B-Pictures. For example, frames 501 and 502 are IP
The picture 503 is decoded, and if it is a decoder, it cannot be decoded unless it is held as a frame inside the decoder. In the case of the encoder, the encoding cannot be performed unless the encoding is completed and the I-Picture is decoded and stored as frame data inside the encoder.

【0024】また、同様にフレーム504および505
の符号化、復号化はI−Picture503、および
B−Picture506が復号されていなければ、不
可能である。また、P−Pictureにおいても、5
06は503が、509は506が復号されていなけれ
ば符号化、復号化は不可能である。
Similarly, frames 504 and 505
Cannot be encoded or decoded unless the I-Picture 503 and the B-Picture 506 are decoded. In P-Picture, 5
If 503 is not decoded for 06 and 506 for 509, encoding and decoding are impossible.

【0025】このため、これらのデータの記録順は、図
中Bのようになる。この記録順に復号を行ない、I−P
icture、P−Pictureの復号フレームデー
タを順次保持することにより、それぞれのフレームデー
タの符号化、復号化が可能になる。また、このような方
法のため、I−Pictureはそれ自体で高い画質を
維持する必要がある。また、P−PictureもB−
Pictureの参照に利用されるために、高い画質を
維持する必要がある。このため、通常I−Pictur
eに最も多くの符号を割当て、次にP−Pictur
e、B−Pictureの順で用いるデータ量を減らす
ことにより、全体としての高画質を維持している。
For this reason, the recording order of these data is as shown in FIG. Decoding is performed in this recording order, and IP
By sequentially holding the decoded frame data of the picture and the P-picture, encoding and decoding of the respective frame data become possible. In addition, due to such a method, the I-Picture itself needs to maintain high image quality. Also, P-Picture is B-
In order to be used for Picture reference, high image quality must be maintained. For this reason, the normal I-Pictur
e is assigned the most codes, and then P-Pictur
By reducing the amount of data used in the order of e and B-Picture, high image quality as a whole is maintained.

【0026】このようなMPEG符号化方式によって動
画像の映像信号を圧縮符号化する動画像符号化装置の具
体例を図4に示す。
FIG. 4 shows a specific example of a moving picture coding apparatus for compressing and coding a video signal of a moving picture according to the MPEG coding method.

【0027】装置は、入力端子411と、画像並べ換え
回路412と、ラスタスキャンからマクロブロックへの
走査変換回路413と、減算回路414と、DCT回路
416と、重み付けを行なう量子化回路418と、可変
長符号化回路420と、エンコーダからの読出バッファ
422と、符号化データ列を出力する出力端子423
と、レート(量子化幅)制御回路424と、逆量子化回
路426と、逆DCT回路428と、加算回路430
と、画像メモリ432と、画像メモリのデータの読出バ
ス432a,432bと、動き補償回路434と、モー
ド判定回路436と、動き検出回路438とを備える。
The apparatus includes an input terminal 411, an image rearrangement circuit 412, a scan conversion circuit 413 for converting a raster scan into a macroblock, a subtraction circuit 414, a DCT circuit 416, a quantization circuit 418 for performing weighting, and a variable circuit. A long encoding circuit 420, a read buffer 422 from an encoder, and an output terminal 423 for outputting an encoded data sequence
, A rate (quantization width) control circuit 424, an inverse quantization circuit 426, an inverse DCT circuit 428, and an addition circuit 430.
, An image memory 432, data read buses 432 a and 432 b for the image memory, a motion compensation circuit 434, a mode determination circuit 436, and a motion detection circuit 438.

【0028】まず、入力端子411から画像並べ換え回
路412に画像信号が入力される。画像並べ換え回路4
12は、図5のBに示されるように、画像記録順すなわ
ち画像の処理順にフレームの順序を入替える回路であ
る。これにより、I−Pictureとして、圧縮符号
化を行なうフレームが最初に入力され、以降図5のBに
示されるような順序にフレームの並べ換えが行なわれる
ことになる。
First, an image signal is input from the input terminal 411 to the image rearranging circuit 412. Image reordering circuit 4
Reference numeral 12 denotes a circuit for changing the frame order in the image recording order, that is, the image processing order, as shown in FIG. 5B. As a result, a frame to be compression-coded is input first as an I-Picture, and thereafter, the frames are rearranged in the order shown in FIG. 5B.

【0029】まず、画像信号は走査変換回路413に入
力される。通常画像信号はデジタル化された画像データ
列であり、ラスタスキャンで得られたデジタルデータで
ある。これは、画面の左上から1画素ずつデータが出力
され、1画素のラインが形成された後、次の1画素下に
相当するラインのデータが出力される形式である。MP
EGでは、マクロブロックと呼ばれる小領域を単位とし
てデータの処理を行なうために、このブロックにデータ
を変換する必要がある。MPEGでは、このマクロブロ
ックは輝度データ16×16画素、色差データ各8×8
画素から構成される。MPEGでは色差の割合が画像フ
ォーマットによって変更されるが、輝度で16×16画
素に相当する範囲がマクロブロックとして処理され、動
きベクトルの検索もこれを単位として行なわれる。
First, the image signal is input to the scan conversion circuit 413. The normal image signal is a digitized image data sequence, which is digital data obtained by raster scanning. This is a format in which data is output one pixel at a time from the upper left of the screen, a line of one pixel is formed, and then data of a line corresponding to the next lower pixel is output. MP
In the EG, in order to process data in units of small areas called macroblocks, it is necessary to convert data into this block. In MPEG, this macro block is composed of 16 × 16 pixels of luminance data and 8 × 8 pixels of chrominance data.
It is composed of pixels. In MPEG, the ratio of the color difference is changed depending on the image format. However, a range corresponding to 16 × 16 pixels in luminance is processed as a macroblock, and a search for a motion vector is also performed using this as a unit.

【0030】以下に符号化の手順を圧縮手法別に説明す
る。まず、I−Pictureのデータは、通常動きベ
クトルの検索を行なわない(ただしMPEGでは例外的
に、エラーの復帰のためにI−Pictureに動きベ
クトルを導入することが可能である)ために、走査変換
回路412を介してそのままDCT回路416に入力さ
れる。そして、画像データの空間−周波数変換が行なわ
れた後、量子化回路418によって各周波数領域への重
み付けが行なわれる。
The encoding procedure will be described below for each compression method. First, scanning of I-Picture data is usually performed because a motion vector is not searched (except in the case of MPEG, where a motion vector can be introduced into I-Picture for error recovery). The data is directly input to the DCT circuit 416 via the conversion circuit 412. After the space-frequency conversion of the image data is performed, the quantization circuit 418 weights each frequency region.

【0031】そして、このデータが可変長符号化回路4
20に入力され、可変長符号化がなされる。これらのデ
ータは可変長符号化を行なうために、常時一定の転送レ
ートでデータの出力を行なうことができない。このた
め、読出バッファ422において、その転送時のレート
への緩衝を行なう。これにより出力端子423から圧縮
符号列は一定の転送レートで出力される。
Then, this data is transferred to the variable length coding circuit 4.
20 and is subjected to variable length coding. Since these data are subjected to variable length coding, they cannot be always output at a constant transfer rate. Therefore, the read buffer 422 buffers the rate at the time of the transfer. As a result, the compressed code string is output from the output terminal 423 at a constant transfer rate.

【0032】また、この可変長符号化回路420の出力
したデータ量はレート制御回路424によって観測され
る。そして、各フレームデータの予定していた符号化デ
ータ量と観測されたデータ量とで差異が大きい場合に
は、量子化の値を変更する。
The data amount output from the variable length coding circuit 420 is monitored by the rate control circuit 424. If the difference between the expected encoded data amount of each frame data and the observed data amount is large, the quantization value is changed.

【0033】量子化において、前述したマトリックスに
エンコーダ側が決定できる量子化幅と呼ばれるスカラ値
を決めることができる。これは、量子化マトリックスの
各値にそのまま乗じて用いるものなので、この値が大き
いほど、つまり粗く量子化するほど発生するデータ量は
少なくなり、小さいほど、つまり細かく量子化するほど
発生するデータ量は多くなる。
In the quantization, a scalar value called a quantization width that can be determined by the encoder side can be determined in the matrix described above. Since this value is used by multiplying each value of the quantization matrix as it is, the larger the value, that is, the coarser the quantization, the smaller the amount of data generated, and the smaller the value, that is, the finer the quantization, the smaller the amount of data generated Will increase.

【0034】また、量子化回路418の出力は、可変長
符号化回路420へ入力されると同時に、逆量子化回路
426へも入力される。これは、前述の、参照に用いら
れる符号フレームデータを形成するためであり、以降逆
DCTが逆DCT回路428でなされ、この結果が順次
画像メモリ432に入力される。この結果、画像メモリ
内部には、参照の基準となるI−Pictureの復号
画像が記憶されることになる。
The output of the quantization circuit 418 is input to the variable length encoding circuit 420 and also to the inverse quantization circuit 426. This is for forming the above-mentioned code frame data used for reference, and thereafter the inverse DCT is performed by the inverse DCT circuit 428, and the result is sequentially input to the image memory 432. As a result, an I-Picture decoded image serving as a reference reference is stored in the image memory.

【0035】次に、P−Pictureの符号化につい
て説明する。P−Pictureの符号化の際には、各
マクロブロックごとに動きベクトルが検索される。これ
は、画像メモリ432に記憶されたI−Picture
またはP−Pictureのデータを参照することによ
り検索される。ただし、P−Pictureのデータで
は、すべてのマクロブロックを動きベクトルを用いて符
号化するわけではない。動画像データで、たとえば動き
の速い画像の場合であって、左に大きくパンする画像な
どでは右端側のマクロブロックのデータは、そのフレー
ムデータで始めて出現したデータということになる。こ
のようなデータは他のフレーム中から似た部分を検索し
ても圧縮の効果があまり得られない。
Next, P-Picture encoding will be described. At the time of P-Picture encoding, a motion vector is searched for each macroblock. This corresponds to the I-Picture stored in the image memory 432.
Alternatively, the search is performed by referring to P-Picture data. However, in P-Picture data, not all macroblocks are encoded using motion vectors. In moving image data, for example, in the case of a fast-moving image, and in the case of an image that pans largely to the left, the data of the macroblock on the right end is the data that first appeared in the frame data. For such data, even if a similar part is searched for from other frames, the compression effect is not so much obtained.

【0036】このため、この場合にはI−Pictur
eと同様に動きベクトルを用いない処理を行なうモード
などを用いることになる。他にも、背景処理を簡単に行
なうための同位置のブロックデータをそのまま切出すモ
ードがあり、これらのどのモードがそのマクロブロック
の符号化に有効であるかをモード判定回路436が行な
う。
For this reason, in this case, the I-Pictur
As in the case of e, a mode for performing processing without using a motion vector is used. In addition, there is a mode in which block data at the same position is cut out as it is in order to easily perform background processing, and the mode determination circuit 436 determines which of these modes is effective for encoding the macroblock.

【0037】そして、モード判定回路436が動き補償
を行なうという判断を下すと、その命令が動き補償回路
434に入力される。また、動き検出回路438によっ
て得られた動きベクトルも同様に動き補償回路434に
入力される。動き補償回路はこれらのデータから相当す
る領域のデータを画像メモリ432中から検出し、減算
回路414に出力する。その差分がDCTされ、量子化
され、その後にI−Pictureの場合と同様に符号
化される。
When the mode determination circuit 436 determines that motion compensation is to be performed, the command is input to the motion compensation circuit 434. The motion vector obtained by the motion detection circuit 438 is also input to the motion compensation circuit 434. The motion compensation circuit detects data of a corresponding area from these data in the image memory 432 and outputs the data to the subtraction circuit 414. The difference is DCT, quantized, and then coded as in the case of I-Picture.

【0038】ただし、P−Pictureは、時間的に
未来に位置するP−Pictureもしくは過去および
未来に位置するB−Pictureから参照に利用され
ることになる。このため、このデータはI−Pictu
reを記憶したのと同様に画像メモリ432に記憶する
必要がある。この場合に、フレームの復号を行なうが、
P−Pictureはそのデータ自体で複号を行なうこ
とができない。したがって、この場合にはそのフレーム
の符号化に用いた動きベクトルをもう一度用いて、動き
補償回路434が加算回路430に対して該当する領域
の画素データを加算してやることにより、復号がなされ
る。そして、復号されたP−Pictureのデータ
は、画像メモリ432に記憶される。
However, the P-Picture is used for reference from a P-Picture located in the future in time or a B-Picture located in the past and the future. For this reason, this data is I-Pictu
It is necessary to store re in the image memory 432 in the same manner as storing re. In this case, the frame is decoded.
P-Picture cannot perform decoding on the data itself. Therefore, in this case, the motion vector used for encoding the frame is used again, and the motion compensation circuit 434 adds the pixel data of the corresponding area to the addition circuit 430 to perform decoding. Then, the decoded P-Picture data is stored in the image memory 432.

【0039】次に、B−Pictureの符号化につい
て説明する。B−Pictureの場合も、符号化の手
法はP−Pictureと基本的には同じである。ただ
し、B−Pictureの場合は、過去および未来に位
置するI−PictureもしくはB−Picture
からの参照により圧縮を行なうために、動きベクトルを
P−Pictureの2倍検索する必要がある。
Next, encoding of B-Picture will be described. In the case of B-Picture, the encoding method is basically the same as that of P-Picture. However, in the case of B-Picture, I-Picture or B-Picture located in the past and in the future
, It is necessary to search for a motion vector twice as large as the P-Picture.

【0040】そして、符号化を行なうが、B−Pict
ureはどのフレームからも参照に用いられないため、
そのまま符号化データが出力されるだけで、復号画像は
エンコーダ内に生成しなくてもよい。
Then, encoding is performed, and B-Pict
Since ure is not used for reference from any frame,
Only the encoded data is output as it is, and the decoded image need not be generated in the encoder.

【0041】B−Pictureの場合には、マクロブ
ロックの符号化のモードは過去および未来から予測と、
過去からのみ予測と、未来からのみ予測と、単位内符号
化との4種類から選択することになる。
In the case of B-Picture, the coding mode of a macroblock is predicted from the past and the future,
The prediction is selected from four types: prediction only from the past, prediction only from the future, and intra-unit coding.

【0042】このようにして、MPEGのフレームデー
タが生成されることになるが、各符号化タイプの性質の
違いから各符号化タイプごとにデータ量の割当が異なっ
ており、データ量の割当の多い順にI−Pictur
e、P−Picture、B−Pictureとなる。
In this way, the MPEG frame data is generated. However, the data amount allocation differs for each coding type due to the difference in the nature of each coding type. I-Pictur in descending order
e, P-Picture and B-Picture.

【0043】[0043]

【発明が解決しようとする課題】しかしながら、従来の
技術において、データ量の割当の最も少ないB−Pic
tureでシーンチェンジが発生すると、過去および未
来の双方向のフレームを参照することができなくなる。
これによりB−Pictureにおける高い圧縮率を維
持することができなくなり、一時的にデータ量が増加す
る。レート制御回路424では、一時的に増加したデー
タ量を吸収すべく続いて符号化されるフレームに割当て
るデータ量を減少させる。
However, in the prior art, the B-Pic with the smallest data amount allocation is used.
When a scene change occurs in the “ture”, it becomes impossible to refer to past and future bidirectional frames.
This makes it impossible to maintain a high compression rate in B-Picture, and the data amount temporarily increases. The rate control circuit 424 reduces the amount of data allocated to subsequently encoded frames to absorb the temporarily increased amount of data.

【0044】このために、引続いて符号化される参照フ
レームであるI−PictureまたはP−Pictu
reへのデータ量の割当も減少することになり、参照フ
レームの再生画質が低下する。したがって、復号時にお
ける再生画像の画質低下を一時的に招くという問題点が
あった。
For this purpose, I-Picture or P-Pictu, which is a reference frame to be subsequently encoded, is used.
The assignment of the data amount to re also decreases, and the reproduction image quality of the reference frame decreases. Therefore, there is a problem that the image quality of a reproduced image is temporarily reduced during decoding.

【0045】この発明はそのような問題点を解決するた
めになされたものであって、安定した再生画像を提供す
ることのできる動画像符号化装置を提供することを目的
としている。
The present invention has been made to solve such a problem, and an object of the present invention is to provide a moving picture coding apparatus capable of providing a stable reproduced picture.

【0046】[0046]

【課題を解決するための手段】上記目的を達成するた
め、この発明のある局面に従うと、動画像符号化装置
は、複数のフレームから構成される動画像信号を入力と
し、符号化の際に、他のフレームに参照されるフレーム
と他のフレームから参照されないフレームとを含むフレ
ーム間符号化を行なう符号化回路と、複数のフレームに
より構成される動画像信号から、シーンチェンジの行な
われるフレームを識別する識別回路と、識別されたフレ
ームの特性を判定する判定回路と、判定回路の判定結果
に基づいて、シーンチェンジの行なわれるフレームの画
像に代えて、他のフレームの画像を表示するための情報
を出力する第1の出力回路とを備える。
According to one aspect of the present invention, a moving picture encoding apparatus receives a moving picture signal composed of a plurality of frames, A coding circuit for performing inter-frame coding including a frame referred to by another frame and a frame not referred to by another frame, and a frame in which a scene change is performed from a moving image signal including a plurality of frames. An identification circuit for identifying, a determination circuit for determining characteristics of the identified frame, and an image for displaying another frame image instead of an image of a frame where a scene change is performed, based on a determination result of the determination circuit. A first output circuit for outputting information.

【0047】さらに、判定回路の判定結果に基づいて、
符号化された動画像信号を出力する第2の出力回路を備
える。
Further, based on the judgment result of the judgment circuit,
A second output circuit that outputs the encoded moving image signal;

【0048】さらに、複数のフレームは、参照されるフ
レームと、参照されないフレームとを含み、判定回路は
識別されたフレームが参照されないフレームであること
を判定し、第1の出力回路は識別されたフレームが参照
されないフレームであるときに、シーンチェンジの行な
われるフレームの画像に代えて他の参照されるフレーム
の画像を表示するための符号を出力する。
Further, the plurality of frames include a referenced frame and a non-referenced frame, the determination circuit determines that the identified frame is an unreferenced frame, and the first output circuit determines the identified frame. When the frame is not referenced, a code for displaying an image of another referenced frame is output instead of the image of the frame where the scene change is performed.

【0049】さらに、複数のフレームは、参照される第
1のフレームと、参照されない複数の第2のフレームと
を含み、第2のフレームの各々は、第1のフレームを参
照し、第1の出力回路は識別されたフレームが第2のフ
レームの1つであるときに、第2のフレームの各々の画
像に代えて第1のフレームの画像を表示するための符号
を出力する。
Further, the plurality of frames include a first frame to be referenced and a plurality of second frames not to be referenced, each of the second frames referring to the first frame, and When the identified frame is one of the second frames, the output circuit outputs a code for displaying the image of the first frame instead of the image of each of the second frames.

【0050】この発明の他の局面に従うと、動画像符号
化装置は、複数のフレームにより構成される動画像信号
を、フレームごとに圧縮符号化する符号化回路と、符号
化回路による特定のフレームの圧縮符号化の状況に基づ
いて、特定のフレームの画像に代えて他のフレームの画
像を表示するための情報を出力する出力回路とを備え
る。
According to another aspect of the present invention, a moving picture coding apparatus comprises: a coding circuit for compressing and coding a moving picture signal composed of a plurality of frames for each frame; And an output circuit for outputting information for displaying an image of another frame instead of an image of a specific frame, based on the state of compression encoding.

【0051】この発明のさらに他の局面に従うと、動画
像符号化装置は、複数のフレームにより構成される動画
像信号をフレームごとに圧縮符号化する符号化回路と、
符号化されたフレームのデータ量を計測する計測回路
と、計測されたデータ量に基づいて、符号化されたフレ
ームの画像に代えて他のフレームの画像を表示するため
の情報を出力する出力回路とを備える。
According to still another aspect of the present invention, a moving picture coding apparatus includes: a coding circuit for compression coding a moving picture signal composed of a plurality of frames for each frame;
A measuring circuit for measuring the data amount of the encoded frame, and an output circuit for outputting information for displaying an image of another frame instead of the image of the encoded frame based on the measured data amount And

【0052】さらに、動画像符号化装置は、MPEG方
式により符号化を行なう。これらの発明に従うと、動画
像信号においてシーンチェンジが発生したときの画像の
符号化の悪影響を低減させることができる。これによ
り、安定した復号画像を提供できる動画像符号化装置を
提供することが可能となる。
Further, the moving picture coding apparatus performs coding according to the MPEG system. According to these inventions, it is possible to reduce the adverse effect of image coding when a scene change occurs in a moving image signal. This makes it possible to provide a video encoding device that can provide a stable decoded image.

【0053】[0053]

【発明の実施の形態】図1は、この発明の第1の実施の
形態における動画像符号化装置の構成を示すブロック図
である。
FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to a first embodiment of the present invention.

【0054】なお、図4における従来の装置と同一の機
能を持つブロックには同一の番号を付して説明を繰返さ
ない。
The blocks having the same functions as those of the conventional device in FIG. 4 are denoted by the same reference numerals, and description thereof will not be repeated.

【0055】図1に示される装置は、図4の構成に加え
て、シーンチェンジ検出回路102と、画像置換え判定
回路104と、符号切換回路106と、画像置換え符号
発生回路108とを備える。
The apparatus shown in FIG. 1 includes a scene change detection circuit 102, an image replacement determination circuit 104, a code switching circuit 106, and an image replacement code generation circuit 108 in addition to the configuration shown in FIG.

【0056】シーンチェンジ検出回路102は、入力端
子411から入力された動画像信号を入力とし、シーン
チェンジの判定を行ない、シーンチェンジ検出信号を出
力する回路である。シーンチェンジは、たとえば動画像
の高域成分の変化、画像のエッジ成分の変動、低域成分
の変動などによって検出することができる。また、シー
ンチェンジ検出回路の現入力フレームに対して基準とな
るフレームは、時間軸上の直前に位置するフレームの他
に、符号化装置において現入力フレームが参照する参照
フレームを用いることができる。なお、ここではシーン
チェンジ検出における検出方法および対象となるフレー
ムについて例を挙げて説明したが、検出方法および対象
フレームをこれに限定するものではない。
The scene change detection circuit 102 is a circuit that receives a moving image signal input from the input terminal 411, determines a scene change, and outputs a scene change detection signal. A scene change can be detected by, for example, a change in a high-frequency component of a moving image, a change in an edge component of the image, a change in a low-frequency component, and the like. Further, as a frame serving as a reference for the current input frame of the scene change detection circuit, a reference frame referred to by the current input frame in the encoding device can be used in addition to the frame located immediately before on the time axis. Although the detection method and the target frame in the scene change detection have been described above by way of example, the detection method and the target frame are not limited thereto.

【0057】画像置換え判定回路104は、シーンチェ
ンジ検出回路102のシーンチェンジ検出信号を入力と
し、各フレームに対する符号化タイプ、すなわち画像が
I−Picture、P−PictureまたはB−P
ictureのいずれであるかを判定する。これによ
り、シーンチェンジが検出されたフレームの符号化タイ
プが判定される。画像置換え判定回路104は、非参照
フレーム(他のフレームから参照されないフレーム)で
あるB−Pictureにおいてシーンチェンジが検出
された場合に、可変長符号化回路420から出力され
る、そのB−Pictureに相当する符号を、そのB
−Pictureが参照する最も近い過去に位置する参
照フレームであるI−PictureもしくはP−Pi
ctureまたは、最も近い未来に位置するI−Pic
tureもしくはP−Pictureと同一の画像を復
号時に復号画として出力するよう指示するデータ量の少
ない画像置換え符号に置換えるための信号を符号切換手
段106に出力する。
The image replacement determination circuit 104 receives the scene change detection signal of the scene change detection circuit 102 as an input, and encodes each frame, that is, whether the image is I-Picture, P-Picture or BP.
It is determined which of the above is the case. Thereby, the encoding type of the frame in which the scene change is detected is determined. When a scene change is detected in a B-Picture that is a non-reference frame (a frame that is not referenced from another frame), the image replacement determination circuit 104 outputs the B-Picture output from the variable-length encoding circuit 420 to the B-Picture. The corresponding code is
I-Picture or P-Pi, which is the closest past reference frame referenced by Picture
or the nearest future I-Pic
A signal for replacing with an image replacement code having a small amount of data, which instructs to output the same image as that of the Ture or P-Picture as a decoded image at the time of decoding, is output to the code switching means 106.

【0058】画像置換え符号発生回路108は、非参照
フレームの置換えをする場合に、符号化時にB−Pic
tureに最も近い過去に位置する参照フレームである
I−PictureもしくはP−Picture、また
は最も近い未来に位置するI−Pictureもしくは
P−Pictureを復号画として出力するように指示
する、B−Pictureに相当する符号のデータ量よ
り少ないデータ量の符号である画像置換え符号を発生す
る。
When replacing a non-reference frame, the image replacement code generation circuit 108 performs B-Pic coding at the time of coding.
B-Picture that instructs to output the I-Picture or P-Picture, which is the reference frame closest to the past in the past, or the I-Picture or P-Picture located in the closest future, as a decoded image. An image replacement code which is a code having a data amount smaller than the data amount of the code to be generated is generated.

【0059】符号切換回路106は、画像置換え判定回
路104からの画像置換え指示に従って、可変長符号化
回路420の出力である、シーンチェンジの検出された
B−Pictureに相当する符号を、画像置換え符号
生成回路108の出力である画像置換え符号に置換え
る。
In accordance with an image replacement instruction from the image replacement determination circuit 104, the code switching circuit 106 replaces the code corresponding to the scene change detected B-Picture output from the variable length coding circuit 420 with the image replacement code. The image is replaced with an image replacement code output from the generation circuit 108.

【0060】たとえばMPEG2方式では、規格上画像
置換えを行なう符号は定義されていない。しかし、各画
像の最も左上に位置する、マクロブロック単位でのスキ
ャン順で最初のマクロブロック(画像の最も左上に位置
するブロック)と、最後のマクロブロック(画像の最も
右下のブロック)のマクロブロックヘッダのみを符号化
すれば、データ量の少ない符号によって、復号時に、B
−Pictureを復号化する際に参照するいずれかの
I−PictureまたはP−Pictureを該B−
Pictureとして復号するように指示することがで
きる。
For example, in the MPEG2 system, codes for performing image replacement are not defined in the standard. However, the macros of the first macroblock (the block located at the top left of the image) and the last macroblock (the block at the bottom right of the image) in the scanning order in macroblock units located at the top left of each image If only the block header is encoded, a code with a small amount of data is
-Any I-Picture or P-Picture that is referred to when decoding the Picture is
It can be instructed to decode as Picture.

【0061】まず、シーンチェンジが起きない通常時に
おける動作について説明する。入力端子411から入力
された動画像信号がシーンチェンジ検出回路102に入
力される。シーンチェンジ検出回路102では、シーン
チェンジの検出がなされない。したがって、画像置換え
判定回路104は、可変長符号化回路420の出力であ
る符号を選択するよう指示する。符号切換回路106
は、可変長符号化回路420の出力である符号を後段の
エンコーダ読出バッファ422に出力する。
First, an operation in a normal state where a scene change does not occur will be described. The moving image signal input from the input terminal 411 is input to the scene change detection circuit 102. The scene change detection circuit 102 does not detect a scene change. Therefore, the image replacement determination circuit 104 instructs to select a code output from the variable length coding circuit 420. Code switching circuit 106
Outputs the code output from the variable length encoding circuit 420 to the encoder read buffer 422 at the subsequent stage.

【0062】次に、非参照フレームにおいてシーンチェ
ンジが起きた場合について動作を説明する。
Next, the operation when a scene change occurs in a non-reference frame will be described.

【0063】図5のB−Picture508において
シーンチェンジが起きたと仮定する。入力端子411か
ら入力された動画像信号がシーンチェンジ検出回路10
2に入力される。シーンチェンジ検出回路102では、
B−Picture508においてシーンチェンジを検
出し、シーンチェンジ検出信号を出力する。画像置換え
判定回路104では、シーンチェンジ検出信号がB−P
icture508において発生したことを確認した上
で、画像置換え符号を出力するように符号切換回路10
6に指示する。画像置換え符号生成回路108は、符号
化される画像として、B−Picture508の符号
化に寄与するP−Picture509を、B−Pic
ture508に代わって復号画像として出力するよう
に指示する画像置換え符号を生成する。
It is assumed that a scene change has occurred in the B-Picture 508 in FIG. The moving image signal input from the input terminal 411 is applied to the scene change detection circuit 10.
2 is input. In the scene change detection circuit 102,
The B-Picture 508 detects a scene change and outputs a scene change detection signal. In the image replacement determination circuit 104, the scene change detection signal is BP
After confirming that the error occurred in the image 508, the code switching circuit 10 outputs the image replacement code.
Instruct 6 The image replacement code generation circuit 108 converts a P-Picture 509 contributing to the encoding of the B-Picture 508 into a B-Pic as an image to be encoded.
An image replacement code for instructing output as a decoded image instead of the cure 508 is generated.

【0064】符号切換回路106は、画像置換え判定回
路104からの画像置換え符号出力の指示を受けて、可
変長符号化回路420の出力であるB−Picture
508を符号化した符号をすべて取除き、画像置換え符
号生成回路108からの画像置換え符号を後段のエンコ
ーダ読出バッファ422に出力する。
The code switching circuit 106 receives the instruction to output the image replacement code from the image replacement determination circuit 104 and receives the output of the variable length coding circuit 420 as a B-Picture.
All codes obtained by encoding 508 are removed, and the image replacement code from the image replacement code generation circuit 108 is output to the encoder read buffer 422 at the subsequent stage.

【0065】次に、参照フレームにおいてシーンチェン
ジが起きた場合について動作を説明する。
Next, the operation when a scene change occurs in the reference frame will be described.

【0066】図5のP−Picture512におい
て、シーンチェンジが起きたと仮定する。
Assume that a scene change has occurred in the P-Picture 512 of FIG.

【0067】入力端子411から入力された動画像信号
が、シーンチェンジ検出回路102に入力される。シー
ンチェンジ検出回路102では、P−Picture5
12においてシーンチェンジを検出し、シーンチェンジ
検出信号を出力する。画像置換え判定回路104では、
シーンチェンジがP−Picture512において発
生したことを確認し、通常動作と同様に、可変長符号化
回路420の出力であるP−Picture512を符
号化した符号を選択するように指示する。
The moving image signal input from the input terminal 411 is input to the scene change detection circuit 102. In the scene change detection circuit 102, P-Picture5
At 12, a scene change is detected and a scene change detection signal is output. In the image replacement determination circuit 104,
After confirming that a scene change has occurred in the P-Picture 512, an instruction is issued to select a code obtained by encoding the P-Picture 512 output from the variable-length coding circuit 420, as in the normal operation.

【0068】符号切換回路106は、可変長符号化回路
420の出力であるP−Picture512を符号化
した符号を後段のエンコーダ読出バッファ422に出力
する。
The code switching circuit 106 outputs a code obtained by coding the P-Picture 512 output from the variable length coding circuit 420 to the subsequent encoder read buffer 422.

【0069】このようにして、B−Pictureにお
いてシーンチェンジが発生した際に発生する、データ量
の非常に多いB−Pictureに対する符号をデータ
量の少ない画像置換え符号に入替えることができる。こ
れにより、B−Pictureに予定より多いデータ量
の符号が発生するのを抑え、シーンチェンジが生じたと
きの符号化効率を高めることができる。このため、結果
として高画質で安定な圧縮符号化を実現することができ
る。
In this manner, a code for a B-Picture having a very large data amount, which is generated when a scene change occurs in the B-Picture, can be replaced with an image replacement code having a small data amount. As a result, it is possible to suppress the occurrence of a code having a data amount larger than expected in the B-Picture, and to increase the coding efficiency when a scene change occurs. As a result, stable compression coding with high image quality can be realized as a result.

【0070】また、ここでは画像置換え判定回路104
は、シーンチェンジ検出回路102のシーンチェンジ検
出結果を入力とし、シーンチェンジが検出されたB−P
ictureの画像置換えを指示するようにしたが、
(1)シーンチェンジの発生したB−Pictureの
参照する参照フレームと同一の参照フレームを参照す
る、すべてのB−Pictureの、(2)シーンチェ
ンジの発生したB−Picture以前のすべてのB−
Pictureの、または(3)シーンチェンジの発生
したB−Picture以降のすべてのB−Pictu
reの、フレームを置換えるように指示する場合も考え
られる。
Here, the image replacement determination circuit 104
Is a BP which receives a scene change detection result of the scene change detection circuit 102 as an input and detects a scene change.
Icture image replacement was instructed.
(1) All B-Pictures that refer to the same reference frame as the B-Picture where the scene change has occurred, and (2) All B-Pictures before the B-Picture where the scene change has occurred.
All of the B-Pictures after the B-Picture in which the scene change has occurred or (3) the scene change has occurred
It is also conceivable to instruct re to replace the frame.

【0071】また、画像置換え符号生成回路108にお
いて入力された符号の時間的に未来に位置するP−Pi
ctureを、復号時に、画像置換えを指示されたフレ
ームに代わって復号画像とするように説明したが、時間
的に未来に位置する参照フレームがI−Picture
であれば、そのI−Pictureを復号フレームとす
る。
The P-Pi located in the future of the code inputted in the image replacement code generation circuit 108 is located in the future.
Although the description has been made such that the image is replaced with a decoded image at the time of decoding in place of the frame instructed to replace the image, the reference frame positioned in the future in time is I-Picture.
If so, the I-Picture is used as a decoded frame.

【0072】さらに、画像置換え符号生成回路108に
おいて時間的に未来に位置するP−Pictureまた
はI−Pictureを復号時に画像置換えを指示され
た画像に代わって復号フレームとするようにしたが、時
間的に過去のP−PictureまたはI−Pictu
re、時間的に最も近くに位置するP−Picture
またはI−Pictureを復号時に、画像置換えを指
示されたフレームに代わって復号フレームとするように
してもよい。
Further, in the image replacement code generation circuit 108, the P-Picture or I-Picture located in the future in time is decoded as a decoded frame in place of the image for which image replacement is instructed at the time of decoding. To the past P-Picture or I-Picture
re, P-Picture located closest in time
Alternatively, when the I-Picture is decoded, the I-Picture may be a decoded frame in place of the frame instructed to replace the image.

【0073】図2は、本発明の第2の実施の形態におけ
る動画像符号化装置の構成を示すブロック図である。図
4または図1に示される回路と同一の機能を持つブロッ
クには、同一の番号を付して説明を繰返さない。
FIG. 2 is a block diagram showing a configuration of a moving picture coding apparatus according to the second embodiment of the present invention. Blocks having the same functions as those of the circuit shown in FIG. 4 or FIG. 1 are denoted by the same reference numerals, and description thereof will not be repeated.

【0074】この回路では、図4の回路に加えて、画像
置換え判定回路202と、画像置換え符号生成回路10
8と、バッファメモリ204とを備える。
In this circuit, in addition to the circuit of FIG. 4, an image replacement determination circuit 202 and an image replacement code generation circuit 10
8 and a buffer memory 204.

【0075】画像置換え判定回路202は、モード判定
回路436の出力であるマクロブロックタイプおよび動
き検出回路438の出力である動きベクトルを入力と
し、B−Pictureにおけるフレーム内符号化マク
ロブロック数、1方向からの予測によるブロック数、所
定のしきい値を超える動きベクトル数などの動きの程度
を示すパラメータに基づいて画像置換えの判定を行な
う。
The image replacement determination circuit 202 receives the macroblock type output from the mode determination circuit 436 and the motion vector output from the motion detection circuit 438 as inputs, and calculates the number of intra-frame coded macroblocks in the B-Picture, Image replacement is determined based on a parameter indicating the degree of motion, such as the number of blocks predicted from, and the number of motion vectors exceeding a predetermined threshold.

【0076】バッファメモリ204は、画像置換え判定
回路202において判定結果が出力されるまでの期間、
可変長符号化回路420の出力である符号を遅延させる
ためのメモリである。
The buffer memory 204 stores a period until the result of the determination is output from the image replacement determining circuit 202,
This is a memory for delaying the code output from the variable length encoding circuit 420.

【0077】本実施の形態においては、図1の実施の形
態におけるシーンチェンジ検出回路102および画像置
換え判定回路104の行なう一連の判定動作を、入力の
異なる新たな画像置換え判定回路202によって行なう
ことにより、同様の効果を得るものである。
In the present embodiment, a series of determination operations performed by scene change detection circuit 102 and image replacement determination circuit 104 in the embodiment of FIG. 1 are performed by new image replacement determination circuit 202 having different inputs. The same effect can be obtained.

【0078】図3は、本発明の第3の実施の形態におけ
る動画像符号化装置の構成を示すブロック図である。図
1および図4に示される回路と同一の機能を持つブロッ
クには、同一の番号を付して説明を繰返さない。
FIG. 3 is a block diagram showing a configuration of a moving picture coding apparatus according to the third embodiment of the present invention. Blocks having the same functions as the circuits shown in FIGS. 1 and 4 are denoted by the same reference numerals, and description thereof will not be repeated.

【0079】この回路は、図4に示される回路に加え
て、データ量計数回路302と、画像置換え判定回路3
04と、レート制御回路306と、バッファメモリ30
8と、画像置換え符号生成回路108とを備える。
This circuit has a data amount counting circuit 302 and an image replacement determining circuit 3 in addition to the circuit shown in FIG.
04, the rate control circuit 306, and the buffer memory 30
8 and an image replacement code generation circuit 108.

【0080】データ量計数回路302は、可変長符号化
回路420から出力される符号を入力として、フレーム
ごとにリセットされるカウンタである。データ量計数回
路302は、各フレームの先頭からのデータ量を出力す
る。
The data amount counting circuit 302 is a counter that receives a code output from the variable length coding circuit 420 and is reset every frame. The data amount counting circuit 302 outputs the data amount from the beginning of each frame.

【0081】画像置換え判定回路304は、データ量計
数回路302の出力であるフレーム先頭からのデータ量
を入力とし、そのデータ量がB−Pictureにおい
て所定のしきい値を超えた場合に、そのフレームをその
B−Pictureに最も近い過去に位置する参照フレ
ームであるI−PictureもしくはP−Pictu
re、または最も近い未来に位置するI−Pictur
eもしくはP−Pictureと同一のフレーム(フレ
ーム置換え)とするため、バッファメモリ308から出
力されるそのB−Pictureに相当する符号を、デ
ータ量の少ない画像置換え符号に置換えるか否かを判定
する。そして、画像置換えを符号切換回路106に指示
するとともに、レート制御回路306にも画像置換えを
実施したことを伝える。
The image replacement determination circuit 304 receives the data amount from the beginning of the frame, which is the output of the data amount counting circuit 302, and, when the data amount exceeds a predetermined threshold value in the B-Picture, Is the reference frame located closest to the B-Picture in the past, which is I-Picture or P-Picture.
re, or I-Pictur located in the nearest future
In order to make the same frame (frame replacement) as e or P-Picture, it is determined whether or not a code corresponding to the B-Picture output from the buffer memory 308 is replaced with an image replacement code having a small data amount. . Then, it instructs the code switching circuit 106 to perform image replacement, and also notifies the rate control circuit 306 that image replacement has been performed.

【0082】レート制御回路306は、従来のレート制
御回路424の処理機能に加えて、画像置換え判定回路
304からの画像置換えの実施の信号を受けて、そのB
−Pictureにおいて発生した符号のデータ量を画
像置換え符号のデータ量に下方修正する。これにより、
後続のフレームを符号化する際のデータ量の配分を修正
する機能を備えたレート制御回路となっている。
The rate control circuit 306 receives the image replacement execution signal from the image replacement determination circuit 304 in addition to the processing function of the conventional rate control circuit 424 and
-Correct the data amount of the code generated in Picture downward to the data amount of the image replacement code. This allows
The rate control circuit has a function of correcting the distribution of the data amount when encoding the subsequent frame.

【0083】バッファメモリ308は、少なくとも画像
置換え判定回路304で、置換えを行なうと判定される
データ量のしきい値以上のデータの蓄積が可能な符号遅
延用バッファメモリであり、可変長符号化回路420の
出力である符号を入力とする。
The buffer memory 308 is a code delay buffer memory capable of storing data equal to or larger than the threshold value of the data amount determined to be replaced by at least the image replacement determination circuit 304, and includes a variable length coding circuit. The code output from 420 is input.

【0084】まず、B−Pictureにおけるデータ
量が所定のしきい値を超えない場合の動作について説明
する。
First, the operation in the case where the data amount in the B-Picture does not exceed a predetermined threshold will be described.

【0085】可変長符号化回路420の出力がデータ量
計数回路302に入力される。データ量計数回路はフレ
ームの先頭でクリアされ、フレームの先頭からのデータ
量を出力する。画像置換え判定回路304はそれを入力
する。
The output of the variable length coding circuit 420 is input to the data amount counting circuit 302. The data amount counting circuit is cleared at the beginning of the frame and outputs the data amount from the beginning of the frame. The image replacement determination circuit 304 receives the input.

【0086】このとき、そのB−Pictureにおけ
るデータ量は所定のしきい値を超えないため、画像置換
え判定回路304は、バッファメモリ308の出力であ
る、可変長符号化回路420の出力を遅延させた符号を
選択するように指示する。符号切換回路106は、可変
長符号化回路420の出力である符号を後段のエンコー
ダ読出バッファ422に出力する。
At this time, since the data amount in the B-Picture does not exceed the predetermined threshold value, the image replacement determining circuit 304 delays the output of the variable length coding circuit 420, which is the output of the buffer memory 308. The user is instructed to select the code. The code switching circuit 106 outputs the code output from the variable length coding circuit 420 to the encoder read buffer 422 at the subsequent stage.

【0087】また、I−Picture、P−Pict
ureにおいても、しきい値を超えないと同様の判断が
なされ、バッファメモリ308の出力が選択される。
In addition, I-Picture, P-Pict
Also in ure, the same determination is made if the threshold is not exceeded, and the output of the buffer memory 308 is selected.

【0088】次に、B−Pictureにおけるデータ
量が所定のしきい値を超えた場合の動作について説明す
る。
Next, the operation when the data amount in the B-Picture exceeds a predetermined threshold will be described.

【0089】可変長符号化回路420の出力が、データ
量計数回路302に入力される。データ量計数回路は、
フレームの先頭でクリアされ、フレームの先頭からのデ
ータ量を出力する。画像置換え判定回路304はそれを
入力する。
The output of the variable length coding circuit 420 is input to the data amount counting circuit 302. The data amount counting circuit is
Cleared at the beginning of the frame and outputs the amount of data from the beginning of the frame. The image replacement determination circuit 304 receives the input.

【0090】画像置換え判定回路304は、データ量計
数回路302の出力であるデータ量を観測し、そのデー
タ量が所定のしきい値を超えたときに、画像置換え符号
を出力するように符号切換回路106に指示する。すな
わちB−Pictureに相当する符号が可変長符号化
回路420から出力されている途中であっても、データ
量が所定のしきい値を超えたときに画像置換え符号を出
力するように符号切換回路106に指示するのである。
The image replacement determining circuit 304 observes the data amount output from the data amount counting circuit 302, and switches the code to output an image replacement code when the data amount exceeds a predetermined threshold value. The circuit 106 is instructed. That is, even if a code corresponding to B-Picture is being output from the variable length encoding circuit 420, the code switching circuit outputs an image replacement code when the data amount exceeds a predetermined threshold. It instructs 106.

【0091】このようにしきい値を超えると同時に、画
像置換えを決定すれば、バッファメモリ308は所定の
しきい値に相当するデータ量を蓄積することのできるメ
モリであればよいことになる。符号切換回路106は、
画像置換え判定回路304からの画像置換え符号出力の
指示を受けて、バッファメモリ308からの、可変長符
号化回路420の出力であるB−Pictureを符号
化した符号をすべて取除き、画像置換え符号生成回路1
08からの画像置換え符号を後段のエンコーダ読出バッ
ファ422に出力する。
If the image replacement is determined at the same time when the threshold value is exceeded, the buffer memory 308 may be a memory capable of storing a data amount corresponding to a predetermined threshold value. The sign switching circuit 106
In response to an instruction to output an image replacement code from the image replacement determination circuit 304, all codes obtained by coding the B-Picture output from the variable length coding circuit 420 from the buffer memory 308 are removed, and an image replacement code is generated. Circuit 1
The image replacement code 08 is output to the encoder reading buffer 422 at the subsequent stage.

【0092】さらに、レート制御回路306では、その
B−Pictureにおいて発生した符号の総データ量
を、B−Pictureに対する画像置換え符号の総デ
ータ量に置換えて後続のフレームに割当てるデータ量を
修正する。
Further, the rate control circuit 306 replaces the total data amount of the code generated in the B-Picture with the total data amount of the image replacement code for the B-Picture, and corrects the data amount allocated to the subsequent frame.

【0093】このようにして、本実施の形態において
は、図1の実施の形態と同様の効果を得ることができ
る。
Thus, in the present embodiment, the same effects as in the embodiment of FIG. 1 can be obtained.

【0094】また、この実施例では画像置換え判定回路
304において、データ量が所定のしきい値を超えると
同時に置換えを行なうようにしたが、フレームごとのデ
ータ量を計数し終えた後に判定を行なうようにしてもよ
い。
In this embodiment, the image replacement determination circuit 304 performs replacement at the same time as the data amount exceeds a predetermined threshold value. However, the determination is made after the data amount for each frame is counted. You may do so.

【0095】このように、非参照フレームにおいてシー
ンチェンジが発生したときに、データ量の増加の発生を
抑えることで、シーンチェンジでの符号化効率を高める
ことができる。このため結果として、高画質で安定な圧
縮符号化を実現することができる。
As described above, when a scene change occurs in a non-reference frame, by suppressing the occurrence of an increase in the data amount, it is possible to increase the coding efficiency in the scene change. As a result, stable compression encoding with high image quality can be realized.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態における動画像符号
化装置のブロック図である。
FIG. 1 is a block diagram of a video encoding device according to a first embodiment of the present invention.

【図2】本発明の第2の実施の形態における動画像符号
化装置のブロック図である。
FIG. 2 is a block diagram of a video encoding device according to a second embodiment of the present invention.

【図3】第3の実施の形態における動画像符号化装置の
ブロック図である。
FIG. 3 is a block diagram of a video encoding device according to a third embodiment.

【図4】従来の技術における動画像符号化装置の構成を
示すブロック図である。
FIG. 4 is a block diagram illustrating a configuration of a moving image encoding device according to a conventional technique.

【図5】フレーム内符号化フレームを含む、動き予測符
号化の参照関係を説明するための図である。
FIG. 5 is a diagram for describing a reference relationship of motion prediction coding including an intra-coded frame.

【符号の説明】[Explanation of symbols]

102 シーンチェンジ検出回路 104,202,304 画像置換え判定回路 106 切換回路 108 画像置換え符号生成回路 302 データ量計数回路 306 レート(量子化幅)制御回路 Reference Signs List 102 Scene change detection circuit 104, 202, 304 Image replacement determination circuit 106 Switching circuit 108 Image replacement code generation circuit 302 Data amount counting circuit 306 Rate (quantization width) control circuit

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 複数のフレームから構成される動画像信
号を入力とし、符号化の際に、他のフレームに参照され
るフレームと他のフレームから参照されないフレームと
を含むフレーム間符号化を行なう符号化手段と、 前記複数のフレームにより構成される動画像信号から、
シーンチェンジの行なわれるフレームを識別する識別手
段と、 前記識別されたフレームの特性を判定する判定手段と、 前記判定手段の判定結果に基づいて、前記シーンチェン
ジの行なわれるフレームの画像に代えて、他のフレーム
の画像を表示するための情報を、出力する第1の出力手
段とを備えた、動画像符号化装置。
1. A video signal composed of a plurality of frames is input, and at the time of encoding, inter-frame encoding including a frame referred to by another frame and a frame not referenced by another frame is performed. Encoding means, from a video signal composed of the plurality of frames,
Identification means for identifying a frame in which a scene change is performed; determination means for determining characteristics of the identified frame; and, based on a determination result of the determination means, in place of the image of the frame in which the scene change is performed, A moving image encoding apparatus, comprising: first output means for outputting information for displaying an image of another frame.
【請求項2】 前記判定手段の判定結果に基づいて、前
記符号化された動画像信号を出力する第2の出力手段を
さらに備えた、請求項1に記載の動画像符号化装置。
2. The video encoding apparatus according to claim 1, further comprising a second output unit that outputs the encoded video signal based on a result of the determination by the determination unit.
【請求項3】 前記複数のフレームは、参照されるフレ
ームと、参照されないフレームとを含み、 前記判定手段は、前記識別されたフレームが参照されな
いフレームであることを判定し、 前記第1の出力手段は、前記識別されたフレームが参照
されないフレームであるときに、前記シーンチェンジの
行なわれるフレームの画像に代えて、他の参照されるフ
レームの画像を表示するための符号を、出力する、請求
項1または2に記載の動画像符号化装置。
3. The plurality of frames include a referenced frame and a non-referenced frame, wherein the determination unit determines that the identified frame is a non-referenced frame, and wherein the first output The means outputs, when the identified frame is an unreferenced frame, a code for displaying an image of another referenced frame in place of the image of the frame where the scene change is performed. Item 3. The video encoding device according to item 1 or 2.
【請求項4】 前記複数のフレームは、参照される第1
のフレームと、参照されない複数の第2のフレームとを
含み、 前記第2のフレームの各々は、前記第1のフレームを参
照し、 前記第1の出力手段は、前記識別されたフレームが、前
記第2のフレームの1つであるときに、前記第2のフレ
ームの各々の画像に代えて前記第1のフレームの画像を
表示するための符号を、出力する、請求項1または2に
記載の動画像符号化装置。
4. The method according to claim 1, wherein the plurality of frames are referred to as a first frame.
And a plurality of second frames that are not referred to. Each of the second frames refers to the first frame, and the first output unit outputs the identified frame, The code according to claim 1, wherein a code for displaying an image of the first frame is output instead of an image of each of the second frames when the frame is one of the second frames. Video encoding device.
【請求項5】 複数のフレームにより構成される動画像
信号を、フレームごとに圧縮符号化する符号化手段と、 前記符号化手段による特定のフレームの圧縮符号化の状
況に基づいて、前記特定のフレームの画像に代えて他の
フレームの画像を表示するための情報を出力する出力手
段とを備えた、動画像符号化装置。
5. An encoding unit for compressing and encoding a moving image signal composed of a plurality of frames for each frame, and said specific image is compressed based on a state of compression encoding of a specific frame by said encoding unit. An output unit that outputs information for displaying an image of another frame instead of an image of a frame.
【請求項6】 複数のフレームにより構成される動画像
信号を、フレームごとに圧縮符号化する符号化手段と、 前記符号化されたフレームのデータ量を計測する計測手
段と、 前記計測されたデータ量に基づいて、前記符号化された
フレームの画像に代えて他のフレームの画像を表示する
ための情報を出力する出力手段とを備えた、動画像符号
化装置。
6. An encoding unit for compressing and encoding a moving image signal composed of a plurality of frames for each frame, a measuring unit for measuring a data amount of the encoded frame, and the measured data. Output means for outputting information for displaying an image of another frame instead of the image of the encoded frame, based on the amount.
【請求項7】 前記動画像符号化装置は、MPEG方式
により符号化を行なう、請求項1から6のいずれかに記
載の動画像符号化装置。
7. The moving picture coding apparatus according to claim 1, wherein said moving picture coding apparatus performs coding by an MPEG system.
JP20024296A 1996-07-30 1996-07-30 Video encoding device Expired - Fee Related JP3599909B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20024296A JP3599909B2 (en) 1996-07-30 1996-07-30 Video encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20024296A JP3599909B2 (en) 1996-07-30 1996-07-30 Video encoding device

Publications (2)

Publication Number Publication Date
JPH1051784A true JPH1051784A (en) 1998-02-20
JP3599909B2 JP3599909B2 (en) 2004-12-08

Family

ID=16421167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20024296A Expired - Fee Related JP3599909B2 (en) 1996-07-30 1996-07-30 Video encoding device

Country Status (1)

Country Link
JP (1) JP3599909B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012527A (en) * 2003-06-19 2005-01-13 Nippon Hoso Kyokai <Nhk> Encoding apparatus, encoding program, and encoding method
KR100480028B1 (en) * 2002-05-07 2005-03-30 엘지전자 주식회사 Improved direct prediction mode for b pictures by addition of syntax element indicating scene change
KR100794797B1 (en) 2002-10-14 2008-01-21 삼성전자주식회사 Device for recording / reproducing digital A / V data and its control method
KR100901030B1 (en) * 2002-05-11 2009-06-04 엘지전자 주식회사 How to code a video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100480028B1 (en) * 2002-05-07 2005-03-30 엘지전자 주식회사 Improved direct prediction mode for b pictures by addition of syntax element indicating scene change
KR100901030B1 (en) * 2002-05-11 2009-06-04 엘지전자 주식회사 How to code a video
KR100794797B1 (en) 2002-10-14 2008-01-21 삼성전자주식회사 Device for recording / reproducing digital A / V data and its control method
JP2005012527A (en) * 2003-06-19 2005-01-13 Nippon Hoso Kyokai <Nhk> Encoding apparatus, encoding program, and encoding method

Also Published As

Publication number Publication date
JP3599909B2 (en) 2004-12-08

Similar Documents

Publication Publication Date Title
JP4014263B2 (en) Video signal conversion apparatus and video signal conversion method
US7324595B2 (en) Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US5453799A (en) Unified motion estimation architecture
US6603815B2 (en) Video data processing apparatus, video data encoding apparatus, and methods thereof
US6628713B1 (en) Method and device for data encoding and method for data transmission
KR100504641B1 (en) Image encoder and image encoding method
WO2003043344A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JPH08223577A (en) Moving picture coding method and apparatus, and moving picture decoding method and apparatus
JP2001285876A (en) Image encoding device and method, video camera, image recording device, image transmission device
CA2638526C (en) Coding apparatus, coding method, and coding system
US6697430B1 (en) MPEG encoder
JPH0818979A (en) Image processing device
JP3599942B2 (en) Moving picture coding method and moving picture coding apparatus
JPH06217281A (en) Image coding device, image decoding device, image recording medium, image coding method, image decoding method, and image signal transmission method
JP2933561B2 (en) Video transcoder
JP4616057B2 (en) Image coding apparatus and image coding method
JP3599909B2 (en) Video encoding device
JP2005124091A (en) Decoding device and decoding method
JP3246074B2 (en) Video encoding device and video decoding device
JPH0795536A (en) Reverse image playback apparatus and method
JPH09261530A (en) Video recorder
JP3240737B2 (en) Image signal encoding method and apparatus, decoding method and apparatus
KR20040066397A (en) Image Compression System for Digital Video Surveillance and Method for controlling the Same
JPH1056646A (en) Video signal decoding device
JPH07322246A (en) Moving image compression coder and method therefor

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080924

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees