JPH07322252A - 画像符号化装置 - Google Patents

画像符号化装置

Info

Publication number
JPH07322252A
JPH07322252A JP13262294A JP13262294A JPH07322252A JP H07322252 A JPH07322252 A JP H07322252A JP 13262294 A JP13262294 A JP 13262294A JP 13262294 A JP13262294 A JP 13262294A JP H07322252 A JPH07322252 A JP H07322252A
Authority
JP
Japan
Prior art keywords
quantization step
frame
entropy
image
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP13262294A
Other languages
English (en)
Inventor
Koji Hirabayashi
康二 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP13262294A priority Critical patent/JPH07322252A/ja
Priority to US08/444,012 priority patent/US6256413B1/en
Priority to EP19950303407 priority patent/EP0684738A3/en
Publication of JPH07322252A publication Critical patent/JPH07322252A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 符号量の無駄なくユーザの指示に応じたフレ
ームレートにより画像の符号化が可能な画像符号化装
置。 【構成】 CCDカメラ1からの画像情報を、フレーム
メモリコントローラ4を介しフレームメモリ2に記憶
し、1フレーム前の画像情報を、符号器7で符号化後、
復号器8で復号化し、フレームメモリコントローラ6を
介しフレームメモリ3に記憶する。フレームメモリ2,
3から読み出した画像情報は量子化ステップ算出器6で
フレーム間差分のエントロピーが計算され入力手段9で
設定したフレームレートに応じ量子化ステップ値が決定
される。フレームメモリ2,3から読み出し、差分器1
0により出力したフレーム間差分を決定された量子化ス
テップに基づき符号器7により符号化し、ユーザによっ
て設定されたフレームレート以内に、1フレーム分の符
号化したフレーム間差分が、外部に出力する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像符号化装置に関す
る。
【0002】
【従来の技術】従来、画像符号化装置の動画像の符号量
制御方式には大きく分けて二種類の方式がある。
【0003】一方は、目標フレームレートを設定し、該
目標フレームレート以内に各フレームの符号化を完了す
るように、フレーム毎の発生符号量を制御するものであ
り、他方は、適当な方法により量子化ステップを決定
し、発生した符号量に応じて次のフレームを取り込んで
符号化するものである。
【0004】前者の方式は、蓄積用または放送用の動画
像等の比較的高画質および安定したフレーム供給が要求
される用途に対して用いられる。そして、この符号量制
御では、通常、発生符号バッファによる量子化ステップ
の制御、即ち、符号出力の前段にバッファメモリを設
け、そのバッファメモリの充足度を常に監視し、発生符
号量が目標符号量よりも大きい場合には量子化ステップ
を相対的に大きくし、一方、発生符号量が目標符号量よ
りも小さい場合には量子化ステップを小さくするという
制御が行われる。
【0005】後者の方式は、テレビ電話またはテレビ会
議等のリアルタイムのエンコード/デコードを低い符号
レートで行う用途に用いられる。そして、この方式で
は、最も簡単な場合には符号量の制御を行わない。
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の画像符号化装置では、低ビットレートのリアルタイ
ム符号化伝送を行う場合に、上記2方式のいずれの方式
を用いても以下のような問題が生じる。
【0007】まず、前者の方式、即ち、フレームレート
を固定にする方式では、リアルタイム符号化伝送である
ために一度符号化して送信したものを取り消すことがで
きず、1フレームの符号化によって発生した符号量が1
フレームレート当たりの伝送路速度を超えると、その符
号を復号化する際にタイムラグが発生する。この問題を
回避しようとすると、ある程度発生符号量を抑えなけれ
ばならないために、画質を劣化させるように量子化を行
う必要がある。即ち、これは、無駄な符号を発生させる
ことを意味し、低ビットレートのリアルタイム符号化伝
送においてはぜひとも避けなければならないことであ
る。また、フレームの情報量は、各フレーム毎に大きな
差があるため、全てのフレームに対して同じ符号量を割
当てるこの方式を用いると、情報量の少ないフレームは
不必要に高画質になり、一方、情報量の多いフレームは
低画質になる。このように、フレームレートを固定する
場合には、符号レートの制御が非常に難しくなる。
【0008】次に、後者の方式、即ち、適当な方法によ
り量子化ステップを決定する方式では、通常、単一の量
子化ステップを用いる等の方法が採られることが多い
が、この場合に、情報量の多いフレームを符号化すると
きには、非常に多くの符号を発生させなければならない
ため、次のフレームを取り込むまでに要する時間は非常
に長くなり、一方、情報量が少ないフレームを符号化す
るときには、ほとんど符号を発生させることなく1枚の
フレームの符号化を完了するため、次のフレームを取り
込むまでに要する時間は非常に短くなる。この結果、情
報量の多い重要な画面は受信側でなかなか更新されずに
低フレームレートとなり、一方、画面に変化のほとんど
無い、余り重要でない画面は次々と更新されて高フレー
ムレートとなる。したがって、ユーザーは1秒間に送信
したい画像の駒数(フレームレート)を指示することが
できず、単に、相対的に画質を上げるまたは下げるの指
示を行うにとどまっていた。
【0009】本発明は、上記問題に鑑みてなされたもの
で、簡単な処理で、符号量を無駄にすることなくユーザ
の指示に応じたフレームレートにより画像を符号化する
ことが可能な画像符号化装置を提供することを目的とす
る。
【0010】
【課題を解決するための手段】上記目的を達成するため
本発明は、入力された画像データのエントロピーを計算
する計算手段と、目標フレームレートを設定する設定手
段と、前記計算手段により計算されたエントロピーおよ
び前記設定手段により設定された目標フレームレートか
ら量子化ステップの値を決定する量子化ステップ決定手
段と、該決定された量子化ステップに基づいて、前記入
力された画像データを符号化する符号化手段とを有する
ことを特徴とする。
【0011】また、好ましくは、前記量子化ステップ決
定手段は、前記量子化ステップに上限を設けていること
を特徴とする。
【0012】さらに、好ましくは、前記符号化手段は、
前記入力された画像データを直交変換した後に符号化す
るものであり、前記計算手段により計算された前記画像
データのエントロピーが所定値より大きい場合に、前記
画像データのエントロピーの大きさに応じたマスク形状
により前記直交変換に使用する変換係数をマスクして前
記画像データを変換した後に、その変換結果を符号化す
ることを特徴とする。
【0013】
【作用】本発明の構成に依れば、画像データのエントロ
ピーおよび目標フレームレートから量子化ステップの値
が決定され、その決定された量子化ステップに基づいて
前記画像データが符号化される。
【0014】
【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。
【0015】図1は、本発明の第1実施例に係る動画像
符号化装置の概略構成を示すブロック図である。
【0016】同図において、本実施例の動画像符号化装
置は、固体撮像素子(CCD)を使用したCCDカメラ
1と、フレーム毎の画像情報を記憶するフレームメモリ
2,3と、該各フレームメモリ2,3への画像情報の書
き込み/読み出し制御をそれぞれ行うためのフレームメ
モリコントローラ4,5と、量子化ステップを決定する
ための量子化ステップ算出器(以下、「算出器」とい
う)6と、該算出器6によって決定された量子化ステッ
プに基づいて、後述する差分器10からの差分結果S3
を符号化する符号器7と、該符号器7により符号化され
た結果を復号化する復号器8と、所望のフレームレート
を入力するための入力手段とにより、主として構成され
ている。
【0017】CCDカメラ1の出力側は、該CCDカメ
ラ1からの画像情報(原画像)をフレームメモリ2に書
き込むために、フレームメモリコントローラ4の入力側
に接続され、該フレームメモリコントローラ4はフレー
ムメモリ2と相互に接続されている。フレームメモリコ
ントローラ4の出力側は、差分器10の一方の入力側に
接続され、差分器10の他方の入力側には、フレームメ
モリコントローラ5の出力側が接続され、差分器10の
出力側は、符号器7の入力側に接続されている。差分器
10は、フレームメモリコントローラ4からの出力信号
S1、即ち、フレームメモリ2に記憶された画像情報
と、フレームメモリコントローラ5からの出力信号S
2、即ち、フレームメモリ3に記憶された画像情報との
差分を取り、その結果を符号器7に出力する。
【0018】符号器7には算出器6の出力側も接続さ
れ、算出器6には前記入力手段9およびフレームメモリ
2,3の出力側が接続されている。算出器6は、入力手
段9から供給されたフレームレートおよびフレームメモ
リ2,3からそれぞれ供給された画像情報に応じて、後
述する方法により、量子化ステップを決定し、符号器7
は、この量子化ステップに基づいて、差分器10からの
出力信号S3を符号化する。
【0019】符号器7の出力側は、復号器8の入力側に
接続されるとともに、符号器7からの出力(符号化信
号)S4は、動画像符号化装置の外部に取り出される。
【0020】さらに、復号器8の出力側は、加算器11
の一方の入力側に接続され、加算器11の他方の入力側
には、フレームメモリコントローラ5の出力側が接続さ
れ、加算器11の出力側は、フレームメモリコントロー
ラ5の入力側に接続されている。即ち、原画像を復元す
るために、フレームメモリコントローラ5の出力と復号
器8の出力とを加算器11により加算するようにしてい
る。
【0021】以上のように構成された動画像符号化装置
の制御処理を、図1〜図8を参照して説明する。
【0022】まず、符号データの正味の伝送路スピード
をB0(bits per sec)とする。ある時刻t0においてC
CDカメラ1によって撮像された画像は、画像情報とし
てフレームメモリコントローラ4を介してフレームメモ
リ2に書き込まれる。このとき、フレームメモリ3に
は、直前に符号化され、復号化された、いわゆるローカ
ルデコードイメージが格納されているとする。これより
フレームメモリ2内の画像が符号化されるが、その符号
化の前に、算出器6により量子化ステップが決定され
る。この決定された量子化ステップの値を量子化ステッ
プgという。
【0023】量子化ステップgが決定されると、符号器
7により画像の符号化が開始される。フレームメモリコ
ントローラ4,5は、それぞれ、フレームメモリ2,3
に記憶された画像情報を、画面の左上から右下にかけて
8×8画素のブロック単位で読み出して、このデータを
それぞれブロックデータS1,S2として差分器10に
送出する。これらのブロックデータS1,S2は、差分
器10により、ブロックデータS1からブロックデータ
S2が減算されて差分ブロックデータS3として、符号
器7に供給される。
【0024】符号器7では、算出器6によって決定され
た量子化ステップgに基づいて、差分ブロックデータS
3の符号化が行われ、その符号化データは、出力信号S
4として外部に取り出されるとともに復号器8に供給さ
れる。
【0025】復号器8では、符号化データS4から差分
ブロックデータS3が復元され、加算器11では、この
復元データS5とフレームメモリコントローラ5からの
ブロックデータS2とが加算されて、ローカルデコード
ブロックS6として、再びメモリコントローラ5に入力
され、メモリコントローラ5は、このローカルデコード
ブロックS6をフレームメモリ3の同一位置に記録す
る。
【0026】このようにして、1ブロックの処理が終了
し、同様の処理によりフレームメモリ2の1画面分の符
号化が終了すると、フレームメモリ3にはフレームメモ
リ2に格納された画像の復号画像が格納されることにな
る。
【0027】続いて、フレームメモリ2に、CCDカメ
ラ1からフレームメモリコントローラ4を介して新しい
画像が入力される。この時刻をtとし、1画面の符号化
に要した符号量をBとし、さらに、ユーザーの入力する
目標フレームレート(framesper sec)をfとすると、
上述の制御処理から下記式(1)の関係が得られる。 B0/B = 1/(t−t0) ≒ f ‥‥(1) 次に、前記算出器6により行われる制御処理を説明す
る。
【0028】算出器6には、フレームメモリ2の画像情
報とフレームメモリ3の画像情報とが画素単位で入力さ
れる。説明の都合上、これら2つの画像情報を、それぞ
れ、フレームAおよびフレームBという。
【0029】まず、算出器6は、フレームAおよびフレ
ームB間の画素単位の差分のエントロピーを算出する。
【0030】図2(a),(b)に示すように、各フレ
ームの画像サイズをX×Y(横×縦)画素とし、各画素
を8ビットの多値輝度情報とする。また、画素値差分の
ヒストグラムを求めるために、図示しないRAM等のメ
モリに511個のレジスタを設け、これらのレジスタを
R[0]〜R[510]とする。そして、フレームAの
座標(i,j)の画素値をPa(i,j)、フレームB
のそれをPb(i,j)としたとき、下記式(2)の演
算を、全画素、即ち、0≦i<X,0≦j<Yに亘って
行う。
【0031】 R[Pa(i,j)−Pb(i,j)+255]++ ‥‥(2) ここで、記号“++”は、インクリメントを表す。
【0032】このようにして求めれたヒストグラムの一
例を図2(c)に示す。
【0033】次に、R[n](0≦n≦510)の値か
ら画素値差分のエントロピーεを求める。
【0034】本来、エントロピーεは、下記式(3)に
より求める。
【0035】
【数1】 しかし、値X,Yは、双方とも固定値のため、上記式
(3)のシグマ(Σ)内の演算は、R[n]に関するテ
ーブルで行うことができ、このテーブルをT[R
[n]]とすると、下記式(4)により予め決定でき
る。
【0036】
【数2】 この式(4)を用いると、エントロピーεは、下記式
(5)のように表されるので、エントロピーεは、テー
ブル演算と加算により簡単に算出できる。
【0037】
【数3】 このようにして求められたエントロピーεと、ユーザー
により指定された目標フレームレートfとにより、量子
化ステップを決定する。以下、図3〜図5を用いて量子
化ステップの決定方法について説明する。
【0038】図3は、実験により求められる、符号化方
式により固有のエントロピーε−発生符号量の関係を示
すグラフであり、量子化ステップgをパラメータとして
描いたものである。なお、同図中の各直線を発生符号量
予測直線(以下、「予測直線」という)といい、これら
の予測直線をまとめて予測直線群といい、この予測直線
群は、量子化ステップ算出器6の図示しないROMに、
例えばテーブルデータとして記憶される。
【0039】ユーザにより指定されたフレームレートが
fであるとき、伝走路スピードB0を用いて、下記式
(6)の直線を図3のグラフに引いたものが、図4のグ
ラフとなる。
【0040】Bits = β = B0/f ‥‥(6) このとき、Bits=βの直線と、g=2,4,… の各予
測直線とが交わる点の各々のε座標を閾値として量子化
ステップgが決定される。
【0041】図5は、前記算出されたエントロピーεか
ら量子化ステップgを決定する方法を示す図である。同
図において、例えば、エントロピーεの値が、▼(ε=
e)で示される位置にあるときには、量子化ステップg
として“6”を採る。このとき、ユーザにより指定でき
るfの値が離散値であれば、この閾値も予め求めること
ができるので、量子化ステップgは、目標フレームレー
トfによって決定される閾値群と、演算により求められ
たエントロピーεを比較するのみで決定することができ
る。
【0042】このようにして量子化ステップgは決定さ
れ、この量子化ステップgを用いて符号化したときの発
生符号量はおおむね図4の太線部の付近にプロットされ
る。即ち、発生符号量は、B0/f(=β)に近い値と
なる。
【0043】次に、図1の符号器7により行われる制御
処理を簡単に説明する。
【0044】図1の差分器10から出力される8×8画
素の差分ブロックデータS3は、8×8要素のDCT変
換係数によりDCT変換(Discrete Cosine Transfor
m:離散的コサイン変換)され、8×8要素のDCT変
換データブロックとなる。このとき、係数のダイナミッ
クレンジは、例えば±11ビットとする。これを、前記
算出された量子化ステップgを用いて量子化する。量子
化ステップgは2〜128の値を取り得るものとし、量
子化後の各値は、例えばハフマン符号化されて外部に送
り出される。
【0045】以上説明したように、本実施例に依れば、
ユーザにより指定されたフレームレートfおよびフレー
ム間差分のエントロピーεに応じて量子化ステップgを
変更するように構成したので、簡単な操作によりほぼ一
定のフレームレートで画像を符号化することが可能とな
る。
【0046】次に、本発明の第2実施例を、図6〜図8
を参照して説明する。なお、図6〜図8は、それぞれ、
実施例1の図3〜図5に対応する図であり、エントロピ
ーε−発生符号量の関係を示している。
【0047】第1実施例では、フレームレートを一定に
することを主目的としたのに対して、第2実施例では、
高画質を保ちつつ同時にフレームレートをなるべく一定
に保つことを主目的とする点が異なっている。なお、本
実施例は、前記第1実施例の制御処理のみを変更するこ
とにより実現しているので、動画像符号化装置として図
1と同一構成の動画像符号化装置を使用する。
【0048】まず、主観実験により、復号化された画像
が汚くて見えない量子化ステップgの最大値を求める。
これを、本実施例では、例えば、g=10とし、この値
より大きい量子化ステップgの値は使わないものとす
る。
【0049】次に、第1実施例と同様にして、フレーム
レートfを用いて、下記式(7)の直線を図6のグラフ
に引くと、図7のグラフとなる。
【0050】Bits = β = B0/f ‥‥(7) ここで、Bits=βの直線と、各予測直線(g=2,
…,10)との交点が量子化ステップgの値を切り換え
るエントロピーεの閾値となるのは前記第1実施例と同
様であるが、エントロピーεに対する量子化ステップg
の割当ては、図8に示されるようになる。即ち、同図に
示されるように、ε>αの領域では、常に、g=10で
固定となり、エントロピーεが増加するに従って発生符
号量も増加している。これは、実際のフレームレートが
設定値fよりも下がることを意味するが、最低限の画質
は保つことができる。一方、ε<αの領域では、第1実
施例と同様に、フレームレートをfに合わせることがで
きる。
【0051】その他の処理、即ち、符号化の全体構成お
よび符号器の制御処理等は、第1実施例と同様であるの
で、その説明を省略する。
【0052】以上説明したように、本実施例に依れば、
量子化ステップgの値に上限を設定して発生符号量を制
御するように構成したので、高画質を保持することを優
先しながらも、フレーム間差分のエントロピーεが低い
領域では所望のフレームレートを保持することが可能に
なる。
【0053】図9は、本発明の第3実施例に係る動画像
符号化装置の概略構成を示すブロック図である。
【0054】前記第1実施例の動画像符号化装置は、量
子化ステップ算出器6が量子化ステップを決定するのみ
であるのに対して、本実施例の動画像符号化装置は、そ
の量子化ステップ算出器6に代えて量子化ステップおよ
びマスクレベル決定回路21を構成要素とし、該決定回
路21が量子化ステップの大きさを決定するのみでな
く、DCT変換係数に対するマスクレベルを決定するよ
うにした点が異なる。したがって、図9中、図1と同一
の構成要素には同一符号を付し、その説明を省略する。
【0055】図9において、量子化ステップおよびマス
クレベル決定回路21は、符号器7に接続され、量子化
ステップおよびマスクレベル決定回路21から符号器7
に、量子化ステップを伝達する信号に加えて、マスクレ
ベルを伝達する信号S11が供給される。
【0056】次に、量子化ステップおよびマスクレベル
決定回路21によりなされる量子化ステップgの値およ
びマスクレベルの決定処理を、図10〜図12を用いて
説明する。ここで、図10〜図12は、それぞれ、第1
実施例の図3〜図5に対応するものである。
【0057】図10は、エントロピーε−発生符号量の
関係を示す図であり、同図中、mask1〜3は、DC
T変換係数に対するマスクを表し、マスクの形状は、図
13に示される。
【0058】図13中、各マスク(mask)1〜3
は、前記第1実施例で説明した8×8画素の差分ブロッ
クデータをDCT変換するときのDCT変換係数に対す
るマスクの形状を示し、図3(a)のマスク(mas
k)1は、8×8個の変換係数の内、左上の4×4個の
変換係数のみを用いることを示し、図3(b)のマスク
(mask)2は、その内の2×2個の変換係数のみを
用いることを示し、図3(c)のマスク(mask)3
は、その内の1個の変換係数のみを用いることを示して
いる。これらのマスク1〜3を用いてDCT変換され、
復号化された画像は、元の画像に対して、それぞれ、1
/2,1/4,1/8の解像度となる。しかし、後述す
るように、量子化ステップに上限を設定して高画質を保
持するとともに、エントロピーεが大きい領域での発生
符号量も、第2実施例に比較して、低く抑えることがで
きる。
【0059】図10に戻り、第1および第2実施例と同
様に、下記式(8)の直線を図10のグラフに引いたも
のが、図11のグラフとなる。
【0060】Bits = β = B0/f ‥‥(8) そして、エントロピーεに対する量子化ステップgの割
当ては図12に示すようになり、ε>γの領域ではマス
クがかかるようになる。このマスクには、レベル0(マ
スクしない),1(マスク1),2(マスク2),3
(マスク3)の4種類があり、このレベルが、量子化ス
テップおよびマスクレベル決定回路21からマスク信号
S11として符号器7に送られる。符号器7は、第1お
よび第2実施例と同様の符号化を行うが、このとき、エ
ントロピーεの値に応じてマスク信号S11のレベルが
決定され、上述したように、そのレベルが符号器7に送
信される。例えば、エントロピーεが前記値γより大き
い領域にあるときには、エントロピーεの値に応じて、
図13の3種類のマスクから1つのマスクが選択され、
図9の差分ブロックデータS3の各要素に対応するDC
T変換係数に当該マスクをかけた後に、符号器7により
符号化が行われる。
【0061】本実施例の図12と第2実施例の図8とを
比較すると、エントロピーεの増大に伴って発生符号量
が増大する領域の下限が、図12では値δであるのに対
して図8では値αとなり、δ>αであることが分かる。
即ち、本実施例は、エントロピーεが大きい領域では画
面の解像度よりフレームレートを優先しているというこ
とができる。
【0062】以上説明したように、本実施例に依れば、
フレーム間差分のエントロピーεがある程度低いところ
では、画質およびフレームレートともに保持された画像
出力が可能であり、所定の閾値を越えると、フレームレ
ートを保持しながら、画像の解像度が落ちていく出力と
なる。
【0063】なお、第1〜第3実施例では、現在のフレ
ームの画像(原画像)とその1フレーム前の復号画像
(前面復号画像)との差分のエントロピーを求めて量子
化ステップgの値を決定したが、これに限らず、原画像
とその1フレーム前の原画像との差分のエントロピーに
より量子化ステップgを決定するようにしてもよい。ま
た、画面全体を用いてエントロピーを求めたが、これに
限らず、画面の一部(サブサンプリングを含む)を用い
てエントロピーを求めるようにしてもよい。
【0064】
【発明の効果】以上説明したように、本発明に依れば、
入力された画像データのエントロピーを計算する計算手
段と、目標フレームレートを設定する設定手段と、前記
計算手段により計算されたエントロピーおよび前記設定
手段により設定された目標フレームレートから量子化ス
テップの値を決定する量子化ステップ決定手段と、該決
定された量子化ステップに基づいて、前記入力された画
像データを符号化する符号化手段とを有するので、簡単
な操作で、ユーザの指示に応じたフレームレートにより
画像を符号化することが可能となる効果を奏する。
【0065】また、好ましくは、前記量子化ステップ決
定手段は、前記量子化ステップに上限を設けているの
で、高画質を保持することを優先しながらも、フレーム
間差分のエントロピーが低い領域では所望のフレームレ
ートを保持することが可能となる。
【0066】さらに、好ましくは、前記符号化手段は、
前記入力された画像データを直交変換した後に符号化す
るものであり、前記計算手段により計算された前記画像
データのエントロピーが所定値より大きい場合に、前記
画像データのエントロピーの大きさに応じたマスク形状
により前記直交変換に使用する変換係数をマスクして前
記画像データを変換した後に、その変換結果を符号化す
るので、高画質およびユーザの指示に応じたフレームレ
ートを保持することを優先しながらも、フレーム間差分
のエントロピーが低い領域では画像の解像度を保持する
ことが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る動画像符号化装置の
概略構成を示すブロック図である。
【図2】図1の量子化ステップ算出器により生成される
ヒストグラムの一例を示す図である。
【図3】第1実施例において、実験により求められる、
符号化方式により固有のエントロピーε−発生符号量の
関係を示す図である。
【図4】第1実施例において、フレームレートおよび伝
走路スピードから量子化ステップの閾値を求める方法を
説明するための図である。
【図5】第1実施例において、算出されたフレーム間差
分のエントロピーから量子化ステップを決定する方法を
説明するための図である。
【図6】第2実施例において、実験により求められる、
符号化方式により固有のエントロピーε−発生符号量の
関係を示す図である。
【図7】第2実施例において、フレームレートおよび伝
走路スピードから量子化ステップの閾値を求める方法を
説明するための図である。
【図8】第2実施例において、算出されたフレーム間差
分のエントロピーから量子化ステップを決定する方法を
説明するための図である。
【図9】本発明の第3実施例に係る動画像符号化装置の
概略構成を示すブロック図である。
【図10】第3実施例において、実験により求められ
る、符号化方式により固有のエントロピーε−発生符号
量の関係を示す図である。
【図11】第3実施例において、フレームレートおよび
伝走路スピードから量子化ステップの閾値を求める方法
を説明するための図である。
【図12】第3実施例において、算出されたフレーム間
差分のエントロピーから量子化ステップを決定する方法
を説明するための図である。
【図13】第3実施例において、DCT変換変数をマス
クするマスク形状を示す図である。
【符号の説明】
7 符号器(符号化手段) 6 量子化ステップ算出器(計算手段、量子化ステップ
決定手段) 9 入力手段(設定手段) 21 量子化ステップおよびマスクレベル決定回路(計
算手段、量子化ステップ決定手段)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H03M 7/36 8842−5J

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 入力された画像データのエントロピーを
    計算する計算手段と、 目標フレームレートを設定する設定手段と、 前記計算手段により計算されたエントロピーおよび前記
    設定手段により設定された目標フレームレートから量子
    化ステップの値を決定する量子化ステップ決定手段と、 該決定された量子化ステップに基づいて、前記入力され
    た画像データを符号化する符号化手段とを有することを
    特徴とする画像符号化装置。
  2. 【請求項2】 前記量子化ステップ決定手段は、前記量
    子化ステップに上限を設けていることを特徴とする請求
    項1記載の画像符号化装置。
  3. 【請求項3】 前記符号化手段は、前記入力された画像
    データを直交変換した後に符号化するものであり、前記
    計算手段により計算された前記画像データのエントロピ
    ーが所定値より大きい場合に、前記画像データのエント
    ロピーの大きさに応じたマスク形状により前記直交変換
    に使用する変換係数をマスクして前記画像データを変換
    した後に、その変換結果を符号化することを特徴とする
    請求項2記載の画像符号化装置。
JP13262294A 1994-05-23 1994-05-23 画像符号化装置 Pending JPH07322252A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP13262294A JPH07322252A (ja) 1994-05-23 1994-05-23 画像符号化装置
US08/444,012 US6256413B1 (en) 1994-05-23 1995-05-18 Image encoding apparatus
EP19950303407 EP0684738A3 (en) 1994-05-23 1995-05-22 Image encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13262294A JPH07322252A (ja) 1994-05-23 1994-05-23 画像符号化装置

Publications (1)

Publication Number Publication Date
JPH07322252A true JPH07322252A (ja) 1995-12-08

Family

ID=15085636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13262294A Pending JPH07322252A (ja) 1994-05-23 1994-05-23 画像符号化装置

Country Status (3)

Country Link
US (1) US6256413B1 (ja)
EP (1) EP0684738A3 (ja)
JP (1) JPH07322252A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328183A (ja) * 2004-05-12 2005-11-24 Canon Inc 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2009071520A (ja) * 2007-09-12 2009-04-02 Sony Corp 画像符号化装置、画像符号化方法
US8270744B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing apparatus and image processing method
US8270745B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing device and image processing method
US8374451B2 (en) 2008-06-27 2013-02-12 Sony Corporation Image processing device and image processing method for reducing the circuit scale
US8731052B2 (en) 2008-06-27 2014-05-20 Sony Corporation Image processing device and image processing method with feedback control

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793893A (en) * 1996-09-23 1998-08-11 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a contour image of an object in a video signal
CN1121122C (zh) * 1996-10-25 2003-09-10 大宇电子株式会社 对视频信号中的目标轮廓图象进行编码的方法和设备
FR2769453B1 (fr) 1997-10-06 2000-01-07 Telediffusion Fse Procede d'evaluation de la degradation d'une image video introduite par un systeme de codage et/ou de stockage et/ou de transmission numerique
US6885702B1 (en) * 1997-10-06 2005-04-26 Telediffusion De France Method for spatial synchronization of a digitally coded video image and/or for identification of the syntax of a video sequence
US6185253B1 (en) * 1997-10-31 2001-02-06 Lucent Technology, Inc. Perceptual compression and robust bit-rate control system
FR2791211B1 (fr) 1999-03-18 2001-10-19 Cit Alcatel Dispositif de regulation en debit ou en qualite d'un compresseur de donnees numeriques, notamment d'images
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US7190723B2 (en) * 2002-03-27 2007-03-13 Scientific-Atlanta, Inc. Digital stream transcoder with a hybrid-rate controller
KR100961760B1 (ko) * 2002-08-13 2010-06-07 퀄컴 인코포레이티드 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
KR100922941B1 (ko) 2002-11-04 2009-10-22 삼성전자주식회사 에너지에 기반한 적응적인 이산코사인 변환/역이산코사인변환 장치 및 방법
US7792359B2 (en) 2006-03-02 2010-09-07 Sharp Laboratories Of America, Inc. Methods and systems for detecting regions in digital images
US8630498B2 (en) * 2006-03-02 2014-01-14 Sharp Laboratories Of America, Inc. Methods and systems for detecting pictorial regions in digital images
US7889932B2 (en) * 2006-03-02 2011-02-15 Sharp Laboratories Of America, Inc. Methods and systems for detecting regions in digital images
US7864365B2 (en) * 2006-06-15 2011-01-04 Sharp Laboratories Of America, Inc. Methods and systems for segmenting a digital image into regions
US8437054B2 (en) * 2006-06-15 2013-05-07 Sharp Laboratories Of America, Inc. Methods and systems for identifying regions of substantially uniform color in a digital image
US7876959B2 (en) * 2006-09-06 2011-01-25 Sharp Laboratories Of America, Inc. Methods and systems for identifying text in digital images
JP4869149B2 (ja) * 2007-05-16 2012-02-08 オリンパスイメージング株式会社 画像データ圧縮装置、画像データ圧縮方法およびプログラム
US20090041344A1 (en) * 2007-08-08 2009-02-12 Richard John Campbell Methods and Systems for Determining a Background Color in a Digital Image
US10082860B2 (en) * 2011-12-14 2018-09-25 Qualcomm Incorporated Static image power management
US8754792B2 (en) * 2012-07-14 2014-06-17 Sigma Designs, Inc. System and method for fixed rate entropy coded scalar quantization
US20140327737A1 (en) * 2013-05-01 2014-11-06 Raymond John Westwater Method and Apparatus to Perform Optimal Visually-Weighed Quantization of Time-Varying Visual Sequences in Transform Space
US9589543B2 (en) * 2015-03-18 2017-03-07 Intel Corporation Static frame image quality improvement for sink displays
US9532099B2 (en) 2015-03-24 2016-12-27 Intel Corporation Distributed media stream synchronization control
KR102566798B1 (ko) * 2021-10-25 2023-08-11 에스케이텔레콤 주식회사 코드 레벨의 초해상화 방법 및 그를 위한 초해상화 모델 학습방법

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57150275A (en) * 1981-03-11 1982-09-17 Fuji Photo Film Co Ltd Adaptive quantizer
US4573035A (en) * 1984-07-25 1986-02-25 Analogic Corporation Digital x-ray system
JPS6192073A (ja) * 1984-10-12 1986-05-10 Hitachi Ltd 画像デ−タ圧縮方式
JPS62222783A (ja) 1986-03-24 1987-09-30 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高能率符号化方式
EP0339589A3 (en) * 1988-04-28 1992-01-02 Sharp Kabushiki Kaisha Orthogonal transform coding system for image data
JPH02177766A (ja) 1988-12-28 1990-07-10 Canon Inc 2値画像の階層的符号化方式
JPH0388087A (ja) 1989-08-31 1991-04-12 Toshiba Corp 文書読取装置
JPH03106126A (ja) * 1989-09-20 1991-05-02 Hitachi Ltd 変換符号化装置
US5040217A (en) * 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
JPH03144864A (ja) * 1989-10-31 1991-06-20 Shimadzu Corp 医用画像データ圧縮装置
US5063608A (en) 1989-11-03 1991-11-05 Datacube Inc. Adaptive zonal coder
JPH0722396B2 (ja) * 1989-11-06 1995-03-08 三菱電機株式会社 画像符号化装置
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
JP2839339B2 (ja) * 1990-08-06 1998-12-16 松下電器産業株式会社 直交変換符号化装置および直交変換符号化方法
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
KR930000033B1 (ko) * 1990-10-18 1993-01-06 삼성전자 주식회사 에지검출을 이용한 양자화폭 조정회로
JPH06502285A (ja) 1990-11-16 1994-03-10 シーメンス アクチエンゲゼルシャフト ディジタル画像伝送におけるデータ圧縮のための適応形量子化方法
JP2514114B2 (ja) 1991-01-31 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動画像符号化装置
JPH04297184A (ja) * 1991-03-26 1992-10-21 Toshiba Corp 画像データ圧縮装置
US5341440A (en) * 1991-07-12 1994-08-23 Earl Joseph G Method and apparatus for increasing information compressibility
US5592302A (en) 1992-03-23 1997-01-07 Canon Kabushiki Kaisha Coding method for coding pixel blocks and apparatus therefor
KR0150955B1 (ko) * 1992-05-27 1998-10-15 강진구 비트고정을 위한 영상압축방법과 신장방법 및 그 장치
JP2774738B2 (ja) * 1992-05-27 1998-07-09 シャープ株式会社 画像符号化復元システム
US5377018A (en) 1992-06-22 1994-12-27 Media Vision Video compression and decompression using block selection and subdivision
JP3526057B2 (ja) 1992-07-31 2004-05-10 キヤノン株式会社 動画像伝送装置
JPH0690441A (ja) 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 最適フレームレート決定方法
DE69332750T2 (de) 1993-01-11 2003-10-16 Canon K.K., Tokio/Tokyo Gerät und Verfahren zur Bildverarbeitung
CA2115976C (en) * 1993-02-23 2002-08-06 Saiprasad V. Naimpally Digital high definition television video recorder with trick-play features
FR2707070B1 (ja) 1993-06-22 1995-09-08 Centre Nat Etd Spatiales
US5426512A (en) * 1994-01-25 1995-06-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
TW374283B (en) 1994-05-25 1999-11-11 Sony Corp A multiple coding device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328183A (ja) * 2004-05-12 2005-11-24 Canon Inc 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7675971B2 (en) 2004-05-12 2010-03-09 Canon Kabushiki Kaisha Moving picture encoding apparatus and method, computer program and computer-readable storage medium
JP2009071520A (ja) * 2007-09-12 2009-04-02 Sony Corp 画像符号化装置、画像符号化方法
US8509556B2 (en) 2007-09-12 2013-08-13 Sony Corporation Image coding apparatus and image coding method to generate a targeted amount of code
US8270744B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing apparatus and image processing method
US8270745B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing device and image processing method
US8374451B2 (en) 2008-06-27 2013-02-12 Sony Corporation Image processing device and image processing method for reducing the circuit scale
US8731052B2 (en) 2008-06-27 2014-05-20 Sony Corporation Image processing device and image processing method with feedback control

Also Published As

Publication number Publication date
EP0684738A2 (en) 1995-11-29
US6256413B1 (en) 2001-07-03
EP0684738A3 (en) 1998-05-13

Similar Documents

Publication Publication Date Title
JPH07322252A (ja) 画像符号化装置
JP2891772B2 (ja) イメージフレームのランダムスキャンニングを用いるディジタルイメージコーディング法
EP0853436B1 (en) Digital video signal filtering and encoding method and apparatus
US5592302A (en) Coding method for coding pixel blocks and apparatus therefor
JPH09214963A (ja) イメージ信号を符号化するための方法およびエンコーダ
WO2003067896A1 (fr) Dispositif et procede de codage de donnees-image et dispositif et procede de decodage de donnees-image
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP2892783B2 (ja) 動画像信号の符号化装置
JPH08130736A (ja) データ圧縮方式
JP2004523985A (ja) ビデオ符号化方法及びこれに対応する符号化装置
JP3206413B2 (ja) 可変フレームレート動画像符号化方法
JP3416649B2 (ja) 可変長符号化装置
JP2004040811A (ja) 動映像符号化のためのdct演算量調節方法及びその装置
JP4805518B2 (ja) 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置
JP2009027493A (ja) 画像符号化装置および画像符号化方法
JPH08102940A (ja) 動画像処理装置及び方法
JP3779066B2 (ja) 動画像符号化装置
JPH09191458A (ja) 動画像圧縮符号化方法及びその装置
JPH0595538A (ja) 画像符号化装置
JPH08340531A (ja) 可変レート符号化装置
JP3128336B2 (ja) 動画像符号化装置
US7130349B1 (en) Method and apparatus to improve efficiency in multiple-pass, bit-rate-controlled frame encoding
JPH07131789A (ja) 画像符号化方式
JP3274696B2 (ja) 画像符号化方法及びその装置
JP2000013802A (ja) フレーム間予測を用いた映像信号符号化装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040518