JPH03124181A - 動画像符号化方式 - Google Patents
動画像符号化方式Info
- Publication number
- JPH03124181A JPH03124181A JP1263487A JP26348789A JPH03124181A JP H03124181 A JPH03124181 A JP H03124181A JP 1263487 A JP1263487 A JP 1263487A JP 26348789 A JP26348789 A JP 26348789A JP H03124181 A JPH03124181 A JP H03124181A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- quantization step
- step size
- face area
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
【発明の目的】
（産業上の利用分野）
本発明テレビ電話、テレビ会議などの装置に用いられる
動画像符号化方式に関する。 （従来の技術） 一般に、テレビ電話やテレビ会議等のような、画像を用
いたコミュニケーションにおいて、デイスプレィ上で主
として注目される領域は顔の部分である。一方、限られ
た伝送容量の下でより主観的画質を向上させるためには
、見られる割合の低い（あるいは重要度の低い）部分を
多少犠牲にしても、見られる割合の高い（あるいは重要
度の高い）部分の画質を向上させることが有効と考えら
れる。 このような考えに基づき、動画像の画像信号を符号化し
て伝送する際、人物の顔領域を自動的に抽出して、それ
以外の領域よりも鮮明な画質になるように伝送する方式
が検討されている。 また、この方式を用いたテレビ電話の試作例も既に報告
されている（１９８９年電子通信学会春季全国大会Ｄ−
２３３参照）。 ところで、テレビ電話等で画像情報を圧縮する働きをす
るビデオコーデックにおいて、画質を大きく左右する要
素の一つにバッファ制御方式が、ある。これはコーデッ
クよりの発生情報量（符号量）を伝送路の伝送容量に整
合させるために行なうものである。バッファ制御方式は
考え方により、大きく二つに分けられる。一つは、常に
画質が一定に近くなるように符号化を行ない、バッファ
が溢れそうになる場合には、符号化を止めて入力フレー
ムを捨て、駒落としにする方法（適応駒落とし）である
。もう一つは、常にフレームレートが一定に近くなるよ
うな符号化を行ない、バッファが溢れそうになる場合に
は画質を落として発生情報量を少なくする方法（以下、
フレームレート一定力式という）である。これら二つの
方法はいずれも典型的な方法であり、通常は両者を併用
して中間的な制御を行なう場合も多い。 後者のフレームレート一定力式は、さらにフィードバッ
ク方式とフィードフォワード方式の二連りに分けられる
。フィードバック方式は、符号化された信号の出力部に
設けられたバッファのバッファ量から、発生情報量を左
右するパラメータを決定する方式であり、フィードフォ
ワード方式は入力画像信号の性質を符号化前に予め調べ
、それによってパラメータを決定する方式である（特開
昭６３−２３８７８３号公報等）。この場合、送信側か
ら受信側に上記のパラメータを伝送する必要がある。こ
のパラメータ伝送を頻繁に行なうと情報を多く使ってし
まう。従って、パラメータ伝送の頻度は適度に抑えるこ
とが望ましいが、パラメータ伝送の間隔をあまり空は過
ぎると、フィードバック方式の場合、制御の利きが悪く
なってバッファ量、画質ともに変動量が大きくなる。そ
こで、通常は１フレームを複数個に分割したＧ ＯＢ
（Ｇｒｏｕｐｏｒ Ｂｌｏｃｋ）単位でパラメータ伝送
を行なうことが多い。 前述したテレビ電話の試作例においては、適応駒落とし
方式が採用されているため、顔領域の検出結果が有効に
生かされている。 これに対し、フレームレート一定力式をとっている場合
、特に制御が符号化における量子化ステップサイズの変
更に基づいて行われる場合には、顔領域検出の結果が有
効に生かされにくいという問題がある。これは量子化ス
テップサイズが顔領域検出結果と発生情報量の両方によ
って決定されることになる結果、決定された量子化ステ
ップサイズが発生情報量に再び影響することによる。 （発明が解決しようとする課題） 上述したように、フレームレート一定力式において制御
を量子化ステップサイズの変更に基づいて行なう場合に
は、量子化ステップサイズが顔領域検出結果と発生情報
量の両方によって決定されるために、−旦決定された量
子化ステップサイズが発生情報量に再び影響を与えるこ
とにより、顔領域検出結果による顔領域の画質向上効果
が余り期待できないという問題があった。 本発明はフレームレート一定制御を量子化ステップサイ
ズに基づいて行なう際にも、顔領域をそれ以外の領域よ
りも鮮明に伝送することができる動画像符号化方式を提
供することを目的とする。 ［発明の構成］ （発明が解決しようとする課題） 本発明は動画像の画像信号を符号化して所定の伝送路で
伝送する際に、符号化における発生情報量を２伝送路の
伝送容量に整合させるためのバッファ制御と、画像信号
の顔領域にそれ以外の領域よりも優先的に符号化のビッ
ト配分を行なうための制御とを、画像信号の量子化ステ
ップサイズの変更により行なう動画像符号化方式におい
て、量子化ステップサイズの変更をフレーム単位で行な
うことを特徴とする。 また、本発明ではより具体的には画像信号の顔領域と顔
以外の領域の量子化ステップサイズの相違を考慮に入れ
て各フレーム毎の発生情報量を推定し、その推定結果に
基づいて量子化ステップサイズの変更をフレーム単位で
フィードフォワード制御により行なう。 （作用） 上述のように、本発明ではフレームレート−定の制御を
量子化ステップサイズに基づいて行なう符号化方式にお
いて、発生情報量を左右するパラメータとしての量子化
ステップサイズをフレーム単位で変更することによって
、顔領域の検出結果による量子化ステップサイズの変更
が、フレーム単位に設定された量子化ステップサイズに
対して行われることになる。 従って、同一フレーム内の顔領域およびそれ以外の領域
は、それぞれ一定の量子化ステップで量子化されること
になるので、同一フレーム内の各領域の画質が各々の発
生情報量によって再び影響を受けるということがなくな
り、顔領域をそれ外の領域よりも鮮明に伝送することが
可能となる。 （★施例） 以下、本発明の実施例を図面を参照して説明する。 第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図である。入力された動画像の画像信号は、
顔領域検出回路１０１およびブロック化回路１０２に入
力される。顔領域検出回路１０１は画像信号をフレーム
単位で処理して、各フレームにおける顔領域の検出を行
ない、これと並行してブロック化回路１０２は、各フレ
ームの画像信号を符号化の処理単位である複数のブロッ
クに分割する。 ブロック化回路１０２を経た画像信号は、フレーム間／
フレーム内判定回路１０３および差分回路１０４に入力
されるとともに、スイッチ１０５．１０６の各一端に供
給される。フレーム間／フレーム内判定口路１０３は、
入力された画像信号ブロックの信号値に計算を施して各
ブロックにおける予測がフレーム間予測およびフレーム
内予測のいずれが適切であるかを判定する回路であり、
スイッチ１０５．１０６はこの判定結果に従って、フレ
ーム間予測の場合−下側、フレーム内予測の場合は上側
に切替わる。 差分回路１０４は人力された画像信号ブロックと、後述
するフレーム間予測信号とからフレーム間予１１Ｐｊ誤
差信号を作成す、るものである。 差分回路１０４から出力されるフレーム間予測誤差信号
は、スイッチ１０５を介してＤＣＴ（ディスクリートコ
サイン変換）回路１０７に入力され、ディスクリートコ
サイン変換が施される。ＤＣＴ回路１０７で得られるＤ
ＣＴ係数は、遅延回路１０８を経て量子化器１０９によ
り量子化された後、クラス分は判定回路１１０、逆量子
化器１１１および可変長符号化／多重化回路１１７に入
力される。クラス分は判定回路１１０は量子化されたＤ
ＣＴ係数を見て適応化を行ない、クラス分けを行なう回
路である。 逆量子化器１１１、逆ＤＣＴ回路１１２、加算器１１３
、フレームメモリ１１４、動き補償回路１１５およびル
ープフィルタ１１６は、局部復号信号経路を形成してい
る。逆量子化器１１１は量子化器１０９で量子化された
ＤＣＴ係数を逆量子化し、逆ＤＣＴ回路１１２は逆量子
化されたＤＣＴ係数に逆ＤＣＴを施す。加算器１１３は
、逆ＤＣＴ回路１１２から出力される局部復号信号とス
イッチ１０６を介して入力される予測信号とを加算し、
局部復号信号として出力する。この局部復号信号はフレ
ームメモリ１１４に書込まれる。動き補償回路１１５は
原人力面像信号ブロックと、フレームメモリ１１４内の
前フレームデータとのマツチングをとり、最適マツチン
グ位置のデータを動き補償フレーム間予測信号として出
力する。この動き補償フレーム間予測信号は、必要に応
じてループフィルタ１１６でフィルタリング処理されて
フレーム間予測信号となる。また、動き補償回路１１５
は、動きベクトル情報も発生する。なお、ループフィル
タ１１６はオン・オフ機能が付加されている。 一方、可変長符号化／多重化回路１１７およびバッファ
１１８は、出力信号経路を形成している。可変長符号化
／多重化回路１１７には、量子化器１０９からの量子化
されたＤＣＴ係数の他、フレーム間／フレーム内判定回
路１０３からの判定情報、クラス分は判定回路１１０よ
りのクラス分は判定情報、動き補償回路１１５からの動
きベクトル情報およびループフィルタ１１６よりのフィ
ルタオン／オフ情報といったサイド情報が入力され、こ
れらのサイド情報を可変長符号化して、量子化されたＤ
ＣＴ係数に多重化する。可変長符号化／多重化回路１１
７からの多重化出力は、バッファ１１８を介して伝送路
（口線）に送出される。 符号化制御回路１１９は、量子化器１０９の量子化ステ
ップサイズを変更することにより、基本的にバッファ１
１８に過度に情報が溜まり過ぎないように制御を行なう
回路である。この制御は、顔領域検出回路１０１からの
顔領域検出結果およびＤＣＴ回路１０７からのＤＣＴ係
数より、各フレーム毎に当該フレームにおける発生情報
量を量子化ステップサイズとの関係において推定するこ
とにより行なう。 量子化ステップサイズは顔領域と顔以外の領域とでは異
なる値をとるが、この値の組は有限個用意されており、
同一フレーム内においては各々の領域においてそれぞれ
同じ値の量子化ステップサイズが適用される。すなわち
、フレーム毎に顔領域の量子化ステップサイズと顔以外
の領域の量子化ステップサイズとの組が１組設定される
のである。 量子化ステップサイズ変更（設定）の情報はクラス分は
判定回路１１０にも送られ、鹿領域検出回路１０１での
顔領域検出の結果はクラス分は情報の一部として可変長
符号化／多重仕口路１１７、バッファ１１８および伝送
路を経て受信側に伝送されることになる。これは量子化
ステップサイズが変更になるクラス−顔領域と顔以外の
領域との境界、と解釈することにより理解されよう。 第２図は、符号化制御回路１１９の具体的な構成例を示
すブロック図である。本発明では量子化ステップサイズ
の変更・設定を行なう際に、顔領域と顔以外の領域の量
子化ステップサイズの相違を考慮にいれることが特徴で
ある。具体的には、本実施例では情報量推定を行なう基
となるヒストグラム算出回路を顔領域用と顔以外の領域
用の２つ用意し、別々にヒストグラム作成を行なってい
る。これは同じＤＣＴ係数値でも、量子化ステップサイ
ズにより発生する情報量が異なってくるからである。 第２図に示す符号化制御回路において、第１図のＤＣＴ
回路１０７からのＤＣＴ係数入力はまずブロック内最大
係数検出回路２０１に与えられ、ブロック毎に最大のＤ
ＣＴ係数が検出される。ブロック内最大係数検出回路２
０１からの最大ＤＣＴ係数入力が与・えられるスイッチ
２０２、およびＤＣＴ回路１０７からのＤＣＴ係数入力
が与えられるスイッチ２０３は、第１図の顔領域検出回
路１０１からの顔領域検出結果に応じて連動して切替わ
り、各ブロックが顔領域−と属する場合には顔領域用最
大係数ヒストグラム算出回路２０４及び顔領域用係数ヒ
ストグラム算出回路２０６にそれぞれ倒され、各ブロッ
クが顔以外の領域に属する場合には頭具外領域用最大係
数ヒストグラム算出回路２０５及び顔以外領域用係数ヒ
ストグラム算出回路２０７にそれぞれ倒される。但し、
本実施例では顔領域は、符号化を行なうブロック単位の
精度で検出されているものとし、ブロック内には顔領域
と顔以外の領域との境界は存在しないものとする。ヒス
トグラム算出回路２０４〜２０７は、それぞれのＤＣＴ
係数入力の値を１インクリメントすることにより、それ
ぞれのヒストグラムを作成する。 上気の顔領域用最大係数ヒストグラム算出回路２０４お
よび顔以外領域用最大係数ヒストグラム算出回路２０５
で作成されたヒストグラムは、有効／無効ブロック情報
量演算回路２０８に入力される。有効／無効ブロック情
報量演算回路２０８は、複数個ずつ用意された顔領域量
子化ステップサイズおよび顔以外の領域の量子化ステッ
プサイズの組の各々に対して、有効／無効ブロック情報
量を推定して出力する。具体的には顔領域用係数ヒスト
グラムと顔領域量子化ステップサイズとを比較し、 （顔領域量子化ステップサイズ以上の最大係数の個数）
×（有効ブロックに割当てられるビット数）＋（顔領域
量子化ステップサイズ以下の最大係数の個数）×（無効
ブロックに割当てられるビット数） により、顔領域の有効／無効ブロック情報量を求め、同
様に （頭具外領域量子化ステップサイズ以上の最大係数の個
数） Ｘ （有効ブロックに割当てられるビット数）＋
（頭具外領域量子化ステップサイズ以下の最大係数の個
数）×（無効ブロックに割当てられるビット数） により、顔以外の領域の有効／無効ブロック情報量を求
めて、これら顔領域およびそれ以外の領域の有効／無効
ブロック情報量を加算して、発生情報推定量として出力
する。この様子を第５図に示す。 顔領域用係数ヒストグラム算出回路２０６および顔以外
領域用係数ヒストグラム算出回路２０７で作成されたヒ
ストグラムは、係数情報量演算回路２０９に入力される
。係数情報量演算回路２０９も有効／無効ブロック情報
量演算回路２０８と同様に、顔領域量子化ステップサイ
ズおよび顔以外の領域の量子化ステップサイズの組の各
々に対して、係数情・報量を推定して出力する。 量子化ステップサイズ設定回路２１０は、各量子化ステ
ップサイズの組錘に有効／無効ブロック情報量演算回路
２０８および係数情報量演算回路２０９で演算された推
定情報量をそれぞれ加算して、トータル情報量の推定値
を算出し、それを設定符号化レート（伝送路の伝送容量
より決まる）より算出されるフレーム当たりの使用情報
量と比較して、最も近い値を与える顔領域量子化ステッ
プサイズおよび顔以外の領域の量子化ステップサイズの
組をステップサイズ出力として出力する。 次に、第１図の顔役出回路１０１において行なわれる顔
検出の具体的な手順について説明する。第３図は顔役出
回路１０１に入力される２つのフレームのフレーム間差
分画像を示している。このフレーム間差分画像について
、まず予め設定された第１の閾値により２値化を行ない
、縦方向および横方向について第１の閾値以上の値を持
つ画素数のヒストグラムを作成する。顔検出は、まず頭
頂の検出から行なわれる。頭頂は縦方向のヒストグラム
上より探索し、予め設定された第２の閾値を初めて越え
た点（第３図のｙａ）を選択することにより得られる。 頭頂が得られた後に、頭部の左端および右端の検出を行
なう。頭部の左端および右端の検出も、基本的には頭頂
と同様に横方向のヒストグラムを左および右から探索し
、初めて第２の閾値を越えた点を選択することにより行
なう。但し、このようにすると肩の幅を持つ領域を検出
してしまうので、横方向のヒストグラムは頭頂から第３
図の幅Δの部分についてのみ作成することにより、頭部
幅を持つヒストグラムを得る。 この場合、幅Δは頭の幅が変化しない領域を調べるなど
の複雑な処理を行なうことにより得る方法もあるが、簡
易な方法として頭頂を検出した座標ｙ、により適応的に
定める方法も考えられる。例えば画像の大きさをＸｘＹ
とした時に、 Δ−（Ｙ−ｙ、）Ｘβ β−１／４ （ｏｒ１１５） により決定するなどの方法が考えられる。 最後に、顔領域下端を決定する。顔領域下端はヒストグ
ラムにより得るのは困難なので、頭部幅にある一定の比
率γをかけて頭部長とする方法が考えられる。γの値と
しては、１．３〜１．６程度の値が適当であると考えら
れる。以下に示すように、顔領域をそれを包囲する長方
形によって指定することができ、この長方形内部にその
外部よりも多いビット配分を行なうことができる。 次に、第４図により顔領域の別の検出方法の例を示す。 第３図の例では各端点座標ｘ、。 Ｘｓ 、７ａ 、Ｙ＠は１画索単位の分解能で得られた
が、実際にブロック単位で符号化を行なう方式に顔検出
十ビット配分差別方式を適用しようとする場合、ビット
配布差別も自ずから符号化ブロック単位とならざるを得
ない。そこで、第４図に示すようにフレーム間差分画像
をある大きさのブロックに分割しくこのブロックの大き
さは符号化ブロックよりも小さくてもよいし、同じ大き
さでもよい）、上記ブロック内で予め設定された第１の
閾値を越える画素数をカウントする。 次に、画面上左端より走査式に上記ブロック内のカウン
ト数を第２の閾値と比較しつつ探索を行ない、初めて第
２の閾値を越えたブロックのｙ座標を頭頂、その後ある
Δ（Δは例えば第３図の例と同様にして定められる）の
範囲で探索して得られた、カウンタ数が第２の閾値より
も大きいブロックのうち最左座標を持つブロックの座標
を顔領域の左端座標ｘ、、最右座標を持つブロックの座
標を顔領域の右端Ｘ、とする。 顔領域下端座標ｙ、は、例えば第３図の例と同様の方法
を用いて決定する。 Ｃ発明の効果］ 以上説明したように、本発明によれば本発明ではフレー
ムレート一定の制御を量子化ステップサイズに基づいて
行なう符号化方式において、同一フレーム内の顔領域お
よびそれ以外の領域をそれぞれ適切なビット配分となる
ように各領域内で一定の量子化ステップで量子化して符
号化することが可能となり、顔領域をそれ外の領域より
も鮮明に伝送できる動画像符号化方式を提供することが
できる。
動画像符号化方式に関する。 （従来の技術） 一般に、テレビ電話やテレビ会議等のような、画像を用
いたコミュニケーションにおいて、デイスプレィ上で主
として注目される領域は顔の部分である。一方、限られ
た伝送容量の下でより主観的画質を向上させるためには
、見られる割合の低い（あるいは重要度の低い）部分を
多少犠牲にしても、見られる割合の高い（あるいは重要
度の高い）部分の画質を向上させることが有効と考えら
れる。 このような考えに基づき、動画像の画像信号を符号化し
て伝送する際、人物の顔領域を自動的に抽出して、それ
以外の領域よりも鮮明な画質になるように伝送する方式
が検討されている。 また、この方式を用いたテレビ電話の試作例も既に報告
されている（１９８９年電子通信学会春季全国大会Ｄ−
２３３参照）。 ところで、テレビ電話等で画像情報を圧縮する働きをす
るビデオコーデックにおいて、画質を大きく左右する要
素の一つにバッファ制御方式が、ある。これはコーデッ
クよりの発生情報量（符号量）を伝送路の伝送容量に整
合させるために行なうものである。バッファ制御方式は
考え方により、大きく二つに分けられる。一つは、常に
画質が一定に近くなるように符号化を行ない、バッファ
が溢れそうになる場合には、符号化を止めて入力フレー
ムを捨て、駒落としにする方法（適応駒落とし）である
。もう一つは、常にフレームレートが一定に近くなるよ
うな符号化を行ない、バッファが溢れそうになる場合に
は画質を落として発生情報量を少なくする方法（以下、
フレームレート一定力式という）である。これら二つの
方法はいずれも典型的な方法であり、通常は両者を併用
して中間的な制御を行なう場合も多い。 後者のフレームレート一定力式は、さらにフィードバッ
ク方式とフィードフォワード方式の二連りに分けられる
。フィードバック方式は、符号化された信号の出力部に
設けられたバッファのバッファ量から、発生情報量を左
右するパラメータを決定する方式であり、フィードフォ
ワード方式は入力画像信号の性質を符号化前に予め調べ
、それによってパラメータを決定する方式である（特開
昭６３−２３８７８３号公報等）。この場合、送信側か
ら受信側に上記のパラメータを伝送する必要がある。こ
のパラメータ伝送を頻繁に行なうと情報を多く使ってし
まう。従って、パラメータ伝送の頻度は適度に抑えるこ
とが望ましいが、パラメータ伝送の間隔をあまり空は過
ぎると、フィードバック方式の場合、制御の利きが悪く
なってバッファ量、画質ともに変動量が大きくなる。そ
こで、通常は１フレームを複数個に分割したＧ ＯＢ
（Ｇｒｏｕｐｏｒ Ｂｌｏｃｋ）単位でパラメータ伝送
を行なうことが多い。 前述したテレビ電話の試作例においては、適応駒落とし
方式が採用されているため、顔領域の検出結果が有効に
生かされている。 これに対し、フレームレート一定力式をとっている場合
、特に制御が符号化における量子化ステップサイズの変
更に基づいて行われる場合には、顔領域検出の結果が有
効に生かされにくいという問題がある。これは量子化ス
テップサイズが顔領域検出結果と発生情報量の両方によ
って決定されることになる結果、決定された量子化ステ
ップサイズが発生情報量に再び影響することによる。 （発明が解決しようとする課題） 上述したように、フレームレート一定力式において制御
を量子化ステップサイズの変更に基づいて行なう場合に
は、量子化ステップサイズが顔領域検出結果と発生情報
量の両方によって決定されるために、−旦決定された量
子化ステップサイズが発生情報量に再び影響を与えるこ
とにより、顔領域検出結果による顔領域の画質向上効果
が余り期待できないという問題があった。 本発明はフレームレート一定制御を量子化ステップサイ
ズに基づいて行なう際にも、顔領域をそれ以外の領域よ
りも鮮明に伝送することができる動画像符号化方式を提
供することを目的とする。 ［発明の構成］ （発明が解決しようとする課題） 本発明は動画像の画像信号を符号化して所定の伝送路で
伝送する際に、符号化における発生情報量を２伝送路の
伝送容量に整合させるためのバッファ制御と、画像信号
の顔領域にそれ以外の領域よりも優先的に符号化のビッ
ト配分を行なうための制御とを、画像信号の量子化ステ
ップサイズの変更により行なう動画像符号化方式におい
て、量子化ステップサイズの変更をフレーム単位で行な
うことを特徴とする。 また、本発明ではより具体的には画像信号の顔領域と顔
以外の領域の量子化ステップサイズの相違を考慮に入れ
て各フレーム毎の発生情報量を推定し、その推定結果に
基づいて量子化ステップサイズの変更をフレーム単位で
フィードフォワード制御により行なう。 （作用） 上述のように、本発明ではフレームレート−定の制御を
量子化ステップサイズに基づいて行なう符号化方式にお
いて、発生情報量を左右するパラメータとしての量子化
ステップサイズをフレーム単位で変更することによって
、顔領域の検出結果による量子化ステップサイズの変更
が、フレーム単位に設定された量子化ステップサイズに
対して行われることになる。 従って、同一フレーム内の顔領域およびそれ以外の領域
は、それぞれ一定の量子化ステップで量子化されること
になるので、同一フレーム内の各領域の画質が各々の発
生情報量によって再び影響を受けるということがなくな
り、顔領域をそれ外の領域よりも鮮明に伝送することが
可能となる。 （★施例） 以下、本発明の実施例を図面を参照して説明する。 第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図である。入力された動画像の画像信号は、
顔領域検出回路１０１およびブロック化回路１０２に入
力される。顔領域検出回路１０１は画像信号をフレーム
単位で処理して、各フレームにおける顔領域の検出を行
ない、これと並行してブロック化回路１０２は、各フレ
ームの画像信号を符号化の処理単位である複数のブロッ
クに分割する。 ブロック化回路１０２を経た画像信号は、フレーム間／
フレーム内判定回路１０３および差分回路１０４に入力
されるとともに、スイッチ１０５．１０６の各一端に供
給される。フレーム間／フレーム内判定口路１０３は、
入力された画像信号ブロックの信号値に計算を施して各
ブロックにおける予測がフレーム間予測およびフレーム
内予測のいずれが適切であるかを判定する回路であり、
スイッチ１０５．１０６はこの判定結果に従って、フレ
ーム間予測の場合−下側、フレーム内予測の場合は上側
に切替わる。 差分回路１０４は人力された画像信号ブロックと、後述
するフレーム間予測信号とからフレーム間予１１Ｐｊ誤
差信号を作成す、るものである。 差分回路１０４から出力されるフレーム間予測誤差信号
は、スイッチ１０５を介してＤＣＴ（ディスクリートコ
サイン変換）回路１０７に入力され、ディスクリートコ
サイン変換が施される。ＤＣＴ回路１０７で得られるＤ
ＣＴ係数は、遅延回路１０８を経て量子化器１０９によ
り量子化された後、クラス分は判定回路１１０、逆量子
化器１１１および可変長符号化／多重化回路１１７に入
力される。クラス分は判定回路１１０は量子化されたＤ
ＣＴ係数を見て適応化を行ない、クラス分けを行なう回
路である。 逆量子化器１１１、逆ＤＣＴ回路１１２、加算器１１３
、フレームメモリ１１４、動き補償回路１１５およびル
ープフィルタ１１６は、局部復号信号経路を形成してい
る。逆量子化器１１１は量子化器１０９で量子化された
ＤＣＴ係数を逆量子化し、逆ＤＣＴ回路１１２は逆量子
化されたＤＣＴ係数に逆ＤＣＴを施す。加算器１１３は
、逆ＤＣＴ回路１１２から出力される局部復号信号とス
イッチ１０６を介して入力される予測信号とを加算し、
局部復号信号として出力する。この局部復号信号はフレ
ームメモリ１１４に書込まれる。動き補償回路１１５は
原人力面像信号ブロックと、フレームメモリ１１４内の
前フレームデータとのマツチングをとり、最適マツチン
グ位置のデータを動き補償フレーム間予測信号として出
力する。この動き補償フレーム間予測信号は、必要に応
じてループフィルタ１１６でフィルタリング処理されて
フレーム間予測信号となる。また、動き補償回路１１５
は、動きベクトル情報も発生する。なお、ループフィル
タ１１６はオン・オフ機能が付加されている。 一方、可変長符号化／多重化回路１１７およびバッファ
１１８は、出力信号経路を形成している。可変長符号化
／多重化回路１１７には、量子化器１０９からの量子化
されたＤＣＴ係数の他、フレーム間／フレーム内判定回
路１０３からの判定情報、クラス分は判定回路１１０よ
りのクラス分は判定情報、動き補償回路１１５からの動
きベクトル情報およびループフィルタ１１６よりのフィ
ルタオン／オフ情報といったサイド情報が入力され、こ
れらのサイド情報を可変長符号化して、量子化されたＤ
ＣＴ係数に多重化する。可変長符号化／多重化回路１１
７からの多重化出力は、バッファ１１８を介して伝送路
（口線）に送出される。 符号化制御回路１１９は、量子化器１０９の量子化ステ
ップサイズを変更することにより、基本的にバッファ１
１８に過度に情報が溜まり過ぎないように制御を行なう
回路である。この制御は、顔領域検出回路１０１からの
顔領域検出結果およびＤＣＴ回路１０７からのＤＣＴ係
数より、各フレーム毎に当該フレームにおける発生情報
量を量子化ステップサイズとの関係において推定するこ
とにより行なう。 量子化ステップサイズは顔領域と顔以外の領域とでは異
なる値をとるが、この値の組は有限個用意されており、
同一フレーム内においては各々の領域においてそれぞれ
同じ値の量子化ステップサイズが適用される。すなわち
、フレーム毎に顔領域の量子化ステップサイズと顔以外
の領域の量子化ステップサイズとの組が１組設定される
のである。 量子化ステップサイズ変更（設定）の情報はクラス分は
判定回路１１０にも送られ、鹿領域検出回路１０１での
顔領域検出の結果はクラス分は情報の一部として可変長
符号化／多重仕口路１１７、バッファ１１８および伝送
路を経て受信側に伝送されることになる。これは量子化
ステップサイズが変更になるクラス−顔領域と顔以外の
領域との境界、と解釈することにより理解されよう。 第２図は、符号化制御回路１１９の具体的な構成例を示
すブロック図である。本発明では量子化ステップサイズ
の変更・設定を行なう際に、顔領域と顔以外の領域の量
子化ステップサイズの相違を考慮にいれることが特徴で
ある。具体的には、本実施例では情報量推定を行なう基
となるヒストグラム算出回路を顔領域用と顔以外の領域
用の２つ用意し、別々にヒストグラム作成を行なってい
る。これは同じＤＣＴ係数値でも、量子化ステップサイ
ズにより発生する情報量が異なってくるからである。 第２図に示す符号化制御回路において、第１図のＤＣＴ
回路１０７からのＤＣＴ係数入力はまずブロック内最大
係数検出回路２０１に与えられ、ブロック毎に最大のＤ
ＣＴ係数が検出される。ブロック内最大係数検出回路２
０１からの最大ＤＣＴ係数入力が与・えられるスイッチ
２０２、およびＤＣＴ回路１０７からのＤＣＴ係数入力
が与えられるスイッチ２０３は、第１図の顔領域検出回
路１０１からの顔領域検出結果に応じて連動して切替わ
り、各ブロックが顔領域−と属する場合には顔領域用最
大係数ヒストグラム算出回路２０４及び顔領域用係数ヒ
ストグラム算出回路２０６にそれぞれ倒され、各ブロッ
クが顔以外の領域に属する場合には頭具外領域用最大係
数ヒストグラム算出回路２０５及び顔以外領域用係数ヒ
ストグラム算出回路２０７にそれぞれ倒される。但し、
本実施例では顔領域は、符号化を行なうブロック単位の
精度で検出されているものとし、ブロック内には顔領域
と顔以外の領域との境界は存在しないものとする。ヒス
トグラム算出回路２０４〜２０７は、それぞれのＤＣＴ
係数入力の値を１インクリメントすることにより、それ
ぞれのヒストグラムを作成する。 上気の顔領域用最大係数ヒストグラム算出回路２０４お
よび顔以外領域用最大係数ヒストグラム算出回路２０５
で作成されたヒストグラムは、有効／無効ブロック情報
量演算回路２０８に入力される。有効／無効ブロック情
報量演算回路２０８は、複数個ずつ用意された顔領域量
子化ステップサイズおよび顔以外の領域の量子化ステッ
プサイズの組の各々に対して、有効／無効ブロック情報
量を推定して出力する。具体的には顔領域用係数ヒスト
グラムと顔領域量子化ステップサイズとを比較し、 （顔領域量子化ステップサイズ以上の最大係数の個数）
×（有効ブロックに割当てられるビット数）＋（顔領域
量子化ステップサイズ以下の最大係数の個数）×（無効
ブロックに割当てられるビット数） により、顔領域の有効／無効ブロック情報量を求め、同
様に （頭具外領域量子化ステップサイズ以上の最大係数の個
数） Ｘ （有効ブロックに割当てられるビット数）＋
（頭具外領域量子化ステップサイズ以下の最大係数の個
数）×（無効ブロックに割当てられるビット数） により、顔以外の領域の有効／無効ブロック情報量を求
めて、これら顔領域およびそれ以外の領域の有効／無効
ブロック情報量を加算して、発生情報推定量として出力
する。この様子を第５図に示す。 顔領域用係数ヒストグラム算出回路２０６および顔以外
領域用係数ヒストグラム算出回路２０７で作成されたヒ
ストグラムは、係数情報量演算回路２０９に入力される
。係数情報量演算回路２０９も有効／無効ブロック情報
量演算回路２０８と同様に、顔領域量子化ステップサイ
ズおよび顔以外の領域の量子化ステップサイズの組の各
々に対して、係数情・報量を推定して出力する。 量子化ステップサイズ設定回路２１０は、各量子化ステ
ップサイズの組錘に有効／無効ブロック情報量演算回路
２０８および係数情報量演算回路２０９で演算された推
定情報量をそれぞれ加算して、トータル情報量の推定値
を算出し、それを設定符号化レート（伝送路の伝送容量
より決まる）より算出されるフレーム当たりの使用情報
量と比較して、最も近い値を与える顔領域量子化ステッ
プサイズおよび顔以外の領域の量子化ステップサイズの
組をステップサイズ出力として出力する。 次に、第１図の顔役出回路１０１において行なわれる顔
検出の具体的な手順について説明する。第３図は顔役出
回路１０１に入力される２つのフレームのフレーム間差
分画像を示している。このフレーム間差分画像について
、まず予め設定された第１の閾値により２値化を行ない
、縦方向および横方向について第１の閾値以上の値を持
つ画素数のヒストグラムを作成する。顔検出は、まず頭
頂の検出から行なわれる。頭頂は縦方向のヒストグラム
上より探索し、予め設定された第２の閾値を初めて越え
た点（第３図のｙａ）を選択することにより得られる。 頭頂が得られた後に、頭部の左端および右端の検出を行
なう。頭部の左端および右端の検出も、基本的には頭頂
と同様に横方向のヒストグラムを左および右から探索し
、初めて第２の閾値を越えた点を選択することにより行
なう。但し、このようにすると肩の幅を持つ領域を検出
してしまうので、横方向のヒストグラムは頭頂から第３
図の幅Δの部分についてのみ作成することにより、頭部
幅を持つヒストグラムを得る。 この場合、幅Δは頭の幅が変化しない領域を調べるなど
の複雑な処理を行なうことにより得る方法もあるが、簡
易な方法として頭頂を検出した座標ｙ、により適応的に
定める方法も考えられる。例えば画像の大きさをＸｘＹ
とした時に、 Δ−（Ｙ−ｙ、）Ｘβ β−１／４ （ｏｒ１１５） により決定するなどの方法が考えられる。 最後に、顔領域下端を決定する。顔領域下端はヒストグ
ラムにより得るのは困難なので、頭部幅にある一定の比
率γをかけて頭部長とする方法が考えられる。γの値と
しては、１．３〜１．６程度の値が適当であると考えら
れる。以下に示すように、顔領域をそれを包囲する長方
形によって指定することができ、この長方形内部にその
外部よりも多いビット配分を行なうことができる。 次に、第４図により顔領域の別の検出方法の例を示す。 第３図の例では各端点座標ｘ、。 Ｘｓ 、７ａ 、Ｙ＠は１画索単位の分解能で得られた
が、実際にブロック単位で符号化を行なう方式に顔検出
十ビット配分差別方式を適用しようとする場合、ビット
配布差別も自ずから符号化ブロック単位とならざるを得
ない。そこで、第４図に示すようにフレーム間差分画像
をある大きさのブロックに分割しくこのブロックの大き
さは符号化ブロックよりも小さくてもよいし、同じ大き
さでもよい）、上記ブロック内で予め設定された第１の
閾値を越える画素数をカウントする。 次に、画面上左端より走査式に上記ブロック内のカウン
ト数を第２の閾値と比較しつつ探索を行ない、初めて第
２の閾値を越えたブロックのｙ座標を頭頂、その後ある
Δ（Δは例えば第３図の例と同様にして定められる）の
範囲で探索して得られた、カウンタ数が第２の閾値より
も大きいブロックのうち最左座標を持つブロックの座標
を顔領域の左端座標ｘ、、最右座標を持つブロックの座
標を顔領域の右端Ｘ、とする。 顔領域下端座標ｙ、は、例えば第３図の例と同様の方法
を用いて決定する。 Ｃ発明の効果］ 以上説明したように、本発明によれば本発明ではフレー
ムレート一定の制御を量子化ステップサイズに基づいて
行なう符号化方式において、同一フレーム内の顔領域お
よびそれ以外の領域をそれぞれ適切なビット配分となる
ように各領域内で一定の量子化ステップで量子化して符
号化することが可能となり、顔領域をそれ外の領域より
も鮮明に伝送できる動画像符号化方式を提供することが
できる。
第１図は本発明に係る動画像符号化装置の一実施例を示
すブロック図、第２図は第１図における符号化制御回路
の具体的な構成例を示すブロック図、第３図および第４
図は第１図における顔領域検出回路の検出手順を説明す
るための図、第５図は本実施例の動作を説明するための
図である。 １０１・・・顔領域出回路 １０７・・・デイクリートコサイン変換回路、１０９・
・・量子化器 １１７・・・可変長／多重化回路 １１８・・・バッファ １１９−・・符号化制御回路 ２０１・・・ブロック内最大係数検出回路２０４・・・
顔領域用最大係数ヒストグラム算出回路 ２０５・・・顔以外領域用最大係数ヒストグラム算出回
路 ２０６・・・顔領域用係数ヒストグラム算出回路２０７
・・・顔以外領域用係数ヒストグラム算出回路 ２０８・・・有効／無効ブロック情報量演算回路２０９
・・・係数情報量演算回路 ２１０・・・ステップサイズ設定回路
すブロック図、第２図は第１図における符号化制御回路
の具体的な構成例を示すブロック図、第３図および第４
図は第１図における顔領域検出回路の検出手順を説明す
るための図、第５図は本実施例の動作を説明するための
図である。 １０１・・・顔領域出回路 １０７・・・デイクリートコサイン変換回路、１０９・
・・量子化器 １１７・・・可変長／多重化回路 １１８・・・バッファ １１９−・・符号化制御回路 ２０１・・・ブロック内最大係数検出回路２０４・・・
顔領域用最大係数ヒストグラム算出回路 ２０５・・・顔以外領域用最大係数ヒストグラム算出回
路 ２０６・・・顔領域用係数ヒストグラム算出回路２０７
・・・顔以外領域用係数ヒストグラム算出回路 ２０８・・・有効／無効ブロック情報量演算回路２０９
・・・係数情報量演算回路 ２１０・・・ステップサイズ設定回路
Claims (2)
- （１）動画像の画像信号を符号化して所定の伝送路で伝
送する際に、符号化における発生情報量を前記伝送路の
伝送容量に整合させるためのバッファ制御と、前記画像
信号の顔領域にそれ以外の領域よりも優先的に符号化の
ビット配分を行なう制御とを、前記画像信号の量子化ス
テップサイズの変更により行なう動画像符号化方式にお
いて、 前記量子化ステップサイズの変更を前記動画像のフレー
ム単位で行なうことを特徴とする動画像伝送方式。 - （２）動画像の画像信号を符号化して所定の伝送路で伝
送する際に、符号化における発生情報量を前記伝送路の
伝送容量に整合させるためのバッファ制御と、前記画像
信号の顔領域にそれ以外の領域よりも優先的に符号化の
ビット配分を行なう制御とを、前記画像信号の量子化ス
テップサイズの変更により行なう動画像符号化方式にお
いて、 前記画像信号の顔領域と顔以外の領域の量子化ステップ
サイズの相違を考慮に入れて各フレーム毎の前記発生情
報量を推定し、その推定結果に基づいて前記量子化ステ
ップサイズの変更を前記動画像のフレーム単位でフィー
ドフォワード制御により行なうことを特徴とする動画像
符号化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1263487A JPH03124181A (ja) | 1989-10-09 | 1989-10-09 | 動画像符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1263487A JPH03124181A (ja) | 1989-10-09 | 1989-10-09 | 動画像符号化方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH03124181A true JPH03124181A (ja) | 1991-05-27 |
Family
ID=17390199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1263487A Pending JPH03124181A (ja) | 1989-10-09 | 1989-10-09 | 動画像符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH03124181A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0593275A1 (en) * | 1992-10-15 | 1994-04-20 | Sharp Kabushiki Kaisha | Image signal coding device to reduce the amount of the information in the transmitted image |
| JP2015070545A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | ベースバンド信号の送信装置及び受信装置 |
-
1989
- 1989-10-09 JP JP1263487A patent/JPH03124181A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0593275A1 (en) * | 1992-10-15 | 1994-04-20 | Sharp Kabushiki Kaisha | Image signal coding device to reduce the amount of the information in the transmitted image |
| JP2015070545A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | ベースバンド信号の送信装置及び受信装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3748717B2 (ja) | 動画像符号化装置 | |
| JP4404975B2 (ja) | Ｍｐｅｇ２符号化用の前処理装置 | |
| KR100539923B1 (ko) | 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법 | |
| KR100295006B1 (ko) | 비디오 프레임 시퀀스 인코딩 시스템 및 그 방법, 컴퓨터 프로그램 제품 | |
| KR100335052B1 (ko) | 프레임 레벨 속도 제어 방법 | |
| KR100298416B1 (ko) | 구획 분류 및 적응 비트 할당을 위한 방법 및 장치 | |
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| EP2278814B1 (en) | Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding | |
| JPH0595540A (ja) | 動画像符号化装置 | |
| US6690732B2 (en) | Scene characteristics detection type video encoding apparatus | |
| JPH10257489A (ja) | 映像符号化のためのビット発生量調節装置及び方法 | |
| EP0960532A1 (en) | Apparatus and method for optimizing the rate control in a coding system | |
| KR100601615B1 (ko) | 네트워크 대역폭에 적응적인 영상 압축 장치 | |
| KR100229796B1 (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
| KR100608036B1 (ko) | 영상 데이터 세그먼테이션 방법 및 장치 | |
| JPH03124181A (ja) | 動画像符号化方式 | |
| KR100269113B1 (ko) | 압축부호화장치및방법 | |
| CN113055670B (zh) | 一种基于hevc/h.265的视频编码的方法及系统 | |
| JP2504266B2 (ja) | 動画像信号の適応的符号化制御方式 | |
| JPH0984024A (ja) | 動画像信号の符号化装置 | |
| JPH07236138A (ja) | 動画像符号化装置 | |
| CN119420922B (zh) | 视频编码方法及装置 | |
| KR100203629B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| Song et al. | Rate control of a region-based H. 263 video codec under time-varying channels | |
| US20060239344A1 (en) | Method and system for rate control in a video encoder |