JPH06245204A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 高価なシステムを用いることなく、送信側に
おける画像の入力手段の切換えなどの画像入力源の変更
による送信画像の乱れを最小限に抑える。 【構成】 同期信号監視部１０２にて入力された画像同
期信号を監視し、ゆらぎを検出すると、ゼロ出力選択信
号を出力することにより、予測誤差選択部１０３では、
演算部１０１にて演算処理されたフレーム間差分値の出
力を停止し、ゼロを固定出力する。これにより、正常で
ないフレーム間差分信号を符号化送信することを防ぎ、
受信画像の乱れを抑制することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶ会議システムなど
の動画像通信装置に用いられる動画像符号化装置に関
し、特にフレーム間予測符号化方式を用いる動画像符号
化装置に関するものである。

【０００２】

【従来の技術】近年、ＴＶ会議システム等のＡＶ（Audi
o Visual）サービス用のサービス規定やプロトコル規
定、マルチメディア多重化フレーム構成規定などの勧告
が整備されると共に、ＴＶ電話装置やＴＶ会議システム
などを始めとする様々なＡＶ端末が提案されている。

【０００３】これらＴＶ会議システムなどにおいては、
その一端末（一地点）において複数の会議参加者に対し
て複数のカメラを具備し、また資料用として記録媒体に
収められた動画像や静止画像、或いは書画画像用のカメ
ラからの書画画像などを選択利用する形態も多く見受け
られる。また、こういった動画像情報を圧縮符号化する
圧縮符号化方式としては、時間方向の相関を利用したフ
レーム間予測符号化により時間的な冗長度を取り除き、
また空間方向の相関を利用した直交変換符号化により空
間的な冗長度を取り除く「ハイブリッド符号化方式」が
多く用いられている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ような書画画像なども含めた複数の入力画像を適宜選択
送信する構成において、画像入力手段を変更する際に、
画像同期信号のゆらぎが発生するという問題があった。
この入力同期信号のゆらぎは、後段の符号化装置を始め
とする画像処理装置の正常な機能を妨げ、送信画像を著
しく乱すため、正常な画像通信に支障をきたすと共に、
通信相手に不快感を与える場合がある。

【０００５】このような画像入力手段の変更時における
同期信号の乱れは、複数の同期結合された画像入力手段
を用いることにより回避できるが、通常こういったシス
テムは高価であり、あまり実用的であるとは言い難い。
本発明は、上記従来の課題に鑑みて成されたものであ
り、その目的は、高価なシステムを用いることなく、送
信側における画像の入力手段の切換えなどの画像入力源
の変更による送信画像の乱れを最小限に抑えることにあ
る。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明による動画像符号化装置は、以下の構成を備
える。即ち、入力画像のフレーム間差分情報を圧縮符号
化する動画像符号化装置であって、入力画像情報の同期
信号を監視し同期信号のゆらぎを検出する検出手段と、
該検出手段での検出結果に基づいてフレーム間差分を演
算するフレーム間差分演算手段と、該フレーム間差分演
算手段からの出力を圧縮符号化する符号化手段とを備え
る。

【０００７】

【作用】かかる構成において、入力画像情報の同期信号
を監視し、同期信号のゆらぎを検出し、その検出結果に
基づいてフレーム間差分を圧縮符号化することにより、
正常でないフレーム間差分信号を符号化送信することを
防ぎ、受信画像の乱れを抑制することが可能になる。

【０００８】

【実施例】以下、図面を参照して本発明に係る好適な一
実施例を詳細に説明する。図３は、本実施例における動
画像符号化装置を採用した画像通信電話システムの回路
構成例を示す概略ブロック図である。同図において、３
０１は本システムの画像入力手段の１つであり、自画像
等を入力するためのカメラ１入力部である。３０２は３
０１と同様、本システムの画像入力手段の１つであるカ
メラ２入力部である。３０３はカメラ１入力部３０１或
いはカメラ２入力部３０２からの入力画像、相手からの
受信画像、或いは操作画面等を表示する表示部である。
３０４は後述するシステム制御部３１３の指示により外
部入力端子を含む画像入力手段の切り換え処理等を行う
画像入力インタフェース部である。３０５は３０４と同
様、システム制御部３１３の指示により画像出力手段の
切り換え処理等を行う画像出力インタフェース部であ
る。３０６は後述するシステム制御部３１３の指示によ
りピクチャー・イン・ピクチャー処理や画面フリーズ処
理等を行うための画像編集部である。

【０００９】３０７は画像符号化／復号化部であり、後
述するシステム制御部３１３の指示により送信する画像
信号の符号化処理を行う画像符号化部３０７ａ及び受信
した画像信号の復号化処理を行う画像復号化部３０７ｂ
で構成されている。３０８は本システムの音声入出力手
段の一つであるハンドセット部である。３０９は後述す
るシステム制御部３１３の指示によりエコーキャンセル
処理、ダイヤルトーン，呼出音，ビジートーン，着信音
等のトーンの生成処理、或いは音声入出力手段の切り換
え処理等を行う音声入出力インタフェース部である。３
１０は音声符号化／復号化部であり、後述するシステム
制御部３１３の指示により送信する音声信号の符号化処
理を行う音声符号化部３１０ａ及び受信した音声信号の
復号化処理を行う音声復号化部３１０ｂで構成されてい
る。

【００１０】３１１は本システムの制御全般を行うため
の操作部であり、制御情報の入力に使用するキーボー
ド、タッチパネル等で構成されている。３１２は画像符
号化／復号化部３０７からの画像信号と、音声符号化／
復号化部３１０からの音声信号と、システム制御部３１
３からの制御信号とを送信フレーム単位に多重化すると
共に、受信フレームを画像信号と、音声信号と、制御信
号とに分離し各部に受け渡す分離多重化部である。３１
３はＣＰＵ、ＲＯＭ、ＲＡＭ、補助記憶装置等を備え、
各部の状態を監視し、システム全体の制御、状態に応じ
た操作・表示画面の作成、アプリケーションプログラム
の実行などを行うシステム制御部である。３１４はＩＳ
ＤＮユーザ網インタフェースに従って回線の制御を行う
回線インタフェース部である。そして、３１５は通信回
線である。

【００１１】以上の構成における画像通信電話システム
の基本的な送受信動作について以下に説明する。まず、
送信する場合、カメラ１入力部３０１或いはカメラ２入
力部３０２からの入力画像は画像入力インタフェース部
３０４及び画像編集部３０６を経て画像符号化部３０７
ａに入力される。また、ハンドセット部３０８からの入
力音声は音声入出力インタフェース部３０９を経て音声
符号化部３１０ａに入力される。画像符号化部３０７ａ
で符号化された入力画像と、音声符号化部３１０ａで符
号化された入力音声とは、分離多重化部３１２で多重化
され、回線インタフェース部３１４を経て通信回線３１
５へ送出される。

【００１２】一方、受信する場合、通信回線３１５から
の受信信号が回線インタフェース部３１４を経て分離多
重化部３１２で画像信号と音声信号とに分離され、各々
画像復号化部３０７ｂ、音声復号化部３１０ｂに入力さ
れる。そして、画像復号化部３０７ｂで復号化された受
信画像は画像編集部３０６、画像出力インタフェース部
３０５を経て表示部３０３に表示される。また、音声復
号化部３１０ｂで復号された受信音声は、音声入出力イ
ンタフェース部３０９を経てハンドセット部３０８に出
力される。

【００１３】次に、図２は、上述した画像符号化部３０
７ａの構成を示す概略ブロック図である。同図におい
て、２０１はフィルタ部であり、前段の画像入力インタ
フェース部からの入力画像情報に対し、画像フォーマッ
トの変換や雑音除去処理などを行う。２０２はフレーム
間差分演算部であり、入力された画素値データと、参照
フレーム（前フレーム）の予測値データとの減算処理を
行い、予測誤差データ（差分値）を出力する。２０３は
直交変換部であり、入力された予測誤差データに対し、
直交変換処理を行う。２０４は量子化部であり、後述す
る画像符号化制御部２１１からの指示により量子化ステ
ップサイズを選択し、入力された直交変換係数データを
量子化する。２０５は可変長符号化部であり、量子化さ
れた直交変換係数データに対し、可変長符号化を行う。
２０６は送信バッファ部である。

【００１４】また、２０７は逆量子化部であり、量子化
された直交変換係数データを逆量子化する。２０８は逆
直交変換部であり、入力された係数データの逆直交変換
処理を行う。２０９は加算部であり、逆直交変換された
入力値に予測値データを加算する。２１０はフレーム・
メモリ部であり、フレーム間予測のために前フレームの
予測値データを蓄積するフレーム・メモリである。そし
て、２１１は画像符号化制御部であり、システム制御部
３１４からの制御信号や送信バッファ部２０６のバッフ
ァ蓄積量を基に、量子化ステップ・サイズ選択や、有意
ブロック判定、駒落し（フレームスキップ）などの各種
符号化制御を行う。

【００１５】以上の構成における画像符号化部３０７ａ
の基本的な符号化動作について以下に説明する。まず、
フィルタ部２０１に画像信号及びその同期信号が入力さ
れ、フリッカ・ノイズ等の雑音除去フィルタリング処理
及び画像データのフォーマット変換処理を行う。フレー
ム間差分演算部２０２には、フィルタ部２０１の出力で
ある入力画素値データと、フレーム・メモリ部２１０か
らの予測値データとが入力され、画素値データと予測値
データとの差分値（予測誤差）が直交変換部２０３へ出
力される。直交変換部２０３では、画像情報の空間的な
冗長成分を削減する目的で、入力された予測誤差データ
に対し、直交変換処理を行い、変換係数を量子化部２０
４へ出力する。量子化部２０４では、画像符号化制御部
２１１からの量子化特性制御信号に従い選択されたステ
ップ・サイズで、入力された変換係数を量子化する。可
変長符号化部２０５では、画像符号化制御部２１１によ
る符号化制御信号に基づき有意ブロック判定等を行い、
量子化された変換係数を可変長符号化し、送信バッファ
部２０６へ出力する。この送信バッファ部２０６は、バ
ッファメモリで構成され、可変長符号化データをバッフ
ァリングし、後段の分離多重化部３１２へ出力すると同
時に、バッファ蓄積量を画像符号化制御部２１１へ送出
する。

【００１６】また、逆量子化部２０７には量子化部２０
３の変換係数量子化出力が入力され、量子化部２０４に
おいて選択された量子化ステップ・サイズを用いて逆量
子化を行い、直交変換係数を出力する。逆変換部２０８
では、逆量子化部２０７の直交変換係数出力を逆変換処
理し、加算部２０９へ出力する。加算部２０９では、対
応する予測データを逆変換部２０８出力に加算して出力
する。フレーム・メモリ部２１０は、少なくとも２フレ
ーム分のフレームメモリで構成されるフレーム間予測の
ためのフレームメモリであり、加算部２０９の画素値出
力を蓄積すると同時に、フレーム間差分演算部２０２の
指示により前フレームの該当画素値データを予測値とし
て出力する。そして、画像符号化制御部２１１では、画
像符号化部全体のタイミングを制御すると同時に、常に
画像符号化部全般、或いはシステム制御部３１４からの
各種制御信号を監視し、送信バッファ部２０６がオーバ
ーフローすることのないよう、送信バッファ部２０６の
データ蓄積量を基に、入力画像の変化やシーンチェンジ
等、通信者の画質設定に応じて適応的に量子化特性制御
信号による量子化部２０３における量子化ステップ・サ
イズの選択、符号化制御信号による可変長符号化部２０
５における有意ブロック判定、或いは駒落し（フレーム
スキップ）などの符号化制御を行う。

【００１７】図１は、上述したフレーム間差分演算部２
０２の構成を示す概略ブロック図である。同図におい
て、１０１は減算部であり、画素データと予測データと
の差分演算を行い、フレーム間差分値を出力する。１０
２は同期信号監視部であり、入力画像情報の各種同期信
号が入力され、同期信号のゆらぎを検出する。１０３は
予測誤差選択部であり、同期信号監視部１０２出力に応
じて減算部１０１の出力値かゼロ値を選択して出力す
る。

【００１８】以上の構成におけるフレーム間差分演算部
２０２の動作について説明する。減算部１０１には、前
段のフィルタ部２０１から現フレームの画素データが、
フレーム・メモリ部２１０から前フレームの該当位置の
画素データ（予測データ）がそれぞれ入力され、これら
について減算処理を施し、予測誤差選択部１０３へフレ
ーム間差分値を出力する。一方、同期信号監視部１０２
には、画像符号化部へ入力される入力画像情報の各種同
期信号が画像入力インタフェース部３０４より入力さ
れ、画像同期信号を常に監視しており、主に垂直同期信
号のゆらぎを検出すると、予測誤差選択部１０３に対し
てゼロ出力選択信号を送出する。予測誤差選択部１０３
は、後段の直交変換部２０３に対し、通常は減算部１０
１出力であるフレーム間差分値を出力するが、同期信号
監視部１０２よりゼロ出力選択信号が入力されると入力
画素データと予測データの差分値の出力を停止し、代り
にゼロを出力する。つまり、フレーム間差分演算部２０
２は、入力画像同期信号にゆらぎを検出している期間、
フレーム間差分値の代りに予測誤差値としてゼロを固定
出力する。

【００１９】後段の直交変換部２０３以降の符号化処理
ブロックにおいては、予測誤差ゼロを符号化することに
なるため、これを受信し復号する側においては、入力同
期信号が安定するまでの期間、符号化側が同期信号のゆ
らぎを検出する直前の画像を継続して表示することにな
る。以上の動作により、入力画像情報の同期信号の乱れ
を検出し、フレーム間差分データの代りに予測誤差ゼロ
・データを符号化するよう動作することによって、無意
味な差分データを符号化送信することを防ぐものであ
る。

【００２０】即ち、本実施例によれば、入力された画像
情報の同期信号のゆらぎを検出する手段と、前記検出結
果に基づきフレーム間差分演算を行う手段とを備えるこ
とにより、正常な画像信号が入力されていない場合や、
画像入力手段の変更時などにおいて、入力同期信号が安
定するまでの期間は予測誤差値をゼロに固定し符号化す
るよう動作することにより、正常でないフレーム間差分
データを符号化送信することを防止し、受信画像の乱れ
を最小限に抑えることができる。

【００２１】尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、システム或いは装置にプログラムを
供給することによって達成される場合にも適用できるこ
とは言うまでもない。

【００２２】

【発明の効果】以上説明したように、本発明によれば、
正常な画像信号が入力されていない場合や画像入力手段
を変更する場合において、入力画像同期信号（入力画像
信号）が安定するまでの期間、予測誤差値をゼロに固定
し符号化するよう動作することにより、無意味なフレー
ム間差分値を符号化送信することを回避し、送信画像の
乱れを抑制すると共に、通信相手に不快感を与えること
を防ぐという優れた効果を奏する。

【図面の簡単な説明】

【図１】実施例におけるフレーム間差分演算部の構成を
示す概略ブロック図である。

【図２】実施例における画像符号化部の構成を示す概略
ブロック図である。

【図３】実施例における画像通信電話システムの構成を
示す図である。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力画像のフレーム間差分情報を圧縮符
   号化する動画像符号化装置であって、 入力画像情報の同期信号を監視し同期信号のゆらぎを検
   出する検出手段と、 該検出手段での検出結果に基づいてフレーム間差分を演
   算するフレーム間差分演算手段と、 該フレーム間差分演算手段からの出力を圧縮符号化する
   符号化手段とを備えることを特徴とする動画像符号化装
   置。