JPH09154131A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力カメラの切り替えや、パン・チルトなど
により、画像の性質が一変してしまう場合でも、常に適
切な画像符号化方式を、画面に応じて切り換えることを
可能とするとともに、相手端末のメモリー量に制限があ
る場合にも、通信中に符号化方式を切り替えることを可
能とする。 【解決手段】 通信の状態を管理し、通信の状態に応じ
て、画像符号化データの送信と符号化方式記述コードの
送信の選択を制御する通信状態制御部１１と、異なる符
号化方式を用いて入力画像の符号化を行う複数の画像符
号化部１２ａ〜ｚと、どの符号化方式を選択するのかを
決定する符号化方式選択部１３と、画像符号化部で用い
る符号化方式を記述した符号化方式記述コードを相手端
末に伝送する符号化方式記述コード伝送部１４とを有す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信回線を通じ相
手端末に画像符号化データを伝送する場合に、符号化方
式を回線接続毎に伝送することにより、ソフトウェアダ
ウンロード型のシステムを構築する画像符号化装置に関
する。

【０００２】

【従来の技術】ＩＳＤＮ（Integrated Services Digita
l Network）などの高速ディジタル通信網の普及、画像
処理技術の進歩等を背景とし、画像通信サービスに対す
る要求が高まっている。また、通信帯域のごく狭い、超
低ビットレートでの画像通信サービスに対しても期待が
高まっている。この超低ビットレートでの画像符号化方
式はＭＰＥＧ４（Moving Picture Experts Group ４）
として、国際標準化の動きが活発である。また、ＤＣＴ
方式、Wavelet変換方式、などの画像符号化技術も次々
と新しい符号化方式が開発され、今後もその符号方式の
数は増加していくものと思われる。

【０００３】このＭＰＥＧ４では、符号化方式に拡張性
を持たせること、マシンに依存しない汎用性を持たせる
こと、を目的とし、ソフトウェアダウンロード型のシス
テムを構築することとなった。それにともない、画像デ
ータの符号化／復号方法や、その方法の伝送方法、伝送
時のセキュリティ、伝送エラー対策などを包括的に記述
する言語：ＭＳＤＬ（ MPEG4 Syntax Description Lang
uage ）を構築することとなった。

【０００４】図６にＭＳＤＬの構成要素を示す。画像デ
ータを符号化／復号する方法の記述である符号化方式記
述コードは複数のプロファイルで構成され、１つのプロ
ファイルは複数のアルゴリズムで構成され、さらに１つ
のアルゴリズムは複数のツールで構成されている。この
ように符号化方式記述コードはツリー状に構成され、こ
れらツール、及びツールの構成方法、ツール間のインタ
ーフェースをＭＳＤＬで記述する。また、既存の符号化
方式記述コードにおいて、ツールの交換やツールの追加
などで、新しい符号化方式記述コードを構成することも
ＭＳＤＬでは可能としている。

【０００５】また、ＭＰＥＧ４では、通信中において、
Configuration Phase, Learning Phase, Transmission
Phase の各フェーズを規定し、各々での処理内容を定め
ている。Configuration Phase では、呼設定を始めると
き、あるいは通信パス確立当初に、符号化器と復号器と
が、適切な通信を行うことができるかどうかを判定する
ために、能力、条件、環境等を記述したパラメータを交
換する。また、パラメータの交換の結果、通信を行うた
めの環境の決定や、次のLearning Phaseに移行するか否
かの決定がなされる。Learning Phaseでは、符号化器か
ら送信する符号化データを復号器が正しく解析できるよ
うに、解析方法自体の伝送や、解析方法の構築の指示を
行う。Transmission Phaseでは、前記の２つのフェーズ
により特定されたフォーマットで符号化データを伝送す
る。

【０００６】図７にＭＰＥＧ４方式の従来の画像符号化
装置を示す。図中、３１は通信状態制御部、３２は画像
符号化部、３３は符号化方式記述コード伝送部である。
通信状態制御部３１では 通信の状態を管理し、通信の
状態に応じて、画像符号化データの送信と符号化方式記
述コードの送信の選択を制御する。画像符号化部３２で
は、入力画像の符号化を行い、画像符号化データを作成
する。符号化方式記述コード伝送部３３では、画像符号
化部３２にて使用している符号化方式を相手端末に認識
させるために、その符号化方式を構成するツール群を送
信する。前述のLearning Phaseでは、スイッチ１のａ−
ｃ間を接続し、装置で用いる符号化方式記述コードを相
手端末に送信する。その後、Transmission Phaseに移行
すると、スイッチ１のｂ−ｃ間を接続し、画像符号化部
３２で作成した画像符号化データを送信する。この構成
により、ソフトウェアダウンロード型のシステムを構築
することが可能となり、新たなる符号化方式を開発した
場合でも、その符号化方式への対応が可能となる。

【０００７】

【発明が解決しようとする課題】現在いろいろな方式の
符号化方式が開発されているが、何れも甲乙付け難く、
ひとつの符号化方式に決めるのは難しい。そして、それ
らの符号化方式にも各種特徴があり、画像に応じて、適
切な符号化方式が異なってくる。また、通信中に、画像
を入力するカメラを切り替えたり、パン・チルトを行っ
たり、被写体自体が入れ替わったりすることも考えられ
る。そのような場合は、入力画像の性質が大きく変わっ
てしまう。そのため、通信中に符号化方式を切り換える
ことが、狭い帯域でより鮮明な画像を送信するために、
必要となってくる。ただし、従来の画像通信システムで
は、符号化方式を通信途中で切り換えることができな
い。本発明は、上記課題に鑑みてなしたものであり、こ
れら課題を解決した画像符号化装置を提供するものであ
る。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、（１）入力画像の符号化を行う画像符号化部と、画
像符号化部で用いた符号化方式を記述した符号化方式記
述コードを相手端末に伝送する符号化方式記述コード伝
送部と、通信の状態を管理し、通信の状態に応じて画像
符号化データの送信と符号化方式記述コードの送信との
選択を制御する通信状態制御部とを有する画像符号化装
置において、異なる符号化方式を用いて入力画像の符号
化を行う複数の画像符号化部と、どの符号化方式を選択
するのかを決定する符号化方式選択部とを備え、入力画
像の画面毎に適切な画像符号化方式を選定し、どの符号
化方式で符号化を行ったデータであるのかを画面毎に相
手端末に通知すること。更には、（２）前記の画像符号
化装置において、通信開始当初に伝送する符号化方式の
数を相手端末のメモリー容量に応じた数とすることし、
事前に伝送した符号化方式以外の符号化方式を利用した
い場合には、すでに伝送した符号化方式の１つを無効に
し、代わりに利用したい符号化方式を伝送して、その符
号化方式を有効とすること。更には、（３）前記の画像
符号化装置において、通信開始時及び通信中に相手端末
から受信した複数の符号化方式記述コードを正しく認識
し、受信した画像符号化データが、どの符号化方式で符
号化を行ったデータであるのかを画面毎に認識し、画像
符号化データの復号手段を通信中に動的に切り替えるこ
とを可能とすること。更には、（４）前記符号化方式選
択部は、画像符号化を行う符号化方式の個数分の画像符
号化部と、符号化方式の個数分の画像復号部と、画像符
号化／復号結果と原画である入力画像との自乗誤差を求
める符号化方式個数分の自乗誤差計算部と、どの符号化
方式が一番自乗誤差が良かったのかを判定する自乗誤差
結果比較部とから構成され、符号化を行う符号化方式の
選択をするために、画面毎に各符号化方式による自乗誤
差を計算し、一番自乗誤差の良いものを選択すること、
更には、（５）前記符号化方式選択部は、入力画像に応
じて適切な符号化方式を選択する画像適応符号化方式選
択部から構成され、どの符号化方式で符号化することが
適切な画像であるのかを画面毎に判定して、符号化の際
に符号化方式を決定することを特徴としたものである。

【０００９】上記画像符号化装置において、複数の画像
符号化手段は、それぞれ異なる画像符号化方式を用いて
画像符号化データを作成し、符号化方式選択手段は、画
面毎にどの符号化方式を選択するのかを決定し、画像復
号手段は、画像符号化を行って作成されたデータを復号
し、自乗誤差計算手段は、入力画像と符号化／復号を行
って作成された画像との自乗誤差を計算し、自乗誤差判
定手段は、どの符号化方式による符号化／復号が一番自
乗誤差が良かったのかを判定し、画像認識手段は、入力
画像がどのような画像で、どの符号化方式に一番適切で
あるのかを判定する。

【００１０】

【発明の実施の形態】図１に本発明の画像符号化装置の
ブロック図を示す。通信状態制御部１１は、符号化器の
状態を管理し、画像符号化データの送信と、符号化方式
記述コードの送信の選択をしているスイッチ１を制御す
る。符号化方式Ａによる画像符号化部１２ａは、符号化
方式記述コードＡが示す符号化方式で入力画像の符号化
を行う。符号化方式Ｂによる画像符号化部１２ｂは、符
号化方式記述コードＢが示す符号化方式で入力画像の符
号化を行う。符号化方式Ｃによる画像符号化部１２ｃ
は、符号化方式記述コードＣが示す符号化方式で入力画
像の符号化を行う。符号化方式Ｚによる画像符号化部１
２ｚは、符号化方式記述コードＺが示す符号化方式で入
力画像の符号化を行う。符号化方式選択部１３は、通信
状態制御部１１に接続され、画面毎に符号化方式の選択
を行い、どの画像符号化部からの出力データを送信する
のかの選択を行っているスイッチ２の制御を行う。符号
化方式記述コード伝送部１４は符号化方式選択部１３に
接続され、符号化方式記述コードの伝送を行う。符号化
方式記述コードの送信の時はスイッチ２のａ−ｃ間を接
続し、画像符号化データを送信するときはｂ−ｃ間を接
続する。

【００１１】図２に本発明の画像符号化装置から送信さ
れるデータ列例を示す。Configuration Phase で相手端
末のメモリー容量等の制限事項を認識し、その相手メモ
リー容量に応じた数以内の数の符号化方式記述コードを
Learning Phase で送信する。実際には、前述のように
符号化方式を構成するツールを送信する。この際に、図
１におけるスイッチ１のａ−ｃ間を接続し、送信する符
号化方式記述コードに符号化方式番号を添付すること
で、送信する符号化方式記述コードと符号化方式番号と
を対応させる。具体的に図２（ａ）の例に用いて説明を
行う。まず符号化方式番号１番を送信し、それに引き続
いて符号化方式Ａを構成するツール群を送信する。これ
により、符号化方式番号１に符号化方式Ａが割り当てら
れたこととなる。符号化方式Ａの送信が完了したなら、
次に符号化方式番号２番を送信し、続いて符号化方式Ｂ
を構成するツール群を送信する。同様にその後符号化方
式番号３番及び符号化方式Ｃを構成するツール群を送信
する。この一連の動作により、符号化方式番号１に符号
化方式Ａが割り当てられ、符号化方式番号２に符号化方
式Ｂが割り当てられ、符号化方式番号３に符号化方式Ｃ
が割り当てられる。

【００１２】符号化データを送信するTransmission Pha
se での送信データ列の例が図２（ｂ）である。この
時、図１のスイッチ２はｂ−ｃ間を接続しており、画面
毎に先頭に符号化方式番号を添付する。この番号が先の
Learning Phase で符号化方式と対応付けされてあり、
この番号により、それに続く符号化データ列がどの符号
化方式で復号すべきものであるのかを明確化している。
ここで図２（ｂ）の例に従って説明をする。画面ｎは符
号化方式Ｂで符号化することと決定した場合、まず符号
化方式Ｂが割り当てられてある符号化方式番号２番を送
信し、引き続いて符号化方式Ｂで符号化を行った画面ｎ
の符号化データを送信する。次の画面ｎ＋１は符号化方
式Ａで符号化を行うこととなったなら、符号化方式Ａが
割り当てられている符号化方式番号１番を送信し、引き
続いて符号化方式Ａで符号化を行った画面ｎ＋１の符号
化データを送信する、次の画面ｎ＋２は符号化方式Ｂで
符号化することとなったなら、符号化方式番号２番を送
信し、符号化方式Ｂで符号化を行った符号化データを送
信する。

【００１３】図３に割り当て符号化方式の変更時の送信
データ列の様子を示す。ここでは、例として相手端末の
メモリー量から、符号化方式の伝送を３個に制限せざる
を得ない場合を示す。図２の説明で示した時と同様に、
まず、回線接続当初のLearning Phase で符号化方式
Ａ、符号化方式Ｂ、符号化方式Ｃの３個の符号化方式記
述コードを送信し、符号化方式Ａを符号化方式番号１、
符号化方式Ｂを符号化方式番号２、符号化方式Ｃを符号
化方式番号３に割り当てる。そして、その後、符号化方
式Ｚを利用したくなったとする。相手端末の符号化方式
認識容量に余裕がある場合は、新たに符号化方式Ｚを符
号化方式番号４に割り当てて、送信してすればよい。し
かし、メモリー容量の影響で３個しか符号化方式を相手
端末が認識できない場合には、事前に送信してある符号
化方式を１個無効にする必要がある。ここでは符号化方
式Ｃを無効にする場合を仮定する。符号化方式Ｃは符号
化方式番号３に割り当ててあるので、符号化方式Ｚを符
号化方式番号３に割り当てて送信すればよい。すなわち
図３（ｂ）の様に、まず符号化方式番号３番を送信し、
符号化方式Ｚを構成するツール群を送信することとな
る。

【００１４】図４に符号化方式選択方法の１つである、
自乗誤差選択方法のブロック図を示す。図中の各符号化
方式による画像符号化部６１ａ〜ｚは各符号化方式が示
す符号化方式で入力画像の符号化を行う。各符号化方式
による画像復号部６２ａ〜ｚはそれぞれ６１ａ〜ｚに接
続され、各符号化方式が示す復号方式で符号化した画像
符号化データの復号を行う。自乗誤差計算部６３ａ〜ｚ
はそれぞれ６２ａ〜ｚに接続され、各符号化方式によっ
て符号化／復号を行って得られた復元画像と入力画像と
の自乗誤差の計算を行う。自乗誤差結果比較部６４は６
３ａ〜ｚに接続され、各符号化方式による符号化／復号
の結果を自乗誤差で評価したものを比較する。

【００１５】この方法は画面毎に適した画像符号化方式
を選択するために、全符号化方式で符号化／復号を行
い、入力画像との自乗誤差を計算して、一番自乗誤差の
良かったものの符号化方式を選択する、という方法であ
る。ここで自乗誤差とは、符号化／復号を行った画像
が、入力画像とどの程度違いがあるかを各画素毎に計算
し、その累積をしたものである。すなわち、自乗誤差累
積結果のよいものは、入力画像にそれだけ近いというこ
とになる。そこで、各画面毎に符号化方式の中で一番自
乗誤差のよいものを選択すればすべての画面で一番入力
画像に近い画像を相手端末に伝送できる。

【００１６】図５に符号化方式選択方式の２つ目の方法
である、画像適応符号化方式選択方法のフローチャート
を示す。画像適応符号化方式選択方法では、各符号化方
式にとって、画面毎に入力された画像がその符号化方式
を用いることに適切であるか否かの判定を行う。その判
定方法は、入力画像に対してある演算を行い、その演算
結果から、その符号化方式で符号化を行う事が適切な画
像であるか否かの判定を行う方法である。適切な画像で
あるか否かの判定に用いる演算の例としては、たとえ
ば、細かい模様の多い画像の場合に有効な画像符号化方
式に対しては、ＤＣＴ演算を行い、ｎ次以上の係数の累
積が一定値以上の場合に有効と判定するような、適切符
号化判定演算とする。別の例では、動きの激しい画像に
有効な画像符号化方式に対しては、各画素でのフレーム
間の値の違いの累積が一定値以上の場合に有効と判定す
るような、適切符号化判定演算とする。

【００１７】図５のフローチャートでは、符号化方式
Ａ、符号化方式Ｂ、符号化方式Ｃの３個の符号化方式の
中から１個を選択することを例としている。まず、画像
が入力されると、符号化方式Ａで符号化を行うことが適
切な画像であるかどうかの判定を行う。すなわち、符号
化方式Ａの適切符号化判定演算を行い、その演算結果が
判定基準を満たしているか否かの判定を行う（ステップ
１）。この入力画像が符号化方式Ａで符号化を行うこと
が適切であるかどうかの判定基準を満たしていたなら
ば、符号化方式Ａで符号化を行うことと決定する（ステ
ップ２）。判定基準を満たしていない場合は、続いて符
号化方式Ｂで符号化を行うことが適切な画像であるかど
うかの判定を行う。すなわち、符号化方式Ｂの適切符号
化判定演算を行い、その演算結果が判定基準を満たして
いるか否かの判定を行う（ステップ３）。この入力画像
が符号化方式Ｂで符号化を行うことが適切であるかどう
かの判定基準を満たしていたならば、符号化方式Ｂで符
号化を行うことと決定する（ステップ４）。判定基準を
満たしていない場合は、続いて符号化方式Ｃで符号化を
行うことが適切な画像であるかどうかの判定を行う。す
なわち、符号化方式Ｂの適切符号化判定演算を行い、そ
の演算結果が判定基準を満たしているか否かの判定を行
う（ステップ５）。この入力画像が符号化方式Ｃで符号
化を行うことが適切であるかどうかの判定基準を満たし
ていたならば、符号化方式Ｃで符号化を行うことと決定
する（ステップ６）。判定基準を満たしていない場合
は、事前に決定しておいたデフォルトの符号化方式で符
号化を行うことと決定する（ステップ７）。

【００１８】

【発明の効果】請求項１に対する効果：それぞれ異なる
符号化方式を用いて入力画像の符号化を行う複数の画像
符号化手段と、どの符号化方式を選択するのかを決定す
る符号化方式選択手段とを備え、入力画像の画面毎に適
切な画像符号化方式を選定し、どの符号化方式で符号化
を行ったデータであるのかを画面毎に相手端末に通知す
ることで、通信中に画像符号化方式を動的に切り換える
ことが可能となる。請求項２に対する効果：通信開始当
初に伝送する符号化方式の数を相手端末のメモリー容量
に応じた数とすることし、事前に伝送した符号化方式以
外の符号化方式を利用したい場合には、すでに伝送した
符号化方式の１つを無効にし、代わりにその符号化方式
を伝送して、その後有効とすることにより、事前に伝送
した符号化方式以外の符号化方式も通信中に使用可能と
なる。請求項３に対する効果：通信開始時及び通信中に
相手端末から受信した複数の符号化方式記述コードを正
しく認識し、受信した画像符号化データが、どの符号化
方式で符号化を行ったデータであるのかを画面毎に認識
することにより、画像符号化データの復号手段を通信中
に動的に切り替えることを可能とする。

【００１９】請求項４に対する効果：符号化方式選択手
段を、画像符号化を行う符号化方式で復号を行う符号化
方式の個数分の画像復号手段と、画像符号化／復号結果
と原画である入力画像との自乗誤差を求める符号化方式
個数分の自乗誤差計算手段と、どの符号化法則が一番自
乗誤差が良かったのかを判定する自乗誤差判定手段とか
ら構成し、どの符号化方式で符号化を行うかの選択ため
に、画面毎に各符号化方式による自乗誤差を計算するこ
とにより、画面毎に一番自乗誤差の良い物を選択可能と
なる。請求項５に対する効果：符号化方式選択手段を、
入力画像に応じて適切な符号化方式を選択する画像適応
符号化方式選択手段から構成され、どの符号化方式で符
号化することが適切な画像であるのかを画面毎に判定す
ることにより、符号化の際適切な符号化方式を決定する
ことを可能とする。

【図面の簡単な説明】

【図１】本発明の画像符号化装置のブロック図である。

【図２】本発明の画像符号化装置から送信されるデータ
列の図である。

【図３】符号化方式割り当て変更時の送信データ列の図
である。

【図４】自乗誤差計算による符号化方式選択方法のブロ
ック図である。

【図５】画像適応符号化方式選択方法のフローチャート
である。

【図６】ＭＳＤＬの構成要素を示す図である。

【図７】従来の画像符号化装置のブロック図である。

【符号の説明】

１１ 通信状態制御部 １２ａ〜ｚ 画像符号化部 １３ 符号化方式選択部 １４ 符号化方式記述コード伝送部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力画像の符号化を行う画像符号化手段
   と、画像符号化手段で用いた符号化方式を記述した符号
   化方式記述コードを相手端末に伝送する符号化方式記述
   コード伝送手段と、通信の状態を管理し、通信の状態に
   応じて、画像符号化データの送信と符号化方式記述コー
   ドの送信の選択を制御する通信状態制御部とを有する画
   像符号化装置において、 異なる符号化方式を用いて入力画像の符号化を行う複数
   の画像符号化手段と、どの符号化方式を選択するのかを
   決定する符号化方式選択手段とを備え、 入力画像の画面毎に適切な画像符号化方式を選定し、相
   手端末に画像符号化データを送信する際に、どの符号化
   方式で符号化を行ったデータであるのかを画面毎に相手
   端末に通知することで、通信中に画像符号化方式を動的
   に切り換えることを特徴とする画像符号化装置。
2. 【請求項２】 請求項１記載の画像符号化装置におい
   て、通信開始当初に伝送する符号化方式記述コードの数
   を相手端末のメモリー容量に応じた数とすることとし、
   事前に伝送した符号化方式以外の符号化方式を利用した
   い場合には、すでに伝送した符号化方式の１つを無効に
   し、代わりに利用したい符号化方式記述コードを伝送し
   て、その符号化方式を有効とすることを特徴とする画像
   符号化装置。
3. 【請求項３】 請求項１及び請求項２記載の画像符号化
   装置において、通信開始時及び通信中に相手端末から受
   信した複数の符号化方式記述コードを正しく認識し、受
   信した画像符号化データが、どの符号化方式で符号化を
   行ったデータであるのかを画面毎に認識することで、画
   像符号化データの復号手段を通信中に動的に切り替える
   ことを特徴とする画像符号化装置。
4. 【請求項４】 前記符号化方式選択手段は、画像符号化
   を行う符号化方式の個数分の画像符号化手段と、符号化
   方式の個数分の画像復号手段と、画像符号化／復号結果
   と原画である入力画像との自乗誤差を求める符号化方式
   個数分の自乗誤差計算手段と、どの符号化方式が一番自
   乗誤差が良かったのかを判定する自乗誤差結果比較手段
   とから構成され、符号化を行う符号化方式の選択をする
   ために、画面毎に各符号化方式による自乗誤差を計算
   し、一番自乗誤差の良いものを選択することを特徴とす
   る請求項１、又は請求項２、又は請求項３記載の画像符
   号化装置。
5. 【請求項５】 前記符号化方式選択手段は、入力画像に
   応じて適切な符号化方式を選択する画像適応符号化方式
   選択手段から構成され、どの符号化方式で符号化するこ
   とが適切な画像であるのかを画面毎に判定して、符号化
   の際に符号化方式を決定することを特徴とする請求項
   １、又は請求項２、又は請求項３、又は請求項４記載の
   画像符号化装置。