JPH02260882A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本願発明は、動画送信局の動画像の符号化装置を用いて
、動画像の符号化および静止画像の符号化を行ない、動
画受信局および静止画受信局との間でマルチポイントの
通信を行なうための画像符号化装置に関する。

（従来の技術） 従来、テレコンファレンス等における画像の通信は、動
画通信局は動画通信局との間で動画像の通信を行ない、
静止画通信局は、静止画通信局との間で静止画像の通信
を行なっていた。あるいは、動画通信局と動画通信局の
間で動画像符号化装置、動画像復号化装置における静止
画モードにより静止画像の通信を行なっていた。

（発明が解決しようとする課題） しかしながら、従来のテレコンファレンス等における画
像の通信は、動画像の符号化装置と静止画像の復号化装
置の符号化処理方法が異なるため、動画通信局は、動画
通信局と、静止画通信局は、静止画通信局と、それぞれ
の閉鎖域において通信が行なわれ、動画層と、静止両局
の通信は実行不可能であり、非常に不便であった。

そこで、本発明の技術的課題は、上記欠点に鑑み、動画
像の復号化装置と静止画像の復号化装置との間で同時に
マルチポイントの通信を行えるための画像符号化装置を
提供することである。

（課題を解決するための手段） 本発明によれば、画面内の相関と画面間の相関を用いる
画像符号化装置において、入力の画像を１画面蓄える手
段と、入力画像と前記画面を蓄える手段からの出力信号
のいずれかを選択する第一の選択手段と、該第一の選択
手段の出力と第三の予測信号を用いて冗長度を低減した
信号を得る手段と、画面間の相関を用いたときの前記冗
長度を低減した信号を第三の指示によって予め定められ
た値とすることができる前記冗長度を低減した信号を量
子化する手段と、前記予測信号と前記量子化手段の出力
を用いて局部復合信号を得る手段と、前記局部復合信号
から画面内の相関を用いた第一の予測信号を発生する第
一の予測器と、画面間の相関を用いて第二の予ｎ１信号
を発生し、前記第二の指示によって該第二の予測信号を
蓄えておくことのできる第二の予測器と、前記第一の予
測信号と前記第二の予測信号を、第一の指示によって選
択し前記第三ｐ予測信号を発生する第二の選択手段と、
前記量子化手段の出力を符号変換し、前記第二の指示に
よって入力の如何にかかわらず無効として符号変換をす
ることのできる第一の符号変換手段と、前記量子化手段
の出力を符号変換し、前記第二の指示によって画面間の
相関を用いた結果予測誤差が全て無効として符号変換を
することのできる第二の符号変換手段と、前記第一の指
示を行なう第一の制御手段と、前記量子化手段、前記第
二の予測器、前記第一の符号変換手段、およびび前記第
二の符号変換手段に前記第二の指示を与え、前記量子化
手段に第三の指示を与える第二の制御手段とを具備する
ことを特徴とする画像符号化装置が得られる。

（発明の概要） 本願の発明は、従来不可能であった動画像符号化装置と
、静止画像復号化装置の間で静止画像の通信を実行させ
、同一時に動画通信局と動画通信局および静止画通信局
との間でマルチポイントの画像通信を行なうものである
。

即ち第１図に示すように、動画像符号化装置４０と動画
像復号化装置４１および静止画１象復号化装置４２の間
でマルチポイントの通信を行なうには、動画像符号化装
置４０と動画像復号化装置４１とを、動画用の高速回線
４３で結び、動画像符号化装置４０と静止画復号化装置
４２との間は、静止画用の低速回線４４で結ぶ。そして
動画像符号化装置４０と動画像復号化装置４１との間で
は、通常の動画像通信を行ない、動画像符号化装置４０
と静止画復号化装置４２との間では、静止画像の通信を
行なう。動画像符号化装置４０における静止画像の符号
化は、動画像符号化装置４０に伝送しようとする静止画
像を取込み、その取込んだ画像を少しづつ符号化し、符
号化したデータを伝送路に徐々に流すことが必要である
。なぜならば、静止画像の復号化装置４２につながる伝
送路は、動画像の復号化装置４１につながる伝送路に比
べ、伝送レートが非常に低いので大量のデータを瞬時に
流すことができないためである。

従って、動画像符号化装置４０で静止画を少しづつ符号
化して伝送することが必要となる。

通常、第２図（ａ）、（ｂ）、（ｃ）に示すように動画
像の符号化では、伝送路の誤りによって生じたエラーを
取除くために、周期的な画像の書替（リフレッシュ）を
行なっている。リフレッシュは定められた画面毎にｎラ
インづつ移動しながら、画面内の相関を用いたフレーム
内符号化により実行され、伝送路誤りにより復号器のフ
レームメモリーに生じたエラーを取除き、新しいきれい
な画像を符号器、複合器の双方のフレームメモリー内に
書込む。リフレッシュ以外の領域は、画面間のト目関を
利用したフレーム間符号化が行なわれている。

そこで、本発明の動画像符号化装置による静止画像の符
号化は、前記リフレッシュモードを利用し、フレーム内
符号化によりｎラインづつ符号化し、リフレッシュ以外
の領域はフレーム間符号化でデータが無効であるこ−と
を示す符号に置き替えて符号化し、画面毎の過大な情報
の発生を抑える。

このように少しづつ符号化して伝送することにより、瞬
時に大量な情報が発生しないようにする。

静止画の符号化に当っては、第３図に示すように、静止
画像を蓄えるフレームメモリー４３を動画像符号化装置
４４の前に用意し、そのフレームメモリー４３に送信し
ようとする静止画を書込む。

そして動画像符号化装置４４の入力は、静止画用フレー
ムメモリー４３の出力を選択し、リフレッシュモードで
定められた画面毎にｎラインずつ符号化する。

本発明の動画像符号化装置は、第４図に示すような構成
になっており、フレーム間予測器４５とフレーム内予測
器４６の二つの予測器を持っていて、通常の符号化とリ
フレッシュで予測器４５゜４６を切替えている。通常の
符号化では、予測信号として符号化効率の良いフレーム
間予測器４５の出力を選択し、前画面との差分を符号化
する。

リフレッシュを行なう場合には、その期間（ｎライン）
だけ予測信号としてフレーム内予測器４６の出力を選択
し、フレーム内符号化を実行する。

この時、フレーム内予測器４６は、入力信号の画面内の
前画素あるいは近傍の画素の値を用いるので、伝送路誤
りによるエラーが累積されている前画面の影響を受ける
ことなく、正しい画像でフレームメモリーの内容を更新
することができる。静止画の符号化に当っては、画面内
のリフレッシュライン以外の領域、すなわちフレーム間
予測を用いて符号化を行なった領域は、符号化したデー
タを全てフレーム間の無効データに置き替えて受信側に
送る。すなわち、その画面の有効データは、リフレッシ
ュラインのみとなり、瞬時の多量な情報量の発生を抑え
ることができる。このときの符号化データは、第２の符
号変換器４８でハフマン符号などの効率の良い符号に変
換され、伝送路の速度との整合が取られ、静止画用の低
速回線で少しづつデータを送る。このとき動画像符号化
装置としでは、静止画像の符号化が開始される直前のフ
レーム間予測信号を、フレーム間予ｎ１器４５に蓄えて
おき、静止画の符号化を実行している間、第１の符号変
換器４７の出力を無効データに置き換えれば、動画像復
号化装置は、静止画像の符号化が行なわれる直前の画像
をフリーズしておくことができる。

あるいは、動画像符号化装置への入力信号として静止画
用フレームメモリーから供給される信号を用い、あたか
も通常の動画像信号が人力されているかのように符号化
を行なってもよい。

そして、動画像符号化装置としては、動画像の符号化を
再開する際に、フレーム間予測器４５に蓄えられていた
予測信号を用いることによって、新たに画面全体を画面
内の相関を利用したフレーム内符号化でリフレッシュす
ることなく、静止画像の符号化が終了した直後から画面
間の相関を利用した能率の良い動画像符号化を行なうこ
とができる。動画像復号化装置においても動画像符号化
装置と同様に、画面全体をリフレッシュすることなく、
ただちにフレーム間の復号を行なうことができる。

受信側の静止画像復号化装置は、第５図に示すように、
フィードバックループを持たせておけば、動画像符号化
装置から送られて来た信号を正しく復号化することがで
きる。復号信号の選択スイッチは、フレーム内符号化が
実行された時にはフレーム内復号器４９の出力を選択し
、そのデータを静止画復号化装置の出力として出力する
と共にフレームメモリーに蓄える。フレーム間符号化が
実行された領域の時にはフレーム間復号器５０の出力を
選択する。このようにすると、例えば、第２図の時刻ｔ
でリフレッシュされた領域は、時刻を十１でフレーム間
符号化が実行され、リフレッシュラインは次の領域に移
るが、フレーム間符号化が実行された領域は、符号化デ
ータが符号化の時に無効データに置き換えられているの
で、フレーム間復号化を行なってもリフレッシュされて
フレームメモリーに蓄えられているデータがそのままフ
レーム間復号器５０の出力となり、再びフレームメモリ
ーに蓄えられリフレッシュされたデータが保たれる。こ
の動作を繰り返すことにより、リフレッシュを実行する
領域が移動し、リフレッシュされた新しい画像の領域が
徐々に拡大され、１枚の静止画になる。

上記のように静止画像復号化装置にフィードバックルー
プを持てば、動画像符号化装置のリフレッシュモードを
利用して静止画の伝送を行なうことができる。

（実施例） 次に、本発明の一実施例を図面を参照して説明する。

一第１の実施例− 第６図は本発明の第１の実施例である符号化装置の構成
を示すブロック図である。入力の画像信号は、線１００
を介してフレームメモリー１、同期分離器２およびスイ
ッチ５に供給される。フレームメモリー１は、制御回路
４から線４１を介して供給される書込み信号が、書込み
を指示しているときに入力画像信号を書込み、その画面
を蓄えておく。同期分離器２は、線１００を介して供給
された入力の動画像信号から同期を分離し、分離した同
期信号を基にフレームの先頭を示すフレームパルスおよ
びラインの先頭を示すラインパルスを生成し、リフレ・
ジシュ回路３および制御回路４に供給する。リフレッシ
ュ回路３は、同期分離器２から供給されたフレームパル
スおよびラインパルスを基に、定められたフレーム毎に
ｎラインづつ移動しながらリフレッシュを行なうリフレ
ッシュ制御信号を発生する。リフレッシュ回路３で発生
されたリフレッシュ制御信号は、制御回路４、スイッチ
１１、符号変換器１２および符号変換器１３に供給され
る。＄ＩＪ　！１１回路４は、線４００を介して供給さ
れる静止画信号が、静止画の符号化を指示しているとき
に、書込み信号を１フレ一ム時間に渡って発生し、線４
１を介してフレームメモリー１に供給する。また制御回
路４は、線４００を介して供給される静止画信号が、静
止画の符号化を指示しているときには、静止画の符号化
を実行するための制御信号を発生し、線４５０を介して
スイッチ５、フレームメモリー１０、符号変換器１２お
よび符号変換器１３に供給する。さらに制御回路４は、
線４００を介して供給された静止画信号が、静止画の符
号化を指示していて、リフレッシュ回路３から供給され
たリフレッシュ制御信号が、リフレッシュ以外のライン
であることを示しているときに、量子化を停止し無効デ
ータとする停止信号を量子化器７に供給する。

スイッチ５は、制御回路４から線４５０を介して供給さ
れた制御信号が、動画像の符号化を示しているときには
、線１００を介して供給された入力の動画像信号を選択
し、制御信号が静止画の符号化を示しているときには、
フレームメモリー１の出力を選択する。スイッチ５の出
力信号は、減算器６に供給される。減算器６は、スイッ
チ５から供給された信号と、スイッチ１１から供給され
る予測信号との減算を行ない子側誤差信号を得る。

減算器６の出力信号は、量子化器７に供給される。

量子化器７は、制御回路４から供給された停止信号が停
止を示しているときには、量子化を停止し、無効データ
を出力する。停止信号が停止でないことを示していると
きには、減算器６から供給された予測誤差信号を量子化
する。

すなわち、静止画の符号化を実行中で、フレーム内符号
化を行なう領域は通常の量子化を行ない、フレーム間符
号化を行なう領域はデーターをフレーム間で無効とする
ことにより、そのフレームの符号化により発生する情報
量は、フレーム内符号化を行なったリフレッシュライン
のみとなる。このように静止画の符号化を実行している
ときには、少しづつ徐々に符号化することにより過大な
情報の発生を抑える。量子化器７の出力信号は、加算器
８、符号変換器１２および符号変換器１３に供給される
。加算器８は、量子化器７から供給された量子化が施さ
れた予測誤差信号と、スイッチ１〕から供給される予測
信号とを加算し、局部復号信号を得る。加算器８で得ら
れた局部復号信号は、フレーム内予測器９およびフレー
ムメモリー１０に供給される。フレーム内子ａＦＪ器９
は、加算器８から供給された局部復号信号のうちの、今
から符号化を行なう画素の近傍の画素、例えば前画素あ
るいは前ラインなどの画素の値を用いてフレーム内予測
信号を生成し、スイッチ１１に供給する。

フレームメモリー１０は、制御回路４から供給された制
御信号が動画像の符号化を示しているときには、加算器
８から供給された局部復号信号を１フレ一ム時間遅延し
、フレーム間予ｎ１信号を得るが、制御信号が静止画の
符号化を示しているときには、加算器８から供給された
局部復号信号の書込みを停止し、前フレームの信号を保
持する。フレームメモリー１０の出力のフレーム間予測
信号は、スイッチ１１に供給される。スイッチ１１は、
リッツシュ回路３から供給されたリフレッシュ制御信号
がリフレッシュラインであることを示しているときには
、フレーム内予測器９の出力を選択し、リフレッシュ制
御信号がリフレッシュライン以外のラインであることを
示しているときには、フレームメモリー１０の出力を選
択する。スイッチ１１の出力の予測信号は、減算器６お
よび加算器８に供給される。

符号変換器１２は、制御回路４から供給された制御信号
が、動画像の符号化を示しているときには、量子化器７
から供給された量子化が施された予測誤差信号を、ハフ
マン符号などの能率の良い符号を用いて符号変換する。

制御信号が静止画の符号化を示しているときには、符号
変換を停止し、データーが無効であることを示す符号を
出力する。

また符号変換器１２は、リフレッシュ回路３から供給さ
れたリフレッシュ制御信号によりリフレッシュ用の符号
化と、フレーム開用の符号化の切替を行なう。符号変換
された信号は、回線の速度との整合が取られ符号変換器
１２の出力となる。符号変換器１２の出力信号は、高速
回線を介して動画像復号化装置に供給される。符号変換
器１３は、制御回路４から供給された制御信号が静止画
の符号化を示しているときには、量子化器７から供給さ
れた量子化が施された予測誤差信号を、ハフマン符号な
どの能率の良い符号を用いて符号変換する。制御信号が
、動画像の符号化を示しているときには、データーが無
効であることを示す符号を出力する。また、符号変換器
１２と同様に符号の切替も行なう。符号変換された信号
は、回線の速度との整合が取られ符号変換器１３の出力
となる。

符号変換器１３の出力信号は、低速回線を介して静止画
像復号化装置に供給される。

つぎに、第７図を参照しながら静止画像復号化装置につ
いて説明する。

動画像符号化装置のリフレッシュモードで符号化された
静止画は、静止画用の低速回線から線２００を介して符
号逆変換器２０に供給される。符号逆変換器２０は、回
線の速度と復号の速度の整合をとりながら逆符号変換を
行ない、フレーム内符号化でリフレッシュされた領域が
逆符号変換されたときには、線２０２１を介してフレー
ム内復号器２１に供給し、フレーム間予測で符号化され
た領域を逆符号変換したときには、線２ｏ２２を介して
加算器２２に供給する。また、符号逆変換器２０は、符
号からフレーム内符号化が行なわれていた信号か、フレ
ーム間符号化が行なわれていた信号かを検出し、フレー
ム内復号器２１とフレ−ム間複合器２５との選択を行な
う切替信号を線２０２４を介してスイッチ２４に供給す
る。フレーム内復号器２１は、今から復号化する画素の
近傍の復号化済の画素、例えば前画素あるいは前ライン
などの値を予り１信号としてフレーム内復号化を行ない
スイッチ２４に供給する。このときの予ＡＩ＋関数は、
送信側と同じ物を用いる。加算器２２は、線２０２２を
介して供給された逆符号変換されたフレーム間の信号と
、フレームメモリー２３から供給されるフレーム間予測
信号とを加算し、フレーム間復号信号を得る。このとき
符号逆変換器２０から供給された信号は、符号化のとき
フレーム間で無効データーとして符号化されているので
、フレームメモリー２３から供給されるフレーム間予測
信号がそのまま加算器２２の出力となる。

加算器２２の出力のフレーム間復号信号はスイ・ソチ２
４に供給される。スイッチ２４は、線２０２４を介して
供給された切替信号に従って、フレーム内復号器２１、
あるいは加算器２２の出力を選択する。スイッチ２４の
出力信号は、フレームメモリー２３に供給されると共に
線２４０を介して出力され、静止画像復号化装置の出力
になる。フレームメモリー２３は、スイッチ２４から供
給された信号を１フレ一ム時間遅延し、フレーム間予ｆ
ｌｌｌＪ信号として加算器２２に供給する。

一方、動画像復号化装置の場合は、動画像符号化装置と
同じ予測関数を持った通常の動画像復号化装置でよい。

一第２の実施例− つぎに第２の実施例について第６図を参照して説明する
。

静止画の符号化が指示されている場合であっても、動画
像符号化装置はあたかもフレームメモリー１から出力さ
れる信号を動画像と見なし、通常のフレーム間符号化動
作を続行することができる。

すなわち、この場合には、リフレッシュされるラインに
ついてはフレーム内符号化が、他のラインについてはフ
レーム間符号化が適用され、同一の予７１！１誤差信号
が符号変換器１２．１３に同時に供給される。符号変換
器１２は通常の動画像符号化時と同一の動作を行なう。

符号変換器１３は通常の静止画像符号化時の動作を行な
う。また、制御回路４から線４５０を介して供給される
静止画の符号化を行なうための制御信号の如何にかかわ
らず、フレームメモリー１０への書込みは常に実行すれ
ばよい。

このようにすると静止画の伝送を終了した時点では、フ
レームメモリー１０．２３の内容は、いずれもフレーム
メモリー１から供給された静止画像となる。また動画像
復号化装置内のフレーム間復号化ループのフレームメモ
リーの内容もフレームメモリー１の内容と同じとなる。

−第３の実施例− さらに、！８３図の実施例について説明する。

以上の説明においてはフレーム内符号化として予測方式
について記述したが、本実施例は直交変換などの変換符
号化を用いるものである。

第８図に示すように、直交変換器３１によりフレーム間
予測誤差を変換し、その結果得られる変換係数を量子化
器３２により量子化し、符号変換器１２．１３へ供給す
ると同時に、逆直交変換器３３にも供給する。逆直交変
換器３３は直交変換器３１における直交変換に対する逆
変換を実行する。スイッチ３６の切替は、フレーム内符
号化の時にはグラウンド側が選択され、フレーム間符号
化の時にはグランド側が選択され、フレーム間符号化の
時には、フレームメモリー３５の出力が選択される。

（発明の効果） 以上に詳しく説明したように、本発明の画像符号化装置
を用いれば、動画像の復号化装置と静止画像の復号化装
置との間で同時にマルチポイントの通信ができるように
なり、従来静止画通信局は、静止画通信局と、動画通信
局は、動画通信局と、それぞれの閉領域において行なわ
れ通信の枠を大幅に拡大することができる。

このように本願発明を実用に供するとその効果は極めて
大きい。

【図面の簡単な説明】

第１図は本発明に係る動画像復号化装置と静止画像復号
装置との間でマルチポイントの通信を行う動画像符号化
装置との接続関係を示す概念図、第２図（ａ）、（ｂ）
、（ｃ）は本発明に係る動画像の符号化におけるリフレ
ッシュを示す概念図、 第３図は本発明に係る動画像符号化装置により静止画像
の符号化を行う場合の概念図、第４図は本発明の動画像
符号化装置のブロック図、 第５図は受信側の静止画像復号化装置のブロック図、 第６図は本発明の第１の実施例に係る符号化装置のブロ
ック図、 第７図は第６図の第１の実施例に係る受信側の静止画像
復号化装置のブロック図、 第８図は本発明の第３の実施例に係る直交変換等の変換
符号化を用いる場合のブロック図である。 １・・・フレームメモリー　２・・・同期分離器、３・
・・リフレッシュ回路、４・・・制御回路、５，１１．
２４．３６・・・スイッチ、６，３０・・・減算器、７
，３２・・・量子化器、８，２２．３４・・・加算器、
９・・・フレーム内子Δｐ１器、１０，２３．３５・・
・フレームメモリー　１２．１３・・・符号変換器、２
０・・・符号逆変換器、２１・・・フレーム内復号器、
３１・・・直交変換器、３３・・・逆直交変換器。

Claims (1)

1. 【特許請求の範囲】 １）画面内の相関と画面間の相関を用いる画像符号化装
   置において、 入力の画像を１画面蓄える手段（１）と、入力画像と前
   記画面を蓄える手段（１）からの出力信号のいずれかを
   選択する第一の選択手段（５）と、該第一の選択手段（
   ５）の出力と第三の予測信号を用いて冗長度を低減した
   信号を得る手段（６）と、画面間の相関を用いたときの
   前記冗長度を低減した信号を第三の指示によって予め定
   められた値とすることができる前記冗長度を低減した信
   号を量子化する手段（７）と、前記第三の予測信号と前
   記量子化手段（７）の出力を用いて局部復合信号を得る
   手段（８）と、前記局部復合信号から画面内の相関を用
   いた第一の予測信号を発生する第一の予測器（９）と、
   画面間の相関を用いて第二の予測信号を発生し、第二の
   指示によって該第二の予測信号を蓄えておくことのでき
   る第二の予測器（１０）と、前記第一の予測信号と前記
   第二の予測信号を、第一の指示によって選択し前記第三
   の予測信号を発生する第二の選択手段（１１）と、前記
   量子化手段（７）の出力を符号変換し、前記第二の指示
   によって入力の如何にかかわらず無効として符号変換を
   することのできる第一の符号変換手段（１２）と、前記
   量子化手段（７）の出力を符号変換し、前記第二の指示
   によって画面間の相関を用いた結果予測誤差が全て無効
   として符号変換をすることのできる第二の符号変換手段
   （１３）と、前記第一の指示を行なう第一の制御手段（
   ３）と、前記量子化手段（７）、前記第二の予測器（１
   ０）、前記第一の符号変換手段（１２）、および前記第
   二の符号変換手段（１３）に前記第二の指示を与え、前
   記量子化手段（７）に第三の指示を与える第二の制御手
   段（４）とを具備することを特徴とする画像符号化装置
   。