JPH029281A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （１）発明の属する技術分野 本発明は、（云送路エラーに強い画像符号化を採用した
画像符号化装置に関ずろものである。

（２）従来の技術 ディジクル伝送方式で動画像符号化データを伝送する場
合、伝送路内で符号誤りが発生することがある。フレー
１、開蓋分信号を符号化する映像符号化方式を適用する
と、伝送時の符号誤りが発生した場合には、受信側のフ
レームメモリの内容が送信０１）１のそれと一致・Ｕず
、それ以降の復号信号には符号誤りが継続して発生ずる
ことになる。この２１吋誤りを回復する手段としては、
送信側から一定周期でフレーム内符号化信号を送信する
方法（周１す］的リフレッシュ）や、受信側での符号誤
り検出によりリフレノツユ要求信号を送信側に送出し、
これに基づいて送信側からフレーム内符号化信号を送出
する方法（デマンドリフレッシュ）が用いられる。

従来のリフレッシュ方式を適用した場合には符号誤りを
検出した受（Ｓ側では２画像の再生時に前フレームで現
フレームを直き換えざるを得ない。

さらに、送信側と受信側とのフレームメモリの内容の不
一致を回復するまで、すなわち１次のり７１７７７１時
までの一定時１；）１か、デマンドリフレノン−Ｌ信′
・月ごよる）Ｉ借倒からのフレーノ、内信号受信口冒Ｅ
での長時間にわたって、正しく再ｊ１−されないことに
４（ろ。

デマン［リフレッシュ法においては、誤り発生時には１
画面分のフレーム内７丁号化１）’ｌ　＋＋３を伝送す
る必要があり、伝送すべき悄ｔｌ１ｍが増大する。また
、■フレーム内をいくつかの領域に分割し、それぞれの
領域内で符号誤り検出を受信側で行うことにより、符号
−１′１り回復のためのフレーム内符号化１１１号を伝
送すべき領域を小さく限定し、効率的にリフレッシュを
行いりフレノソユに要する１１．’ｉ　間を短縮ずろこ
とが可能であるが、映件の歪は符号≦１“（りが発生し
た領域にｉＩｓ中することになる。さらに、ブ１１／り
１１′Ｌ位を符号化の対象とし７．動き補（貫に３１、
り高能率化を行う動画像符号化万代では２ある領域で符
号誤りが発’−ＩＥ　したあと、他の領域での動き補償
予測が当該領域の一部データを含む形で行われた場合に
は、この動き補償子／ｌ１ｌｌには符号２１“１りを含
む可能性があり、復号誤りが他の領域に伝ししてしまう
という問題がある。

このように、フレーム間差分信号を符号化することを基
本とした高能率動画像符号化方式においては、従来の符
号誤り回復法は、大きな問題点をイｊしていた。

（３）発明の目的 本発明は、フし・−ム間符号化を基本とする高能率動画
像符号化方式における。上記従来技術の欠点に鑑み、伝
送路での符号誤りにより生じる伝送さ（ｔた映像の歪を
抑圧するとともに、誤り発生時に伝送する必要のある情
報を少なくすることを目的とする。

（４）発明の構成 （４−１）発明の特徴と従来の技術との差異本発明は１
画像の１フレームを画素の配置位置により複数のブロッ
クに分別し、それぞれのブロックで符号化を行い、受信
側でブロック毎に符号、Ｘ呉りを検出することにより、
符号誤り発生時の送信／受信側のフレートメモリの内容
−敗のために必要なフレーノ、内７′Ｔ号−化デークの
■を削減すること、および映像歪の発生箇所を分ｌｉ＆
　シ、　さらに映像の歪が発生している間は、誤り発生
画素を近接画素により補間することで映像歪をイ１（滅
することが可能であることを主要な特徴としており、１
フレーム単（−シのリフレッシュにより符号３シ（り回
復を行う従来技術とは大きく異なる。

（４−２）実施例 以下に、ブＩ′Ｊツクの数を４とした場合の例を示す。

第１図および第２図は、それぞれ本発明の送信部および
受（１１部の実施例の構成を示ずブ「Ｉツク図である。

ＴＩは画像入力Ｇ：ｈｉ子、′ｒ２はＡＤ変換回路、Ｔ
３は同１υ１（３号分離回路、Ｔ４は画＞Ｈ配置変換回
路５Ｔ　５は減算回路、′ｌ”６はスイッチ回路、′ｒ
７は加算回路、ＴＯ，Ｔ９は切換スイッチ回路、Ｔ’ｌ
Ｏａ　−ｄはフレームメモリ、Ｔ１１は符Σ化回路ＴＩ
２は誤り検出符号付加回路、Ｔ１３はフレーム組立回路
、Ｔ１４は送信回路、Ｔ１５はデータ出力端子、Ｔ１６
はデータ入力端子、Ｔ１７はデマンドリフレッシュ受（
３回路、Ｔ１８は制御回路である。

また、Ｒ１はデータ入力端子、Ｒ２は受信回路Ｒ３はフ
レーム分離回路、Ｒ４は復号化回路、Ｒ５は加算回路、
Ｒ６はスイッチ回路、Ｒ７，Ｒ８は切換スイッチ回路、
Ｒ９ａ−ｄはフレームメモリ、ＲＩＯａ〜ｄは符号誤り
検出回路、Ｒ１１は画素配置逆変換回路、Ｒ１２は画素
補間回路、１１１３はＤＡ変換回路、Ｒ１４は画像出力
端子、Ｒ１５は制御回路、Ｒ１６はりフレーム組立回路
。

Ｒ１７は送信回路、Ｒ１８はデータ出力端子である。

第３図は画素配置変換の方法を説明する図、第４図は画
素補間の方法を説明する図である。第４図中、１は画素
補間対象画素、　　２．　３．　４は隣接画素、５は前
ライン画素群、６は現ライン画素群である。

第１図、第２しｌに示した送信部、受（３部は以下のよ
・）に・■リノ作する。

画（象人力・端子Ｔ１より入力される（１１号は、同期
ｔ、Ａ吋分離回：ｔｙ　ｒ　３ご水平及び垂直間朋信号
が分８１１されｌ、：後、ΔＤ変１ｆｉ回路Ｔ２におい
て、アナログ（，１号からデー′イジタル信Ｓシーに変
換される。このときり・ンプリングクロソクは同期信号
分用回路Ｔ３で分離された同ｉ’ＪＩ　ｉ３　”ＥにＬ
＋フクされる。またこの同量（ご号は、　ａｌｌ？卸凹
銘”ｚａに通知され１　ごれにより制御回路Ｔ１８は現
在処理中の信号のフレームを識別することができる。こ
のようにディジクル化された１すｉ（東信号は２画素配
置変換回路Ｔ４において、フレームメモの画素の配置が
変１桑される。阿素配置変）桑の方法を第３図に示す。

第３図の左側の図は、Ｉライン中の画素数が２Ｍ個でラ
イン故が２　Ｎ　１１１．１の１フレ一ム分の画面の画
素の配置を示す。この画素群を以下の方法により画素の
配置を変更ずろ。まず、第３図に示すようにラインを上
から順に１から番閃づけをし、変敗ｙで代表させ１ライ
ン」二の画素の番号も同作な番号づけで１変数Ｘで代表
させる。各画素を、格子点（ｘ、　　ｙ）で表現し、変
換前の座標系をＰ　（ｘ、　　ｙ）　、変換後の座標系
をＰ′（ｘ’、　　ｙ’）とすると、第３図に示した変
換は１次のようになる。

Ｐ　（ｘ、ｙ）　　ｌ　　　Ｐ′（ｍ、ｎ）　　：（ｘ
、ｙ）＝（２ｍ−１，２１１−１）のときｒ’（ｘ、ｙ
）　　　ｌ　　　　　　Ｐ′（Ｍ＋ｍ、ｎ）：（ｘ、ｙ
）−（２ｍ、２ｎ−１）　　のときＰ（ｘ、ｙ）　　ｌ
　　　Ｐ′（ｍ、Ｎ＋ｎ）：（ｘ、ｙ）＝（２ａ＋−１
，２ｎ）　　のときＰ（ｘ、ｙ）　　ｌ−ｉ′（Ｍ＋ｍ
、Ｎ＋ｎ）：（Ｘ、ｙ）・（２ｍ、２ｎ）　　　のとき
ただし１ｍ−１からＭまでの整数、ｎ−１からＮまでの
！ｉ！数 このような画素配置変換により構成されたブロックを第
３図の右側に示す。これらのブロックはそれぞれＭＸＮ
個の格子点から構成される。

このように生成されたブロック別の映像データは１画素
配置変換回路Ｔ４でブロックごとに時系列で次々に送り
出され、その送出タイミングは制御０１回路］゛Ｉ８に
通知される。制ｆｆｆＤ回路Ｔｉ１ｌはＩ、ｌＪ喚スイ
ッチ回路Ｔ８．Ｔ９を切り換えて、ブロック別に対応さ
せたフレームメモリボ１０　ａ−ｄを選１尺する。例え
ば、フ゛ロック１をフレームメモＪ　ｉ″ｌｏａに対応
さ−Ｕているとすれば、ブロックｌの信号の処理中は１
　ごのフレームメモリがｉＢ　１尺される。フレームメ
モリ゛ＦＩＯａには、前フレーＪ、の該当するブロック
の画像信号データが格納されて衿り、ブＩ′Ｊツク別に
Ｔ４より転送される画像信号は、城邊回路Ｔ５において
８該当するブＵ　７りの萌フレー１．ア′−りとの差分
信号が計３り：される。

但し、スイッチ凹；１δＴ６は通常導通状態である。

このようにして得られた差分信号は、加算回路′Ｆ７に
おいて、前フレーＪ、の画像信号と加算され’Ｆ＋’ｊ
　ＮｉずろブＩＩツクのフレ−ムメモリに格納される。

また、成算回路Ｔ　５でｉｌｌられな差分信号は、符号
出回ｕＦｒ　Ｔ１１で符号化され、さらに誤り検出符号
付加回路′「１２でブロック（１１位でＣ４り検出符号
が付加され、フレー１、■１１部路１’　ｌ　３に転送
される。

ブＩＩＩツク１に引き続いて１次のブロックが回路Ｔ４
より転送され、同様の動作が次々に繰返される。

フレーム組立回路ＴＩ３では、１フレ一ム分のブロック
を転送されるのを待って、プロ、り別の誤り検出符号と
ともに伝送フレームを構成する。

このようにしてｉ：ｔられた信号は送信回路′１“１４
に転ｊ１され、データ出力端子′「１５を通して受信側
に伝送される。データ入力端子Ｔ１６から、デ゛？ンド
リフレッシュ信−号を受信した場合には、デマンドリフ
レノンユ受信回路ＴＩ７に対してブロック番号が通知さ
れ、さらに当該情報は制御回路Ｔ１８に通知される。こ
の１ｆｆｌ知を受けた制御回路Ｔ１８は、スイッチ回路
Ｔ６を切り離し、符号化上ドがフレーム内符号化になる
様に制御する。

データ入力端子ＲＩから得られた４８号は、受イ、ζＩ
Ｉ＋１１′Ｉ′８Ｒ２で受信される。この受信信号は、
フレーム分子ｉ１１回路Ｒ３でブロック別に分離され２
次々に復号化回路Ｒ４に転送される。このとき、転送中
のブロック番号４１’？報は、制ｔａ１１回路Ｒ１５に
通知される。制御回路ＲＩ５は、このブロック番号情報
により、切換スイッチ回路Ｒ７およびＲ８を制御し２　
フ′ロック）川にあらかしめ古り当てられていたフレー
ムメ［りのうらブロック番号に対応するものをぶＩＲす
る。少壮化回路Ｒ４では、ブしｌツク単位に復号を行う
。

ここでは、ゾｌ：ｌ　、、り１が処理されているものと
し、フレーｊ、メ七りＲ９ａがごの）゛じ１フクに欠４
応し′Ｃいろものとして説明する。Ｒ４での復号化の結
果得られた信４ノは、加３？１回路Ｒ５で、フレー１゜
メ七りＲ９；ｒにｄｉえられた前フレームにおける該当
ゾロツクの信号が加３γされ３画素配置逆変換回路Ｒ１
１に送られる。ここで、スイソーｙ−回路Ｒ６ｉ；１．
１ｌｌｉ當Ｊ７３　Ｘｉ！Ｉ状（声であるが、送信側か
らのフレーム内質−じ化信号を受信したことを復号北回
＆Ａ　Ｉ？　４から通知されたときは、　１ｊＪｉ状態
になる。

ブ１」ツク１に引き続いて１次のブロックが次々に回路
Ｒ３より転送されて、同１策に処理が行°われる。この
ようにして得られたブロックＩＩｉ位の復号化信号は１
画素配置逆変換回路Ｒ１１において送信側の画素配置変
換回路Ｔ　４に１３いて説明した変換とは逆の変換を行
う。すなわち、第３図の右図の様な配置にあった画素群
を左図の様な配置に変換する。

また、フレームメモリＲ９ａ−ｄはそれぞれ７Ｔ号３１
′ｌり検出回路ＲＩＯａ−ｄを伴っており、ここで検出
されたブロック毎の符号誤りは、そのブロックｌ五号情
報とともに制ｊ１１回路Ｒ１５に通知される。この通知
を受けた制御回路Ｒ１５は、リフレッシュ要求回路Ｒ１
（＋に通知し、ブロック番号を（Ｉ′つたりフレッシュ
要求信号は送信回路Ｒ１７から、データ出力端子ｒ２１
Ｂを通して送信側に伝送される。画素配置逆変換回路Ｒ
１１より得られたｌフレーム単位の画像信号は２画素ｔ
ｉｌｉ間回路Ｒ１２において９画素の補間処理がなされ
る。すなわら、符号誤りが発生しているブロック番号情
報をｉｔ；ＩＩ　１２１１回路Ｒ１５から通知されてい
るブロックに対応する画素については５隣接画素で補間
する。１１（１間方法については、第４図に一例を示す
。補間対象画素１は、その画素を含む現ライン画素群６
のうらの画素４と前ライン画素群５のうちの画素２およ
び３の加重平均によって補間される。この補間処理は、
当該ブＬＪ７りの符号誤りが回復されるまで行われる。

符号誤りが発生していないブｕ　７りについ°ζば９画
素補間は行わない。この様にして補間処理を施された画
像（３号は、ＤＡ変換回路［ン１３でディジタル（３５
コ−からアナＬＩグ信号に夏模され１画像出力Ｏ：１；
子Ｒｌ　４に出力される。

なお１−に記説明では１画素配置変換回路Ｔ　４および
画素配置逆変換回路Ｒ１１での画素配置変（桑は４つの
ブロックに分離する方法をｊホべたが１分離するゾ［］
７り故は、４以外の任意、の整数をとりＧ）ることは容
易に珀准できる。

さらに２第１図図示の送信部において、デマン］・リフ
レッシュ受（１シ回路′Ｆ１７でデマンドリフレノンユ
信号を受イ１）シた際、制御回路Ｔ１８でフレーム内符
号化にり」り換える制御を行わずｌ　Ｌｔりの発生した
ブ１、ｌツクの１ｉｊｉｉ素については、隣接する画素
で補間処理を行うようにし１そのような処理を施したフ
レー１、内符号化データであることを示す情報とともに
送信すれば、受（１１側ではフレーム間符号化のままで
復号を継続しながら符号誤りを回復することができる。

（５）発明の効果 以し°説明した通り９本発明によれば、フレーム間差分
信号を用いて高能率符号化されたリアルタイムの動画像
伝送において、伝送誤りの発４Ｉ：、が原因として発生
ずる映像歪をフレーム内に分散させ誤り回復に要する時
間を低減させ、さらに符号誤りの画素を周囲データで補
間するごとにより大幅に抑圧することができるという利
点がある。

さらに５ｖＪき補ａ１を行う符号化方式を適用した場合
においても２本発明によれば、　（２）従来の技術の項
で述べた符号誤りの伝搬の問題が解決される。

【図面の簡単な説明】

第１図は本発明の送イ３部の一実施例を説明する図、第
２図は本発明の受信部の一実施例を説明する回である。 第３図は画素配置変換の方法を説明する図、第４図は画
素補間の方法を説明する図である。 Ｔ　Ｉ　＝−両件入力’：ｌｊ　−’Ｉ’　−’Ｔ’　
２　・・ＡＤ　Ａ　ｌｉ回路、ｒｊ３・・・同朋信５Ｊ
分皿回路２　′ｒ４・・画素配置変Ｉ免回路。 ′１′５・・・残算回ｂｌｙ、］゛６・・スイッチ四ｈ
“訓Ｔ７・加１９回路、　　１”　８　、　　’Ｉ’　
９−・・切ＩＱ　スイｙ　’Ｊ−回路、’Ｔ’ｌＯ１］
〜ｄ・・・フレーＪ４メ七り、　　”Ｉ’　ｌ　１・・
・符υ化回路ｉ”　ｌ　２・・・誤り検出筒゛・シ付加
回ｉｌ′、％−１’　１３・・・フ゛レノ、Ａ、１１立
回路、　　ｉ−１４・・・送信同品、　　Ｔ　ｌ　５・
・・う″−タ出力端了−１ｉ”　ｌ　Ｇ・・・データ人
力０：１；子、’ｌ’　１７・・デマンドリフレノツユ
受信回路、Ｔ１８・・ｌｊｌ　’＋１１１回路Ｒｌ・・
データ人力端子、［ン２・・受信器１１′肌　１ン３）
Ｌ・−ノ、分１甜回路、１７４・・・復号化回路、１２
５加算回路、Ｒ（ｉ・・・ス・イノチ回ｉ１３．　　ｌ
’？　７　、　　Ｒ８・切（良スイｙ　’ｆ−凹ｉ？ｒ
　ｌ　　Ｒ’１　ａへ（１・・フレー１．！士り２１２
１　Ｏｎ　−ｄ　−７１７：ｊ　、：、”ｉり検出量＆
ｆｉ、　　ＲＩ　ｌ　・・画素配置斤逆変換回路、　　
ＲＩ２・・・画素補間回Ｙ！）、ＲＩ３・・Ｉ）へ変換
回路、ＲＩ４・・・画像出力Ｏ：１：了、Ｒ１５・制御
回路、Ｉ？Ｉ（ｉ・・・リフレノノミ要求回路、［ン１
７・・・送（３回路、ＲＩ８・・・データ出力端子、■
・・・画素補間対象画素、２，３．４・・補間に使用さ
れる隣１妾画素、５・・・…■ライン画素群、６・・・
現ライン画素群。 特許出願人　日本電信電話株式会社

Claims (2)

【特許請求の範囲】
1. （１）送信側は、入力画像信号の１フレーム内における
   画素の配置を所定の方法で組替えることにより複数のブ
   ロックに分解し、それぞれのブロックごとにフレーム間
   差分信号を所定のアルゴリズムによって符号化する手段
   と、ブロックごとの画像信号の符号誤りを受信側で検出
   するための符号を付加する手段と、受信側からの要求に
   基づいて、指定されたブロックに対応する信号をフレー
   ム内符号化で符号化する手段を有し、 受信側は、受信した画像データをブロックごとに所定の
   アルゴリズムによって復号し、複数のブロックから画素
   の配置を組替えることにより、画像信号を合成する手段
   と、受信画像データの符号誤りをブロックごとに検出し
   、符号誤りの発生したブロックを指定する情報とともに
   送信側に通知する手段と、受信符号誤りを検出したブロ
   ックに対応する画素について、隣接する画素により補間
   して出力する手段とを有することを特徴とする画像符号
   化装置。
2. （２）上記請求項（１）記載の受信側からの要求に基づ
   いて指定されたブロックを符号化する場合において、受
   信側の要求に基づいて、符号誤りが発生したブロックに
   対しては、送信側で隣接画素で補間した情報とのフレー
   ム間差分信号を符号化し、それを符号化情報とともに受
   信側に通知する手段と、受信側では隣接画素で補間した
   フレームとのフレーム間差分信号を復号化する手段を有
   することを特徴とする画像符号化装置。