JPH04505537A - ビデオ電話システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ビデオ電話システム ［産業上の利用分野］ 本発明の技術分野は、像処理に関し、特定すると差動運動検出方法およびデバイ スに関する。さらに特定すると、本発明は、音や像を標準の住宅用電話線を介し て実時間で伝送するためのビデオ電話機に関する。

［従来技術］ ビデオ会議が、１９６４年にニューヨーク世界博で最初に展示されたとき、新し い技術が電話をまもなく衰退させるであろうという公衆の期待が引き起こされた 。しかしながら、種々の技術的制約のため、ビデオ電話システムは、比較的小グ ループを除くすべてのものにとって、手が出ないほど高価となった。特に、伝送 されねばならない像データの量が、もっとも重要な問題をもたらした。何故なら ば、このようなデータは、既存の標準的住宅用電話回路の容量をはるかに越える からである。

研究者等は、この障害を２つの方法で克服しようとした。１つは、より高速のデ ータ伝送速度を可能にするためにデータ伝送に異なる媒体を使用することであり 、他は、像を表示するに必要なデータの量を圧縮すために像データ操作技術を使 用することであった０本発明は、主として、データ圧縮の後者の手法に関する。

ビデオ会議についての研究の多くは、光ファイバのような特別の高品質伝送線を 介してのデータ伝送に向けられた。このような伝送線は、標準の住宅用電話線の 少なくとも数倍のデータを伝送することができるものである０例えば、ある例に おいては、集積切換えディジタル回路網（ＩＳＤＮ）サービスが、標準の３　ｋ Ｈｚの電話線に代えて６４にビット／秒で実施されつつある。しかして、この電 話線は、採用される信号処理に依存して、よくても最高的２０にビット／秒間で 処理できるものであった。これらの特別のラインは、比較的高価であり、現在の ところ限定された領域でしか利用できない。

本発明の目的は、ビデオ電話を現用の銅を基準とする住宅用電話回路網ならびに その他の低帯域幅伝送媒体を介して使用できるようにする像データ圧縮法を提供 することである。

本発明の特定の目的は、標準の住宅用電話回路網に接続された使用者間でビデオ 会議を可能にするように、標準ビデオカメラおよびビデオ表示スクリーンまたは パーソナルコンピュータと使用できる廉価のビデオ電話を提供することである。

［発明の概要］ 本発明に従うと、公称３ｋＨｚの住居用電話線およびその他の低帯域幅チャンネ ルを介してのオーディオおよびビデオ像の完全デュプレックス実時間伝送のため 、低コストビデオ電話システムで使用するための差動動作検出デ−夕圧縮システ ムが提供される。

各ビデオ電話デバイスは、送信部分と受信部分より成る。簡単な「黒−白」の実 施例においては、送信部分は、像（例えば、標準ビデオカメラまたは電荷結合デ バイスすなわちＣＣＤのような代りの作像装置のいずれかからの）を、好ましく は黒および白ビクセルより成るグレイスケールが減ぜられた像に変換する。この 像は、ついで、先行の像データから誘導される同様に低減された像と比較され、 変化したビクセル位置を決定する。像フレーム間の変化を表わす情報が、ついで データをさらに圧縮するようにコード化され、ついで変調され、標準３ｋ）ｌｚ 電話線を介して伝送のため、オーディオ信号と多重化される。

他の実施例においては、カラー像が、カラービデオ信号を輝度成分とクロミナン ス成分とに分解し、ついで本発明に従い輝度値を処理することによって伝送でき る。

本明細書で使用される「グレイ−スケール像」成る用語は、単なる「黒−白」像 およびカラー像の輝度成分の両方を包含することが意図される。カラー像のクロ ミナンス値をコード化し伝送する技術、および輝度とクロミナンス情報からカラ ー像を再構成する技術については以下に説明する。

標準の住宅用電話線を介してビデオおよびオーディオ信号の伝送および受信を可 能にするため、コヒレント変調／復調を使用できる。コヒレント変調は、電話線 チャンネル、公称○乃至３ｋ）ｌｚ、内に信号帯域幅を位置づけるために信号の 周波数変換を生じさせる。コヒレント変調はまた、追って詳細に説明するように 、２つのアナログ信号を同時に電話線帯域幅上に多重化することを可能にするの に使用される。伝送されるオーディオおよびビデオ信号間のクロストークを減す るための技術、ならびにオーディオおよびビデオ信号の伝送のための代わりの周 波数分割多重化技術についても以下に記述する。

本発明の１側面においては、時間に関する像の動きの程度に依存して異なるデー タ圧縮技術が使用される適応解像度装置および方法が開示される。１つの例示の 実施例においては、３つの状態（迅速動作、中間動作および緩速動作）が規定さ れ、この状態規定に基づいて、異なるデータ処理段階が送信機において実施され る。

受信部分は、送信部分のデータ圧縮プロセスを逆にしたものである。到来信号は 、オーディオおよびビデオ部分を分離するように復調され、多重化を解かれ、像 部分はデコードされ、そして先行のフレームのグレイ−スケール低減像は相応に 更新される。更新像の表示に先だつち、像は、ビクセル値のブロックを重畳およ び平均化することによって、グレイ−スケールが減ぜられた状態からグレイ−ス ケールがより完全な像または再構成輝度信号に変換され得る。

クロミナンス情報もフード化されるとき、種々の伝送体系を採用できる６例えば 、輝度およびオーディオ情報を、黒−白の場合と同様に、ただし若干狭い帯域幅 にわたり（例えば第１のキャリヤ周波数ｆ１をもって０−２５００Ｈｚの帯域に わたり）コヒレントに変調することもできるし、■およびＱカラー成分を、第２ の帯域において（例えば第２のキャリヤ周波数ｆ２をもって２５００−３０００ 　Ｈｚにわたり）コヒレントに変調してもよい０代りに、輝度信号りおよびクロ ミナンス信号、例えばＸｒｅｄおよびＸｔ＋ｌｕ＊カラー信号を時間に関して多 重化することもできる。他の手法として、カラー信号を時間に関してサンプルし 、時間領域をオーディオチャンネル上で多重化することもできる。

本発明の像データ圧縮技術は、ビデオ電話およびビデオ会議システムに適用しえ るのみならず、グラフィック像蓄積デバイス、高精度テレビ（ＨＤＴＶ）　、ケ ーブルテレビ、ファクシミリマシンおよび磁気または光学ディスク上におけるコ ンピユータ化書類蓄積に適用できる。加えて、処理され得る像は、静的な黒−白 の性質のものから、錯綜する対象物の迅速に動く高解像度のカラー像に及ぶ。

本発明はまた、空気に依る、ラジオ伝送のような他の狭帯域媒体を介しての像伝 送にも適合し得る。加えて、本発明は、ビデオカメラの代りにコンピュータによ り生成されるテキスト　のグラフィック像を伝送するのにも適合し得る０本発明 のビデオ電話はまた、従来の電話にも匹敵し、通常の電話または他のオーディオ トランシーバとの通信が所望される場合、オーディオ信号のみを受信したり送信 したりすることができる。同様に、本発明のシステムは、従来形式のＴＶ左カメ ラより発生されるアナログ信号とのみならず、ＣＯＤや類似物のような作像装置 により生成される信号とも使用できる。これらの特徴面や、他の要素の追加や、 削減や、代替は、当技術に精通したものに明らかであろう。

本明細書を通じて、ビデオ電話システムは、約Ｏないし３ｋ）ｌｚの公称帯域を 有する電話線を介しての伝送に関して記述されていることに留意されたい、しか しながら、電話帯域は、実際にはこの範囲から若干ずれ、普通的３００）１ｚ乃 至約３．４　ｋ）Ｉｚの範囲で動作する。当技術に精通したものであれば、この 違いを容易に認め、ここに記述されるパラメータを使用における実際の条件に整 合するように容易に調節できよう。

［図面の簡単な説明］ 第１図は、本発明に従う黒白ビデオ電話システムの概略ブロック図である。

第２図は、本発明に従うカラービデオ電話システムの概略ブロック図である。

第３図は、第１図の送信機に使用するための像処理モジュールのより詳細な概略 線図である。

第４図は、本発明に従うグレイスケール低減ユニットにおいて有用な４×４ブロ ツクのビクセルに対する加振スレッショルド値の例示のマトリクスを示す線図で あ第５Ａ図は、先行のフレームにおける白ビクセル値に対するトグルお作用よび 像フリッカを減するためにグレイスケール低減ユニットにおける加振スレッショ ルド値を調節するためのヒステリシスプロセスを例示する線図である。

第５Ｂ図は先行のフレームにおける黒ビクセル値に対する同様なヒステリシス調 節を例示する線図である。

第６図は、第１図のシステムの送信機の変調およびおよび多重化要素と受信機の 復調および多重解除要素のより詳細な概略図である。

第７図は、第６図に示されるようなシステムにおけるビデオおよびオーディオ信 号間のクロストークを抑制するための装置を例示する概略線図である。

第８図は、本発明において使用するための代わりの変で有用な平均化プロセスを 例示する線図である。

第１Ｏ図は、適応解像度モジュールを採用するビデオ電話システムの概略ブロッ ク図である。

第１１Ａ図は、第１０図の適応装置における粗解像度に対する加振スレッショル ド値のマトリクスを例示する線図である。

第１１Ｂ図は、第１○図における適応システムにおける中間解像度に対する加振 スレッショルド値のマトリクスを例示する線図である。

第１１図Ｃ図は、第１０の適応システムにおける繊細解像度に対する加振動スレ ッショルド値のマトリクスを例示する線図である。

［実施例コ 第１図には、本発明に従うビデオ電話システム１ｏが示されているが、この電話 システムには、サンプリングユニット１４、像処理モジュール２０（グレイスケ ール低減ユニット１６、フレームメモリ１５および運動検出ユニット１８を含む ）、差像コード化ユニットＸ２２、任意的なエラー修正ユニット２４、像度調器 ２６、任意的なオーディオ変調器２８および多重化ミキサ３ｏを有する送信部１ ２が含まれる。システム１ｏはさらに受信部３０を備えるが、この受信部には、 多重解除および復調ユニット４２、任意的なオーディオ出力に対するスピーカー ４４、任意的なエラー検出機４６、像デコーダ４日、像更新ユニット（像メモリ ５２およびコンパレータ５４）、ビクセル平均化ユニット５６およびビデオ出力 に対する表示またはモニタドライバ５８が含まれる。

像データは、サンプリングおよびグレイスケール低減ユニット１４および１６に よりまず圧縮され、ついで運動検出ユニット１８において先に低減されたグレイ スケール像と比較されて、先行の像フレームからの変化を表わす像データを生ず る。最後の段階において、差像データは、コート化ユニット２２によりさらに圧 縮されて、像データが変調され、３ｋＨｚまたはその他の狭帯域幅チャンネルを 介して伝送され得るようになされる。

伝送された像データは、第１図に示される受信部により受信され、そして該受信 部が新しい像を再構成する。

受信部３８はまた、３レベルの圧縮解除（伸長）を行う、復調後、コード化像デ ータはでコード化ユニット４８により解読され、差像な提供する。しかして、こ の差像は、像更新ユニット５ｏにおいて使用され、先行の像フレームに指示され た変化を作る。最後に、像は平均化ユニット５６で平均化され、より大きな範囲 のグレイ陰影を生ずる。これは、ついでモニタ５８上に表示され得る。

第２図には、カラー情報を組み入れるための送信機１２Ａおよび受信機３８Ａを 備える代わりのシステム１０Ａが示されているが、この図は、第１図の要素に機 能上実質的に類似の要素には同じ参照符号が付されている。

システムＩＯＡは、カラー（例えば、ＮＴＳＣ）ビデオ信号をその輝度信号りお よび２つのクロミナンス成分工およびＱに分解するフィルタ１１を備えている。

輝度成分りは、第１図に示されるような、黒−白像の処理に実質的に同様に、モ ジュール２０、エンコーダ２４および変調器２６により処理できる。輝度データ は、ついで、ミキサ３０を介してオーディオデータと多重化され、帯域のある部 分を介して伝送でき（例えば約Ｏないし約２５００Ｈｚの範囲の周波数の公称周 波数帯域）、他方クロミナンスデータは、帯域の第２の部分（約２５００ないし 約３０００の公称周波数帯域）を介して伝送される。工およびＱクロミナンス値 は、変調器１３により変調され、ミクサ１７内で混合され得る。輝度／オーディ オおよびクロミナンスデータは、伝送のためミクサ１９を介して多重化され得る 。

第２図の受信機３８Ａにおいて、輝度およびクロミナンス値（ならびにオーディ オ信号（もしあれば））は、ユニット４２により多重解除され、復調され、そし て輝度データは、デコードユニット４８によりデコードされ、差像を生ずる。差 像は、ついで、像を更新するため更新ユニット５０において使用される。輝度値 は１、やはり、第１図のプロセスに類似のやり方で平均化され、広い範囲のグレ イ値を生ずることができる。しかして、このグレイ値は、クロミナンス値ととも にディスプレイドライバ５８に入力され、カラービデオ出力を生ずる。

再度第１図を参照して、像処理モジュール２ｏについてより詳細に説明する。第 １のデータ圧縮レベルにおいて、グレイスケール低減ユニット１６は、各ビクセ ルに対してグレイレベルの数を減することによって、像を変換する。得られた像 は、ある距離から人間の目で観察されるとき、原像に著しく類似する様相を有す るが、これはより少ない数ビットの情報しか必要としない、好ましい実施例にお いて、この変換は、２５６のグレイ陰影を有する像を２陰影、すなわち黒および 白に減することを必要とする。これは、像を表わすに必要なデータに８倍の低減 をもたらす。何故ならば、各ビクセルは、８ビツトのグレイスケール表示を有す るものから１ビツト表示を有するのに変換されるからである。

圧縮された像データを人間の目にとって種々のグレイ陰影として出現させるため に、加振（ディザ−）比較が採用される。好ましい実施例において、各ビクセル のグレイ値は、そのビクセル位置に関して変わるスレッショルド値に比較される 。スレッショルドより大きい、すなわち陰影が薄いグレイ値に対しては、ビクセ ル値は１となり、そしてこれは純粋の白を表わす。スレッショルドより小さいグ レイ値に対しては、変換されたビクセルセルは０、すなわち純粋の黒となる。

異なるビクセル値は、黒および白ビクセルの比例的組合せを提供するように選択 された異なるスレッショルド値を有し、それによりある領域ないしブロックのビ クセルがある距離から観察されるとき、像が所望のグレイ陰影として見えるよう になされる８選択されたスレッショルド値は、薄いグレイ陰影に対して主として 白いビクセルを生じ、より暗いグレイ陰影に対して単位領域当り段々より黒いと クセルを生ずる０本発明においては、技術において周知の種々の加振方法が採用 され得る。加振法についての他の背景資料については、例えば、ＴＥＥＥＴｒａ ｎｓａｃｔｉｏｎ　ｏｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、　ｐｐ、４６Ｂ−４ ７０（１９８７）の０ｃｈｉ等のｒ　Ａ　Ｎｅｗ　Ｈａｌｆｔｏｎｅ　Ｒｅｐｏ ｄｕｃｔｉｏｎ　ａｎｄ　Ｔｒａｎｓ−ｍｉｓｓｉｏｎ　Ｍｅｔｈｏｄ　Ｌｌｓ ｉｎｇ　５ｔａｎｄａｒｄ　Ｂｌａｃｋ　＆　ＷｈｉｔｅＦａｃｓｉｍｉｌｅ　 ＣｏｄｅＪなる論文を参照されたい。

第２のレベルのデータ圧縮においては、圧縮または加振偉は、ついで、運動検出 ユニット１８において、像メモリユニットに記憶される、先行の像フレームから の圧縮像に比較される。運動検出ユニット１８は、２つの像フレーム間において どのビクセルが変化せしめられたかを検出し、ビクセル位置を記録する。１つの 例示の実施例において、変化のないビクセル値は０の値を有し、変化したもの、 すなわち白から黒へまたは黒から白へ変化したものは、１の値を有する。新たに 圧縮された像は、ついで、次の像フレームと比較のため像メモリに記憶される。

第３のデータ圧縮レベルにおいて、差像が、差像コード化ユニット２２でコード 化され、伝送前にデータをさらに圧縮する。好ましい実施例において、走行長コ ード化が使用されるが、この方法については多くのバージョンが技術上周知であ る０通常の動作においては、像はフレームごとに余り変化しすぎず、差像に長い ０ビツト列を残す、走行長コード化は、種々の長さくすなわち走行）の連続する ０または１をコードワードとして表わす０例えば１実施例において、最短のコー ドワードは、連続する０または１の長い列が存在する場合データを表わすに必要 とされるビット数を有効に圧縮するように、もっとも起こりそうな走行に割り当 てることができる。

コード化方式の詳しい説明については、例えば、ＩＥＥＥ　Ｔｒａｎｓａｃｔｉ ｏｎｓ　ｏｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ｐｐ、　６７１−６７７（＋９ ８７）のＧｈａｒａｖｉなる論文の　ｒ　Ｃｏｎｄｉｔｉｏｎａｌ　ＲｕｎＲｕ ｎ−１ｅｎ　ａｎｄＶａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ　ｏｆ　Ｄ ｉｇｉｔａｌ　Ｐｉｃｔｕｒｅｓ　Ｊ参照。

このとき、コード化差像データが、狭帯域幅チャンネル、特に３ｋＨｚ電話線を 介して伝送のための用意が整う。

しかしながら、エラー修正に向けられるような追加の任意的コード化技術を伝送 前に行なうことができる。これについては後述する。

第１図に示される受信部３８（または第２図に示される類似の受信部３８Ａ）は 、送信機において記述されたような３レベルのデータ圧縮をほぼ逆転し、反対の 順序でこれをデコードする。第１のデータ圧縮解除レベルにおいて、コード化差 像データは、差像コード化ユニット２２において使用されたのと逆のプロセスを 使用して、デコードユニット４８においてデコードされる。好ましい実施例にお いて、このデコードプロセスは、選択された走行超コード化方式を逆にしたもの となろう。

第２のデータ圧縮解除レベルにおいて、像メモリユニット５２に記憶される先行 の像フレームは、像更新ユニットにおける差像データにより更新される。好まし 実施例において１で表わされる、変更が起こったビクセル位置に対して、対応す るビクセル位置のビクセル値が変化せしめられる。これにより、黒ビクセルセル は白に、またはその逆に切り換えられる。差像値が０であるビクセル位置に対し ては、対応するビクセル位置のビクセル値が無変更で残る。

第３のデータ圧縮解除レベルにおいて、更新された圧縮または加振化像は、像平 均化ユニットにおいて複数のグレイスケールを有するその原像に一部復旧される 。各ビクセル位置の値は、予め規定された領域内の全位置のビクセル値を平均化 することよって計算される。

３レベルのデータ圧縮およびデータ圧縮解除に加えて、本発明は、第１図の点線 に示されるようなエラーコード発生器２４およびエラー検出器４６を備えること ができる。この応用は、雑音の多い伝送線に使用するに望ましい。１つの一般に 使用されるエラー修正技術は、フォワードエラー修正（ＦＥＣ）であるが、この 技術にあっては、データの冗長ビットが特定の態様でデータ列に加えられ、受信 部のＦＥＣデコーダが雑音に起因するエラーについてチェックできるようになさ れる。ＦＥＣシステムの詳しい説明については、例えば、Ｆｕｎｄａｍｅｎｔａ ｌｓ　ａｎｄＡｐｐｌｉｃａｔｉｏｎ　（Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、　Ｅｎ ｇｌｅｗｏｏｄ　Ｃ１１ｆｆｓ、　ＮＪ１９８３１のＳ、　Ｌｉｎおよびり、　 Ｃｏ５ｔｅｌｌｏのｒ　Ｅｒｒｏｒ　Ｃｏｎｔｒｏｌ　Ｃ。

ｄｉｎｇＪと題する論文参照。

ＦＥＣ法は好ましい技術であるが、他のエラー修正技術も採用できる。例えば、 ジヨイント変調−コード化方式を、２４および２６を単一のユニットに結合する のに使用できよう。受信部３８では、４２および４６を結合する対応する変調− デコートユニットを使用できよう、この技術に対する可能な選択は、うまく利用 された周波数変調、連続位相変調および格子　（ｔｒｅｌｌｉｓ）−コード変調 である。他の選択は、当技術に精通したものには明らかである。これらの技術は 、信号の帯域幅を増すことなく雑音の低減をもたらすが、一層の複雑性を要する 。

第１図および第２図に示されるような本発明の他の任意的要素は、オーディオお よびビデオの同時伝送のためオーディオ信号を被変調像信号と多重化するための オーディオ２８およびミキサ３ｏである。オーディオ変調器およびミキサが使用 されるとき、受信部３８は、類似の復調および多重解除ユニット４２により信号 のオーディオおよびビデオ部分を分離する。この組合せは、特にビデオ会議に非 常に望ましい特徴であると想像されるが、必須要素ではない、ある応用に対して は、このオーディオ部分は余分であり、望ましくない場合がある。

第３図は、第１図および第２図の像処理モジュール２０（グレイスケール低減ユ ニット１６、フレームメモリユニット１５および運動検出ユニット１８）を詳細 に示すものである。詳述すると、第３図は、マルチプルグレイスケール像を黒お よび白ビクセルより成るハーフトーン像に変換するためのヒステリシス−加振ス レッショルドプロセスを含む実施例である。ハーフトーン像は、ついで、先行の 像フレームからのハーフトーンと比較されて、差像を生じさせ、そしてこれが、 第３の圧縮段階において像コード化ユニットにより処理される。

第３図に示されるように、像処理モジュール２０は、アナログコンパレータ８０ ．整理されたディザ−スレッショルドテーブル８２、フレームメモリ１５、イン バータ８４、加算器８６、加算器８８、ディジタル−アナログコンバータ９０、 および排他的ＯＲゲート９２を備える。

第３図の像処理モジュール２０に対する入力は、像をＮＴＳＣまたは類似の形式 （ＰＡＬまたはＳＥＣＡＭ　）へ変換する標準ビデオカメラから誘導され得る輝 度値である。カメラからの像を表わすアナログ信号は、ついで、クランプおよび サンプル回路に通され、そして該回路は低減されたアナログ像を提供する。この 像は、単位秒当りｌＯフレームの速度で１２８ＸＩ２８のビクセルの像スクリー ンを表わすアナログ信号である。これは、各縁当り１２８回かつ各４本の線から １度ＮＴＳＣ信号をサンプルすることによって遂行される。アナログ信号からの サンプルされたビクセル値は、純粋の黒（０）ないし純粋の白（２５５）の２５ ６のグレイ陰影より成る８ビツトグレイスケールを表わす実数である。

これは好ましい実施例であるが、像サイズは任意のＮＸＫのマトリックスのビク セルとし得、フレーム割合は変えることができ、任意のグレイレベル数を使用で きることを理解されたい。このような代替手法は当技術に精通したものには明ら かであろう。しかしながら、解像度が増大される場合、３ｋ）Ｉｚ電話線を介し ての実時間像の有効な伝送を可能にするように像データを十分に圧縮させるため 、フレーム速度は、一般には低減されるべきであろう、同様に、フレーム速度が 増大される場合、像解像度は相応に減ぜられるべきであろう。

代りの実施例においては、カメラ、クランプおよびサンプル回路は、像を表わす ディジタルまたはアナログ信号を表わすためのディジタルまたはアナログ記憶デ バイスまたはその他の手段により置き代えることができる。

プロセスの次の段階は、サンプルされたアナログビクセル値を、黒または白を表 わす１ビツト２進値に変換することを必要とする。これは、第３図に示されるよ うに、各ビクセルの実数値を、整理されたディザ−スレッショルドテーブル８２ に記憶されるスレッショルド値と比較することによって、コンパレータ８ｏで遂 行される。

テーブルは、１２８Ｘ１２Ｂピクセル位置の各々に対するグレイ陰影を表わすデ ィジタルメモリデバイスである。異なるビクセル位置は異なるスレッショルドレ ベルを有しており、ある距離から観察されるとき特定のグレイ陰影の感覚を与え るように、所与の隣接するビクセル群に跨がるグレイ領域が黒および白ビクセル の組合せにより表示されることを可能にする。例えば、純粋の黒（０）から純粋 の白（２２５）に跨がる８ビツトグレイスケールに対しては、あるビクセルブロ ックに関する陰影レベル６３の中間ダークグレイが、白の約３倍の黒ビクセルを 有する黒−白ビクセルに変換されよう。

アナログコンパレータ８２の出力は、フレームメモリ１５に記憶され、また次の フレームを処理するのに使用されるスレッショルド値を振動（ディザ−）させる のに使用される。第３図に示されるように、ヒステリシスに関して整理されたデ ィザ−スレッショルドは、インバータ８４および加算器８８により実施され、そ して該インバータおよび加算器８８は、各スレッショルド値の回りにヒステリシ ス帯域Ｔｘｖ±δを画定するように動作する、これは、アナログコンパレータ８ ０におけるフリッカを減する働きをする。

整理されたディザ−スレッショルドテーブルに対する１組のスレッショルド値の 例が、第４図に示されている。　１２８Ｘ　１２８のビクセル像は、４×４のビ クセルブロックに解体される。そこには、４×４のブロックより成る３２Ｘ　３ ２の類ブロックがある。スレッショルド値は、線形式のディザ−パターンを創成 するように選択されるが、これは、差像コード化段階の好ましい実施例において より大きなデータ圧縮を容易にする。以下に詳述されるように、１次元の変更さ れたｈｕｆｆｍａｎ走行長コード化方式は、同じ値の長い列が存在する場合にデ ータを有効に圧縮する。

第４図に示される例の場合、グレイスケール６３は、第１行に交番する黒および 白ビクセルを、第２行に全黒ビクセルを、第３行に交番する黒および白ビクセル を、そして第４行に全黒ビクセルをもたらすであろう、所与の４×４ブロツクの 場合、これは、１２の黒ビクセルと４の白ピクセルをもたらす、これは、正確に 所望の３対１の比である。加えて、走行長コード化の効率は、１つおきの行が連 続の黒ビクセルより成るから、この加振化パターンにより最大化される。

上述のように、像フレーム間おいである特定のビクセルが黒から白へ不必要なフ リッカを起こすのを防ぐため、好ましい実施例は、加振化スレッショルド値のビ ステリシス調節を含む、第５Ａ図および第５Ｂに示されるように、ヒステリシス 調節は、所与のビクセル位置に対して、先行の像フレームにおける対応するビク セル位置が黒である場合、スレッショルド値を増し、先行のフレーム内の対応す るビクセル位置が白の場合、スレッショルド値を減する。

この処理を例示するため、第４図の整理されたディザ−スレッショルドテーブル に適用されるようなグレイレベル６３の例戻る。マトリクスの第２行の第２位置 は、６４のスレッショルド値を有しており、そしてこれはレベル６３に非常に近 いことに留意されたい、サンプルされたフレーム間で起こり得るグレイレベルの 僅かな変動の結果、グレイスケールは例えば１秒の各１０分の１ごとに６３およ び６５間でグレイスケール振動することとなる。これは、各像フレームごとに黒 および自問で切り替わるグレイレベルをもたらすことになろう。これは、受信部 へ伝送されるであろうデータ量に不必要な増加をもたらすであろう、このような 望ましくない切替り（トグル作用）を防ぐために、各ディザ−スレッショルドは 、陰影の変化がビクセル値の切替りを正当化するに十分であることを保証する予 定された量だけ調節される。

一度、ディザ−スレッショルド値が先行の像フレームに関して調節されると、マ ルチプルグレイスケール像をハーフ像に変換するため、新しい像はスレッショル ド値に比較される。第３図に示されるように、調節された加振化スレッショルド 値は、ディジタル−アナログコンバータ９０でディジタルからアナログに変換さ れ、低減されたアナログ像とともにアナログコンパレータ８０に送られる。調節 されたアナログスレッショルド値より大きい各低減されたアナログビクセル値は 、１のディジタル出力すなわち白となり、調節されたアナログスレッショルド値 より小さい各低減されたアナログビクセル値は、Ｏのディジタル出力すなわち黒 となる。アナログコンパレータ８ｏはまた、各ビクセルに対して比較された結果 をディジタル値に変換する。

アナログコンパレータ８０からのディジタル出力、すなわち第ルベル圧縮像は、 ディジタル−アナログコンパレータにより発生されるハーフトーンビクセル値お よびフレームメモリに記憶される先行のハーフトーン像フレームのハーフトーン ビクセル値の１ビツト加算のため、フレームメモリ１５と運動検出ユニット、１ ８（第３図においてＸＯＲゲート９２として示されている）に同時に送られる。

フレーム間で変化しないビクセル値の場合、ＸＯＲゲートの出力はＯである。フ レーム間で変化したビクセル値の場合は、ＸＯＲゲートの出力は１である。これ らの値は、ついで差像コード化ユニットに送られる。

アナログコンバータ８０のディジタル出力がＸＯＲゲート９２に送られるとき、 このデータはまたフレームメモリ１５に送られ、現在記憶されているビクセル値 をおき返る。ハーフトーン像を表わす新しいディジタル値は、先行のハーフトー ン像フレームを表わすフレームメモリ１５内の古い値におき代わる。これは、適 時法のフレームの処理のためフレームメモリ１５を更新する。

第１のデータ圧縮段階は、第１図に示されるように、差像コード化方式である。

好ましい実施例は、１次元の修正されたＨｕｆｆｍａｎ走行長コードである。こ のコード化方式は、０または１ビツトの長い列を短いコードに変換する。このコ ード化技術の実施のための集積回路は、商業的に入手し得る、例えば、ＡＭ７９ ７１型圧縮−伸長プロセッサチップ（カリフォルニア所在のＡｄｖａｎｃｅｄ　 Ｍｉｃｒｏ　Ｄｅｖｉｃｅ、　Ｉｎｃ、から）である。二次元の修正された）Ｉ ｕｆｆｍａｎコードおよびその他の変形のような代わりの実施例で、−次元の修 正されたＨｕｆｆｍａｎコードにとって代えることができる。

コード化された差像値は、伝送線を介して直接送ってもよいし、同じ帯域幅で同 時伝送のためオーディオ部分と多重化、変調してもよい、第６図はこのプロセス を例示している。

エンコーダからのビデオ信号は、遅延変調器７６およびミキサ７８より成る像変 調モジュール２６により処理される０本質的に２進ビット列である到来ビデオ信 号は、下記の規則に従い２レベルの方形波形に変換される。すなわち、２進デー タが１を含むときビットセルの中点にて、ルベルから他のレベルへの転換が起こ る。次のＯが続かない限り、ゼロに対して転換は使用されず、そしてこの場合、 転換は、第１の０に対するビットセルの終端で起こる。得られた波形は、ついで 、より高次の調波を除去するためローパスフィルタされ、０−３ｋ）Ｉｚ範囲内 にあるアナログ信号を生ずる。遅延変調についてのより詳細は、Ｐｒｏｃ、ＩＥ ＥＥ（Ｌｅｔｔｅｒｓ）、　Ｖｏｌ、５７．　ｐｐ　１３１４−１３１６（１９ ６９年６月）　）Ｉｅｃｈｔ等のｒ　Ｄｅｌａｙ　ＭｏｄｕｌａｔｉｏｎＪ　） なる論文参照。処理されたビデオ部分は、ついでコヒレント（同相および直交） 変調を許容するため余弦関数により変調され、同様に正弦変調されたオーディオ 部分に加えられる。

受信端においては、周波数および位相回復ユニット４０が、信号が到着した位相 を検出し追跡し、そして復調器４３および４５が、信号の正弦および余弦成分を 分離して、オーディオおよびビデオ信号を提供する。ビデオ信号は、ついで遅延 復調器７９によりさらに処理され、原２進ビット列を回復する。

復調後、受信機において像をデコードするプロセスは、グレイスケール回復を除 いて、本質的に上述のプロセスの逆である０代りに、個々のビクセル値をそれら の隣接のものと平均化することによって、疑似グレイスケールが達成される。

代りに、多重解除および復調ユニット４２は、クロストークを抑制するためにフ ィルタ要素８３および８５ならびにビデオ／オーディオ回復モジュール８７（第 ６図の点線に示される）を含んでよい、ローパスフィルタ８５の出力はオーディ オ信号「１であり、バイパスフィルタ８３の出力はビデオ信号ｒ１である。

信号ｒ、およびｒ、は、送信されたオーディオおよびビデオ信号プラス追加のク ロストーク環を含む。これらの信号は下記の形を有する。すなわち、 ｒｌ　ｗ　Ｓａｕ＋＋＋ａ　”　ＴＩ［Ｓｖ＋ａ＊ｏｌｊ２　ｗ　！Ｖｌｄ＠。

◆Ｔｚ［Ｓ−、、ａｔ。］関数Ｔ　Ｉ　［５Ｖ１１１１＠ｌ）］およびＴ２［５ ＬｌｌｌＩＩｌ１１］はクロストーク環である。それらが不存在の場合、ｒｌは オーディオ信号となり、ｒ２はビデオ信号となろう。ＴＩ　［］およびＴ２［］ は送信機および受信機間で実施され−る処理ステップにより画定される変換であ る。かくして、変換関数は、変調および多重化中に起こる濾波ならびに乗算演算 （例えば搬送波およびその直交波による乗算）を包含する。

ｒｌおよび「２が与えられると、上式はオーディオおよびビデオ信号について解 くことができる。実際の方法は回帰法を使用することである０式を回帰形式に書 き換えると、 ここで、−は近似を指示する。

第７図に示されるように、オーディオおよびビデオ信号の回復には３段階回帰プ ロセスを使用できる。第１ステツプにおいては、要素９３において変換関数Ｔ１ を５Ｖｌｄ＊。（１）の初期化値に適用することによって、Ｓａｉ＋ｄｌａ（ｔ ｌ　の初期評価値が生成される。この初期値ｓｏは、先行の像フレームから（適 当な遅延で）、あるいはスタートアップ中初期化信号から得ることができる。変 換Ｔ＋［Ｓｖ＋ａｅｏ（ｔ）］は、ついで加算器９４においてｒｌから減ぜられ 、５ａｕａ＋ｏ（ｔ）の初期評価値を得る。

第２ステツプにおいては、要素９３において変換関数Ｔ２を５ａｕｄ＋ｏ（ｔ） の評価値（ステップ１において得られる）に加え、ついで加算器９６においてこ の変換された信号をｒｚｆｔ＋Δ　）から減することによって、５ｖｌｌｌｅ。

（ｔ＋Δ　）の評価値が生成される。遅延信号ｒ２（ｔ＋Δ）は、受信されたビ デオ信号ｒ２を遅延要素９７中を通すことによって得られる。ファクタΔは、変 換Ｔ１およびＴ２に固有の時間遅延を補償する。（これらの遅延は異なるかもし れないが例示の目的のため、同じと仮定される。）加算器９６の出力は、ビデオ 信号の評価値、すなわち５ＶＩＩＩＩＩＯ（ｔ＋Δ）である。

第３ステツプにおいては、要素９８においてＴ、の遅延変換値を５ｖ（ｔ＋△） の評価値に加え、ついで加算器９９において　１　ｆｔ＋２Δ）からこの被変換 信号を減することによって、再精製されたオーディオ評価値５ａｕｄｉ。（ｔ÷ ２Δ）が得られる。（もし望むならば、オーディオおよび／またはビデオ信号の より精製された評価値を得るために、さらに回帰を実施し得る。） ステップ２および３の結果は、回復（再生）系の出力である。ＴＩおよびＴ２と 関連する時間遅延Δは、１ミリ秒以下である。この遅延は通常使用者に感知され ない。

第８図には、代りの変調装置が示されているが、この装置は、送信部にデータエ ンコーダ２２、エラーコレクタエンコーダ２４、遅延変調器３１、オーディオバ イパスフィルタ３１およびミキサ３５を、受信部にフィルタ要素３６．３７およ び遅延復調器３９を備える。この拡張されたシステムは、ビデオ電話の通常の使 用に必要なビデオデータ速度が（例えば、ハンドウェービングまたはグロスヘッ ドムーブメントなし）が約２．４００ビット／秒（ｂ／ｓ）であるという観察に 基づくものである。　２，４００ｂ／Ｓ入力列に対する遅延変調器は、Ｏないし 約１１００Ｈｚの範囲の帯域でアナログ信号を生ずることができる。

オーディオおよびビデオ信号は、１１００Ｈｚ以上の帯域幅部分に濾波すること によって、オーディオおよびビデオ信号は、周波数分割多重化され得る　（ＦＤ Ｍ）、すなわち、ビデオ信号は、０ないし１１００）１ｚ帯域内にある。オーデ ィオ信号は、１１００ないし３０００Ｈｚ　（またはそれ以上）帯域に存する。

オーディオ信号対雑音比の損失は、約ｄＢで２５％となろう、これは、大抵の電 話チャンネルに許容し得る。

Ｏないし１１　Ｄｏ）Ｉｚの帯域のビデオ信号は、変調により帯域の他の部分に 移してもよい、ビデオ信号のこのような再配置は、ボイスの品質に対するその影 響を減するために望ましいであろう（通常のボイス信号のエネルギの殆どは２０ ００）１ｚ以下にあるから）。例えば、ビデオは、１０００Ｈｚのキャリヤで変 調することによって、１３００ないし２１００帯域に動かすことができる。その とき、先に論述したキャリヤ回復系に類似の回復系が、復調のため送信機と受信 機とを同期させるのに使用され得る。

カラー伝送の場合、周波数帯域は、クロミナンス情報に対する第１の帯域、輝度 情報に対する第２の帯域およびオーディオ情報に対する第３の帯域に分割できる 。例えば、カラー情報は、０−５００Ｈｚの公称周波数の狭帯域を介して伝送で きる。かかる帯域に対する特定の周波数範囲の選択は、当技術に精通したものの 普通の能力の範囲である。

また、種々の他の変調技術を、本発明に従い実施できる。例えば、すべての信号 （またはクロミナンスおよび輝度情報のようなサブセット）を、周波数に関して でなく時間に関して多重化できる。かくして、周波数でのり、、Ｘｒ−ａおよび Ｘｂｌｕ＊信号を時間サンプルし、３つの像を回転式に送出できる０代りに、■ およびＱ信号を時間サンプルし、オーディオチャンネル上への時間領域多重化を 使用してそれを送信できる。

この方式の利点は、簡単性である。第４図はブロック図を示している。この不利 な点は、オーディオ信号対雑音比の損失、およびビデオ像における追跡運動が制 限されることである。これらの不利益が重要でない応用もあり得る。

第９Ａ〜９Ｄ図は、第１図に示される受信機３８の像平均化装置５６において有 用な像平均化プロセスを例示するものである０例示の実施例において、５Ｘ６の ビクセル値ブロックが平均化され、平均化された値がブロックの上右手隅に位置 するビクセルに適用される。これは、３ｏのグレイ陰影を生ずる。第９Ａ図にお いては、初ビクセル値が平均化される。第９Ｂ図においては、右に１列変位され た５Ｘ６のビクセル値マトリクスを使用して、次の列におけるビクセルが平均化 される。第９Ｃ図においては、第９Ａ図に例示されるビクセルに関して次の行に おけるビクセルが示されている。このビクセルは、第９Ａ図のマトリクスに関し て１行下に変位された５×６のビクセル値マトリクスを使用して平均化される。

同様に、第９Ｄ図においては、第９Ａ図に示される原ビクセルの、１行下１列右 に変位されたビクセルについて例示されている。

また、画像の「濃淡むら」を減するために、種々の他の画像「エンハンスメント 」技術も像平均化ユニット５６において採用できる０例えば、１走査線を横切っ てすなわち走査線ごとにビクセル値を平均化するために、空間濾波技術を使用で きる。さらに、以下により詳細に論述されるように、ある場合には、像品質をさ らに高めるために、ビクセル値を時間に関して（すなわちフレームごとに）平均 化することもできる。

さらに、追加のデータ値を（例えばビクセルまたは走査線間の中間値）を充填す るために、内挿技術を使用できる。第１図を再度参照すると、送信機３８内のビ クセル平均化ユニット５６は、さらに、再構成された像の解像度を改善するため に、ビクセル値を内挿するための手段を備えることができる。このような内挿法 の効果は、再構成された像の不連続性を平滑し、主観的により気持ちのよい像を 提供し、受信端部においてより大形のディスプレイの使用を可能にすることであ る。これらの内挿機能は、完全に受信端で行うことができる。送信機における変 更は全然必要でない。

例示の実施例において、原シーンは、フレーム当りＭＸＮの絵素すなはちビクセ ルに対応して、走査線当りＮのサンプルおよびＭの走査線により記述される。例 えば、ＭおよびＮに対する可能な選択は、フレーム当り９０Ｘ　１２Ｂ＝１１． ５２０の総ビクセルに対して、走査線当りＭ＝９０のサンプルおよびフレーム当 りＮ　＝　１２８の走査線である。各フレームに対して、受信機は、ＭＸＮの各 々に対して輝度レベルを計算する。

ビクセル平均化ユニット５６はさらに、解像度増倍器を備えることができる。こ れは、再構成された信号に、詳しく言うと、同じ行または同じ列の任意の２つの 連続的ビクセル間に追加の内挿点すなわちビクセルを導入するものである。任意 の２つの原ビクセル間に１つの内挿点が加えられると、フレーム当りのビクセル の総数は、４だけ乗算される。

例示の目的で、本記述においては、任意のかかる水平または垂直の１対間にただ １つのビクセルが加えられることを仮定し、再構成された絵において任意の行Ｒ ・１、Ｒ４゜、およびＲ１，２および列Ｃ，１＊１およびＣＪ＋＋を考慮する。

ＰＩＪを、行Ｒ１および列ＣＪの交叉点におけるビクセルと呼ぶことにする６　 １つの実施例において、解像度増倍は下記のように進行する。

ステップ１において、内挿された列が生成される。行Ｒ１において、新しいビク セルＰ＋＋ｊ＊１／□が、ビクセルＰＩＪおよびＰｌ、　Ｊｕ１間の途中に加え られる。その輝度、ｂｌ、Ｊ＋１／２は次に等しい。

もしもｂｌ、ｒ−ｚ　＞　２　ｂｌ、＋−＋　−ｂＩＪならば、ａ　ｌ）＋Ｊ” 　（１−ａ）／２　ｂｉ、　、＋＊＋もしもｂｌ＋Ｊ。２　ｇ　２　ｂｌ、Ｊ＋ ＋−ｂｔ、＋　ならば、１／２ｂｌＪ＋１７２ｂ１．Ｊや、 もしもｂｌ、、１＊２　＜　２　ｂｌ、、１ｍ＋　−ｔ）＋＝ならば、（１−ａ ）　ｂｌＪ　＋　ａ　ｂｌ、Ｊ＊＋ここで、ａは普通Ｏ乃至約１７２の間で変わ り得る選択可能なパラメータである。ａの１つの適当な値は１／４である。

この手続きは、ついで、行Ｒ１内のｊ（ｊ・１．−−−−−、１．１）のすべて の値、およびｉ　（ｉ＊１．−−−−−、　Ｍ）のすべての値に対して反復でき る。この結果、全表示に関してＣＪおよびＣＪ＊＋間に新しい列ＣＪ’ｌ／２が 創成されることとなり、列の数を倍加する。

ステップ２においては、類似のプロセスが、列を内挿するために採用され得る０ 列ＣＪ上において、新しいビクセルＰ１□７２．ｊが、ビクセルＰＩ、および’ Ｉ”ｌｔ　Ｊ間の途中に加λられる。その輝度ｂ＋＊＋７ｚ＋Ｊは下記に等しく なる。

もしもｂ＋□、Ｊ　＞　２　ｂ＋＊＋、Ｊ−ｂＩＪならば、ａ　ｔ＋ｚ　”　（ １−ａｌ　ｂｌ”Ｌ＋　Ｊもしもｂｌ−２，ａ　−２ｂ＋□、Ｊ　−ｂｌＪなら ば、！／２　ｂｌａ　＋　１／２　ｂｌ−＋、Ｊもしもｂ＋＊２．４　＜　２　 ｂ＋＊＋、ａ　−ｔ）ｚならば、（１−ａ）　ｂｌ　ｊ　”　ａ　ｂｌ＋１．　 ｊやはり、ａは選択可能なパラメータである（例λばａ＝１／４）である、ステ ップ２がｉおよびＪのすべての可能な値に対して反復されると、各フレームの行 数が全体的に２倍化される。

エンハンスメントが完了されると、フレーム当りのビクセル値の数は、ＭＮの原 ビクセル値と新しい３ＭＮの内挿ビクセル値より成る４ＭＮである。このエンハ ンスメント法は、任意の回数反復され得る。この結果、容度に、各フレーム内の ビクセルセル値の数は４倍となる。

第１０図には、像処理において適応解像を可能にするシステム１００が示されて いる。適応解像は、減シーンに存する運動の度合いに依存して、受信画像の解像 度を向上させる手段を提供する１例えば、シーン内に活発な運動があると（例え ばビデオ電話会話中の迅速な頭の動き）上述の基本的な解像技術が応用され得る 。しかしながら、減シーン内に緩やかな動きしか存在しない場合にか（例えば、 顔が非常には動かない）、異なるプロトコがが採用される。最後に、動きが存在 しないと（すなわち、全熱動きがないか、運動量が非常に僅かであると）、他の 運動検出手法が採用される。

第１０図に示されるように、システム１００は、グレイスケール低減ユニット１ ０２、マルチフレームバッファ１０４、運動評価ユニット１０６、スレッショル ドルックアップテーブル１０８、差像バッファ１１４、基準フレームバッファ１ １６、像データエンコーダ（例えば走行長およびｈｕｆｆｍａｎコード化要素） １１８、およびチャンネルバッファ１２０ならびに制御回路１１０を備える。受 信機１３８は、像データデコーダ１４０、差バッファ１４２、基準フレームバッ ファ１４４、マルチフレームバッファ１４６およびグレイスケールコンピュータ １５０を備える。

第１０図において、像データは、グレイスケール低減ユニット１０２により、２ 輝度信号を生ずるように圧縮される。ユニット１０２は、第１〜５図において上 述したのと類似の態様で、到来データにスレッショルドマトリクスを適用する（ 要素１０８に記憶されるルックアップテーブルを使用して）。しかしながら、こ の実施例においては、マルチフレームバッファ１０４が、一連の２進フレーム値 を記憶するのに使用される。これらの値は、通勤評価装置１０６において運動状 態（例えば、高速、中間または緩速）を決定するため通勤評価装置１０６におい て比較される。運動状態に依存して、異なるスレッショルド値が要素１０８から 選択される。

差動バッファ１１４は、バッファ１０４内の最後に受信されるフレームおよびバ ッファ１１６からの基準フレーム間の変動を含む、基準フレームバッファ１１６ の内容は、以下により詳細に記述されるように、運動状態に依存して異なる時点 において更新される０例示の実施例において、基準バッファ内の内容は、高速運 動が起こりつつあるときの最後のフレームか、中間運動に対する４つの最新のフ レームの平均か、緩速運動動作モード中における１６フレームの平均であろう。

第１０図のシステムにおいて、通勤評価装置１０６は、２つの時点において原シ ーンに存在する運動の平均量を評価する。運動評価は、送信機における継続する プロセスであり、各フレームごとに、新しい運動評価値が生成される。この評価 値は、解像レベルを無変更に維持するか、異なる解像レベルに切り替える。

例えば、もしもしか伝送チャンネル上において許容される最大の運動レベルを表 わす数であれば、高速運動状態は、運動評価値が最大運動レベルＬおよびＬ／４ 間にあるときに存するものとして定義され得る。中間運動状態は、運動評価値が Ｌ／４およびＬ／１６間にあるとき存在するものとして定義され得る。第３の状 態、すなわち緩速運動状態は、運動評価値がＬ７１６以下にあるときに存在する ものとして定義され得る。

好ましい実施例においては、シーンにおける運動レベルの変化が、送信されるビ デオビット列に、フレーム当り２つの追加の情報ビットより成る「解像度同期ワ ード」を埋め込むことによって、送信機１１２により受信機１３８に報知され得 る。このようにして、受信機１３８は、解像度同期ワードをデコードし、像の再 構成において使用されるべき解像度レベルを知ることができる。そのとき、グレ イスケールコンピュータ１５において、異なる解像度レベルの各々に対して、異 なる再構成手続きが使用される。

第１○図の例において、運動評価値は、４つの最新のフレームにわたって起こっ た変化を表わす異なる情報Ｄ　（ｎ）　、　Ｄ　（ｎ−１）　、　Ｄ　（ｎ−２ ）　、　Ｄ　（ｎ−３）に基づく。詳述すると、フレームＦ　（ｎ）における差 情報は、２進（すなわち、黒および白）フレームＦ　（ｎ）と先行の２進フレー ムＦ（ｎ−１）の間の差に等しい。すなわち、 Ｄ（ｎ）　：Ｆ（ｎ）　−Ｆ（ｎ−１）に等しい。

Ｆ　（ｎ）は、Ｏと１の２進マトリクスである。和［Ｍ］をマトリクスＭの全要 素の和であるとする。そのとき、時点ｎにおける運動評価値ＭＥ　（ｎ）は、つ ぎように定義できる。

すなわち、 ＭＥ（ｎ）　暉ｓｕｍ［Ｄ（ｎ）］　＋　ｓｕｍ［Ｄ（ｎ−１）］　◆ｓｕｍ［ Ｄ（ｎ−２）］　＋　ｓｕｍ（Ｄ（ｎ−３）］ｓｕｍ［Ｆ（ｎｌ］　−ｓｕｍ［ Ｆ（ｎ−４）］そして、時点ｎ◆１における運動評価値は、ｈｌＥ（ｎ）　ｌＩ ｓｕｍ［Ｄ（ｎ＋１）］　＋　ｓｕｍ［Ｄ（ｎ）］　＋ｓｕｍ［Ｄ（ｎ−１）］ 　＋ｓｕｍ［Ｄ（ｎ−２）］ｓｕｍ［Ｆ（ｎｕｌｌ］　−ｓｕｍ［Ｆ（ｎ−３） ］運勤評価値は、過去の４フレームにわたって起こったビット変化の総数を表わ している。これにより、各フレームの端部において運動レベルの読取り値が与え られる。この４フレーム平均化プロセスおよび運動評価値の読取り値は、フレー ム同期信号に同期される。

もしもＭＥ（ｎ）がＬとＬ／４の間にあれば、粗解像度レベルが使用される（例 えば、第３図および第４図と関連して上述したのと同様に。） もしもＭＥ　（ｎ）力月／４とＬ／１６の間にあれば、中間解像度レベルが使用 される。

もしもＭ　（ｎ）がＬ７１６以下であれば、繊細解像度レベルが使用される。

運動状態を区別する上において他のスレッショルドの選択が使用し得ることは明 らかである。

第３図および第４図の実施例においては、グレイスケールを計算する唯一の方法 しか存在しない、これは、４Ｘ４ブロツクにわたり２進フレームＦ　（ｎ）内の ビット値、すなわち、線ｊ、　ｊ＋１．　ｊ＋２およびｊ＋３上における位置ｉ 。

ｉ÷１．　ｉ＋２．　ｉ＋３の値を平均化することによってなされた。

換言すれば、フレームＦ　（ｎ）に対して、ビクセル（ｉ、　ｊ）のグレイレベ ルＧ＋、ｊ（ｎ）は、次のように定義された。す一方、第１０図の実施例におい ては、グレイスケールは下記の様に定義され得る。

表記　（ｐＸｐ、ｑ）は、このクラスのグレイレベル評価値を表わすにに使用さ れる。この表記は、２進値の空間相がサイズＩ）ＸＩ）のブロックにわたり、時 間和がｑフレームにわたるという事実を強調している。この表記の場合、３グレ イレベル評価体系は、第１１Ａ、１’ｌＢおよび１１０図に例示される。

詳述すると、第１１Ａ図は粗解像度レベルを表わしているが、この図にあっては 、単一のフレームからの４×４とクセルブロックにわたる空間平均化が、グレイ スケール低減ユニットにおいて２進値な誘導するのに使用される。第１１Ｂ図は 中間解像度レベルを例示しており、この図にあっては、１つのビクセルのグレイ レベルが、２×２ブロツクにわたる空間平均化と、相続くフレームにわたる時間 平均化から誘導される。第１１Ｃ図は繊細解像レベルを例示しており、この図に あっては、平均化は、１×１のブロックすなわち１ビクセルにわたりかつ１６の 相続くフレームにわたって行われる。空間平均化はなく、時間平均化のみである 。

運動量が減すると、空間平均化は減ぜられ、時間平均化がより多く導入される。

グレイレベル解像度（例えばスレッショルド）は、１６のレベルすなわち４グレ イビツトにに無変更で残され得る。

ｎ（１６に等しいかそれ以下）の相続くフレームが平均化されるとき、ｎの異な るスレッショルドマトリクスが使用される。全体的に、手続きとして、粗解像度 レベルにおいて１つの４×４のスレッショルドマトリクス、Ｍ、中間解像度レベ ルにおいて４つの２×２のスレッショルドマトリクスＭｌないしＭ４、そして繊 細解像度における１６のスレッショルドレベルを使用する。スレッショルドマト リクスＭ、　Ｍ］、Ｍ２．Ｍ３．Ｍ４が第ｉ１Ａ図および第１１Ｂ図に示されて いる。１６のスカラースレッショルドは、第１１Ｃ図に略示されるように、値１ ６．３２．４８．　、　、　。

、２５６まで、すなわち１６の倍数の値である。これらのマトリックスは例示の ためのものであり、他のマトリ・ソクスも等しく十分に作用し得る。

第１０図を再度参照すると、マルチフレームバッファ１０４が、シーンにおける 運動レベルを計算するために、送信機１１２において使用されている。４フレー ムバツフアで、１フレームに１度評価値を計算するのに十分である。基準バッフ ァ１１６は、運動評価値を計算しそして差情報を生成するために使用されている 。粗解像度モードにある間または粗解像度モードに切り替わるとき、先に受信さ れたフレームは、差情報を計算するための基準フレームとして使用できる。同じ 取決めは、受信機でも使用される。異なる解像度レベル（中間または繊細のよう な）異なる解像度レベルに切り替わるとの決定は、任意のフレームの終了で行う ことができる。

中間解像度へ切り替わるとの決定がフレームＦ　（ｎ）の終了にて直ちに起こる と仮定すると、差情報Ｄ　（ｎｉｌ）　、　Ｄ　（ｎ＋２）　、　Ｄ　（ｎ＋３ ）　、　Ｄ　（ｎ＋４）が、基準フレームとしてＦ　（ｎ）を使用して計算され る。この取決にめは、受信機も従う、換言すれば、 Ｄ（ｎ＋１）　＝　Ｆ（ｎ＋１）　−Ｆ（ｎ）Ｄ　（ｎ＋２）　＝Ｆ　（ｎ＋２ ）　−Ｆ　（ｎ）Ｄ　（ｎ＋３１　ｌｌＦ　（ｎ＋３）　−Ｆ　（ｎｌＤ　（ｎ ＋４）　＝　Ｆ　（ｎ＋４）　−Ｆ　（ｎ）加えて、送信機は、全部で４つの差 フレームが送信されてしまうまで、他の解像度（粗または繊細）に切り替わらな い。その点にて、解像度切替えが起こっても起こらなくても、最後に送信された フレームが新しい基準フレームとなる。

代わりに繊細解像度へ切り替わるとの決定がフレームＦ　（ｎ）の終了にて起こ ったと仮定すると、このフレームが次の１６フレームに対する基準として使用さ れる。すなわち、 Ｄ（ｎ＋１）　−Ｆ（ｎ　＋Ｉ）　−Ｆ（ｎ）Ｄ（ｎ＋２）　・Ｆ（ｎ＋２）　 −Ｆ（ｎ）Ｄ（ｎ＋１６）　１ｌＦ（ｎ＋１６）　−Ｆ（ｎ）やはり、新しい画 像が形成されてしまうまで、解像度は、この期間中中切り替わらない。

第１０図において、コントローラ１１０が、チャンネルバッファ１２０における 条件に基づいて差バッファ１１４の更新機構の感度を減するのに使用できること が注目されるべきである。チャンネルバッファ１２０が限界（送信帯域幅により 画定される）を越えると、コントローラ１１０は、ディザ−パラメータδをイン クリメントすることによりヒステリシス増し、それにより特定のビクセルを切り 替える（トグルする）のを雌しくし、したがって差バッファ１１４に記録される ビクセル変化の数を減することができる。この同じ機構は、フリッカ制御も提供 した。

受信機１３８では、マルチフレームバッファ１４６が一連のフレームにわたりデ ータを記憶するのに使用され、それによりグレースケールコンピュータ１５０が 、高速運動モードにおいて空間平均化し、中間運動モードにおいて４フレームに わたって空間および時間平均化し、あるいは緩速モートにおいて１６フレームに わたり時間平均化することによって、グレイスケールを計算できるようになされ 得る。

本方法に対して、種々の代わりの平均化技術、例えば、平均化されるべきビクセ ルをマトリクス内の中心に置く手法や、マトリクス内の種々のビクセルに重付け された値を適用する方法を含む平均化技術を代わりに使用できる。

要約書 差像データ圧縮システムが、公称３　ｋＨｚおよびその他の狭帯域幅チャンネル を介してオーディオおよびビデオ像を完全、デュプレックス実時間伝送するビデ オ電話システムに使用するために提供される。各ビデオ電話装置は、送信部１２ と受信部３８とより成る。送信部１２において、グレイスケール（輝度）低減像 、好ましくは黒および白ビクセルより成る像が、像処理モジュール２０において 先行の値から誘導される同様のグレイスケール低減像と比較され、変化したピク セルが決定される。変化を表す情報は、コード化され、変調され、伝送のためオ ーディオおよび／またはクロミナンス信号と（時間または周波数）多重化される 。受信機３８では、到来信号は復調され、多重化を解除され、オーディオおよび ビデオ部分を分離し、像部分はでコード化され、輝度値が像更新ユニット５０に おいて更新される。適応解像、ピクセル平均化および内挿技術も画像向上のため に提供されている。

国際調査報告 １ｍｍ７ＡＩ＃ｋ１ｍ、ｌｉｅ　ＰＣτ／ＩＪＳ　９０１０７６４９

Claims (1)

1. 【特許請求の範囲】 （１）像値から誘導されるグレイスケール低減像を記憶するための記憶手段と、 現在の像フレームのグレイスケール低減像を前記記憶手段からの基準像と比較し 、先行の像フレームと現在の像フレームとの間でグレイスケールが変化したピク セル位置を表す輝度差信号を発生するための比較手段と、前記差信号をコード化 するためのコード化手段とを備えることを特徴とする、像データ圧縮のための信 号処理装置。 （２）像フレームの各ピクセルを表すために入手し得るグレイレベルの数を低減 するためのグレイスケール低減手段を備える請求の範囲第１項記載の信号処理装 置。 （３）マルチプルグレイスケール像をハーフトーン像に変換するための加振され たスレッショルド手段を備える請求の範囲第２項記載の信号処理装置。 （４）前記の加振されたスレッショルド手段が、各ピクセルに適用されるスレッ ショルド値がピクセル値の切換りを減するために変更されるヒステリシス調節を 含む請求の範囲第３項記載の信号処理装置。 （５）ヒステリシス調節を変更するための手段を備える請求の範囲第４項記載の 信号処理装置。 （６）前記コード化手段が、反復する差像データビットの列をコード化態様で表 すための走行長コード化手段を備え、前記ビットの長い列がより少ないビットで 表されるようになされた請求の範囲第１項記載の信号処理装置。 （７）伝送のためキャリヤ信号をコード化された輝度差信号で変調するための変 調手段を備える特許請求の範囲第１項記載の信号処理装置。 （８）前記変調手段が、オーディオ信号を前記輝度差信号で多重化するための手 段を備える請求の範囲第７項記載の信号処理装置。 （９）前記変調手段が、クロミナンス信号を前記輝度差信号と多重化するための 手段を備える請求の範囲第７項記載の信号処理装置。 （１０）相続く像フレームにおける運動の程度を決定し、この決定に応答して解 像度を変更するための適応解像手段を備える請求の範囲第１項記載の信号処理装 置。 （１１）グレイスケール低減像における変化を表す差信号をデコードするための 差像デコードユニットと、前記デコードされた差信号を先に記憶された像に加え ることによって、前記の先に記憶された像の変化を更新するための像更新ユニッ トと、 を備えることを特徴とする圧縮された像をデコードし、該データから像を再構成 するための信号処理装置。 （１２）ピクセル値のブロックを平均化して、前記の更新された像のグレイレベ ルの数を増大する像平均化ユニットを備える請求の範囲第１１項記載の信号処理 装置。 （１３）内挿によりより詳細な像を発生するための像内挿ユニットを備える請求 の範囲第１１項記載の信号処理装置（１４）像値から誘導されるグレイスケール 低減像を記憶し、 現在の像フレームのグレイスケール低減像を先に記憶された基準グレイスケール 像と比較し、先行の像フレームと現在の像フレームとの間でグレイスケールが変 化されたピクセル位置を表す輝度差信号を発生し、 この差信号をコード化する 諸段階を含む像データ圧縮のための信号処理方法。 （１５）記憶および比較に先立ち、像フレームの各ピクセルを表すのに利用され るグレイレベルの数を低減することを含む請求の範囲第１４項記載の信号処理方 法。 （１６）前記のグレイレベルの数を低減する段階が、マルチプルグレイスケール 像をハーフトーン像に変換することを含む請求の範囲第１５項記載の方法。 （１７）前記のグレイレベルの数を低減する段階が、加振されたスレッショルド 値を各ピクセルの輝度値に比較し、この比較に基き低減されたグレイスケール値 をピクセルに割り当てることを含む請求の範囲第１５項記載の信号処理方法。 （１８）前記の加振されたスレッショルド値を比較する段階が、ピクセル値の切 替りを減ずるために、前記スレッショルド値にヒステリシス調節を適用すること を含む請求の範囲第１７項記載の信号処理方法。 （１９）比較段階の感度を減ずるためにヒステリシス調節を変化させることを含 む請求の範囲第１８項記載の信号処理方法。 （２０）前記の輝度差信号をコード化する段階が、前記信号を走行長コード化し 、同じように反復される像データビット列に短いコードワードを割り当てる特許 請求の範囲第１４項記載の信号処理方法。 （２１）伝送のため、キャリヤ信号をコード化された輝度差信号で変調すること を含む特許請求の範囲第１４項記載の信号処理方法。 （２２）オーディオ信号を前記輝度差信号と多重化することを含む請求の範囲第 １４項記載の信号処理方法。 （２３）コード化輝度差信号の変化の程度を測定し、差の程度に基づいて異なる 比較を遂行することを含む請求の範囲第１４項記載の信号処理方法。