JPS6269741A

JPS6269741A - 情報通信方式

Info

Publication number: JPS6269741A
Application number: JP20962985A
Authority: JP
Inventors: Shinichi Murakami; 伸一村上; Hideya Ichihara; 市原　英也
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1985-09-21
Filing date: 1985-09-21
Publication date: 1987-03-31

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はテレビ電話やテレビ会議等の通信システムにお
いて、伝送対象とする画面等を認識し符号化して伝送す
る事によって伝送符号量を圧縮し、低いビットレートの
回線を用いて映像等の伝送を可能とする通信方式に関す
る。

〔従来の技術〕

一般にテレビ電話やテレビ会議等の通信システムにおい
ては、例えば映像を伝送する場合、送信側でテレビカメ
ラ等により撮影され取り出された映像信号を符号化し、
その符号を伝送路を通し受信側へ送出し、受信側では受
信符号を復号化し元の映像信号に戻し表示する形態をと
っている。しかし、従来のこの種の映像通信システムで
は、映像信号の符号化の際、映像信号の電気的波形に着
目し、その波形を符号化する方式をとっていた。

これを第６図及び第７＠で説明する。

第６図は従来の映像通信システムの構成を示すブロック
図で、６００は伝送対象物、６０１は撮像用テレビカメ
ラ、６０２は符号化装置ｉ！−６０３は伝送路、６０４
は復号化装置、６０５は映像表示装置である。第７図は
第６図の映像通信システムにおける画像の符号化方式の
一例を示したもので、Ｃａ’）は撮像画像のテレビカメ
ラ６０１における走査方法を示す図、（ｂ）はテレビカ
メラの画像走査により得られた映像信号波形を示す図、
（ｃ）は符号化装置６０２での映像信号の符号化方式の
一例を示す図である。なお、Ｈはｌ水平走査線の走査時
間、Ｄは映像信号の輝度の高低の変化ステップを示して
いる。

対象物６００をテレビカメラ６０１で撮像すると、第７
図（ａ）に示す形式で画像走査が行われ。

各水平走査１ｉ７００毎に第７図（ｂ）に示す輝度信号
波形が得られる。こ−で、７０１は映像信号の輝度変化
を示す波形部、７０２は水平走査線の時間的区切りを示
す同期信号部である。符号化装置６０２では、信号波形
の輝度信号部７０１を水平走査時間Ｈの例えば数回分の
１の時間間隔で標本化しくその標本化数が水平走査線上
にとられた画素数に相当する）、その時点での輝度値を
測定する。そして、各標本化点での輝度値あるいは隣接
する標本化点の輝度の変化ステップ（第７図（ｃ）のＤ
）を符号化する。その後、符号化信号は伝送路６０３を
通して受信側へ送られる。受信側では、復号化装置６０
４で上記符号を復号して元のテレビ画像信号を得、画像
表示装置ｔ！６０５へ画像を表示する。

なお、符号化装置６０２での符号化方式としては、対象
画像の１画面内の標本化点の輝度および隣接標本化点間
の輝度値の差を符号化する以外に。

時間的に隣接する画面内の標本化点の輝度値の差を符号
化する方式（フレーム間符号化方式）等が知られている
。

〔発明が解決しようとする問題点〕

このように、従来の方式では、符号化対象はテレビカメ
ラから取り出された映像信号波形等であり、波形を標本
化により標本点（画素）対応の符号化を行っている。こ
のため、符号化対象が多く。

符号圧縮率を大幅に上げる事は困難である。したがって
、従来の技術に基づく映像通信システム等では、映像等
の伝送に高いビットレートの高速伝送路を必要とし、既
設の低ビツトレート回線を利用できず、新規に高ビット
レートの回線を用意しなければならない欠点を有してい
た。

本発明の目的は、映像等の伝送対象信号波形を符号化す
るのではなく、伝送対象画像等の内容に着目し１画像等
の内容を認識する事によって１画像等をその構成要素単
位で符号化して、符号化圧縮率を大幅に向上させ、低ビ
ツトレートの回線によって映像等を伝送する事を可能な
らしめる情報通信方式を提供する事にある。

〔問題点を解決するための手段及び作用〕本発明は、送
信側には、画像等の伝送対象情報に関する予備情報をデ
ータベースとして格納する手段と、データベースを基に
伝送対象情報の特徴を認識する手段と、認識した特徴パ
ラメータを符号化して伝送する手段を設け、受信側には
、符号化特徴パラメータを復号化する手段と、対象情報
に関する予備情報をデータベースとして格納する手段と
、復号化した特徴パラメータによりデータベースを用い
て目的とする画像等を再生する手段を設ける。

即ち、本発明は伝送対象とする画像等を、あらかじめ送
信側に用意しであるその画像等に対する予備情報（画像
データベースなど）を用いて認識し、その特徴パラメー
タを符号化して伝送し、受信側では、その特徴パラメー
タとやはりあらかじめ受信側に用意しであるその画像等
に関する予備情報（画像データベースなど）を用いて復
号化し、画像等を再生するもので、符号化対象は映像等
の信号波形そのものではなく、画面等を構成する部分画
像要素等である。また、伝送対象となる符号データは画
像等を認識し抽出した部分画像等の特徴パラメータであ
る。この部分画像等の特徴パラメータの符号量は目標と
する通信システムの表示画像品質およびそのために用意
する画像データベース等の量に依存して定まるが、一般
に従来の画素対応の画像信号波形の符号化法に比べ１〜
３桁少ない符号量で符号化できる。このため、映像等の
伝送に要する伝送ビットレートはそれだけ少なくてよく
、システムコストの低減が期待できる。

〔実施例〕

第１図は本発明の一実施例の構成図である。第１図にお
いて、送信側はテレビカメラ１０１５画像認識部１０２
、画像メモリ部１０３１画像データベース１０４、画像
パラメータ符号化部１０５、音声マイクロホン１２１、
音声認識部１２２．音声データベース１２３、音声符号
化部１２４より成る。受信側は画像パラメータ復号化部
１０７、画像生成部１０８、画像データベース１０９、
画像メモリ部１１０、画像表示装置１１１、音声復号化
部１２６、音声データベース１２７．音声スピーカ１２
８よりなる。、１００は伝送対象物、１０６は画像伝送
路、１２５は音声伝送路である。

伝送対象物１００はテレビカメラ１０１により撮影され
、画像認識部１０２を経由して画像メモリ部１０３へ入
力される。第２図は伝送対象物１００の一例であり、こ
の様な人物像が画面上にとられた正方格子状の格子点画
素の輝度値、カラー値として画像メモリ１０３に記憶さ
れる。

次に、この画像メモリ１０３に記憶された第２図の様な
顔画像から、例えば口の部分画像２０３を認識する方法
を第３図乃至第５図により説明する。

第３図は画像認識方法を説明する図で、３００は画面上
の格子点画素、３０１〜３０４までは人物顔画像の構成
要素のうち口の部分を示す輪郭線画素、３２１〜３２４
は口の輪郭線の周囲画素を示す。

第４図は自画像の認識のために用意された各種の形状の
自画像パターンの画像データベースである。

第５図は音声認識の方法を説明する図で、５０１〜５０
５は手順の流れを示している。

第３図において、顔画像の各格子点画素３００の各輝度
値およびカラー値を順次その周囲の画素の輝度値と比較
を行う。この時１例えば口の左端の画素３０１はその周
囲の画素３２０〜３２５の輝度値およびカラー値を比較
する事により、輝度値、カラー値が異なっているので、
口の輪郭線画素として認識できる。以下、同様の操作に
より。

口の輪郭線画素３０２〜３１４を順次抽出する。

この様にして、口の輪郭線を一連の画素系列とし取り出
す。

一方１画像データベース１０４の中には口の輪郭部パタ
ーンとして第４図（ａ）〜（ｄ）の様な各種のパターン
が蓄えられている。画像認識部１０２では、上記の様に
して取り出された口の輪郭線パターンと画像データベー
ス１０４中のロバターンとの比較を行い、類似性の高い
ロバターンの組を選択する。

一般的には、このロバターン選択は画像データベース１
０４のパターンの種別が多いと、そのパターンの類似性
の比較を行う操作（パターンマツチング）は繁雑となり
、処理量が多く１時間がかシることＮなる。そこで、本
実施例では、パターンマツチングの対象とすべき画像デ
ータベース画像を音声入力信号を認識した結果に基づき
絞り込み、少数の画像データベースとパターンマツチン
グする事により、最適な認識画像を選定する方法をとっ
ている。

すなわち第１図において、対象人物１００が例えば言葉
「アｊを発すると、その音声がマイクロホン１２１を通
り音声認識部１２２へ入力される。

この入力された音声は例えば第５図に示す手順５０１〜
５０５に従い、音声スペクタル分析され。

音節区分がなされる６次に各音節毎にその入カバターン
は音声データベース１２３に蓄えられている標準パター
ンと比較され、最も類似度の高い音声パターン「ア」と
認識される。この認識された「ア」は画像認識部１０２
へ伝えられる。画像認識部１０２では、この「ア」の音
声情報に基づき、前記ロバターンの認識の際、パターン
マツチングの対象とする画像データベース１０４の中の
パターンのうち、「ア」の発声に関連の深いパターンの
みを対象にパターンマツチングの操作を行う事とする。

これにより、パターンマツチングの対象画像を絞る事が
でき、パターンマツチングに要する処理量１時間を減少
させる事ができると共に、認識精度を上げる事ができる
。

この様にして認識されたロバターンは、画像パラメータ
符号化部】０５により符号化され、画像伝送路１０６を
通して受信側へ伝送されるが、このパターン符号として
は、認識されたロバターンにあらかじめ割当てられてい
る符号を用いる事もできる。また、音声についても認識
された音声は音声符号化部１２４で符号化され、音声伝
送路１２５を経て受信側へ伝送される。

受信側では、符号化画像パラメータを画像パラメータ復
号化部１０７で復号化した後、画像生成部１０８におい
て、画像データベース１０９を基にして画像パラメータ
より画像を生成し、該生成画像を画像メモリ１１０に一
時蓄積して画像表示袋ａ１１１に表示する。同様に、符
号化音声は、音声復号化部１２６において音声データベ
ース１２７を基に復号化し、スピーカ部１２８に出力す
る。

第１図では画像および音声符号はそれぞれ別個の画像伝
送路１０６および音声伝送路１２５により伝送されると
したが、符号化されたデータはそれぞれを分離可能な形
で合成符号化する事により。

同一の伝送路の１回線により伝送可能である事は明らか
である。

また、口の部分の画像パターンの認識について述べたが
、音声認識の過程で、語調、音声ピッチ等を用い喜怒哀
楽の感情の認識を行い、そのそれぞれに対応した目や眉
等の位置が異なる各種の顔画像パターンを画像データベ
ース１０４の中に用意しておき、その情報に基づき顔画
像のパターンマツチングを行う事により、顔画像の認識
精度の向上および処理時間の短縮を図る事ができる。

このうち、音声入カバターンからその音声が何であるか
を認識する技術として、こ＼ではスペクトル分析後パタ
ーンマツチングする方法について述べたが、これらの技
術は音声認識技術として確立しており、その機能の実現
は容易に行える事は明らかである。

〔発明の効果〕

以上説明したように、本発明によ九ば、伝送対象の内容
を認識し、その構成要素単位で符号化して伝送するので
、伝送対象情報の符号化圧縮率が大幅に向上し、低ビツ
トレートの回線によって映像等を伝送することが可能に
なる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成を示すブロック図、第
２図は認識対象画像の一例を示す図、第３図は画像の認
識方法を説明する図、第４図は画像データベースの一例
を示す図、第５図は音声認識の方法を説明する図、第６
図は従来の構成を示すブロック図、第７図は従来の符号
化方式の一例を示す図である。１０１・・・テレビカメラ、　　１０２・・・画像認識
部。１０３・・・送信側画像メモリ部、　　１０４・・・送
信側画像データベース部、　　１０５・・・画像パラメ
ータ符号化部、　　１０６・・・画像伝送路。１０７・・・パラメータ復号化部、　　１０８・・・画
像生成部、　　１０９・・・受信側画像データベース部
。１１０・・・受信側画像メモリ部、　　１１１・・・画
像表示装置、　　１２１・・・マイクロホン、１２２・
・・音声認識部、　　１２３・・・送信側音声データベ
ース部、　　１２４・・・音声符号化部。１２５・・・音声伝送路部、　　１２６・・・音声復号
化部、　　１２７・・・受信側音声データベース部、１
２８・・・音声スピーカ。第４−図（α）　　　　　　　　　Ｃｂ　ン　　　　　　　（Ｃ
）　　　　　　　　　　　　　ｔ４ノ第５図第６図第７図（２）（Ｃ２（ト）

Claims

【特許請求の範囲】

（１）送信側では、伝送対象情報をあらかじめ用意した
該伝送対象情報に対応する予備情報を用いて認識し、そ
の特徴パラメータを符号化して伝送し、受信側では、符
号化パラメータをあらかじめ用意した該当予備情報を用
いて復号化し、目的の情報を再生することを特徴とする
情報通信方式。