JPS63191476A

JPS63191476A - 知能画像通信方式

Info

Publication number: JPS63191476A
Application number: JP62023765A
Authority: JP
Inventors: Shinichi Murakami; 伸一村上; Hideya Ichihara; 市原　英也
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1987-02-04
Filing date: 1987-02-04
Publication date: 1988-08-08

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（１）発明の属する技術分野本発明は画像認識９画像生成技術を画像通信に適用し、
低ビツトレートの伝送回線を用いて動画像通信を実現す
る知能画像通信方式に関するものである。

（２）従来の技術映像通信技術を用い、居ながらにして遠隔地の様子を見
る事のできる通信方式として、テレビ電話方式やテレビ
会議方式が知られている。しかし。

従来の方式では送信側の画像をそのまま画像信号として
伝送する形態を採っているため、伝送すべき信号の帯域
や伝送ビットレートを非常に高くとる必要が生じ、伝送
コストも高くなると言った欠点があった。

また、送信側の画像の持つ意味や内容の解釈については
判断していないため、情報に対する解釈は受信側の判断
にまかされており、統一的な情報の伝達の立場からは必
ずしも好ましいものではなかった。

（３）発明の目的本発明の方式は上記欠点を補うため、最近進展が著しい
画像認識や画像処理技術を用いて送信側゛で画像の認識
を行い２その認識結果のみを伝送し。

受信側で画像データベースを用いて５画像を生成する事
によって画像通信を実現するもので、伝送ビットレート
の大幅な低減が図れるとともに１画像解釈の統一化９画
像表現の融通性の向上環が期待できるものである。

（４）発明の構成第１図は本発明の一実施例の構成を示すブロック図で、
１は送るべき被写体、２はテレビカメ元３は画像認識装
置、４は送信側画像データヘース装置、５は信号伝送装
置、６は伝送路、７は信号受信装置、８は画像生成装置
、９は受信側画像データベース装置、１０は画像表示装
置である。

次に第１図を用いて２本発明の知能画像通信方式の動作
の概要を説明する。

まず、送るべき被写体１はテレビカメラ２によって撮影
され、テレビ画像情報として画像認識装置３へ入力され
る。一方、送信側画像データベース装置４内には被写体
１に関する各種の情報１即ち被写体１の標準画像、各種
動作に伴う変形画像。

変形画像の持つ意味例えば被写体が人物の場合その変形
画像が意味する人物の表情等の情報が１画像データベー
スとして、蓄えられている。

画像認識装置３は、最近技術面で進展が著しいマイクロ
プロセサを主体とした装置で、入力された上記テレビ画
像情報と送信側画像データベース４内に蓄えられている
被写体Ｉに関連する画像データベースとを比較し、マツ
チング処理する事によって、被写体の形態及び動き１人
物の表情等を認識する。この被写体に対する認識処理は
２通常画像処理技術として知られている計算機による特
徴抽出処理、パターンマツチング処理技術を用いて実現
される。

この対象人物に対する認識処理として２人物の同定や動
作の認識と言った処理を行う様にシステムを構成してお
くと、その認識結果を受信側に伝達する事によって出席
者の表示や発言者の表示と言った。従来では受信画像を
見て受信者が判断していた事項を統一的に行う事ができ
る。

これらの被写体に対する認識結果は、゛被写体の動きコ
マンド及び表情コマンドとして、信号伝送装置５を経て
伝送路６へ送出される。ここで、信号伝送装置５は画像
認識装置３の認識結果である各種コマンドを伝送信号に
変換すると共に、受信側にある信号受信装置７との間で
送出伝送・信号送受信制御や誤り訂正等の伝送制御手順
を実行する。

受信側における信号受信装置７では送信側からの伝送信
号を受は取ると、それを各種コマンドに変換し２画像生
成装置８へ送出する。

また、受信側画像データベース装置９には送信側画像デ
ータベース装置４と同様な被写体１に関する各種の情報
、即ち被写体１の標準画像、各種動作に伴う変形画像、
変形画像の持つ意味例えば被写体が人物の場合その変形
画像が意味する人物の表情等の情報が２画像データベー
スとして、蓄えられている。

そこで９画像生成装置８では信号受信装置７から送られ
た各種コマンドを基に２画像データベース装置９内の画
像データベースを用いて、被写体１の動きを伴った表情
画像を生成し９画像表示装置１０へ送出する。画像表示
装置１０ばこの画像情報を実時間的に表示する。これに
よって、送信側の画像は認識され、低ビツトレートで受
信側へ伝送され、再生１表示される事となる。

第２図は対象人物の動きを抽出する態様を説明する図で
、第２図（ａ）及び（ｂ）はテレビカメラ２より取り込
まれた２つの画像フレーム、１００は対象人物像、１０
１，１０３はそれぞれ画像フレーム中の右眼パターン、
１０２，１０４は左眼パターンである。

第３図は頭部の回転角を算出する態様を説明する図で１
頭部を上方から見た場合を示しており。

αは回転中心から見た眼の正面方向とのなす角度。

βは頭部の回転角である。

ここで２人物の動きを一般的に平行移動と、ある点を中
心とした回転とに分けて抽出認識する事とする。まず、
第２図、第３図を用いて頭部の回転角を求める態様につ
いて説明する゛。

対象とする人物像が写っている画像フレーム（第２図（
ａ））及び次の画像フレーム（第２図（ｂ））が与えら
れると２画像フレーム（第２図（ａ））の人物の右眼の
ある位置に眼の切出し用パターン例えば１０１を設定す
る。次にこの切出しパターンを次の画像フレーム（第２
図（ｂ））に移し、やはり右眼の当たりでこのパターン
とマツチングをとる。

このマツチングがとれた位置が右眼の見掛けの移動位置
となる。同様にして左眼の見掛けの移動位置を求める事
ができる。

ここで、視点が無限遠にあるとすると、上記操作により
２両目間の見掛けの距離（第３図におけるｄＺ）が求め
られる事となる。そこで予め対象人物の正面を向いた場
合の両目間の距離（第３図におけるｄＩ）が分かってい
れば次の式によって人物頭部の回転角βを求める事がで
きる。即ち。

ｄ、＝２ｒ　ｓｉｎα　　　　　　　　　　（Ｌ）ｄｚ
−Ｔｓｉｎ（α十β）＋ｒｓｉｎ（α−β）０２γＳｉ
ｎαＣＯ３β であるから β−ａｒｃｃｏｓ　（ｄｚ　／ｄ＋　）　　　　　　　
（２）頭部の上下方向の回転角も特徴点として眼と口を
用いて上記と同様に求める事ができる。

人物の平行移動の動作については２人物の頭頂や顎等の
点を対象に上記と同様なパターンマツチング手法を用い
て抽出できる事は明らかである。

これにより、送信側では人物の動きを平行移動と、ある
点を中心とした回転として認識抽出できる事となる。

第４図は９画像データベース内における人物顔画像等の
物体像の３次元的な表現態様を説明する図で、４００は
３次元空間内で定義された認識対象である人物頭部等の
物体、４０１は物体の回転中心にとられた３次元空間の
原点、４０２は原点から上下、左右２前後の各方向に放
射される放射ベクトル、４０３は放射ベクトルを定義す
る基準立方体である。

この時放射ベクトルは次の様にして構成される。

即ち、基準立方体の各面をｎＸｎ　（例えばｎ＝２００
Ｘ２００等とする）の正方格子に区切る。そして基準立
方体の中心とこの各格子点とを結ぶベクトル（放射ベク
トル）を作る。

この放射ベクトルを使って３次元物体は次の様に表現で
きる。即ち、物体の回転中心から放射される各放射ベク
トルに対して、それが物体表面に当たる点（物体表面点
）を終点とするベクトルを考え、それを改めて放射ベク
トルと呼ぶ事にすると、物体の表面点はこれらの放射ベ
クトルの集合で表す事ができる。また、物体像を高速表
示するために、物体の各表面点（放射ベクトル点）にお
ける物体の法線を計算し、その方向ベクトルを法線ベク
トルとして、放射ベクトルと対にして蓄積（データベー
ス化）する。

この放射ベクトルはその構成方法から分かる様に、３次
元空間の各方面に放射されているので３次元物体の表面
形状の表現が可能で、また表面点だけを記述するので必
要となるデータ量が少なくて良い。さらに次に述べる様
に、物体の回転や移動に伴う物体の位置の変更を容易に
計算できる特徴がある。

即ち、物体が移動するとデータベースは次の様に変更す
ればよい。一般に、物体の移動は前に述べた様に２回転
と平行移動に分けて考える事ができる。またここでは９
人物等の通信対象物体の移動を回転と平行移動に分解し
て抽出認識している。

物体の回転に対しては、物体の各表面点も対応する角度
だけ回転するので、放射ベクトルをその対応する角度だ
け回転させてやればよい事になる。

この時、対応する表面点の法線も同じ角度だけ回転する
から、法線ベクトルもそれだけ回転させてやれば良い。

また、平行移動に対しては、放射ベクトルを対応する量
だけシフトさせてやればよい。

これらの回転、移動等の処理はデータベースとして蓄え
られている数値データの演算処理であり。

通常のプロセサ技術で容易に実現される。

この様にして２物体を放射ベクトルと法線ベクトルで記
述しておくと、従来画像処理手法として知られている光
線追跡法やスキャンライン法の様に、移動後の画像対応
にその都度視線ベクトルと物体との交点計算を行う必要
がなく、ベクトルの回転と移動計算だけで良いので、物
体の移動に対して移動後の物体像を表すデータベースを
高速に変形して作成する事ができる。

第５図はデータベース内の物体像データベースの構造を
示す図で、５００は人物の名前等の物体名コマンド、５
０１は頭部、胸、腕等の部分物体名コマンド、５０２は
眼２口等の部分変形する変形物体部コマンド、５０３は
法線ベクトルコマンド、５０４は放射ベクトルコマンド
である。ここで２部分物体は変形物体部を持つものと、
変形物体部を持たないものとがある事に注意を要する。

人物が笑ったり、怒ったりした場合の表情の変形に対し
ては、単に放射ベクトルの回転や移動だけでは対応出来
ないので、データベースを次の様にして変形する。即ち
２人物像のデータベースは予め肩や胸等の様に２体の全
体の移動につれて移動するだけのものと、眼や口の様に
形そのものを変形するものに分けられ、第５図に示す様
にそれらは区別して記ｔａされている。またこの時、変
形物体部については複数の形状データが並列に記憶され
ている。そこで、送信側で対象物体の変形物体部がその
内の何れであるかを認識すると、その内から最もその変
形に相応しい変形物体部のデータ（放射ベクトルと法線
ベクトル）が選ばれる事となる。この識別情報も伝達情
報として受信側へ伝えられる。

受信側では伝えられた情報に基づいて対応する変形物体
部データを取り出し、データベースの対応する部分に嵌
込み１画像生成の基となるデータベースを組み立てる。

その後、この物体全体の移動に基づくデータベースの変
形はこのデータベースを用いて前述の様にして行われる
。

この様にすると送信側の伝送対象物体は、その動作を含
めて送信側で認識され、受信側へ認識結果が伝送される
。受信側ではこの認識結果より対象物体像を再生する事
ができるので、受信者はその像を見る事によって送信側
の状態を知る事ができる。

（５）発明の効果以上述べた如く３本発明によれば、物体を放射ベクトル
と法線ベクトルとで記述するので５画像の実時間生成が
可能であり、また、対象物体の移動、変形に対して伝送
されるデータは、物体の回転、平行移動量及び変形部の
識別情報だけで、伝送情報は少なくて済む事となる。即
ち、対象物体の動きを認、識する事によって、伝送すべ
き情報を大幅に圧縮し、伝送する事が可能となるので、
非常に低いビットレートの回線を使って２動画像の通信
が可能となる。

また、送信側での画像認識において対象人物の表情や動
作を認識するので、その認識結果を受信側に伝送し適切
な表示を行えば、送信側の意志や状態の解釈を統一的に
受信側へ伝送する事ができる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成を示すブロック図、第
２図は対象人物の動きを抽出する態様を説明する図、第
３図は頭部の回転角を算出する態様を説明する図、第４
図は画像データベース内における対象物体の３次元的な
表現態様を説明する図、第５図はデータベース内の物体
像データベースの構造を示す図である。１・・・被写体、２・・・テレビカメラ、３・・・画像
認識装置、４・・・送信側画像データベース装置、５・
・・信号伝送装置、６・・・伝送路、７・・・信号受信
装置、８・・・画像生成装置、９・・・受信側画像デー
タヘース。１００・・・対象人物像、１０１，１０３・・・右眼パ
ターン、１０２，１０４・・・左眼パターン、ｄ、、ｄ
２・・・両目間隔、４００・・・３次元空間内に置かれ
た物体、４０１・・・３次元空間の原点、４０２・・・
放射ベクトル、４０３・・・基準立方体、５００・・・
物体名コマンド、５０１・・・部分物体名コマンド、５
０２・・・変形物体部コマンド、５０３・・・法線ベク
トルコマンド、５０４・・・放射ベクトルコマンド。

Claims

【特許請求の範囲】

（１）被写体に対応する画像を伝送する画像通信方式に
おいて、テレビカメラ装置、画像認識装置、送信側画像
データベース装置、信号伝送装置よりなる送信側装置と
、信号受信装置、画像生成装置、受信側画像データベー
ス装置、画像表示装置よりなる受信側装置とを伝送路で
結んで構成すると共に、前記送受信双方のデータベース
内では対象物体をそれが存在する３次元空間内に採られ
た原点からの放射ベクトル及び法線ベクトルで記述し、
送信側の画像認識装置で対象物体を認識し、その認識結
果を受信側に伝送し、それに基づき、受信側で受信側画
像データベースを変換して対象物体像を表示する事を特
徴とする知能画像通信方式。
（２）上記特許請求の範囲第（１）項記載の知能画像通
信方式において、送信側の画像認識装置での対象物体に
対する認識として対象人物の動きの認識を行う事を特徴
とする知能画像通信方式。
（３）上記特許請求の範囲第（１）項記載の知能画像通
信方式において、送信側の画像認識装置での対象物体に
対する認識として対象人物の同定を行う事を特徴とする
知能画像通信方式。