JPH0832947A

JPH0832947A - 画像通信装置

Info

Publication number: JPH0832947A
Application number: JP6158854A
Authority: JP
Inventors: Tsutomu Imai; 勉今井; Takuya Imaide; 宅哉今出; Ryushi Nishimura; 龍志西村; Kenji Ichige; 健志市毛
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-07-11
Filing date: 1994-07-11
Publication date: 1996-02-02

Abstract

(57)【要約】【目的】送受信信号量の増加を抑えつつ画像の動きを豊
かにすることができる画像通信装置を得る。【構成】テレビカメラ１００で撮影した映像情報は複数
フレーム毎に伝送し、動作判別処理部１０３で判別した
動作情報を毎フレーム毎に伝送する。動作処理部１１１
は、映像情報と動作情報を使用して補間画像を生成して
表示画像に動きを与え、少ない信号量から動きの豊かな
表示画像を得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話装置やテレ
ビ会議装置などのように画像情報の通信を行う画像通信
装置に関する。

【０００２】

【従来の技術】テレビ電話装置において、画像情報の信
号量を可能な限り圧縮して送受信する通信方法が、例え
ば、特公平２ー３６６８７号公報に記載されている。こ
の通信方法は、通信者の顔の口以外の部分は静止画デー
タを使用し、口は通信中に伝送される音声情報に応じ
て、受信側で合成処理することにより顔の動画像を生成
するものであり、顔動画の情報信号量を大幅に圧縮で
き、送受信信号量を大幅に削減することができるように
工夫されている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな画像情報の送受信を行なうテレビ電話装置において
は、通信者が首を縦に動かして頷いたり、首を横に振っ
て「ノー」を表現しても、顔全体は静止画像であるの
で、このような動作は相手側に伝わらない不都合があ
る。

【０００４】本発明の目的は、このような問題点を解決
し、送受信信号量の増加を抑えつつ画像の動きを豊かに
することができる画像通信装置を提供することにあり、
例えば、テレビ電話装置やテレビ会議装置において、通
信者の意思表示の動作や表情などを相手に伝えて表現豊
かに通話することができるようにすることにある。

【０００５】

【課題を解決するための手段】本発明の１つの特徴は、
テレビカメラと、該テレビカメラにより撮影した映像情
報から通信者の所定部分に関する部分画像情報を抽出す
る抽出手段と、抽出された部分画像情報に基づいて前記
所定部分の動きを判別して動作情報を生成する動作判別
手段と、前記映像情報を複数フレーム毎に送受信すると
共に前記動作情報を毎フレーム毎に送受信する送受信手
段と、受信した前記映像情報と動作情報に基づいて表示
画像を生成する画像生成処理手段を備えたことにある。

【０００６】本発明の他の特徴は、テレビカメラと、該
テレビカメラにより撮影した映像情報から通信者の顔の
構成部分の部分画像情報を抽出する抽出手段と、抽出さ
れた部分画像情報に基づいて該構成部分の動きを判別し
て動作情報を生成する動作判別手段と、前記映像情報と
動作情報を符号化する符号化手段と、該符号化された映
像情報を複数フレーム毎に送受信すると共に動作情報を
毎フレーム毎に送受信する送受信手段と、該送受信手段
により受信した符号化信号から前記映像情報と動作情報
を復元する復元手段と、復元した映像情報と動作情報に
基づいて表示画像を生成する画像生成処理手段を備えた
ことにある。

【０００７】本発明の更に他の特徴は、テレビカメラ
と、該テレビカメラにより撮影した映像情報から通信者
の所定部分に関する部分画像情報を抽出する抽出手段
と、抽出された部分画像情報に基づいて前記所定部分の
動きを判別して動作情報を生成する動作判別手段と、前
記映像情報を所定フレーム毎に送受信すると共に前記部
分画像情報及び動作情報を毎フレーム毎に送受信する送
受信手段と、送受信した画像情報を記憶するメモリ手段
と、該メモリ手段から読出した映像情報を前記部分画像
情報と動作情報に応じて変形する画像変形手段を備えた
ことにある。

【０００８】

【作用】送信側では、映像情報を複数フレーム毎に伝送
し、該映像情報から抽出した部分画像情報から判別した
動作情報は毎フレーム毎に伝送する。そして受信側で
は、映像情報あるいは部分画像情報と動作情報を使用し
て補間画像を生成して表示画像に動きを与え、少ない信
号量から動きの豊かな表示画像を得る。

【０００９】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００１０】図１は、本発明の一実施例であるテレビ電
話装置のブロック図を示している。１００はテレビカメ
ラ、１０１は抽出処理部、１０２は制御回路、１０３は
動作判別処理部である。この動作判別処理部１０３は、
動き検出処理部１０４と動作処理部１０５を備える。１
０６は符号化処理部、１０７は多重化処理、１０８は送
受信部である。１０９は分離処理部、１１０は復号化処
理部、１１１は動作処理部である。この動作処理部１１
１は、動作判別処理部１１２と動作処理部１１３を備え
る。１１４は合成処理部、１１５は画像表示部、１１６
は前記テレビカメラ１００のズーム制御機構部である。

【００１１】テレビカメラ１００は通信者などを撮影し
て映像情報に変換する。抽出処理部１０１は、この映像
情報の輝度信号などの情報に着目して通信者の目，口，
鼻，眉，耳などの顔の構成部分を抽出する。制御回路１
０２は、顔の映像が常にある程度の大きさになるように
テレビカメラ１００のズーム制御機構部１１６を制御す
る。動き検出処理部１０４は、抽出された部分が縦方向
または横方向に所定量以上に移動したかどうかを判別す
る。縦方向に移動していれば首を縦に振ったと判定し、
横方向に移動していれば首を横に振ったと判定する。ど
ちらにも当てはまらない場合には、首の動作はないと判
定する。動作処理部１０５は、動き検出処理部１０４で
判別した動作内容を表現するための信号処理を施し、符
号化１０６は該動作情報と前記映像情報を符号化する。
多重化処理部１０７は、符号化された前記動作情報およ
び前記映像情報を合わせて送信情報信号を作成し、送受
信部１０８は該送信情報信号を送信する。

【００１２】送受信部１０８は、相手側から受信した受
信情報信号を分離処理部１０９に与える。この分離処理
部１０９は、受信情報信号をそれぞれの部分に分離す
る。復号化処理部１１０は分離された受信情報信号を復
号し、映像情報は合成処理部１１４に与え、動作情報は
動作処理部１１１に与える。動作処理部１１１は、動作
判別処理部１１２において動作情報から動作内容を判別
し、動作処理部１１３において該動作内容に従った補間
画像生成処理を行なう。この補間画像生成処理は、合成
処理部１１４に記憶されている画像情報を基準にして行
なう。合成処理部１１４は、復元された映像情報を記憶
し、動作処理部１１３で生成された補間画像情報を合成
して記憶し、画像表示部１１５に表示させ表示画像信号
を生成する。

【００１３】次に、動作判別処理部１０３における動き
検出処理部１０４の具体例を図２を用いて説明する。２
０１は座標値計算処理部、２０２は重心位置計算処理
部、２０３は判別処理部、２０４はメモリである。

【００１４】座標値計算処理部２０１は、抽出処理部１
０１で抽出した両目と口の各座標値を計算する。重心位
置計算処理部２０２は、座標値計算処理部２０１で算出
した３つの座標を結ぶ三角形の重心の座標値を求める。
判別処理２０３は、重心位置計算処理２０２で算出した
重心の座標値とメモリ２０４に記録されている数フレー
ム前の重心の座標値の平均値とを比較し、該重心位置が
縦方向または横方向に所定量以上の移動を検出した場合
には、縦方向の移動の場合は頷きまたはイエスの動作と
判定し、横方向の移動の場合を拒否またはノーの動作と
判定する。そして、算出された重心の座標値をメモリ２
０４に記録する。

【００１５】次に、この動作判別処理部１０３における
動き検出処理部１０４の他の具体例を図３を用いて説明
する。３０１は座標値計算処理部、３０２は判定処理
部、３０３はメモリである。

【００１６】座標値計算処理部３０１は、抽出処理１０
１で抽出された鼻の座標値を計算する。判定処理部３０
２は、その座標値とメモリ３０３に記憶されている数フ
レーム前の鼻の座標値の平均値とを比較することによっ
て該鼻の移動を検出し、前記と同様の判別処理を行な
う。そして、算出された鼻の座標値をメモリ３０３に記
録する。この判別処理は、目，口，眉，耳の１つに着目
してその座標の移動を検出することによって行なうこと
も可能である。

【００１７】図４及び図５は、このテレビ電話装置にお
ける動作処理部１１１の補間画像生成処理例を示してい
る。図４において、（ａ）は通信者を正面から見た図形
（画像）であり、一点鎖線５０１，５０２は該画像の回
転処理を行うための基準軸である。（ｂ）は通信者を横
から見た図形（画像）であり、黒丸５０１は回転処理を
行うための前記基準軸である。また、（ｃ）は通信者を
上から見た図形（画像）であり、黒丸５０２は回転処理
を行うための前記基準軸である。

【００１８】テレビ電話装置においては、首を縦に動か
したり横に振ったりする動作は表示画面の画像変化で表
現しなければならない。送信側における動作判別処理部
１０３で判別した首の動作内容を表す動作情報を受信側
の動作処理部１１１で受信すると、該動作処理部１１１
における動作判別処理部１１２がその動作内容を判別
し、動作処理部１１３においてそれに合った動作となる
ような画像処理を行う。つまり、首が縦に動いたときの
動作情報を受信した場合には、動作処理部１１３は、
（ｂ）に示すように、基準軸５０１を軸にして画像を回
転するような画像処理を行う。同様に、首が横に振られ
たときの動作情報を受信したときには、（ｃ）に示すよ
うに、基準軸５０２を軸にして画像を回転するような画
像処理を行う。首が正面，斜め下，斜め左，斜め右を向
いたときの画像を順次に生成することにより、頷きや首
振りを表現する画像表示を行なうための画像処理を実行
する。動きを滑らかに表現するためには動きの途中の状
態を複数の画像を用いて表示することが必要であるが、
ここでは最も簡単な動作表現例を示す。

【００１９】図５は、首を縦に動かす動作を表現する画
像処理の一例を示ものであり、太線で示した正面を向い
ている顔から細線で示した斜め下を向いている顔の画像
を生成する様子を示している。この画像処理は、顔（画
像）を基準軸５０１を軸にして回転させるような処理で
ある。６０１は太線で示した正面を向いている顔のＮフ
レーム、６０２は細線で示した斜め下を向いている顔の
処理後のＮ＋１フレームである。

【００２０】目を対象にした画像処理を例にとって説明
する。Ｎ＋１フレーム（頷いている）の目の画像データ
ｂは、Ｎフレーム（正面を向いている）の画像データａ
に関連して生成する。画像データｂの座標は、画像デー
タａの座標から首の振れ角と首の三次元形状モデルを用
いて算出できる。つまり、二次元画像の各画素に対して
三次元的マッピングを行なうことにより、動作後の二次
元画像を生成することができる。その他の顔の各構成部
分も同様の方法で処理することにより得られる。このよ
うにして、正面を向いた顔の画像データから斜め下を向
いている顔の画像を作り出す。

【００２１】また、斜め左や斜め右を向いてる顔の画像
も同様の方法で作り出すことができる。

【００２２】そしてこのような処理を行って得た正面を
向いた画像と斜め下を向いた２枚の画像を組み合わせる
ことにより、首を縦に動かして頷いている動作を表現し
たり、斜め左と正面と斜め右の３枚の画像を組み合わせ
て首を横に振る動作を表現することができる。

【００２３】この例は、首の縦と横の動作の判別及び再
現であるが、これを応用して例えば首を傾げる動作など
も表現することが可能である。

【００２４】図６は、リアルなテレビ電話装置とするた
めに、画像表示部１１５として立体スクリーンを用いた
例を示している。７０１は通信者、７０２はテレビカメ
ラ、７０３は処理装置、７０４は通信網、７０５は立体
スクリーン、７０６は立体スクリーン駆動部である。立
体スクリーンに対する画像投影は、投影装置により行な
う。

【００２５】テレビカメラ７０２は送信側の被写体を撮
影して映像情報に変換する。処理装置７０３は前記実施
例と同様な処理部を備え、前記映像情報を前記実施例と
同様に処理し、符号化した後に通信網７０４を介して送
信する。また、相手側から送られてきた情報を復元して
立体スクリーン７０５に映し出すと共に立体スクリーン
駆動部７０６により該立体スクリーン７０５を動かす。

【００２６】図７は、立体スクリーン７０５を用いたテ
レビ電話装置における動作制御の一具体例を示してい
る。首を縦に動かして頷いた肯定動作のときには相手側
の立体スクリーン７０５も同様に動作することが望まし
い。従って、動作判別処理部（１０３）において、首を
縦に振って頷いたと判定してその動作情報が伝送されて
きたときには、動作処理部（１１３）は、（ａ）のよう
に立体スクリーン７０５を縦方向に動かす駆動を行なう
ように立体スクリーン駆動部７０６に制御信号を与え
る。また、この動作処理部（１１３）は、首を横に振っ
て否定動作をしていると判定された動作情報が伝送され
てきたときには、（ｂ）のように立体スクリーン７０５
が首を横に振るように立体スクリーン駆動部７０６を制
御する。

【００２７】図８は、本発明になるテレビ電話装置の他
の実施例を示している。９０１は映像情報を生成するテ
レビカメラ、９０２は符号化処理部、９０３は抽出処理
部、９０４はメモリ、９０５は動作判別処理部、９０６
は送受信部、９０７は復号化処理部、９０８はメモリ、
９０９は変形処理部である。

【００２８】送信情報の一部は、テレビカメラ９０１で
撮影して得た映像情報を符号化処理部９０２で符号化し
てルート９１２で複数フレーム毎に送信される。抽出処
理部９０３は前記映像情報から目、口、顔などの領域情
報を抽出し、前記実施例と同様に、抽出した目と口の座
標値を計算して、それらを三角形の頂点として重心値を
求めてメモリ９０４記憶する。動作判別処理部９０５
は、新たに求めた重心値と数フィールド前に求めてメモ
リ９０４に記憶されている重心値の座標値の平均値とを
比較することにより動きの内容を判別する。この動作情
報は、ルート９１４により毎フレーム毎に送信する。抽
出された領域情報（座標情報）もルート９１３により送
信する。

【００２９】受信情報は、複数フレーム毎に受信する映
像情報をルート９１６で復号化処理部９０７に伝達して
復元し、メモリ９０８に記憶する。変形処理部９０９
は、ルート９１５で伝達される動作情報と領域情報に基
づいてメモリ９０８に記憶されている映像情報の中から
抽出した領域の画像を変形処理する。この変形処理は、
前記した実施例と同様に、二次元画像の各画素に対して
三次元的マッピングを行うことによって、動作（変形）
後の二次元画像を生成する処理である。そして表示部９
１０は、変形処理後の画像を表示する。

【００３０】抽出対象は、領域ではなく顔の構成部分と
し、メモリ９０８に記憶されている画像情報の中から対
応する部分の画像を読出して変形処理するようにするこ
ともできる。

【００３１】なお、本発明で行なう動作判別処理結果
は、コンピュータにおけるキーボード操作やマウスのク
リック操作の代りに利用することができる。首を縦方向
に動かして頷く動作は「イエス」と等価な入力操作に相
当し、横方向に動かして否定する動作は「ノー」と等価
な入力操作に相当する入力として使用できる。

【００３２】

【発明の効果】以上のように本発明は、映像情報の間に
動作情報を授受して補間画像を生成することにより表示
画像に動きを与えるようにしたので、少ない信号量で動
きの豊かな画像表示を行なうことができる。

【図面の簡単な説明】

【図１】本発明になるテレビ電話装置の一実施例を示す
ブロック図である。

【図２】図１における動き検出処理部の一具体例を示す
ブロック図である。

【図３】図１における動き検出処理部の他の具体例を示
すブロック図である。

【図４】図１における動作処理部で実行する補間画像生
成処理の一例である。

【図５】図１における動作処理部で目に着目して実行す
る補間画像生成処理の一例である。

【図６】本発明になるテレビ電話装置の他の実施例を示
すブロック図である。

【図７】図６における立体スクリーンの動作説明図であ
る。

【図８】本発明になるテレビ電話装置の更に他の実施例
を示すブロック図である。

【符号の説明】

１００…テレビカメラ、１０１…抽出処理部、１０３…
動作判別処理部、１０４…動き検出処理部、１０５…動
作処理部、１０６…符号化処理部、１０７…多重化処理
部、１０８…送受信部、１０９…分離処理部、１１０…
復号化処理部、１１１…動作処理部、１１２…動作判別
処理部、１１３…動作処理部、１１４…合成処理部。

フロントページの続き (72)発明者市毛健志神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所映像メディア研究所内

Claims

【特許請求の範囲】

【請求項１】テレビカメラと、該テレビカメラにより撮
影した映像情報から通信者の所定部分に関する部分画像
情報を抽出する抽出手段と、抽出された部分画像情報に
基づいて前記所定部分の動きを判別して動作情報を生成
する動作判別手段と、前記映像情報を複数フレーム毎に
送受信すると共に前記動作情報を毎フレーム毎に送受信
する送受信手段と、受信した前記映像情報と動作情報に
基づいて表示画像を生成する画像生成処理手段を備えた
ことを特徴とする画像通信装置。
【請求項２】テレビカメラと、該テレビカメラにより撮
影した映像情報から通信者の顔の構成部分の部分画像情
報を抽出する抽出手段と、抽出された部分画像情報に基
づいて該構成部分の動きを判別して動作情報を生成する
動作判別手段と、前記映像情報と動作情報を符号化する
符号化手段と、該符号化された映像情報を複数フレーム
毎に送受信すると共に動作情報を毎フレーム毎に送受信
する送受信手段と、該送受信手段により受信した符号化
信号から前記映像情報と動作情報を復元する復元手段
と、復元した映像情報と動作情報に基づいて表示画像を
生成する画像生成処理手段を備えたことを特徴とした画
像通信装置。
【請求項３】テレビカメラと、該テレビカメラにより撮
影した全体映像情報から通信者の所定部分に関する部分
画像情報を抽出する抽出手段と、抽出された部分画像情
報に基づいて前記所定部分の動きを判別して動作情報を
生成する動作判別手段と、前記全体映像情報を所定フレ
ーム毎に送受信すると共に前記部分画像情報及び動作情
報を毎フレーム毎に送受信する送受信手段と、送受信し
た画像情報を記憶するメモリ手段と、該メモリ手段から
読出した映像情報を前記部分画像情報と動作情報に応じ
て変形する画像変形手段を備えたことを特徴とした画像
通信装置。
【請求項４】請求項１〜３の１項において、前記抽出手
段は、前記映像情報から通信者の所定部分を含む領域の
画像情報を抽出することを特徴とする画像通信装置。
【請求項５】請求項１〜３の１項において、前記抽出手
段は、前記映像情報から通信者の所定部分の画像情報を
抽出することを特徴とする画像通信装置。
【請求項６】請求項１〜３の１項において、前記動作判
別手段は、前記構成部分に関する情報を記憶するメモリ
手段を有することを特徴とする画像通信装置。
【請求項７】請求項１〜３の１項において、前記動作判
別手段は、首の縦方向または横方向の動きを判別するこ
とを特徴とする画像通信装置。
【請求項８】請求項１〜３の１項において、前記動作判
別手段は、抽出された構成部分の座標値を求める手段
と、該座標値の変化に基づいて構成部分の動作を判別す
る手段を有することを特徴とする画像通信装置。
【請求項９】請求項１〜３の１項において、前記抽出手
段は、通信者の顔の両目と口の画像情報を抽出する手段
を有し、前記動作判別手段は、前記抽出された両目と口
の座標値を求める手段と、各座標値で囲まれた領域の重
心の座標値を求める手段と、該重心座標の変化に基づい
て首の動作を判別する手段を有することを特徴とする画
像通信装置。