JPH04129395A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は知的符号化を用いた画像符号化装置に係り、特
に知的符号化を適用する際のモデリングに必要なパラメ
ータを初期設定する手段を備えた画像符号化装置に関す
る。

（従来の技術） 知的符号化は、対象物体に関する知識を用いて物体を認
識し、認識結果を符号化する方法であり、この技術をテ
レビ電話やテレビ会議に適用する試みがなされている（
参考文献■：　１９ｇ６年度画像符号化シンポジウム５
−２　　“知的画像符号化のための顔の三次元モデル構
成について″相澤、他）。この符号化は例えは画像符号
化の対象物が人間の顔というように限定されている場合
、対象に関する特別な知識を送受端で共有し、送信側で
符号化対象を分析して特徴抽出、認識、推論符号化を行
い、受信側では抽出特徴量等に基づき知識を変形し、画
像合成を行う方式である。この様な知的符号化方式によ
れば特徴量や認識結果のみを伝送すればよいため、従来
の波形符号化に比べ、はるかに少ない情報量で画像伝送
が可能になると考えられている。特に対象を顔画像に限
定し、顔の三次元形状を知識として使用すれば、テレビ
電話、テレビ会議等への応用が可能となる。

このような人間の顔画像の知的符号化で必要とされる特
有の技術は、顔画像をモデル化し、特徴量を抽出するこ
とである。参考文献■によれば、顔の概形を近似するた
めに三次元ワイヤフレームモデルと呼ばれる一般化され
た基準の三次元モデルを用い、ポリゴンと呼ばれる三角
形に顔表面を分割して貼り付ける手法をとっている。顔
の三次元ワイヤフレームモデルを個人に合わせた三次元
モデルへと変形し、その変形に必要な個人の顔の動きな
どの変化に関する変化情報を顔画像の符号化出力として
伝送することかできる。その場合、個人にある程度忠実
な三次元モデルを得るために、与えられた二次元正面画
像と整合がとれる様に、顔の三次元ワイヤフレームモデ
ルを変形し、その三次元ワイヤフレームモデム上への正
面像の投影を行うことで、個人の三次元モデルの構成を
行う。

この処理過程をより詳しく述べると、まず顔の二次元正
面画像より特徴点と呼ばれるいくつかの点を抽出し、こ
れらの特徴点において三次元座標が一致する様に三次元
ワイヤフレームモデルにアフィン変換等で変形を施すこ
とで、般化された三次元ワイヤフレームモデルを個人の
三次元モデルヘマッピングする。更に二次元正面画像の
各画素に対して、対応する三次元ワイヤフレームモデル
上の点の三次元座標を与える操作を行うことで、三次元
座標と輝度値から成る個人の顔の三次元モデルが作成さ
れる。

こうして作成された個人の顔の三次元モデルを基に以後
、入力される動きや形状変化などの時間的変化を分析し
、その変化情報を分析バラメータとして伝送してゆく。

従って、最初の過程で作成される個人の顔の三次元モデ
ルが正確でなければ、この知的符号化は成立しない。個
人の顔の三次元モデルは、送り側と受は側の共有化され
たデータベースであり、以後の分析パラメータは全てこ
の三次元モデルに従って分析され、伝送され、そして受
信側で合成されるからである。三次元モデルに不正確さ
があると、分析・合成を経て得られる復元画像は極端に
自然性を損う可能性がある。

このように知的符号化の過程においては、初期に行なわ
れる個人の顔の三次元モデルの作成が最も重要であるこ
とがわかる。この三次元モデルの作成において鍵となる
のは特徴点の抽出であり、これをいかに正確に行うかが
重要な課題である。

現在のところ、知的符号化技術は実用化の段階にはなく
、研究フェーズである。知的符号化が応用される分野は
、低ビツトレート化による経済性を重視した、テレビ電
話、テレビ会議といった分野であると言われていること
は既に述べた通りである。こうした分野で知的符号化技
術を応用するときの問題点について、以下に述べる。

テレビ電話等への応用では、人間の顔画像か符号化され
て伝送される。カメラ等で得られた画像から、人間の顔
画像を抽出する手法について考えてみる。研究レベルで
行なわれているものは、背景部の画像が平坦で人間の顔
画像が抽出し易い環境であるが、現実の応用を考えると
背景部画像の限定という仮定には無理かある。

従来の顔画像の抽出法としては、人間の動きから顔部分
の画像を抽出するという方法が考え出されている（参考
文献■：　１９８９年度画像符号化シンポジウム、７−
１４．　　“リアルタイム頭部動作認識合成システム”
間瀬他）。この処理で抽出を誤ると、以後の処理で行な
われる個人の顔の三次元モデルの生成は非常に不正確な
ものとなる。因みに、動きから画像の顔部分を抽出する
際、照明等で影ができてしまうと、影の動きを含んだ形
で顔部分を抽出するため、不正確になり易い。

こうして顔の部分が抽出された後、特徴点を何らかの形
で入力する必要がある。特徴点の入力方法として、画像
中から自動的に抽出する方法が試みられているが、必ず
しも正確に求まるかどうか現段階では確立はしていない
（参考文献■：　１９Ｈ年テレビジョン学会全国大会、
２０−５゜“顔動画像符号化のため゛の形状モデルを利
用した動き検出”小泡はか）。他の方法として、人間の
顔の予め定めた特徴点に対応した箇所にマーカシールを
貼り付けることにより、特徴点の抽出を容易に行なおう
とする試みもあるが、実用には耐え難い。

現在のところ、こうした研究を進める上で行なわれてい
る方法としては、特徴点の入力をオフラインで指定して
行なう方法（参考文献■昭和６３年電子情報通信学会秋
季全国大会、５Ｄ−１−４，“モデルに基づく分析合成
符号化における顔の動き量の推定”、小山他）や、対話
的に行う方法（参考文献■：　１９８７、電子情報通信
学会研究資料、ＩＥ８７−１０１．　　“形状変化の検
出と三次元形状モデルに基づく顔動画像の符号化”金子
他）が最も確実な方法である。特徴点を何らかの形で人
間が指定して入力する前者の方法は確実であるが、必要
な特徴点を全て入力することは手慣れた人しか行うこと
が出来ず、テレビ電話等への応用を考えると実用上大い
に問題がある。特徴点の入力を対話的に行う後者の方法
にしても、全ての特徴点を入力することは煩雑であり、
実用性に欠ける。

（発明が解決しようとする課題） このように従来の技術では、知的符号化を用いてテレビ
電話やテレビ会議などに必要な人物頭部に限定した画像
を符号化して伝送する場合、人物頭部と背景部を含む入
力画像から人物頭部の像域のみを抽出して、特徴点を正
確に抽出あるいは指示する一連の初期入力設定時の手続
きに関して実用性が未だ十分に考えられていないという
問題があった。

本発明は、人物頭部と背景部を含む入力画像から人物頭
部の像域を抽出し、その像域内の特徴点を正確に三次元
モデルに受は渡すための一連の初期入力設定の手続きを
簡単に行うことができる画像符号化装置を提供すること
を目的とする。

［発明の構成］ （課通を解決するための手段） 本発明は上記の課題を解決するため、人物頭部の像域内
の特徴点を三次元モデルに受は渡すための一連の初期入
力設定のための手段として、人物頭部と背景部を含む入
力画像のうちの人物頭部の像域内の画像から抽出された
特徴点を修正する修正情報を入力するための入力手段と
、抽出された特徴点および修正情報に従って修正された
後の特徴点を入力画像上に重畳して表示する表示手段と
、抽出された特徴点または修正された後の特徴点を確定
させる確定情報を入力するための手段を備えたことを特
徴とする。画像符号化に際しては、確定情報に従って確
定された特徴点と入力画像および像域情報から人物頭部
の二次元モデルが作成されるとともに、この三次元モデ
ルと入力画像とから人物頭部の画像の変化情報が求めら
れ、これらが符号化出力として出力される。

入力手段は抽圧された特徴点を修正する修正情報に加え
て、さらに抽出された特徴点とは別の新たな特徴点を追
加する追加情報を入力するための機能を備えてもよい。

その場合、表示手段では抽出された特徴点と修正情報に
従って修正された後の特徴点および追加情報に従って追
加された特徴点を入力画像上に重畳して表示し、また確
定情報を入力する手段では新たに入力された特徴点を確
定させるための確定情報を入力する機能も有する。

表示手段においては、抽出された特徴点と修正された後
の特徴点を互いに区別が付くように表示することが望ま
しい。

修正情報や追加情報の入力手段は、例えば表示手段の表
示画面の前部に配置されたタッチパネル上の接触位置や
、表示画面上のライトベンによる接触位置を検知する手
段を含んで構成される。

また、本発明では静止画撮像指示を受けて入力画像を静
止画情報として取込み、この静止画情報が特徴点の抽出
に用いられたり、表示手段での表示に供されることが望
ましい。

（作用） 本発明においては、人物頭部と背景部を含む入力画像か
ら人物頭部の像域を示す像域情報が抽出される。特徴点
の抽出に際しては、この像域情報を用いることによって
、入力画像中の二次元正面顔画像である人物頭部画像中
から予め定められた複数個の特徴点が容易に抽出される
。

こうして自動的に抽出された特徴点は、位置が適切でな
く誤っている場合も多々ある。知的符号化においては特
徴点の抽出誤りは致命的なので、本発明では抽出された
特徴点を入力画像とともに表示して、ユーザに対し可視
的に提示する。この表示からユーザは抽出された特徴点
の適否を知り、誤っていればそれを移動させるなどによ
り修正するための修正情報を入力する。

そして、抽出された特徴点および修正された特徴点を確
認してから確定情報を入力することで、ユーザか確認し
た適切な特徴点のみが符号化に使用される。これにより
、初期入力設定が円滑にかつ適切に実現される。

また、自動抽出ではもともと正確な抽出が困難な特定の
特徴点については、ユーザが手動で追加情報を入力する
ことで、その特徴点を追加するようにすれば、全ての特
徴点を自動抽出する場合に比較して特徴点の抽出が容易
になる。

（実施例） 以下、図面を参照しながら、本発明の実施例について説
明する。

第１図は本発明の一実施例に係る知的符号化を用いた画
像符号化装置のシステム構成を示す図である。撮像部１
１は人物頭部と背景部を含む画像を撮像し、電気的な画
像信号（以下、入力画像信号という）を出力する。この
入力画像信号は像域抽出部１２、特徴点抽出部１３、モ
デルマツピング部１４、分析部１５および画像合成部２
０へ供給される。像域抽出部１２は入力画像信号から人
物頭部の像域を抽出し、それを示す像域情報を出力する
。特徴点抽出部１３は入力画像信号と像域情報より、入
力画像中の人物頭部画像の特徴点を抽出する。

モデルマツピング部１４は入力画像信号と像域情報およ
び特徴点を入力として、予め登録された三次元ワイアフ
レームモデルと人物頭部画像とのマツピングを行い、人
物頭部の三次元モデル情報を出力する。この三次元モデ
ル情報は個人情報ファイル１６および更新部１７に入力
される。個人情報ファイル１６は各個人毎の三次元モデ
ル情報を蓄積するためのもので、その内容は新たな三次
元モデル情報が入力される毎に更新部１７により更新さ
れる。分析部１５は個人情報ファイル１６に蓄積されて
いる三次元モデル情報と入力画像信号とから人物頭部画
像の変化（動き、形状変化など）を分析し、その変化を
表わす変化情報を分析パラメータとして出力する。この
場合、分析パラメータとしての変化情報は、最初の三次
元モデル情報に対する時々刻々の入力画像信号の人物頭
部画像の変化を示す情報であってもよいし、前時刻の三
次元モデル情報に対する入力画像信号の人物頭部画像の
変化を示す情報であってもよい。分析部１５からの分析
パラメータおよび個人情報ファイル１６からの三次元モ
デル情報は多重化部１８で多重化され、この画像符号化
装置の符号化出力として端子１９へ送出される。

一方、特徴点修正／追加情報入力部２１は、特徴点抽出
部１３で抽出された特徴点についての修正をユーザが指
示するための修正情報や、新たに追加する特徴点の情報
を手動で入力するための入力装置であり、その修正／追
加情報は特徴点抽出部１３と画像合成部２０へ送られる
。

初期入力確定情報入力部２２は、初期入力設定の確定、
具体的には特徴点抽出部１３で抽出された特徴点、また
は特徴点修正／追加情報入力部２１からの修正／追加情
報に従って修正された後の特徴点および新たに入力され
た特徴点を確定させるための確定情報をユーザが指示し
て入力するための装置であり、その確定情報は特徴点抽
出部１３とモデルマツピング部１４および操作指示部２
３に供給される。

特徴点抽出部１３は初期入力確定情報入力部２２からの
確定情報を受けると、特徴点修正／追加情報入力部２１
からの修正／追加情報に従って特徴点の修正や追加を行
うとともに、像域抽出部１２で抽出された像域内での特
徴点の全ての情報をモデルマツピング部１４へ送る。モ
デルマツピング部１４は初期入力確定情報入力部２２か
らの確定情報を受けて、前記のマツピング処理を開始す
る。

画像合成部２０は、撮像部１１で得られた画像信号、特
徴点抽出部１３で抽出された特徴点、特徴点修正／追加
情報入力部２１からの修正／追加情報に従って修正され
た特徴点の移動情報や追加された特徴点の情報、操作指
示部２３からの次に修正すべき特徴点の箇所の情報等を
入力とし、これらの情報を１つの画面上に合成する処理
を行って表示部２５へ出力する。この表示部２５の表示
から、ユーザはこれらの情報を知ることができる。なお
、画像合成部２０はからの画像信号については、そのま
ま出力したり鏡像の関係に変換してから出力する。

操作指示部２３は、特徴点修正／追加情報入力部２１か
らの修正／追加情報や初期入力確定情報入力部２２から
の確定情報を受けて、ユーザに対し次に修正すべき特徴
点の箇所の情報や、初期設定入力の完了したことを示す
情報など、初期入力設定のための一連の操作に係る指示
を通知部２４を通じて伝える。通知部２４における通知
法としては、音声や文字メツセージによる表示などがあ
る。操作指示部２３は例えばＣＰＵで構成され、特徴点
修正／追加情報入力部２１および初期入力確定情報入力
部２２からの情報の処理をプログラム制御で行う。

次に、第１図の各部の構成を詳細に説明する。

第２図は撮像部１１の具体的な構成例を示すブロック図
である。人物頭部２０１と背景部２０２を含む人物頭部
画像２０３の光は、撮像レンズ２０４を通った後、７＼
−フミラー２０５により部分され、可視光撮像素子２０
６と赤外光撮像素子２０７に結像される。可視光撮像素
子２０６は可視光画像を撮像する撮像素子であり、その
出力は特徴点抽出部１３での特徴点の精密な抽出や、像
域抽出部１２ての人物頭部の像域抽出などに使用される
べく端子２０８へ出力される。赤外光撮像素子２０７は
赤外光画像を撮像する撮像素子であり、その出力は端子
２０９へ出力される。赤外光を使用する目的は像域抽出
をより容易ならしめるためである。

人間の体温による熱線は赤外光として放射され、背景部
とは異なることから、人物頭部と背景部の分離を赤外光
画像信号から行うことが有効であると考えられる。可視
光画像から人物頭部の像域を抽出する方法は、背景部が
平坦なときには容易である。しかし、テレビ電話の様な
用途では、ユーザに対し背景部が平坦な場所を選ぶ様に
するなど、使用環境を制限させることは実用上好ましく
ない。この点を考慮して、赤外光画像を像域抽出のため
用いる。複雑な背景部を含む人物頭部の像域抽出には、
人物の動きによる動き検出を利用し像域の検出も有効と
なる。人物頭部の場合、動き信号領域内に対象となる像
域が存在するからである。

第３図は像域抽出部１２の具体的な構成例を示すブロッ
ク図である。端子３０１，３０２には第２図の端子２０
８，２０９からそれぞれ出力された可視光画像信号およ
び赤外光画像信号が入力される。これら可視光画像信号
および赤外光画像信号は、空間的な位置合わせかされて
いるものとする。すなわち、可視光画像信号および赤外
光画像信号の同時刻での値は、同一画素の画像信号値を
示すものとする。この位置合せは、三板式カラーカメラ
等の調整で行われている公知の技術と同じ手法を用いれ
ばよく、製造時に行われる。端子３０１に入力された可
視光画像信号はフレームメモリ３０３と、動き検出部３
０４の一方の入力端子に入力され、フレームメモリ３０
３の出力は動き検出部３０４の他方の入力端子に入力さ
れる。動き検出部３０４では両入力の差であるフレーム
間差の演算に閾値処理を組み合せた、−膜内な動き検出
方法によって動き信号を生成する。

端子３０２に入力された赤外光画像信号は、エツジ検出
部３０５へ導かれる。エツジ検出は、入力された画像信
号を例えば空間的な１次微分、２次微分などにより微分
し、得られた微分信号に閾値処理を行った後、空間連結
処理を施して像の輪郭を得る方法が有効である。エツジ
検出部３０５においても、動き検出することも有効な方
法である。像域決定部３０６は、可視光画像信号、動き
検出部３０４からの動き信号、エツジ検出部３０５から
の輪郭信号を入力として、可視光画像上にマツピングさ
れた人物頭部の像域を決定し、例えば人物頭部の輪郭の
空間座標や、抜き出し信号等の形式で端子３０７に像域
情報を出力する。この像域情報は第１図の特徴点抽出部
１３およびモデルマツピング部１４への入力となる。

第４図は前述した動き信号による像域の限定原理を説明
するための図である。同図（ａ）に示すように人物頭部
画像４０１が矢印のごとく移動して、ある時間後に４０
２の位置まで達したとする。ここでいうある時間とは、
１フレ一ム分の画像信号を撮像部１１が出力する時間と
する。つまり、１フレーム後、人物頭部画像４０１が人
物頭部像４０２のように位置変化をするということであ
る。ここで人物頭部画像４０１．４０２の差をとると、
同図（ｂ）に示すようにフレーム間差４０３が得られる
。このフレーム間差４０３のうち斜線で示した領域は、
動き検出によって検出される可能性が高い部分であり、
フレーム間差４０３の内部領域中の非斜線部分は、動き
検出されるかもしれない部分である。図からも明らかな
ように、フレーム間差４０３の形状は人物頭部の像域を
包含するが、像域と完全に一致する訳では無いことに注
意しなければならない。このことを考慮して、第３図で
はフレーム間差信号を像域決定のための補助信号として
像域決定部３０６で使用している。

第５図は第１図の特徴点修正／追加情報入力部２１と表
示部２５の構成を示した図である。

特徴点修正／追加情報入力部２１は表示部２５の前面に
配置されたタッチパネル５０１を主体として構成されて
いる。第５図では表示部２５において人物頭部の顔画像
が表示されている。

タッチパネル５０１は透明であり、表示部２５で表示さ
れた画像を正面から透かして見ることができる。表示部
２５は奥行きの短い液晶パネルなどが望ましいが、ＣＲ
Ｔなどで実現することもできる。タッチパネル５０１に
は接触位置検出部５０２が接続されており、ユーザがタ
ッチパネル５０１に指先あるいは指示棒（後述）などを
接触させると、その接触位置が接触位置検出部５０２で
検出され、端子５０３に接触位置座標が出力される。表
示部２５に表示される画像の空間座標と接触位置座標の
対応は、予め既知であることはいうまでもない。また、
両者の座標位置は１対１に対応していることがより望ま
しい。一般にタッチパネル５０１の分解能は、表示部２
５の分解能に比べ低い。このような場合、第１図におけ
る特徴点抽出部１３では、端子５０３から出力された接
触位置座標が示す画像の空間領域から、特徴点位置をブ
ロックマツチング等で探索する機能を特徴とする特徴点
抽出部１３で抽出された特徴点の修正や特徴点の追加は
、次のようにして行われる。

まず、表示部２５で表示されている人物頭部顔画像の上
に、第１図の特徴点抽出部１３で抽出された特徴点の位
置がスーパーインボーズにより表示される。第５図にお
いて十印は特徴点位置を意味し、例えば白で表示される
。確定していない特徴点はブリンキングさせたりするこ
とによりユーザに注意を促すことが、修正入力に対し有
効である。これらの特徴点のうち、人物頭部の輪郭に位
置するＰＬ（頭頂）、Ｐ２（耳）、Ｐ３（顎）等は特徴
点抽出部１３で抽出されるものである。これらの特徴点
ＰＩ。

Ｐ２．Ｐ３の表示は、最初は全てブリンキングしている
。ユーザは、これらの特徴点Ｐ１゜Ｐ２．Ｐ３の表示を
見て、誤って抽出された特徴点があればタッチパネル５
０１を介して修正入力を施すことができる。修正の後、
ユーザが第１図の初期入力手順確定情報入力部２２から
確定情報を入力すれば、特徴点は確定され、表示のブリ
ンキングも止まる。修正する必要のない残りの特徴点に
ついては、ユーザが確定情報を入力すれば修正手順を概
略化できる。

また、表示部２５で表示されている特徴点のうち例えば
目や鼻の部分のＱｌ、Ｑ２等は、タッチパネル５０１を
介してユーザによって手動で新たに追加入力されたもの
である。人間の顔の中で、目や鼻あるいは口などの部分
の形状・位置は、個人差が大きいことから、第１図の特
徴点抽出部１３による自動抽出では誤抽出する可能性が
高いため、本実施例ではこれらの特徴点Ｑｌ、Ｑ２．・
・・については、手動で入力できるようにしている。

第６図は表示部２５の表示例であり、第５図で示したよ
うに表示部２５の前面にタッチパネル５０１が配置され
ているとする。表示可能領域６０１の一部に操作メニュ
ーエリア６０２を配置する。操作メニューエリア６０２
の位置は必ずしも第６図の位置に限定されるものではな
いが、画面中央部には人物頭部画像を呈示するため、こ
の位置だけは避けることが望ましい。

操作メニューエリア６０２は内部を更に分割して用いる
。分割数は操作メニューの数だけとれば良い。もしメニ
ューの数が多く、非常に細い分割となるときは、次のメ
ニューなる頃を設けることで解決できる。操作メニュー
エリア６０２のある領域に接触すると、タッチパネル５
０１を介してどのメニューが選択されたか認識できる様
にしておけば、特別に専用キーを設ける必要がなくなる
。メツセージエリア６０３は、ユーザに対し文字で操作
に対する指示を行うだめに設けられたエリアである。第
６図ではメツセージエリア６０３は表示部２５の下部に
位置しているが、この位置に限定されたものではなく、
例えば上部でもよい。

一方、初期入力手順確定情報入力部２２についてもタッ
チパネル５０１を用いることができる。その場合、表示
部２５の一部に確定情報入力のためのメニュー画面を設
け、そのメニュー画面上でタッチパネル５０１に接触し
た時に確定情報が発生するようにすればよい。また、初
期入力手順確定情報入力部２２として別途に専用キーを
設ける方法も考えられる。

なお、このようにユーザに対する操作指示を文字表示な
どの可視表示により行う代わりに、音声による指示方法
も考えられる。音声による方法は、操作に慣れたユーザ
には煩わしいものとなるので、禁止する選択の自由をユ
ーザに委ねるのが望ましい。音声による指示の選択は、
例えばメニューエリア６０２に設けておく方法が考えら
れる。

次に、ユーザへの説明の呈示方法と、それに呼応した特
徴点の修正および追加の具体的な手順について説明する
。この場合、第１図における画像合成部２０に、予め用
意された説明用画像か入力される。説明用画像は例えば
ＲＯＭのようなメモリに蓄えられているものとする。ま
た、説明用画像としては人物画像を撮像したものを用い
ても、イラスト風のものを用いてもかまわない。説明そ
のものは、ユーザに対し通知部２４や文字表示エリア６
０３を用いて音声及び文字でなされる。これらの説明内
容は予め用意されているものとする。説明に際しては、
まず特徴点ＰＬ、Ｐ２．Ｐ３．・・・をスーパーインポ
ーズしない状態で表示部２５に人物頭部画像のみを表示
する。

次に、文字あるいは音声での説明を加えながら、特徴点
抽出部１３で抽出された特徴点ＰＩ。

Ｐ２．Ｐ３．・・・等を１つづつ十印の形で人物頭部画
像上にスーパーインポーズで表示してゆき、ユーザに対
して修正入力の指示を促す。この際、特徴点の表示には
既に表示説明の終了した特徴点（修正が終了した特徴点
）と区別するために、説明中の特徴点（修正前の特徴点
）をブリンキングさせたり、説明済の特徴点と色彩を異
ならせて表示するのが良い。ユーザは修正入力の指示を
受けた特徴点に修正すべきものがあれば、タッチパネル
５０１を介してその特徴点の移動先の位置を指定する。

これにより修正対象の特徴点は、特徴点抽出部１３内に
おいて指定された位置に移動して修正され、表示部２５
ての特徴点の表示位置もそれに伴って修正される。

次に、同様にして文字あるいは音声での説明により、ユ
ーザに対して特徴点の追加の指示を促す。これに対し、
ユーザは新たに追加すべき特徴点（例えばＱｌ、Ｑ２）
があれば、その追加したい特徴点の位置をタッチパネル
５０１を介して順次指定する。これにより指定された特
徴点が特徴点抽出部１３において追加され、表示部２５
での特徴点の表示もそれに伴って追加される。

第７図は知的符号化を適用した上述の画像符号化装置を
内蔵させたテレビ電話装置の外観図の例である。電話装
置本体７０１の上に液晶パネルなどにより構成される表
示部２５か設けられ、表示部２５の上方に撮像部１１が
搭載されている。撮像部１１で撮像された人物頭部の画
像は、例えば鏡像関係で表示部２５上に表示される。表
示部２５は第５図に示したように前面にタッチパネル５
０１が取付けられており、ユーザがタッチパネル５０１
に接触することによって、特徴点の修正や追加あるいは
確定情報の入力などのメニューの選択が行なえる。表示
部２５には例えば下段にメツセージか表示され、操作指
示をユーザに通知する。

本体７０１には更にスピーカ７０２．静止画入力キー７
０３．押しボタン７０４およびハンドセットとしての送
受話器７０５か設けられている。スピーカ７０２は操作
指示を音声でユーザに通知するために用いられる他、オ
ンフック状態での拡声電話時にも使用される。静止画入
カキ−７０３は、これがユーザによって操作されたとき
、丁度カメラのシャッターボタンの如く振る舞う。即ち
、この静止画人カキ−７０３を押すことにより、撮像部
１１より画像信号を静止画情報として出力することがで
きる。押しボタン７０４は、通常の押しボタン電話機に
備えられているものと同様のダイヤルキーである。

送受話器７０５は、例えばコードレスになっている。

第８図は送受話器７０５の外観図である。送受話器７０
５は上述のようにコードレスになっているので、第７図
に示す本体７０１上に構成された親機の機能を持ってい
る。８０１は受話器、８０２は送話器である。キー８０
３は第７図のキー７０３と同じ機能を有する静止画人カ
キ−である。送受話器７０５を手元に置いて静止画を撮
像する際は、顔を動かさずに操作できるので、静止画入
力するときは送受話器７０５の静止画人カキ−８０３を
使う方が便利である。

押しボタン８０４は通常の押しボタン電話機と同様のダ
イヤルキーであり、第７図の押しボタン７０４と同じ機
能を持つ。

特徴点の修正や追加の入力操作時には、第７図の表示部
２５に撮像部１１で得られたユーザ自身の頭部画像が表
示され、ユーザは自己モニタすることができる。特徴点
の修正や追加を行なう場合、動画モードでの自己モニタ
では特徴点の修正や追加を行なおうとすると、自分自身
が動いてしまうため、修正／追加操作は極めて行ないに
くい。このため、修正／追加操作を行なうときは表示部
２５に静止画を呈示することが効果的である。このとき
の静止画はユーザの意志に従って撮像されたものが望ま
しい。このために、本実施例では静止画入力用のキー７
０３．８０３を備えている。しかしながら、ユーザによ
ってはこの様な操作を望まない場合もある。このため、
スピーカ７０２を介しての音声メツセージ、あるいは表
示部２５による文字メツセージによって、ユーザに対し
頭部の姿勢を静止する様に指示を出す。そして、例えば
第３図における動き検出部３０４にて動きの無い状態を
検出し、静止状態と判断したある時点での撮像部１１か
らの画像を静止画として第３図のフレームメモリ３０３
に取込んで、像域抽出および特徴点抽出を静止画につい
て行うと共に、表示部２５でその静止画を表示しても良
い。

この静止画の表示に際しては前述のように鏡像関係で表
示すると、修正入力の操作が非常にし易い。鏡像を表示
するには、入力画像を一旦メモリに蓄積し、水平スキャ
ンの方向を逆にして出力すれば良く、極めて容易である
。通常、撮像素子の読み出しは水平方向に行われるので
、鏡像表示のためのメモリの容量は、−水平走査期量分
用意すれば充分である。

次に、自動露出システムについて述べる。第９図は第１
図の画像符号化装置に組合わせる自動露出システムの構
成例を示す図であり、第２図に示した撮像部１１の構成
要素と同一部分に同一符号を付している。被写体たる人
物頭部２０１からの光が絞り機構９０１を介して撮像レ
ンズ２０４に入射され、以後第２図と同様にハーフミラ
−２０５で部分された後、可視光撮像素子２０６と赤外
光撮像素子２０７に結像される。可視光撮像素子２０６
で得られた可視光画像信号は、露出測定部９０２に入力
される。

露出測定部９０２においては、可視光撮像素子２０６か
らの可視光画像信号のうち輝度信号成分を用いて露出測
定を行うことが望ましい。赤外光撮像素子２０７で得ら
れた赤外光画像信号は像域決定部９０３に入力され、人
物頭部の像域か決定される。像域決定部９０３は、第１
図における像域抽出部１２を共用してもよい。

露出測定部９０２は像域決定部９０３で得られた像域の
みの露出を測定し、ユーザ等により予め設定された規定
露出に従って、絞り制御部９０４に制御信号を供給する
。即ち、測定された露出が規定露出に満たない場合は、
絞りをあけるように絞り制御部９０４に制御信号を出し
、逆に露出オーバの場合は絞りをしぼるように絞り制御
部９０４に制御信号を出す。これにより人物頭部に対す
る露出が規定露出に保たれる。

このような自動露出システムを設けることによって、逆
光、順光等撮像条件の違いにより撮像部１１からの画像
信号か大幅に変化することがなくなり、特徴点抽出部１
３の動作を確実にすることができる。

次に、自動焦点システムについて述べる。第１０図は第
１図の画像符号化装置に組合わせられる自動焦点システ
ムの構成例を示す図であり、第２図に示した撮像部１１
の構成要素と同一部分に同一符号を付している。被写体
たる人物頭部２０１からの光が撮像レンズ２０４を介し
て可視光撮像素子２０６に結像される。撮像レンズ２０
４は焦点位置が可変であり、焦点位置制御部１００３に
よって焦点位置が変えられる。

レンズの移動には、一般に広く用いられるモタを含む移
動機構を使用すれば良い。可視光撮像素子２０４から出
力された可視光画像信号は像域抽出部１００１に入力さ
れ、人物頭部の像域が抽出される。像域抽出部１００１
としては、第１図における像域抽出部］２を共用しても
よい。合焦判定部１００２は、こうして抽出された人物
頭部の像域内で動作する。即ち、焦点が合ったとき人物
頭部の像域での高周波成分か最大になることを利用して
、合焦判定部１００２は焦点位置制御部１００３に撮像
レンズ２０４を前後させる様に指示する。人物頭部の像
域での高周波、つまり空間周波数か最大となる様、例え
ば撮像レンズ１００３を前に移動するに従い、高周波成
分が増加するならば、減少するまで前に移動する。その
後、撮像レンズ２０４の移動量を細かくして、後ろに移
動させ、高周波成分が最大となる位置で撮像レンズ２０
４を停止させる。これが合焦状態である。この方法はフ
ィルムを使用するカメラやビデオカメラ等でオートフォ
ーカスシステムに広く用いられている手法である。

上記の説明では人物頭部に焦点を合せるようにしたが、
目の部分に焦点を合せることも効果的である。この場合
は、像域抽出部１００１で抽出された人物頭部の像域に
加え、第１図の特徴点抽出部１３で抽出された目を含む
領域で合焦判定を行えば良い。目の部分は例えば目の切
れ目などは空間周波数が高いため、合焦していないと特
徴点の抽出がしにくいからである。従って、焦点を目に
合せるのは、特徴点抽出部１３での抽出動作を確実化す
る上で効果的である。

第１１図は本発明の画像符号化装置を内蔵させたテレビ
電話装置の外観図の他の例であり、第７図と同一部分に
同一符号を付している。この装置は特徴点の修正や追加
を指示するための指示棒１１０１と指示棒ホールダ１１
０２がテレビ電話装置本体１０の側面に配されている。

指示棒ホールダ１１０２の位置は、ここに限られるもの
ではない。指示棒１１０１は例えばライトベンであって
もよく、その場合は第５図のようなタッチパネル５０１
は不要となる。このようにライトベンを使用しても、タ
ッチパネルを用いたのと同様の機能が実現できることは
明らかである。

本発明はその要旨を逸脱しない範囲で種々変形して実施
することができる。

本発明の好ましい実施の態様を列挙すると、以下の通り
である。

（ａ）人物頭部と背景部を含む入力画像から人物頭部の
像域情報を抽出する像域抽出手段は、互いの撮像域の空
間位置が既知の関係にある可視光撮像手段と赤外光撮像
手段から得た画像信号を基にして像域を抽出する。この
場合、両画像信号の空間方向の変化と時間方向の変化を
基にして抽出することが更に好ましい。人物頭部の像域
抽出には、赤外光を用いることによって、より正確な抽
出が可能となる。

（ｂ）人物頭部の画像中に含まれる特徴点を抽出する特
徴点抽出手段は、像域抽出手段に用いられた画像信号を
もとに特徴点を抽出する。

（ｃ）抽出された特徴点と前記修正情報に従って修正さ
れた後の特徴点、さらに必要に応じて追加情報に従って
追加された特徴点を入力画像上に重畳して表示する表示
手段は、可視光の入力画像上に特徴点をスーパーインポ
ーズして表示する。

（ｄ）表示手段は、被写体と鏡像関係の入力画像を表示
する。

（ｅ）表示手段は、表示する特徴点の明るさや色彩を時
間的に変化させる。

（ｒ）表示手段は、修正される前の特徴点を修正後の特
徴点や追加された特徴点と区別か付くように、明るさあ
るいは色彩を時間的に変化させて表示する。

（ｇ）表示手段は、入力画像を静止画として表示する。

（ｈ）入力手段は、表示手段の表示画面の前部に配置さ
れたパネル上または表示画面上の接触位置を検出する手
段を含んで構成される。この入力手段には、指示棒また
はライトペンか供えられる。

（１）静止画撮像指示を受けて前記入力画像を静止画情
報として取込み、この静止画情報を前記特徴点を抽出す
る手段および前記表示手段の少なくとも一方に供給する
手段を更に具備する。

具体的には例えば可視光画像の動画シーケンスのうちの
１駒の静止画から特徴点を抽出したり、これを表示手段
で表示する。また、この場合、静止画を撮る旨をユーザ
に対して通知しユーザかそれを受けて撮像指示を行うた
めの手段を有する。

（ｊ）表示手段において、モデル画像による特徴点の例
をユーザへの説明として呈示する。

（ｋ）撮像手段は、自動露出システムを有する。

この場合、自動露出の照度を像域抽出手段で抽出された
人間頭部の像域内の画像信号から決定する （１）撮像手段は、自動焦点システムを有する。

この場合、焦点を人間の頭部、特に目の位置に合わせる
。

（ｎ）初期入力設定の一連の操作に対する指示及び説明
をユーザに対して提供する機能を備える。これによりマ
ン・マシーンインタフェイスに優れたシステムとなる。

［発明の効果］ 以上述べたように、本発明によれば自動抽出された特徴
点を入力画像とともに表示してユーザに提示するととも
に、その特徴点が誤っていればそれを移動させるなどの
修正をするための修正情報を入力できるようにし、さら
に抽出された特徴点および修正された特徴点を確認して
から確定情報を入力することで、ユーザか確認した適切
な特徴点のみを符号化に使用することによって、知的符
号化を用いた画像符号化装置での初期入力設定を簡単な
操作で適切に行うことができる。

さらに、本発明では自動抽出では本来が困難な顔向部の
目や口などの特定の特徴点については、ユーザが手動で
追加情報を入力することで、その特徴点を追加できるよ
うにしたことにより、全ての特徴点を自動抽出する場合
に比較して特徴点の抽出が容易になり、また初期入力設
定もより一層正確なものとなる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る画像符号化装置の構成
を示すブロック図、第２図は第１図における撮像部の一
構成例を示すブロック図、第３図は第１図における像域
抽出部の一構成例を示すブロック図、第４図は動き検圧
を利用した像域決定の原理を説明するための図、第５図
は第１図における特徴点修正／追加情報入力部の一構成
例と特徴点の表示例を示す図、第６図は第１図における
表示部での表示方法の一例を示す図、第７図は本発明の
画像符号化装置を用いたテレビ電話装置の一実施例を示
す図、第８図は第７図における送受話器を詳細に示す図
、第９図は本発明の画像符号化装置に組合わせられる自
動露出システムの一構成例を示すブロック図、第１０図
は同じく本発明の画像符号化装置に組合わせられる自動
焦点システムの一構成例を示すブロック図、第１１図は
本発明の画像符号化装置を用いたテレビ電話装置の他の
実施例を示す図である。 １１・・・撮像部、１２・・・像域抽出部、１３・・・
特徴点抽出部、１４・・・モデルマツピング部、１５・
・・分析部、１６・・・個人情報ファイル、１７・・・
更新部、１８・・・多重化部、１９・・・出力端子、２
０・・・画像合成部、２１・・・特徴点修正／追加情報
入力部、２２・・・初期入力確定情報入力部、２３・・
・操作表示部、２４・・・通知部、２５・・表示部、２
１０・・・人物頭部、２０２・・背景部、２０３・・・
入力画像、２０４・・・撮像レンズ、２０５・・・ハー
フミラ−２０６・・可視光撮像素子、２０７・・・赤外
光撮像素子、３０３・・・フレームメモリ、３０４・・
・動き検出部、３０５・・・エツジ検出部、３０６・・
・像域決定部、５０１・・・タッチパネル、５０２・・
・接触位置検出部、６０１・・・表示可能領域、６０２
・・・操作メニューエリア、６０３・・・メツセージエ
リア、７０１・・・テレビ電話装置本体、７０２・・・
スピーカ、７０３・・・静止直入カキ−８０３・・・静
止直入カキ−９０１・・・絞り、９０２・・・露出測定
部、９０３・・像域決定部、９０４・・絞り制御部、１
００１・・・像域抽出部、１００２・・・合焦判定部、
１００３・・・焦点位置制御部、１１０１・・・指示棒
（ライトペン）、１１０２・・・指示棒ホールダ。

Claims (5)

【特許請求の範囲】
1. （１）人物頭部と背景部を含む入力画像から人物頭部の
   像域情報を抽出する手段と、 前記入力画像と前記像域情報とから人物頭部の画像中に
   含まれる特徴点を抽出する手段と、抽出された特徴点を
   修正する修正情報を入力するための入力手段と、 抽出された特徴点および前記修正情報に従って修正され
   た後の特徴点を前記入力画像上に重畳して表示する表示
   手段と、 抽出された特徴点または前記修正された後の特徴点を確
   定させる確定情報を入力するための手段と、 前記確定情報に従って確定された特徴点と前記入力画像
   および前記像域情報から人物頭部の三次元モデルを作成
   する手段と、 前記三次元モデルと前記入力画像とから人物頭部の画像
   の変化情報を得る手段と、 前記三次元モデルと前記変化情報を符号化出力として出
   力する手段とを具備することを特徴とする画像符号化装
   置。
2. （２）人物頭部と背景部を含む入力画像から人物頭部の
   像域情報を抽出する手段と、 前記入力画像と前記像域情報とから人物頭部の画像中に
   含まれる特徴点を抽出する手段と、抽出された特徴点を
   修正する修正情報および抽出された特徴点とは別の新た
   な特徴点を追加する追加情報を入力するための入力手段
   と、抽出された特徴点と前記修正情報に従って修正され
   た後の特徴点および前記追加情報に従って追加された特
   徴点を前記入力画像上に重畳して表示する表示手段と、 抽出された特徴点または前記修正情報に従って修正され
   た後の特徴点と新たに入力された特徴点を確定させるた
   めの確定情報を入力するための手段と、 前記確定情報に従って確定された特徴点と前記入力画像
   とから人物頭部の三次元モデルを作成する手段と、 前記三次元モデルと前記入力画像とから人物頭部の画像
   の変化情報を得る手段と、 前記三次元モデルと前記変化情報を符号化出力として出
   力する手段とを具備することを特徴とする画像符号化装
   置。
3. （３）前記表示手段は、抽出された特徴点と修正された
   後の特徴点を互いに区別が付くように表示することを特
   徴とする請求項１または２記載の画像符号化装置。
4. （４）前記入力手段は、前記表示手段の表示画面の前部
   に配置されたパネル上または表示画面上の接触位置を検
   出する手段を含んで構成される構成されることを特徴と
   する請求項１または２記載の画像符号化装置。
5. （５）静止画撮像指示を受けて前記入力画像を静止画情
   報として取込み、この静止画情報を前記特徴点を抽出す
   る手段および前記表示手段の少なくとも一方に供給する
   手段を更に具備することを特徴とする請求項１または２
   記載の画像符号化装置。