JPH1074271A - ３次元似顔作成方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 人手で描いた正面顔と側面顔の似顔絵を材料
として任意の方角から見た似顔絵を各個人の特徴を今ま
で以上にとらえて自動的に作成する。 【解決手段】 正面顔と側面顔の似顔絵１００Ａ，１０
０Ｂをパソコン１０２に入力し、それぞれの似顔絵デー
タ１０４Ａ，１０４Ｂとして記憶する。次に、この似顔
絵データ１０４Ａ，１０４Ｂを画像表示装置１０３に表
示し、指示入力装置１１０から、輪郭等の似顔絵の特徴
点を入力する。次に、変換プログラム１０８により、似
顔絵の特徴点データと３次元標準顔データ１０５の特徴
データとの差分をもとに似顔特徴パラメータを抽出し、
これを用いて３次元標準顔データ１０５を３次元似顔デ
ータ１０６に変換する。最後に、似顔生成プログラム１
０９により３次元似顔データ１０６上に似顔絵データ１
０４Ａ，１０４Ｂをテクスチャとしてマッピングして任
意方向に変形し、画像表示装置１０３に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータを利
用して各個人に関連づけられた似顔を作成する技術に関
するものである。

【０００２】

【従来の技術】従来、似顔絵は基本的に２次元で描かれ
るものであり、正面顔，側面顔，斜めからみた顔などの
ように、それぞれ個別に描くことによって作成するもの
であった。このようにしてそれぞれ作成された似顔絵は
基本的には独立の２次元画像である。

【０００３】これに対し、３次元似顔絵生成の既存技術
として、村上らが提案した、個人の３次元顔データと３
次元平均顔データとの差分から特徴を導き出し、中割法
を用いて３次元レリーフを作成するもの（村上，近藤，
興水，鈴木，“三次元似顔絵生成の一手法について”，
信学技報，Ｖｏｌ．９４，Ｎｏ．５１，（ＰＲＵ９４６
−１５），ｐｐ．６３−７０，１９９４）や、島田らが
提案した、２次元顔写真を入力し、２次元平均顔データ
との差分から取得された特徴ベクトルを基に、３次元似
顔を生成するもの（島田，塩野，“３次元顔モデルに基
づく似顔絵生成の一手法”，信学論Ｄ−２，Ｖｏｌ．Ｊ
７６−Ｄ−２，Ｎｏ．１２，ｐｐ．２５１３−２５２
１，（１９９３−１２））などがある。

【０００４】

【発明が解決しようとする課題】しかしながら、正面
顔，側面顔，斜めからみた顔などのように、それぞれ個
別に描くことによって作成する従来の似顔絵の生成方法
では、例えば、異なる方向（方角１，方角２とする）か
ら見た顔に相当する２枚の似顔絵があった場合に、方角
１と方角２の間の方向から見た似顔絵を多数作成するに
は、やはり全て人手によって新たにそれら全ての似顔絵
を作成する必要があるため、大変な労力を要するという
問題があった。

【０００５】また、上記した３次元似顔絵生成の既存技
術では、誇張表現のパラメータ抽出の入力を写真のみに
限定しているために、バリエーションに乏しい面がある
という問題があった。

【０００６】本発明は、上記の問題点を解決するための
ものであり、人手による労力なしに任意の方角から見た
似顔絵を自動的に多数作成することを可能とするととも
に、各個人の特徴を捉えた似顔絵を豊富なバリエーショ
ンで生成することを可能とする３次元似顔作成方法およ
び装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の３次元似顔作成方法は、各個人の正面顔と
側面顔から描画された正面顔および側面顔の似顔絵を与
える過程と、前記正面顔および側面顔の似顔絵から入力
される特徴点データと予め記憶してある３次元標準顔モ
デルから得られる特徴データとの差分に基づいて似顔特
徴パラメータを抽出する過程と、前記似顔特徴パラメー
タを用いて前記３次元標準顔モデルを変形することによ
って最終的に各個人の３次元似顔モデルを作成する過程
と、を有することを特徴とする。

【０００８】また、上記の３次元似顔作成方法におい
て、前記似顔特徴パラメータを用いて３次元標準モデル
から変形された３次元似顔モデルに正面顔の似顔絵と側
面顔の似顔絵をテクスチャとしてマッピングすることに
より似顔を作成する過程を有することを特徴とする。

【０００９】また、本発明の３次元似顔作成装置は、各
個人の正面顔と側面顔から描画された正面顔および側面
顔の似顔絵を入力する画像入力装置と、前記入力された
正面顔および側面顔の似顔絵データから特徴点を指示す
る指示入力装置と、前記指示された正面顔および側面顔
の似顔絵の特徴点データと予め記憶してある３次元標準
顔モデルから得られる特徴データとの差分に基づいて似
顔特徴パラメータを抽出し、該抽出された似顔特徴パラ
メータを用いて３次元格子データの前記３次元標準顔モ
デルを座標変換することにより変形して３次元似顔モデ
ルを作成するコンンピュータと、を有することを特徴と
する。

【００１０】さらに、上記の３次元似顔作成装置におい
て、前記コンンピュータは、さらに前記似顔特徴パラメ
ータを用いて３次元標準モデルから変形された３次元似
顔モデルに正面顔の似顔絵と側面顔の似顔絵をテクスチ
ャとしてマッピングすることにより似顔を作成するもの
である、ことを特徴とする。

【００１１】本発明では、本来２次元画像である正面と
側面の似顔の情報を３次元に投影して扱うことを可能と
するため、予めコンピュータ等の処理手段の中に３次元
標準顔モデルを用意しておき、これを人手で書かれた正
面顔と側面顔の２枚の似顔絵から得られる似顔特徴パラ
メータに基づいて変形することにより、上記コンピュー
タ等の処理手段の中に３次元似顔モデルを作成し、あと
はこれを用いて、任意の方角から見た似顔をコンピュー
タ等によるイメージデータ処理等によって自動的に作成
する。このように、３次元標準モデルの拡張パラメータ
として、各個人の写真等をもとにして人手で描かれた似
顔絵を処理することによって得られる似顔特徴パラメー
タを用いることで、今まで以上に各個人の特徴を捉えた
似顔絵を生成することを可能とする。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を、図
を用いて詳細に説明する。

【００１３】図１は、本発明の一実施形態例を説明する
図であって、１００Ａと１００Ｂはそれぞれ正面顔およ
び側面顔の２次元の似顔絵、１０１は画像入力装置、１
０２はパソコン（パーソナルコンピュータ）、１０３は
画像表示装置、１０４Ａと１０４Ｂは入力された正面顔
および側面顔の２次元の似顔絵データ、１０５は３次元
標準顔データ、１０６は３次元似顔データ、１０７は特
徴点指定プログラム、１０８は特徴点指定プログラム１
０７で得られた特徴点データと３次元標準顔データ１０
５の特徴データとの差分をもとにして似顔特徴パラメー
タを抽出し、この似顔特徴パラメータを用いて３次元標
準顔データ１０５に変形を加えることによって３次元似
顔データ１０６に変換するための変換プログラム、１０
９は上記で得られた３次元似顔データ１０６に正面およ
び側面の似顔絵データ１０４Ａおよび１０４Ｂをマッピ
ングして指定された方角からみた似顔を生成するための
似顔生成プログラム、１１０はマウス等の指示入力装
置、である。

【００１４】これを動作させるには、図２のフローチャ
ートに示す手順により、まず、３次元標準顔データ１０
５をパソコン１０２に記憶しておくものとする。

【００１５】次に、例えば各個人の顔を撮影した正面顔
と側面顔の画像から、それと一対一に対応するように描
画された正面顔および側面顔の２次元の似顔絵１００Ａ
と１００Ｂを、画像入力装置１０１を用いてパソコン１
０２に入力し、正面顔および側面顔の２次元の似顔絵デ
ータ１０４Ａ，１０４Ｂとして記憶する。

【００１６】その次に、入力され記憶された正面顔およ
び側面顔の２次元の似顔絵データ１０４Ａ，１０４Ｂを
画像表示装置１０３に表示したうえで、特徴点指定プロ
グラム１０７の制御下で、マウス等の指示入力装置１１
０を用いて、顔の輪郭・目・鼻などの似顔絵の特徴点を
入力する。

【００１７】さらに、変換プログラム１０８により、上
記で得られた似顔絵の特徴点データと３次元標準顔デー
タ１０５の特徴データの差分をもとにして似顔特徴パラ
メータを抽出し、この似顔特徴パラメータを用いて３次
元標準顔データ１０５を３次元似顔データ１０６に変換
する。

【００１８】最後に、似顔生成プログラム１０９によ
り、例えば上記で得られた３次元似顔データ１０６のう
えに正面顔および側面顔の２次元の似顔絵データ１０４
Ａ，１０４Ｂをテクスチャとしてマッピングすることに
より任意の方向に変形し、画像表示装置１０３に出力す
る。

【００１９】以上のようにして、任意の方向から見た似
顔を、自動的に生成できる。その際、マウス等の指示入
力装置１１０を利用してユーザが方向を指示入力しても
良いし、あるいはすべて自動的に方向を少しずつ変えた
似顔画像を連続的に生成することも可能である。

【００２０】また、このようにして作成された似顔を顔
とするようなキャラクタを制作することによって、仮想
空間上のエージェントに用いることも可能である。

【００２１】図３は、本発明における似顔特徴パラメー
タの取得方法を示す。

【００２２】図中、２０１Ａ，２０１Ｂは、人手によっ
て描かれた正面顔および側面顔の似顔絵を電子データと
して入力した似顔絵データ、２０２Ａ，２０２Ｂは、特
徴点を抽出する上で必要となる３次元標準顔モデル対応
の正面顔用および側面顔用の２次元メッシュ（格子）デ
ータ、２０３は、正面顔の似顔絵データ２０１Ａと正面
顔の３次元標準顔対応の２次元格子データ２０２Ａ、側
面顔の似顔絵２０１Ｂと側面顔の３次元標準顔対応び２
次元格子データ２０２Ｂとを重ねて表示するための画像
表示装置、２０４Ａ，２０４Ｂは、画像表示装置２０３
に表示された正面顔および側面顔の画像から抽出された
移動ベクトル（ｘ，ｙ１）および（ｙ２，ｚ）、２０５
は、２０４Ａおよび２０４Ｂから得られた移動ベクトル
（ｘ，ｙ１），（ｘ，ｙ２）を最終的に各頂点の移動ベ
クトル（ｘ，ｙ，ｚ）に変更する変換プログラム、２０
６は、３次元標準顔モデルから３次元似顔モデルへ変換
するための各頂点の移動ベクトル（ｘ，ｙ，ｚ）、２０
７は、画像表示装置２０３に表示された画像から特徴点
を指定するために必要な指示入力装置、である。

【００２３】まず、図略の画像入力装置を用いて人手に
よる似顔絵をディジタルの正面顔と側面顔の似顔絵デー
タ２０１Ａ，２０１Ｂに変換する。一方、特徴点入力に
必要な３次元標準顔モデル対応の正面顔，側面顔の２次
元格子データ２０２Ａ，２０２Ｂを用意しておく。

【００２４】次に、特徴点を入力するために正面顔の似
顔絵データ２０１Ａと標準顔対応の格子データ２０２
Ａ、側面顔の似顔絵データ２０１Ｂと標準顔対応の格子
データ２０２Ｂを画像表示装置２０３に重ねて表示す
る。

【００２５】マウスなどの指示入力装置２０７を用い
て、正面顔，側面顔それぞれに対応する特徴点を入力す
る。入力された特徴点と標準顔モデルの特徴点を比較し
て、その差分をもとに正面方向，側面方向の各特徴点の
移動ベクトル（ｘ，ｙ１）（ｙ２，ｚ）を入力する。正
面移動ベクトル，側面移動ベクトルを混合して、最終的
に３次元標準顔モデルを展開するための各頂点ごとの移
動ベクトル（ｘ，ｙ，ｚ）を決定する。

【００２６】図４は、本発明の３次元似顔作成手法と従
来の手法との差異を説明する図である。

【００２７】図中、３０１Ａ，３０１Ｂは、正面顔およ
び側面顔の写真をスキャナ等を用いて電子化した顔デー
タ、３０２Ａ，３０２Ｂは、人手によって描かれた正面
顔および側面顔の似顔絵を電子化して入力した似顔絵デ
ータ、３０３は、従来の手法などで使用されている画像
処理技術を用いて顔データ３０１Ａおよび３０１Ｂから
得られる特徴パラメータ、３０４は、本発明の手法によ
り似顔絵データ３０２Ａおよび３０２Ｂから得られる各
個人の似顔特徴パラメータ、３０５は、パラメータを用
いて３次元標準顔データを変形し、制作された３次元似
顔完成図、である。

【００２８】従来の手法では、３０１Ａ，３０１Ｂの写
真顔データを画像処理して得られる特徴パラメータ３０
３を使用して３次元標準モデルを変形して３次元似顔を
完成させている。

【００２９】本発明の手法では、一点鎖線の範囲に示し
たように、人手によって描かれ入力された似顔絵データ
３０２Ａ，３０２Ｂから得られる似顔特徴パラメータ３
０４を使用して３次元標準モデルを変形することによ
り、最終的に３次元似顔を完成させる。

【００３０】

【発明の効果】以上説明したように、本発明は、任意の
方角から見た似顔を何枚でも自動的に作成できるという
利点がある。また、人手によって描かれた似顔絵データ
から得られる似顔特徴パラメータを使用して３次元標準
モデルを変形して似顔を得るため、今まで以上に各個人
の特徴を捉えた似顔を生成することができるという利点
がある。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示す３次元似顔作成シ
ステムの構成図である。

【図２】本発明の一実施形態例の３次元似顔作成方法を
示すフローチャートである。

【図３】本発明の一実施形態例における似顔特徴パラメ
ータ抽出方法を説明する図である。

【図４】本発明の３次元似顔作成手法と従来の手法との
差異を説明する図であって、図面代用写真を含む図であ
る。

【符号の説明】

１００Ａ，１００Ｂ…正面顔および側面顔の２次元の似
顔絵 １０１…画像入力装置 １０２…パソコン １０３…画像表示装置 １０４Ａ，１０４Ｂ…入力された正面顔および側面顔の
２次元の似顔絵データ １０５…３次元標準顔データ １０６…３次元似顔データ １０７…特徴点指定プログラム １０８…変換プログラム １０９…似顔生成プログラム １１０…指示入力装置 ２０１Ａ，２０１Ｂ…正面顔および側面顔の似顔絵デー
タ ２０２Ａ，２０２Ｂ…３次元標準顔対応の正面顔および
側面顔の２次元格子データ ２０３…画像表示装置 ２０４Ａ，２０４Ｂ…正面顔および側面顔から得られる
移動ベクトル ２０５…変換プログラム ２０６…各頂点の移動ベクトル ２０７…指示入力装置 ３０１Ａ，３０１Ｂ…正面顔および側面顔の顔データ ３０２Ａ，３０２Ｂ…正面顔，側面顔に対応する描かれ
た似顔絵データ ３０３…既存の画像処理技術により顔データから得られ
る特徴パラメータ ３０４…本発明で新たに使用する似顔特徴パラメータ ３０５…３次元似顔完成図

───────────────────────────────────────────────────── フロントページの続き (72)発明者 下原 勝憲 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 各個人の正面顔と側面顔から描画された
   正面顔および側面顔の似顔絵を与える過程と、 前記正面顔および側面顔の似顔絵から入力される特徴点
   データと予め記憶してある３次元標準顔モデルから得ら
   れる特徴データとの差分に基づいて似顔特徴パラメータ
   を抽出する過程と、 前記似顔特徴パラメータを用いて前記３次元標準顔モデ
   ルを変形することによって最終的に各個人の３次元似顔
   モデルを作成する過程と、 を有することを特徴とする３次元似顔作成方法。
2. 【請求項２】 前記似顔特徴パラメータを用いて３次元
   標準モデルから変形された３次元似顔モデルに正面顔の
   似顔絵と側面顔の似顔絵をテクスチャとしてマッピング
   することにより似顔を作成する過程を有する、 ことを特徴とする請求項１に記載の３次元似顔作成方
   法。
3. 【請求項３】 各個人の正面顔と側面顔から描画された
   正面顔および側面顔の似顔絵を入力する画像入力装置
   と、 前記入力された正面顔および側面顔の似顔絵データから
   特徴点を指示する指示入力装置と、 前記指示された正面顔および側面顔の似顔絵の特徴点デ
   ータと予め記憶してある３次元標準顔モデルから得られ
   る特徴データとの差分に基づいて似顔特徴パラメータを
   抽出し、該抽出された似顔特徴パラメータを用いて３次
   元格子データの前記３次元標準顔モデルを座標変換する
   ことにより変形して３次元似顔モデルを作成するコンン
   ピュータと、 を有することを特徴とする３次元似顔作成装置。
4. 【請求項４】 前記コンンピュータは、さらに前記似顔
   特徴パラメータを用いて３次元標準モデルから変形され
   た３次元似顔モデルに正面顔の似顔絵と側面顔の似顔絵
   をテクスチャとしてマッピングすることにより似顔を作
   成するものである、 ことを特徴とする請求項３に記載の３次元似顔作成装
   置。