JPH0962865A - 顔画像処理方法および顔画像処理装置 - Google Patents

顔画像処理方法および顔画像処理装置

Info

Publication number
JPH0962865A
JPH0962865A JP7281693A JP28169395A JPH0962865A JP H0962865 A JPH0962865 A JP H0962865A JP 7281693 A JP7281693 A JP 7281693A JP 28169395 A JP28169395 A JP 28169395A JP H0962865 A JPH0962865 A JP H0962865A
Authority
JP
Japan
Prior art keywords
face image
color
image
shape
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7281693A
Other languages
English (en)
Other versions
JP3799633B2 (ja
Inventor
Kazuya Horii
和哉 堀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP28169395A priority Critical patent/JP3799633B2/ja
Priority to US08/665,149 priority patent/US5850463A/en
Publication of JPH0962865A publication Critical patent/JPH0962865A/ja
Application granted granted Critical
Publication of JP3799633B2 publication Critical patent/JP3799633B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 自然で異和感のない顔画像を合成する。 【解決手段】 顔画像Ｇ１の形状モデルの特徴的部分に
対する座標を、背景画像Ｇ３の形状モデルの対応する点
の座標に座標変換することで、顔画像Ｇ１を背景顔画像
Ｇ３に大まかに整合させる第１の形状整合処理部１１、
顔画像Ｇ２の形状モデルの特徴的部分に対する座標を、
背景画像Ｇ３の形状モデルの対応する点の座標に座標変
換させることで、顔画像Ｇ２を背景顔画像Ｇ３に大まか
に整合させる第２の形状整合処理部１２、並びに顔画像
Ｇ１，Ｇ２のそれぞれの整合後の形状モデル及び顔画像
Ｇ３の形状モデルのそれぞれ対応する点の座標値を所定
の比率で形状補間する形状補間処理部１を備え、形状補
間処理部１にて形状補間された形状モデルに対し、それ
ぞれ対応する画素について所定の比率で色補間する。ま
た、簡単な画像処理で顔の表情を変化させる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、たとえば２枚の顔
画像と背景となる１枚の顔画像を用いて、この背景とな
る１枚の顔画像をベースとして前記２枚の顔画像を合成
する顔画像処理方法及び顔画像処理装置に関する。
【０００２】
【従来の技術】この種の画像合成の例として、たとえ
ば、或る男性の顔画像と或る女性の顔画像を用いて、適
当な子どもの顔画像をベースにして、男性の顔画像の特
徴と女性の顔画像の特徴を加味して合成し、子どもの顔
画像を作成するというようなことが従来より行われてい
る。
【０００３】このような画像合成を行う場合は、２枚の
顔画像Ｇ１，Ｇ２と背景となる１枚の顔画像Ｇ３があっ
て、これらの顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれ
ぞれの形状モデルを用意し、顔画像Ｇ１，Ｇ２，Ｇ３と
それぞれに対応する形状モデルをもとに、背景となる顔
画像Ｇ３をベースにして顔画像Ｇ１，Ｇ２の特徴を加味
した画像を合成するのが一般的である。
【０００４】図１２は従来の画像合成装置の処理を説明
するブロック図であり、以下、図１２を参照して説明す
る。
【０００５】図１２において、１は形状補間処理部、２
は色補間処理部である。形状補間処理部１には、顔画像
Ｇ１、顔画像Ｇ２、背景となる顔画像Ｇ３のそれぞれの
形状データ（後に説明する）が入力され、色補間処理部
２には、顔画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞ
れの画像データ（色データ）が入力されるとともに、顔
画像Ｇ１、顔画像Ｇ２、顔画像Ｇ３のそれぞれの形状デ
ータ、さらに前記形状補間処理部１からの形状補間デー
タが入力されるよになっている。そして、この色補間処
理部２から合成画像データが出力される。
【０００６】ところで、前記形状データというのは、図
１３に示すような形状モデルにおける顔画像内のそれぞ
れの点ｑの番号（ｑ０，ｑ１，・・・）、２つの点間を
結ぶラインＬの番号（Ｌ０，Ｌ１，・・・）、近傍の３
つの点を結んで形成されるパッチｐの番号（ｐ０，ｐ
１，・・・）を基に得られた前記それぞれの点ｑの座標
データ、前記それぞれのラインＬに関するデータ（たと
えば、ラインＬ０は点ｑ０とｑ１で形成されるというよ
うなデータ）、前記それぞれのパッチｐに関するデータ
（たとえば、パッチｐ０は点ｑ０，ｑ１，ｑ２で形成さ
れるというようなデータ）である。
【０００７】そして、前記形状補間処理部１では、顔画
像Ｇ１、顔画像Ｇ２のそれぞれの形状データを用いて形
状補間する処理を行う。つまり、顔画像Ｇ１と顔画像Ｇ
２の対応する点の座標を所定の比率で補間する（たとえ
ば、両者の座標値をたして２で割る）というような処理
を行って形状補間を行う。そして、このように形状補間
されたのち、色補間処理部２では、形状補間された後の
それぞれのパッチにおいて、それぞれのパッチ内の所定
の位置に対応する顔画像Ｇ１と顔画像Ｇ２のそれぞれの
画素の色データを所定の比率で補間して、それを前記形
状補間された所定のパッチの所定位置に書き込むという
ような処理を行って、合成画像データを作成する。
【０００８】さらに、たとえば、顔画像Ｇ１を父親の顔
画像、顔画像Ｇ２を母親の顔画像として、背景となる顔
画像Ｇ３（或るこどもの顔画像）に顔画像Ｇ１と顔画像
Ｇ２を合成した顔画像を作成する場合は、顔画像Ｇ１、
顔画像Ｇ２、顔画像Ｇ３の補間比率が合計で１となるよ
うに形状補間補間処理および色補間処理して画像合成を
行う。
【０００９】
【発明が解決しようとする課題】しかしながら、従来の
この種の顔画像合成装置は、合成しようとする顔画像Ｇ
１と顔画像Ｇ２の２つの形状モデルの座標値をそのまま
補間して、合成画像の形状モデルを求めている。このた
め、たとえば、図１４に示すように、補間比率を連続的
に変化させて顔画像の合成を行う場合、目や口などの顔
の特徴的な構成部品の位置が細かく移動してしまうとい
う問題があった。なお、図１４において、同図（ａ）は
顔画像Ｇ１と顔画像Ｇ２の形状補間比率を、Ｇ１：Ｇ２
＝0.7：0.3とした場合、同図（ｂ）は顔画像Ｇ１と顔画
像Ｇ２の形状補間比率を、Ｇ１：Ｇ２＝0.5：0.5とした
場合、同図（ｃ）は顔画像Ｇ１と顔画像Ｇ２の形状補間
比率を、Ｇ１：Ｇ２＝0.3：0.7とした場合を示してい
る。
【００１０】また、従来の顔画像合成装置においては、
目、口、鼻などの部品単位に形状補間比率および色補間
比率を変化させる手段はなく、一定の形状補間比率およ
び色補間比率で補間処理を行っていた。そのため、たと
えば、目は顔画像Ｇ１（男性の顔画像）、鼻は顔画像Ｇ
２（女性の顔画像）に似せるというように、部品単位に
どちらかの顔画像に似せるというような処理は行えない
のが普通であった。また、色補間を一定の比率で補間処
理することから、顔画像Ｇ１，Ｇ２や背景となる顔画像
Ｇ３において、輝度の極端に低い陰や髪の部分、あるい
は、ハイライト部分の色が中途半端に合成画像に影響
し、合成された色が不自然なものとなる問題もあった。
【００１１】さらに、従来の顔合成処理は、顔画像の髪
の色、目の色、肌の色など人種を示す特徴的な色につい
ては何等考慮されない合成処理であった。したがって、
日本人同志の合成の場合は、特に問題はないが、髪の
色、目の色、肌の色の異なる人同志の顔画像を合成する
場合、従来の合成処理方法では不自然な合成顔画像が作
成される場合もある。たとえば、金髪で肌の色が白色、
眼球が青色の大人の男女の顔画像Ｇ１，Ｇ２を、或る子
どもの顔画像をベースにして合成する場合、ベースとな
る子どもの顔画像が日本人では、合成後の子どもの顔画
像が不自然なものとなってしまうのは明らかである。
【００１２】しかしながら、従来では、顔画像Ｇ１，Ｇ
２の髪の色、目の色、肌の色など人種を示す特徴的な色
に対応して、背景となる顔画像Ｇ３を選択するという処
理を行っていないのが一般的である。
【００１３】また、或る１枚の顔画像を用いて、目、
鼻、眉、口などの部品の或る点の座標値を少し動かすこ
とで顔の表情を変化させることも従来より行われてい
る。たとえば、目の下瞼の部分の点を上に少し動かすこ
とによって、微笑んだ表情を作るというように顔の表情
を変化させる場合は、顔のどの点をどの程度どの方向に
移動させるかというデータ（これを表情データという）
を予め設定しておくことで、表情を変化させることがで
きる。たとえば、微笑んだ表情を作る場合には、目の下
瞼の或る点を１０画素だけ上方に移動させるというよう
な表情データを予め作成しておき、この表情データに基
づいて表情を変化させるのが一般的であった。
【００１４】しかし、このような定数による表情データ
では、顔画像の大きさに関係なく、同じ量だけ点の移動
が行われるので、小さい顔画像の場合には、移動量が大
きすぎて不自然な表情となってしまう問題があった。
【００１５】これに対処する従来技術として、移動ベク
トルの正規化をする方法があるが、従来の移動ベクトル
の正規化方法は、四角の曲面パッチ（ベッツイ・パッ
チ）を対象としたものであり、演算も微分演算を必要と
するなどその計算量はきわめて多いという問題があっ
た。
【００１６】また、或る１枚の顔画像を用いて、その顔
画像に年齢変化を加える処理、たとえば、或る顔画像が
年をとったときどのような顔画像となるかの処理（これ
をここでは加齢処理という）を施すことが従来より行わ
れている。この技術の１つとして、たとえば、肌のたる
み処理を施す技術がある。これは、皮膚を弾性を持った
布地物体として、下方向の重力の作用を加えることで皮
膚の垂みを表そうとするものである。
【００１７】しかし、この方法は、多少の加齢効果は期
待できるものの、リアリティのある加齢処理を行うこと
はできなかった。
【００１８】そこで、本発明は、形状補間比率を連続的
に変えて複数の顔画像を合成する場合、顔の特徴的な部
分の位置が動くのを防止するとともに、合成後の顔画像
を顔の部品単位で補間比率を変化させることにより、部
品単位でいずれかの顔画像に似せたりすることを可能と
し、また、顔画像の輝度に応じて補間比率を変化させる
ことにより、自然な合成画像を得ることを可能とし、ま
た、顔画像の髪の色、目の色、肌の色など人種を示す特
徴的な色を考慮した合成処理をも可能とし、さらに、簡
単な計算量で顔の表情を変化させることができ、さら
に、適切な年齢変化処理を施すことができる顔画像処理
方法および顔画像処理装置を実現することを目的とす
る。
【００１９】
【課題を解決するための手段】本発明の画像処理方法
は、２枚の顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ
３と、これら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれ
ぞれの形状モデルとから、前記顔画像Ｇ３をベースとし
て顔画像Ｇ１，Ｇ２の特徴を加えた顔画像を合成する画
像処理方法において、前記顔画像Ｇ１の特徴的部分に注
目し、この画像Ｇ１の形状モデルの前記特徴的部分に対
応する所定点の座標を、背景画像Ｇ３の形状モデルの対
応する点の座標に座標変換することで、顔画像Ｇ１を背
景顔画像Ｇ３に大まかに整合するとともに、前記顔画像
Ｇ２の特徴的部分に注目し、この顔画像Ｇ２の形状モデ
ルの前記特徴的部分に対応する所定点の座標を、背景画
像Ｇ３の形状モデルの対応する点の座標に座標変換する
ことで、顔画像Ｇ２を背景顔画像Ｇ３に大まかに整合さ
せたのち、前記顔画像Ｇ１，Ｇ２のそれぞれの整合後の
形状モデルおよび顔画像Ｇ３の形状モデルのそれぞれ対
応する点の座標値を所定の比率で形状補間し、この形状
補間された形状モデルに対し、それぞれ対応する画素に
ついて所定の比率で色補間することを特徴としている。
これにより、形状補間比率を連続的に変化させて２つの
顔画像を合成する場合でも、目や口といった顔の特徴的
部分の位置が形状補間比率を変化させる毎に微妙に動い
てしまうということがなくなり、高品質な合成画像を得
ることが可能となる。
【００２０】また、前記顔画像Ｇ１，Ｇ２のそれぞれの
整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそ
れぞれ対応する点の座標値を所定の比率で形状補間する
形状補間処理は、顔を形作る特徴部分単位に形状補間の
比率を変化させて形状補間を行うようにする。これによ
り、合成画像を、目や口といった部品ごとに顔画像Ｇ１
に似せたり、顔画像Ｇ２に似せたりすることができる。
【００２１】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理は、背景となる顔画像Ｇ３の各部分の輝
度値の大きさに応じて色補間比率を設定するようにして
いる。これにより、背景画像において特徴的な輝度値を
有する部分が存在する場合、その特徴的部分の色相を合
成画像に残すような色補間比率を設定することができ、
自然な状態の合成画像を得ることができる。
【００２２】そして、前記輝度値に応じた色補間比率の
設定は、顔画像Ｇ３の肌色の中心輝度を有する部分に対
しては画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間
比率に比べて最も小さくし、その肌色の中心輝度を中心
としてその前後の所定範囲の輝度値以上または以下の輝
度値を有する部分に対しては、画像Ｇ３の色補間比率を
画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前
記中心輝度の前後所定範囲内は輝度値の変化に応じて顔
画像Ｇ３の色補間比率を適宜変化させるようにしてい
る。これにより、背景画像の髪の毛やハイライト部分な
ど輝度値が極端に大きい部分や小さい部分はそのまま残
した状態で合成が行えるので、自然な合成が可能とな
る。
【００２３】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理は、前記顔画像Ｇ１，Ｇ２の各部分の輝
度値の大きさに応じて色補間比率を設定するようにして
いる。これにより、顔画像Ｇ１，Ｇ２において特徴的な
輝度値を有する部分が存在する場合は、それに対応した
色補間比率を設定することで、たとえば、顔画像Ｇ１，
Ｇ２の額部分に髪の毛がかかっているような場合、それ
を合成画像に現さないようにすることが可能となる。
【００２４】そして、前記輝度値に応じた色補間比率の
設定は、顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部
分に対しては画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の
色補間比率に比べて最も大きくし、その肌色の中心輝度
を中心としてその前後の所定範囲の輝度値以上または以
下の輝度値を有する部分に対しては、画像Ｇ１，Ｇ２の
色補間比率を画像Ｇ３の色補間比率に比べて最も小さく
し、前記中心輝度の前後所定範囲内は輝度値の変化に応
じて顔画像Ｇ１，Ｇ２の色補間比率を適宜変化させるよ
うにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など
輝度値が極端に大きい部分に対しては、色補間比率を小
さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額
部分に髪の毛がかかっているような場合、それを合成画
像に現さないようにすることが可能となる。
【００２５】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理は、顔を形作る特徴部分単位に色補間の
比率を変化させて色補間を行うようにする。これによ
り、色相についても、目や口といった特徴部分ごとに顔
画像Ｇ１またはＧ２のいずれかに似せた合成画像を作る
ことができる。これを前記請求項２で示した形状補間比
率を目や口などの部品ごとに変化させる技術と組み合わ
せることにより、より一層、きめ細やかに、顔画像Ｇ１
に似せたり、顔画像Ｇ２に似せたりした合成画像を得る
ことができる。
【００２６】また、本発明の顔画像処理方法は、２枚の
顔画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これ
ら顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状
モデルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ
１，Ｇ２の特徴を加えた顔画像を合成する顔画像処理方
法において、前記顔画像Ｇ１，Ｇ２の特徴的な領域に注
目し、その特徴的な領域の色データを基にして、前記ベ
ースとなる顔画像Ｇ３を選択することを特徴としてい
る。これによれば、合成しようとする顔画像Ｇ１，Ｇ２
にふさわしい顔画像Ｇ３を選択できるので、自然な合成
画像を作成することができる。
【００２７】前記顔画像Ｇ１，Ｇ２の特徴的な領域の色
データに基づく顔画像Ｇ３の選択は、前記顔画像Ｇ１，
Ｇ２の前記特徴的な領域の画像データを基に遺伝的な情
報に基づいて、顔画像Ｇ３を選択する。これによれば、
顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像Ｇ３
を選択できるので、自然な合成画像を作成することがで
きる。
【００２８】また、前記顔画像Ｇ１，Ｇ１の特徴的な領
域は、少なくとも髪領域、肌領域、目領域のうちの１つ
を含むことを特徴としている。これによれば、顔画像の
中で特に特徴的な領域を考慮して画像Ｇ３が選択される
ので、自然な合成画像を作成することができる。
【００２９】また、本発明の顔画像処理方法は、顔画像
Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとし
て前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後
の顔画像など、或るいずれか１つの顔画像を処理対象顔
画像とし、この処理対象顔画像とその処理対象画像に整
合させた形状モデルを用い、当該処理対象顔画像の所定
の点を所定量だけ移動させることによって表情を変化さ
せる顔画像処理方法において、当該処理対象の顔画像内
の或る一点からその顔画像の輪郭に向かって横方向およ
び縦方向に向かう２つのベクトル、これらの２つのベク
トルに直交しこれら各ベクトルの相乗平均の大きさを有
するベクトルを求め、これら各ベクトルと、表情を変化
させるための予め設定された定数とを基に、当該顔画像
の所定の点の移動方向及び移動量を表す移動ベクトルを
算出することを特徴としている。これにより、顔の表情
を変化させる処理を簡単な演算にて行うことができる。
【００３０】また、本発明の顔画像処理方法は、顔画像
Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとし
て前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後
の顔画像など、或るいずれか１つの顔画像を処理対象顔
画像とし、この処理対象顔画像とその処理対象画像に整
合させた形状モデルを用い、前記処理対象顔画像に年齢
変化を加える処理を行う顔画像処理方法において、予め
用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５
に整合させた形状モデルから、この顔画像Ｇ５の肌領域
の画像を抽出し、この抽出された肌領域の画像を前記処
理対象顔画像の肌領域にマッピングして年齢変化処理を
行うことを特徴としている。これにより、リアリティの
ある年齢変化処理が可能となる。
【００３１】また、本発明の画像処理装置は、２枚の顔
画像Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら
顔画像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モ
デルとから、前記顔画像Ｇ３をベースとして顔画像Ｇ
１，Ｇ２の特徴を加えた顔画像を合成する画像処理装置
において、前記顔画像Ｇ１の特徴的部分に注目し、この
画像Ｇ１の形状モデルの前記特徴的部分に対応する所定
点の座標を、背景画像Ｇ３の形状モデルの対応する点の
座標に座標変換することで、顔画像Ｇ１を背景顔画像Ｇ
３に大まかに整合する第１の形状整合処理手段と、前記
顔画像Ｇ２の特徴的部分に注目し、この画像Ｇ２の形状
モデルの前記特徴的部分に対応する所定点の座標を、背
景画像Ｇ３の形状モデルの対応する点の座標に座標変換
することで、顔画像Ｇ２を背景顔画像Ｇ３に大まかに整
合させる第２の形状整合処理手段と、前記顔画像Ｇ１，
Ｇ２のそれぞれの整合後の形状モデルおよび顔画像Ｇ３
の形状モデルのそれぞれ対応する点の座標値を所定の比
率で形状補間する形状補間処理手段と、この形状補間処
理手段にて形状補間された形状モデルに対し、それぞれ
対応する画素について所定の比率で色補間する色補間処
理手段とを有したことを特徴としている。これにより、
形状補間比率を連続的に変化させて２つの顔画像を合成
する場合でも、目や口といった顔の特徴的部分の位置が
形状補間比率を変化させる毎に微妙に動いてしまうとい
うことがなくなり、高品質な合成画像を得ることが可能
となる。
【００３２】また、前記顔画像Ｇ１，Ｇ２のそれぞれの
整合後の形状モデルおよび顔画像Ｇ３の形状モデルのそ
れぞれ対応する点の座標値を所定の比率で形状補間する
形状補間処理手段は、顔を形作る特徴部分単位に形状補
間の比率を変化させて形状補間を行うようにする。これ
により、合成画像を、目や口といった部品ごとに顔画像
Ｇ１に似せたり、顔画像Ｇ２に似せたりすることができ
る。
【００３３】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理手段は、背景となる顔画像Ｇ３の各部分
の輝度値の大小を判断し、輝度値の大きさに応じて色補
間比率を設定する。これにより、背景画像において特徴
的な輝度値を有する部分が存在する場合、その特徴的部
分の色相を合成画像に残すような色補間比率を設定する
ことができ、自然な状態の合成画像を得ることができ
る。
【００３４】そして、前記輝度値に応じた色補間比率の
設定は、顔画像Ｇ３の肌色の中心輝度を有する部分に対
しては画像Ｇ３の色補間比率を画像Ｇ１，Ｇ２の色補間
比率に比べて最も小さくし、その肌色の中心輝度を中心
としてその前後の所定範囲の輝度値以上または以下の輝
度値を有する部分に対しては、画像Ｇ３の色補間比率を
画像Ｇ１，Ｇ２の色補間比率に比べて最も大きくし、前
記中心輝度の前後所定範囲内は輝度値の変化に応じて顔
画像Ｇ３の色補間比率を適宜変化させるようにする。こ
れにより、背景画像の髪の毛やハイライト部分など輝度
値が極端に大きい部分や小さい部分はそのまま残した状
態で合成が行えるので、自然な合成が可能となる。
【００３５】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理手段は、前記顔画像Ｇ１，Ｇ２の各部分
の輝度値の大小を判断し、輝度値の大きさに応じて色補
間比率を設定する。これにより、顔画像Ｇ１，Ｇ２にお
いて特徴的な輝度値を有する部分が存在する場合は、そ
れに対応した色補間比率を設定することで、たとえば、
顔画像Ｇ１，Ｇ２の額部分に髪の毛がかかっているよう
な場合、それを合成画像に現さないようにすることが可
能となる。
【００３６】そして、前記輝度値に応じた色補間比率の
設定は、顔画像Ｇ１，Ｇ２の肌色の中心輝度を有する部
分に対しては画像Ｇ１，Ｇ２の色補間比率を画像Ｇ３の
色補間比率に比べて最も大きくし、その肌色の中心輝度
を中心としてその前後の所定範囲の輝度値以上または以
下の輝度値を有する部分に対しては、画像Ｇ１，Ｇ２の
色補間比率を画像Ｇ３の色補間比率に比べて最も小さく
し、前記中心輝度の前後所定範囲内は輝度値の変化に応
じて顔画像Ｇ１，Ｇ２の色補間比率を適宜変化させるよ
うにする。これにより、顔画像Ｇ１，Ｇ２の髪の毛など
輝度値が極端に小さい部分に対しては、色補間比率を小
さく設定することで、たとえば、顔画像Ｇ１，Ｇ２の額
部分に髪の毛がかかっているような場合、それを合成画
像に現さないようにすることが可能となる。
【００３７】また、前記形状補間された形状モデルに対
し、それぞれ対応する画素について所定の比率で色補間
する色補間処理手段は、顔を形作る特徴部分単位に色補
間の比率を変化させて色補間を行うようにする。これに
より、色相についても、目や口といった特徴部分ごとに
顔画像Ｇ１またはＧ２のいずれかに似せた合成画像を作
ることができる。これを前記請求項１４で示した形状補
間比率を目や口などの部品ごとに変化させる技術と組み
合わせることにより、より一層、きめ細やかに、顔画像
Ｇ１に似せたり、顔画像Ｇ２に似せたりした合成画像を
得ることができる。
【００３８】本発明の顔画像処理装置は、２枚の顔画像
Ｇ１，Ｇ２および背景となる顔画像Ｇ３と、これら顔画
像Ｇ１，Ｇ２，Ｇ３に整合させたそれぞれの形状モデル
とから、前記顔画像Ｇ３をベースとして顔画像Ｇ１，Ｇ
２の特徴を加えた顔画像を合成する顔画像処理装置にお
いて、前記顔画像Ｇ１，Ｇ２の特徴的な領域の色を検出
するそれぞれの色検出手段を有し、それぞれの色検出手
段により検出されたそれぞれの前記特徴的な領域の色デ
ータを基にして、前記ベースとなる顔画像Ｇ３を選択す
ることを特徴としている。これによれば、合成しようと
する顔画像Ｇ１，Ｇ２にふさわしい顔画像Ｇ３を選択で
きるので、自然な合成画像を作成することができる。
【００３９】前記顔画像Ｇ１，Ｇ２の特徴的な領域の色
データに基づく顔画像Ｇ３の選択は、遺伝的な情報を予
め格納した遺伝情報テーブルを設け、前記顔画像Ｇ１，
Ｇ２の前記特徴的な領域の画像データを基に、前記遺伝
情報テーブルを参照して、前記顔画像Ｇ１，Ｇ２の画像
データに対応する顔画像Ｇ３を選択する。これによれ
ば、顔画像Ｇ１，Ｇ２の人種的な特徴に対応した顔画像
Ｇ３を選択できるので、自然な合成画像を作成すること
ができる。
【００４０】前記顔画像Ｇ１，Ｇ２の特徴的な領域は、
少なくとも髪領域、肌領域、目領域のうちの１つを含む
ことを特徴としている。これによれば、顔画像の中で特
に特徴的な領域を考慮して画像Ｇ３が選択されるので、
自然な合成画像を作成することができる。
【００４１】また、本発明の顔画像処理装置は、顔画像
Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとし
て前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後
の顔画像など、或るいずれか１つの顔画像を処理対象顔
画像とし、この処理対象顔画像とその処理対象画像に整
合させた形状モデルを用い、当該処理対象顔画像の所定
の点を所定量だけ移動させることによって表情を変化さ
せる顔画像処理装置において、表情を変化させるための
予め設定された定数が格納される表情データ記憶手段
と、当該処理対象の顔画像内の或る一点からその顔画像
の輪郭に向かって横方向および縦方向に向かう２つのベ
クトル、これらの各ベクトルに直交しこれら各ベクトル
の相乗平均の大きさを有するベクトルを求め、これら２
つのベクトルと、前記表情を変化させるための予め設定
された定数とを基に、当該顔画像の所定の点の移動方向
及び移動量を表す移動ベクトルを算出する表情変化処理
手段とを有することを特徴としている。これにより、顔
の表情を変化させる処理を簡単な演算にて行うことがで
きる。
【００４２】また、本発明の顔画像処理装置は、顔画像
Ｇ１，Ｇ２、または背景となる顔画像Ｇ３をベースとし
て前記顔画像Ｇ１，Ｇ２の特徴を加えて得られた合成後
の顔画像など、或るいずれか１つの顔画像を処理対象顔
画像とし、この処理対象顔画像とその処理対象画像に整
合させた形状モデルを用い、前記処理対象顔画像に年齢
変化を加える処理を行う顔画像処理装置において、予め
用意された或る年齢相応の顔画像Ｇ５とこの顔画像Ｇ５
に整合させた形状モデルから、この顔画像Ｇ５の肌領域
の画像を抽出し、この抽出された肌領域の画像を前記処
理対象顔画像の肌領域にマッピングして年齢変化処理を
行う年齢変化処理部を有したことを特徴としている。こ
れにより、リアリティのある年齢変化処理が可能とな
る。
【００４３】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。
【００４４】（第１の実施の形態）図１は本発明の処理
を説明するブロック図であり、図１２と同一部分には同
一符号が付されている。本発明では、図１２で示す構成
に対して、顔画像Ｇ１および顔画像Ｇ２のそれぞれの形
状データを用いて、顔画像Ｇ３に大まかに整合させる処
理を行うそれぞれの形状整合処理部１１，１２（その処
理については後に説明する）が新たに設けられ、それぞ
れの形状整合処理部１１，１２（第１の形状整合処理部
１１、第２の形状整合処理部１２）からのそれぞれの整
合後の形状データが出力され、形状補間処理部１に与え
られるようになっている。
【００４５】すなわち、図１においては、形状補間処理
部１には、前記したように、第１の形状整合処理部１１
および第２の形状整合処理部１２からのそれぞれの整合
後形状データと、顔画像Ｇ３の形状データが入力され、
色補間処理部２には、顔画像Ｇ１の画像データと形状デ
ータ、顔画像Ｇ２の画像データと形状データ、顔画像Ｇ
３の画像データと形状データ、さらに、前記形状補間処
理部１からの形状補間データが入力される構成となって
いる。
【００４６】このような構成において、以下にその処理
について説明する。
【００４７】前記第１、第２の形状整合処理部１１，１
２は、顔画像Ｇ１、顔画像Ｇ２のそれぞれの形状データ
を用いて、顔画像Ｇ１、顔画像Ｇ２の形状モデルを、背
景となる顔画像Ｇ３に大まかに整合させるための処理を
行う。たとえば、顔画像Ｇ１を顔画像Ｇ３に大まかに整
合させる例についてを図２を参照して説明する。
【００４８】まず、顔画像Ｇ１の特徴的な部品として、
両目と口を選び、両目部分のそれぞれの中心点をα，
β、口の部分の中心点をγとすると、点α，β，γのそ
れぞれの座標を、顔画像Ｇ３の両目と口の中心点α’，
β’，γ’の座標へ座標変換を、下記に示す式を用いて
アフィン変換により行う。
【００４９】
【数１】
【００５０】この（１）式に示す式を連立させてアフィ
ン係数ｃ０〜ｃ５を求める。なお、アフィン係数ｃ０か
らｃ３は回転、拡大、縮小を表し、ｃ４，ｃ５は平行移
動を表している。また、（１）式において、Ｘα，Ｙα
は点αの座標、Ｘβ，Ｙβは点βの座標、Ｘγ，Ｙγは
点γの座標、Ｘα’，Ｙα’は点α’の座標、Ｘβ’，
Ｙβ’は点β’の座標、Ｘγ’，Ｙγ’は点γ’の座標
である。なお、実際には各点の座標は、Ｘ，Ｙ，Ｚの３
次元空間の座標である。
【００５１】この（１）式により求められたアフィン係
数ｃ０〜ｃ５を用いることにより、両目のそれぞれの中
心点α，βと口の中心点γ以外の全ての点も画像Ｇ３に
座標変換することができる。つまり、顔画像Ｇ１内のそ
れぞれの点の座標値を前記（１）式に代入することによ
り、変換後の各点の座標値を求めることができる。
【００５２】このように、まず、顔画像Ｇ１の両目と口
のそれぞれの座標位置を、顔画像Ｇ３の両目と口の座標
位置にアフィン変換することにより、顔画像Ｇ１の両目
と口の部分を大まかに整合させ、なおかつ、顔画像Ｇ１
の他の点（顔画像全体）も顔画像Ｇ３に大まかに整合さ
せることができる。このような大まかな整合処理は、第
１の形状整合処理部１１により行われ、この第１の形状
整合処理部１１にて得られた大まかな整合後の形状デー
タは、形状補間処理部１と色補間処理部２に送られる。
【００５３】これと同様に、顔画像Ｇ２も顔画像Ｇ３に
大まかに整合させる処理を行い、第２の形状整合処理部
１２で得られた大まかな整合後の形状データは形状補間
処理部１と色補間処理部２に送られる。
【００５４】形状補間処理部２では、顔画像Ｇ１の整合
後の形状データと顔画像Ｇ２の整合後の形状データおよ
び顔画像Ｇ３の形状データを用い、それぞれの補間比率
が合計で１になるような比率で形状補間処理を行う。
【００５５】ここまでの動作を図３（ａ），（ｂ），
（ｃ）に示す。図３（ａ）は顔画像Ｇ１および顔画像Ｇ
２を示すもので、これらの顔画像Ｇ１，Ｇ２を、同図
（ｂ）の点線で示す背景となる顔画像Ｇ３に大まかに整
合させる。この大まかな整合処理は、前記したように、
顔画像Ｇ１（顔画像Ｇ２）の両目の中心点α，βの座標
（Ｘα，Ｙα）、（Ｘβ，Ｙβ）と口の中心点γの座標
（Ｘγ，Ｙγ）を、顔画像Ｇ３の両目と口のそれぞれの
中心点α’，β’，γ’の座標に前記（１）式によりア
フィン変換することで行う。そして、前記（１）式によ
りそれぞれの係数ｃ０〜ｃ５を求め、この係数ｃ０〜ｃ
５を用いて（１）式により顔画像Ｇ１（顔画像Ｇ２）の
各点の座標をアフィン変換して、顔画像Ｇ３の対応する
位置に合わせ込む。図３（ｂ）は顔画像Ｇ１および顔画
像Ｇ２を顔画像Ｇ３に大まかに整合させた状態を示すも
のであり、点線が背景となる顔画像Ｇ３、実線が顔画像
Ｇ１および顔画像Ｇ２を示している。
【００５６】これにより、形状補間処理部１では形状補
間を行う際、大まかに整合された形状データ（座標デー
タ）および顔画像Ｇ３の形状データ（座標データ）を用
いて形状補間を行うため、同図（ｃ）に示すように顔画
像Ｇ１、顔画像Ｇ２の両目と口が一致した状態で、形状
補間処理を行うことができる。したがって、それぞれの
補間比率を連続的に変化させた場合でも、目や口の位置
が細かく移動してしまうことが無くなる。
【００５７】このようにして、形状補間が行われ、続い
て、色補間処理部２により色補間処理が行われる。この
色補間処理は、顔画像Ｇ１、顔画像Ｇ２および顔画像Ｇ
３のそれぞれの形状データと、形状補間処理部１の形状
補間データ、さらには、顔画像Ｇ１、顔画像Ｇ２、顔画
像Ｇ３のそれぞれの画像データ（色データ）を入力し
て、所定の比率で色補間しながらマッピングを行ったの
ち、合成された顔画像の合成画像データとして出力す
る。
【００５８】ところで、前記形状補間処理部１は、目、
口、鼻、眉といった顔を形作る部品の部品位置に存在す
る点の座標値の形状補間比率を部品位置に応じて変える
ことを可能とする。これにより、顔画像Ｇ１に似た合成
画像または顔画像Ｇ２に似た合成画像を得ることができ
る。たとえば、鼻の位置に存在する点の座標値の形状補
間比率を顔画像Ｇ１の補間比率を顔画像Ｇ２よりも高く
すれば、顔画像Ｇ１（父親）似となる合成画像とするこ
とができる。
【００５９】また、前記色補間処理部２は、顔画像Ｇ３
の輝度値に応じて色補間比率を変化させることを可能と
する。
【００６０】これは背景となる顔画像Ｇ３において、輝
度の低い陰や髪の部分、あるいは、ハイライト部分の色
が中途半端に合成画像に影響し、合成された色が不自然
なものとなる問題、あるいは、顔画像Ｇ３の髪の部分が
薄れたものとなってしまう問題に対処するためである。
すなわち、背景となる顔画像Ｇ３の持つ特徴的な色相
（たとえば、髪の毛の色具合、ハイライト部分など）は
そのまま残した上で、顔画像Ｇ１と顔画像Ｇ２を、顔画
像Ｇ３をベースにして合成するのが望ましいからであ
る。
【００６１】これを実現するには、背景となる顔画像Ｇ
３の輝度値のなかで、基準となる部分の輝度値を選ん
で、その基準となる部分の輝度値（基準輝度値という）
からプラス方向及びマイナス方向に所定値以上外れた輝
度値の部分は、顔画像Ｇ３の表現したい特徴的な色相と
みなして、その顔画像Ｇ３の持つ輝度値を最大限生かせ
るように、顔画像Ｇ３の色補間率を顔画像Ｇ１と顔画像
Ｇ２の色補間比率に比べて大きくするような処理（たと
えば、顔画像Ｇ３の色補間比率を取り得る最大の色補間
比率とする）を行う。これを図４に示す具体例を用いて
説明する。図４において、太線で示す横軸には顔画像Ｇ
３の輝度値Ｙｃをとり、太線で示す縦軸には顔画像Ｇ３
の色補間比率をとっている。いま、ここでは、顔画像Ｇ
３の基準輝度値に顔の肌色の中心輝度値Ｙctを選ぶとと
もに、この基準輝度値Ｙctを中心としてプラス方向及び
マイナス方向にそれぞれ所定の範囲の輝度値ａを選び、
顔画像Ｇ３の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙc
t＋ａ）の場合は、
【００６２】
【数２】
【００６３】で表される曲線（図４の細線で示される曲
線部分）によって顔画像Ｇ３の色補間比率Ｒcを求め
る。なお、この場合、顔画像Ｇ３の色補間比率Ｒcの値
は、顔画像Ｇ３の取り得る色補間比率の最小の色補間比
率Ｒminから最大の色補間比率Ｒmaxの間の値である。
【００６４】また、顔画像Ｇ３の輝度値Ｙｃが、（Ｙct
−ａ）＞Ｙcの場合、または、Ｙc＞（Ｙct＋ａ）の場合
は、
【００６５】
【数３】
【００６６】で表される直線（図４の細線で示される直
線部分）によって顔画像Ｇ３の色補間比率を求める。な
お、この場合、顔画像Ｇ３の色補間比率Ｒcの値は、顔
画像Ｇ３の取り得る色補間比率の最大の色補間比率Ｒma
xとする。
【００６７】つまり、顔画像Ｇ３の輝度値がきわめて低
い場合、たとえば、髪の毛の部分や陰の部分、または、
顔画像Ｇ３の輝度値がきわめて高い部分、たとえばハイ
ライトの部分などは顔画像Ｇ３の持つ特徴部分をそのま
ま残した方が自然な画像となるため、顔画像Ｇ３の色補
間比率を最大とする。これに対して、肌色の部分は顔画
像Ｇ１及び顔画像Ｇ２の色を加味した色相としたいこと
から、肌色の輝度値に応じて、顔画像Ｇ３の色補間率を
適応的に変化させる。ここでは、肌色の中で中心的な基
準輝度値のときには、顔画像Ｇ３の色補間比率を最も小
さくし、その±ａの輝度値の範囲では図４に示す曲線に
従って色補間比率を決めるようにする。
【００６８】ところで、このような色補間比率の決定処
理は、髪の毛や陰の部分などのように、顔画像Ｇ３の残
しておきたい特徴部分に対してのみ適応されれば良い結
果が得られるが、たとえば、顔画像Ｇ３の目やまゆに対
しても図４に示す処理がなされると、背景となる顔画像
Ｇ３の目やまゆが高い比率で色補間された顔画像とな
り、顔画像Ｇ１と顔画像Ｇ２の特徴が殆ど現れない顔画
像となってしまうことになる。したがって、顔画像Ｇ３
の目やまゆは図４で示した処理によらず、最適な補間比
率で処理を行うようにする。
【００６９】なお、ここでは、基準輝度値から±ａの輝
度値の範囲では図４に示す曲線に従って色補間率を決め
るようにしたが、これに限られるものではなく、その範
囲の間は曲線による変化ではなく、段階的に輝度値を変
化させるようにしてもよく、また、直線的な変化として
もよい。
【００７０】また、色補間処理部２は、顔画像Ｇ１、顔
画像Ｇ２の輝度値に応じて色補間比率を変化させること
を可能とする。これは、顔画像Ｇ１、顔画像Ｇ２、顔画
像Ｇ３を一定の比率で色補間すると、たとえば、顔画像
Ｇ１または顔画像Ｇ２の額部分に髪がかかっているよう
な場合、合成後の顔画像にその髪がうっすらと残ってし
まうという問題に対処するためである。これを解決する
ために、顔画像Ｇ１と顔画像Ｇ２の輝度に応じて、顔画
像Ｇ１の輝度値が極端に小さい（暗い）部分、あるい
は、顔画像Ｇ２の輝度値が極端に小さい（暗い）部分
は、合成後の顔画像Ｇ４にその極端に暗い部分（髪の毛
の部分）を残すと不自然な合成画像となるので、その部
分は顔画像Ｇ１または顔画像Ｇ２の色補間率を小さく
し、背景となる顔画像Ｇ３の色補間比率を大きくする処
理を行う。
【００７１】これを実現するには、顔画像Ｇ１および顔
画像Ｇ２の輝度値のなかで、基準となる部分の輝度値を
選んで、その基準となる部分の輝度値（基準輝度値とい
う）からプラス方向及びマイナス方向に所定値以上外れ
た輝度値の部分は、顔画像Ｇ１または顔画像Ｇ２の表現
したくない特徴的な部分（この場合は髪の毛など）とみ
なして、顔画像Ｇ１または顔画像Ｇ２の色補間比率を最
大限小さくし、顔画像Ｇ３の色補間比率を最大限大きく
するようにする。これを図５に示す具体例を用いて説明
する。図５において、太線で示す横軸には顔画像Ｇ１お
よび顔画像Ｇ２の輝度値Ｙｃをとり、太線で示す縦軸に
は顔画像Ｇ１または顔画像Ｇ２の色補間比率をとってい
る。ここでは、画像Ｇ１および画像Ｇ２の基準輝度値Ｙ
ctに顔の肌色の中心輝度値を選ぶとともに、この基準輝
度値Ｙctを中心としてプラス方向及びマイナス方向にそ
れぞれ所定の範囲の輝度値ａを選び、顔画像Ｇ１または
顔画像Ｇ２の輝度値Ｙｃが、（Ｙct−ａ）≦Ｙc≦（Ｙc
t＋ａ）の場合は、
【００７２】
【数４】
【００７３】で表される曲線（図５の細線で示される曲
線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間
比率Ｒcを求める。なお、この場合、顔画像Ｇ１または
顔画像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または
顔画像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒ
minから最大の色補間比率Ｒmaxの間の値である。
【００７４】また、顔画像Ｇ１または顔画像Ｇ２の輝度
値Ｙｃが、（Ｙct−ａ）＞Ｙcの場合、または、Ｙc＞
（Ｙct＋ａ）の場合は、
【００７５】
【数５】
【００７６】で表される直線（図５の細線で示される直
線部分）によって顔画像Ｇ１または顔画像Ｇ２の色補間
比率を求める。なお、この場合、顔画像Ｇ１または顔画
像Ｇ２の色補間比率Ｒcの値は、顔画像Ｇ１または顔画
像Ｇ２の取り得る色補間比率の最小の色補間比率Ｒmin
とする。
【００７７】つまり、顔画像Ｇ１または顔画像Ｇ２の輝
度値が極端に低い場合、たとえば、髪の毛の部分などは
合成画像に現したくないため、顔画像Ｇ１または顔画像
Ｇ２の色補間比率を最小とする。これに対して、肌色の
部分は顔画像Ｇ１及び顔画像Ｇ２の色を加味した色相と
したいことから、肌色の輝度値に応じて、顔画像Ｇ１ま
たは顔画像Ｇ２の色補間比率を適応的に変化させる。こ
こでは、肌色の中で中心的な輝度値のときには、顔画像
Ｇ１または顔画像Ｇ２の色補間比率を最も大きくし、そ
の±ａの輝度値の範囲では図５に示す曲線に従って色補
間比率を決めるようにする。
【００７８】ところで、このような色補間比率の決定処
理は、合成画像に現したくない画像Ｇ１，Ｇ２の髪の毛
などの部分に対してのみ適応されれば良い結果が得られ
るが、顔画像Ｇ１，Ｇ２の目やまゆに対しても図５に示
す処理がなされると、顔画像Ｇ１，Ｇ２の目やまゆが低
い比率で色補間されたた画像となり、顔画像Ｇ１，Ｇ２
の目やまゆの特徴が殆ど現れない顔画像となってしまう
ことになる。したがって、顔画像Ｇ１，Ｇ２の目やまゆ
は図５で示した処理によらず、最適な補間比率で処理を
行うようにする。
【００７９】なお、ここでは、基準輝度値から±ａの輝
度値の範囲では図５に示す曲線に従って色補間率を決め
るようにしたが、これに限られるものではなく、その範
囲の間は曲線による変化ではなく、段階的に輝度値を変
化させるようにしてもよく、また、直線的な変化として
もよい。
【００８０】また、この色補間処理部２は、目、口、
鼻、眉といった顔を形作る部品の部品位置に存在する領
域（パッチ）ごとに、そのパッチ内の画素の色補間比率
を変えることで、それぞれの部品の色相を顔画像Ｇ１
（父親）似または顔画像Ｇ２（母親）似とすることを可
能とする。たとえば、鼻の色相を父親似としようとする
場合、鼻を構成するそれぞれのパッチについては、各パ
ッチ毎にたとえば、父親の画像Ｇ１の色補間比率を大き
くするような処理を行う。これにより、顔の各部品毎に
その色相を顔画像Ｇ１似または顔画像Ｇ２似とすること
が可能となる。なお、実際には、前記した形状補間手段
１による部品単位毎に形状補間比率を変える処理と連動
させて行う。このように、顔を形作る部品ごとに、形状
補間比率および色補間比率を適当に設定することによ
り、それらの部品毎の形状および色相を顔画像Ｇ１また
は顔画像Ｇ２に似せた、いわゆる父親似あるいは母親似
といった合成顔画像を得ることができる。
【００８１】また、この第１の実施の形態において、顔
画像Ｇ１、Ｇ２のうちのいずれかと、背景となる顔画像
Ｇ３の２枚の顔画像を用いて、両者を合成することによ
り、顔画像Ｇ１あるいはＧ２を年齢変化処理することが
可能となる。たとえば、顔画像Ｇ１を比較的若い或る大
人の男性の顔画像、顔画像Ｇ３を或る男性の老人の顔画
像として、前記顔画像Ｇ１と、背景となる顔画像Ｇ３を
ベースにして合成すれば、顔画像Ｇ１を大まかに老齢化
処理することも可能となる。これとは逆に、顔画像Ｇ３
を男の子どもの顔画像とすれば、大まかな若返り処理も
可能となる。
【００８２】（第２の実施の形態）この第２の実施の形
態は、或る子どもの顔画像をベースにして、顔画像Ｇ１
と顔画像Ｇ２を合成する場合、顔画像Ｇ１とＧ２の人種
によって異なる特徴的な色を考慮した合成処理を行うも
のである。ここでは、人種によって異なる特徴的な色と
して、髪の色、眼球の色、肌の色を用いる。以下、この
第２の実施の形態について説明する。
【００８３】図６は第２の実施の形態を説明するための
構成図であり、男性側の顔画像Ｇ１の画像データ（色デ
ータ）と形状データを基に、髪色の検出を行う髪色検出
部１３、肌の色を検出する肌色検出部１４、眼球の色を
検出する眼球色検出部１５が設けられ、女性側の顔画像
Ｇ２の画像データと形状データを基に、髪色の検出を行
う髪色検出部１６、肌の色を検出する肌色検出部１７、
眼球の色を検出する眼球色検出部１８が設けられる。
【００８４】前記髪色検出部１３、肌色検出部１４、眼
球色検出部１５は顔画像Ｇ１の形状データおよび画像デ
ータより得られた髪の領域、肌の領域、眼球の領域に対
応する各画素の色データの平均値を求め、その求められ
た平均値をもとに髪色、肌色、眼球色の代表色を求め、
それぞれの代表色を表す髪色検出データ、肌色検出デー
タ、眼球色検出データを出力する。たとえば、眼球色検
出部１５を例に取れば、形状データにより眼球領域を抽
出し、その眼球領域に含まれる総ての画素毎の画像デー
タ（色データ）を取り出し、その総ての画素の色データ
の平均値を求めて、求められた平均値をもとに眼球の代
表色を決定し、それに対応した眼球色検出データを出力
する。髪色検出部１３、肌色検出部１４も同様にしてそ
れぞれの代表色を求め、それに対応した肌色検出デー
タ、髪色検出データを出力する。
【００８５】ただし髪の領域は、前記形状モデル（図１
３参照）に示されていないので、顔の額の辺より上の予
め定めた位置における画像データを取り出すようにす
る。前記額の辺より上の予め定めた位置は、たとえば、
形状モデルに示される顔の大きさを基にして設定する。
【００８６】一方、前記髪色検出部１６、肌色検出部１
７、眼球色検出部１８も前記同等に、顔画像Ｇ２の形状
データおよび画像データより得られた髪の領域、肌の領
域、眼球の領域に対応する各画素の色データの平均値を
求め、その求められた平均値をもとに髪色、肌色、眼球
色の代表色を求め、それぞれの代表色を表す髪色検出デ
ータ、肌色検出データ、眼球色検出データを出力する。
【００８７】なお、前記髪色検出部１３，１６、肌色検
出部１４，１７、眼球色検出部１５，１８によるそれぞ
れの領域の色検出は、髪の領域、肌の領域、眼球の領域
に対応する各画素の色データの平均値を求める以外に、
たとえば、それぞれの部分における各画素の色データを
基に、色の分散を求め、その分散値をもとにして代表色
を求めるようにしてもよく、また、それぞれの部分にお
ける各画素の色データの頻度を計数して最多色を代表色
とするようにしてもよい。
【００８８】このようにして髪色検出部１３，１６、肌
色検出部１４，１７、眼球色検出部１５，１８からはそ
れぞれの色検出データが出力される。これらの各色検出
データは遺伝情報テーブル１９に送られる。この遺伝情
報テーブル１９の内容は、図７に示すように、顔画像Ｇ
１の髪色、肌色、眼球色のそれぞれの色と顔画像Ｇ２の
髪色、肌色、眼球色のそれぞれの色の組み合わせに対し
て、髪、肌、眼球がどのような色を持つ子どもが生まれ
る可能性があるかを示すもので、それぞれの色の組み合
わせに対する子どもの顔画像のグループ名（グループｚ
１，ｚ２，・・・，ｚｎ）およびそのグループの髪色、
肌色、眼球色が格納されている。
【００８９】たとえば、顔画像Ｇ１の髪色が黒色、肌色
が黄色、眼球色が茶色であって、顔画像Ｇ２の髪色が黒
色、肌色が白色、眼球色が青色である場合は、選択され
る子どもの顔画像（背景となる顔画像Ｇ３）はグループ
ｚ１（髪色は黒色、肌色は白色、眼球色は青色のグルー
プ）であり、顔画像Ｇ１の髪色が金色、肌色が白色、眼
球色が青色であって、顔画像Ｇ２の髪色が金色、肌色が
白色、眼球色が茶色である場合は、選択される子どもの
顔画像（背景となる顔画像Ｇ３）はグループｚ２（髪色
は金色、肌色は白色、眼球色は青色のグループ）である
というように、父親と母親の髪色、肌色、眼球色の種々
の組み合わせに対して、生まれてくる可能性のある子ど
もの顔画像のグループｚ１，ｚ２，・・・，ｚｎが予め
設定されている。
【００９０】そして、髪色検出部１３，１６、肌色検出
部１４，１７、眼球色検出部１５，１８から出力される
顔画像Ｇ１，Ｇ２のそれぞれの色検出データをもとに、
子どもの顔画像のグループｚ１，ｚ２，・・・，ｚｎの
うち、どれか１つが選択されると、その選択されたグル
ープを示す情報が出力される。
【００９１】たとえば、髪色検出部１３、肌色検出部１
４、眼球色検出部１５から出力される顔画像Ｇ１の髪色
の色検出データが金色を示す色検出データ、肌の色の色
検出データが白色を示す色検出データ、眼球の色の色検
出データが青色を示す色検出データであって、髪色検出
部１６、肌色検出部１７、眼球色検出部１８から出力さ
れる顔画像Ｇ２の髪色の色検出データが金色を示す色検
出データ、肌の色の色検出データが白色を示す色検出デ
ータ、眼球の色の色検出データが茶色を示す色検出デー
タである場合、それらの色検出データによって、遺伝情
報テーブル１９が参照されると、この場合、グループｚ
２が選択され、これによって、グループｚ２が選択され
たことを示す信号が出力される。
【００９２】このグループｚ２は、髪色は金色、肌色は
白色、眼球色は青色である子ども顔画像のグループであ
る。したがって、父親である顔画像Ｇ１と母親である顔
画像Ｇ２のそれぞれの髪の色、肌の色、眼球の色に対し
て遺伝的に適切な髪の色、肌の色、眼球の色を持った子
供の顔画像のグループが選択されることになる。
【００９３】そして、選択された子どもの顔画像のグル
ープ（前記した例では、グループｚ２）の中から、１枚
の顔画像Ｇ３が選択されるが、この選択手段はここでは
特に限定されるものではなく種々の方法が考えられる。
【００９４】たとえば、顔画像Ｇ３の男女、年齢などの
選択は、顔画像Ｇ１，Ｇ２の入力前にユーザが予め設定
するようにしてもよく、あるいは、グループが選択され
た以降にユーザが選択するようにしてもよい。また、選
択されたグループに属する子どもの個別の顔画像の選択
については、たとえば、ユーザによって、既に、男の子
という指定がなされていたとすると、選択されたグルー
プ内の男の子の中から、ユーザが或１つの顔画像を任意
に選択できるようにしてもよく、あるいは、システム側
が乱数などを用いて指定された範囲の中から或る１つの
顔画像を選択するようにしてもよい。
【００９５】以上説明したように、この第２の実施の形
態によれば、髪の色、肌の色、眼球の色などが異なる人
種同志の顔画像Ｇ１，Ｇ２を、背景となる顔画像Ｇ３を
用いて合成する場合、背景となる顔画像Ｇ３を、遺伝的
に見て適切な髪の色、肌の色、眼球の色を持つグループ
の中から選択することができる。これにより、たとえ
ば、金色の髪を持つ顔画像Ｇ１とＧ２とから、黒い髪の
顔画像が合成されるというような明らかに不自然な合成
画像が作成されるのを防止できる。
【００９６】（第３の実施の形態）前記した第１、第２
の実施の形態では、２枚の顔画像Ｇ１，Ｇ２と背景とな
る顔画像Ｇ３を用いて、背景となる顔画像Ｇ３をベース
にして顔画像Ｇ１，Ｇ２の特徴を加味した合成画像を作
成する例について説明したが、この第３の実施の形態
は、或る１枚の顔画像、たとえば、顔画像Ｇ１または顔
画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに合
成された顔画像について、目、鼻、眉、口などの部品の
或る点の座標値を少し動かすことで顔の表情を変化させ
るものである。たとえば、目の下瞼の部分の点を上に少
し動かすことによって、微笑んだ表情を作るというよう
に顔の表情を変化させるものである。
【００９７】このように、顔の点を動かすことによって
表情を変化させることができる。つまり、顔のどの点を
どの程度どの方向に移動させるかというデータ（これを
表情データという）を予め設定しておくことで、表情を
変化させることができる。
【００９８】この第３の実施の形態は、顔画像の中の或
る一点から横方向および縦方向に向かう２つのベクトル
を基準として正規化された表情データを用いて表情を変
化させるようにする。この場合、処理対象となる顔画像
は、前記第１、第２の実施の形態により得られた合成後
の顔画像、あるいは、顔画像Ｇ１、顔画像Ｇ２など、ど
のような顔画像にも適用可能であるが、ここでは、図１
の構成（第１の実施の形態）により得られた合成後の顔
画像（これを顔画像Ｇ４という）の合成画像データ、つ
まり、顔画像Ｇ４の画像データおよび形状データを用い
て、合成された顔画像Ｇ４の表情を変化させる例につい
て示す。
【００９９】図８は第３の実施の形態を説明するための
構成図であり、図１の構成により得られた合成後の顔画
像Ｇ４の形状データをもとに、表情を変化させる処理を
行う表情変化処理部２０と前記表情データを記憶する表
情データ記憶部２１などを新たに設けた構成となってい
る。なお、図８におけるその他の部分は図１と同じであ
るので、同一部分には同一番号が付されている。
【０１００】次に表情変化処理部２０の具体的な処理に
ついて説明する。図９に示すように、顔画像の両目α，
βの中心部（眉間部）から横方向に向かって顔の輪郭ま
での長さによって決められるベクトルＡ、両目α，βの
中心部（眉間部）から下方向に向かって顔の輪郭までの
長さによって決められるベクトルＢ、これらベクトル
Ａ，Ｂに直交して、かつ、ベクトルＡ，Ｂの相乗平均の
大きさを持つベクトルをそれぞれ求める。そして、表情
を変化させるための予め設定された定数をｖ１，ｖ２，
ｖ３（ｖ１はＡ方向の移動量を決める定数、ｖ２はＢ方
向の移動量を決める定数、ｖ３はＡ，Ｂに直交する方向
の移動量を決定する定数）とすれば、ある点の移動方向
と移動量を示す移動ベクトルＶは次式のように表すこと
ができる。
【０１０１】
【数６】
【０１０２】なお、（６）式において、Ａ×Ｂはベクト
ルＡとベクトルＢの外積を表し、Ａ×Ｂ／｜Ａ×Ｂ｜は
単位ベクトルである。このように、３つのベクトルを考
えて、移動ベクトルＶを前記（６）式により求める。こ
こで、定数ｖ１，ｖ２，ｖ３は前記したように、表情を
変化させるために予め定められた移動量を表している。
たとえば、微笑んだ表情を得るには、或る点をどの程度
どの方向に移動させるかで決められるが、その移動量を
示す定数がｖ１，ｖ２，ｖ３であり、ｖ１はＡ方向の移
動量を決める定数、ｖ２はＢ方向の移動量を決める定
数、ｖ３はＡ，Ｂに直交する方向の移動量を決める定数
である。これらの定数は表情データとして顔画像に関係
なくどの顔画像にも共通の予め決められた定数であり、
それぞれの表情に対応して前記表情データ記憶部２１内
記憶されている。一方、ベクトルＡ、ベクトルＢとこれ
らのベクトルに直交するベクトルは、それぞれの顔画像
の大きさによって異なる。したがって、以上のような３
個のベクトルを用いることにより、移動量は主に顔の横
幅と縦の長さで正規化され、顔画像の大小などの個人差
を吸収することができる。
【０１０３】これにより、表情を変化させるに必要な或
る点の移動量は、前記（６）式から移動ベクトルＶを求
めることにより、その顔画像の大きさに応じた移動量が
得られる。そして、この移動量に応じて点を移動させる
ことにより所望とする表情を得ることができる。
【０１０４】なお、以上の説明は、形状モデルを３次元
と考えた場合についてであったが、たとえば正面を向い
た顔画像などのように形状モデルが２次元的な場合にお
いても同様に適用できる。この場合には、前記（６）式
における移動ベクトルＶは、Ａ方向の移動量を決める定
数をｖ１、Ｂ方向の移動量を決める定数をｖ２とすれ
ば、Ｖ＝ｖ１・Ａ＋ｖ２・Ｂで表すことができる。
【０１０５】（第４の実施の形態）この第４の実施の形
態は、或る１枚の顔画像、たとえば、顔画像Ｇ１または
顔画像Ｇ２、さらには、これらを顔画像Ｇ３をベースに
合成した顔画像Ｇ４を用いて、これらの或る顔画像に年
齢変化処理を施すものである。以下、この第４の実施の
形態について図１０を参照しながら説明する。
【０１０６】この第４の実施の形態において、処理対象
となる顔画像は、前記第１、第２のの実施の形態により
得られた合成後の顔画像Ｇ４、あるいは、画像Ｇ１、画
像Ｇ２など、どのような顔画像にも適用可能であるが、
ここでは、前記図１の構成（第１の実施の形態）により
得られた合成後の顔画像Ｇ４の合成画像データ（画像デ
ータおよび形状データ）を用いて、その合成された顔画
像Ｇ４に年齢変化処理（ここでは加齢処理）を施す例に
ついて示す。図１０は第４の実施の形態を説明するため
の構成図であり、前記図１により得られた合成後の顔画
像Ｇ４の合成画像データ（画像データおよび形状デー
タ）と、予め用意された或る老人の顔画像の画像データ
および形状データをもとに、加齢合成処理を行う年齢変
化処理部３１を新たに設けた構成となっている。なお、
図１０におけるその他の部分は図１と同じであるので、
同一部分には同一番号が付されている。
【０１０７】前記年齢変化処理部３１は、図１の構成に
より得られた合成後の顔画像Ｇ４の肌に、或る老人の顔
画像Ｇ５の肌を合成することで加齢処理する。これを行
うには、老人の顔画像Ｇ５の形状データにより顔の肌領
域を取り出し、その肌領域の部分の画像データを、合成
後の顔画像Ｇ４の肌領域にテクスチャマッピングするこ
とにより加齢処理を行う。図１１はこの加齢処理を説明
するフローチャートである。以下、図１１を参照しなが
ら簡単に説明する。
【０１０８】まず、顔画像Ｇ４の肌領域に或る老人の顔
画像Ｇ５の肌画像データをマッピングする（ステップｓ
１）。そして、顔画像Ｇ４のまゆ領域に顔画像Ｇ４のま
ゆ画像データをマッピングし（ステップｓ２）、そのあ
と、顔画像Ｇ４の目領域に顔画像Ｇ４の目画像データを
マッピングし（ステップｓ３）、続いて、顔画像Ｇ４の
鼻領域に顔画像Ｇ４の鼻画像データをマッピングし（ス
テップｓ４）、その後、顔画像Ｇ４の口領域に顔画像Ｇ
４の口画像データをマッピングする（ステップｓ５）。
【０１０９】このように、実際の老人の顔画像の肌領域
を用いて、その老人の肌領域と加齢処理を施そうとする
顔画像の肌領域とを交換するようにして加齢処理を行う
ので、リアリティのある表情を持った加齢処理が可能と
なる。また、老齢化の度合いに応じて老人の顔画像を選
ぶことにより、老齢化の度合いを自由に変化させること
が可能となる。なお、老齢化処理だけでなく、処理対象
の顔画像Ｇ１，Ｇ２より若い顔画像を使用すれば、若返
りの処理も可能となる。
【０１１０】なお、以上説明した各実施の形態におい
て、それぞれの処理を行う処理プログラムはフロッピィ
ディスクなどの記憶媒体に記憶させておくことも可能で
ある。
【０１１１】
【発明の効果】以上説明したように、本発明は、まず、
顔画像の特徴的な部分、たとえば、両目、口などのそれ
ぞれの中心点に注目し、これらの中心点を座標変換して
背景画像の対応する部分に整合させることで、画像全体
を背景画像に大まかに整合した後、形状補間と色補間を
行うようにしている。したがって、形状補間比率を連続
的に変化させるような処理を行う場合でも、目や口など
顔の特徴的な部分が動いてしまうようなことが無くな
る。
【０１１２】また、顔を形作る特徴部分単位に形状補間
の比率を変化させて形状補間を行うようにすることで、
目や口といった特徴部分ごとに顔画像Ｇ１またはＧ２の
いずれかに似せた合成画像を作ることができる。
【０１１３】また、ベースとなる顔画像Ｇ３の各部分の
輝度値の大きさに応じて色補間比率を設定するような色
補間処理を行うので、ベースとなる顔画像の髪の毛やハ
イライトな部分など輝度値が極端に大きい部分または小
さい部分はそのまま残した状態で合成が行えるので、自
然な合成が可能となる。
【０１１４】また、顔画像Ｇ１，Ｇ２の各部分の輝度値
の大きさに応じて色補間比率を設定するような色補間処
理を行うので、たとえば、輝度値の極端に低い顔画像Ｇ
１，Ｇ２の髪の毛などが、合成後の顔画像に現れること
が無くなり、高品質な合成画像が得られる。
【０１１５】また、顔を形作る特徴部分単位に色補間の
比率を変化させて色補間を行うようにすることで、色相
についても、目や口といった特徴部分ごとに顔画像Ｇ１
またはＧ２のいずれかに似せた合成画像を作ることがで
きる。
【０１１６】また、本発明は、髪の色、肌の色、眼球の
色などの異なる人種同志の顔画像Ｇ１，Ｇ２を、ベース
となる顔画像Ｇ３を用いて合成する場合、ベースとなる
顔画像Ｇ３を、遺伝的に見て適切な髪の色、肌の色、眼
球の色を持つグループの中から選択することができる。
これにより、たとえば、金色の髪を持つ顔画像Ｇ１とＧ
２とから、黒い髪の顔画像が合成されるというような明
らかに不自然な合成画像が作成されるのを防止できる。
【０１１７】さらに、本発明は、処理対象の顔画像内の
或る一点からその顔画像の輪郭に向かって横方向および
縦方向に向かう２つのベクトル、これらの２つのベクト
ルにほぼ直交しこれら各ベクトルの相乗平均の大きさを
有するベクトルを求め、これら各ベクトルと、表情を変
化させるための予め設定された定数とを基に、当該顔画
像の所定の点の移動方向及び移動量を算出することによ
り、顔の表情を変化させる処理を簡単な演算にて行うこ
とができる。
【０１１８】また、本発明は、年齢変化処理を行う際、
年齢相応の顔画像の肌領域を用いて、その顔画像の肌領
域と、年齢変化処理対象の顔画像の肌領域とを交換する
ようにして年齢変化処理を行うので、リアリティのある
年齢相応の表情を持った顔画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する構成図。
【図２】同実施の形態における大まかな形状整合を説明
する図。
【図３】同実施の形態における形状補間処理を説明する
図。
【図４】同実施の形態における背景顔画像の輝度値に応
じた色補間比率を設定する例を説明する図。
【図５】同実施の形態における合成しようとする２つの
顔画像の輝度値に応じた色補間比率を設定する例を説明
する図。
【図６】本発明の第２の実施の形態を説明する構成図。
【図７】第２の実施の形態における遺伝情報テーブルの
内容の一例を示す図。
【図８】本発明の第３の実施の形態を説明する構成図。
【図９】第３の実施の形態において正規化ベクトルの定
義を説明する図。
【図１０】本発明の第４の実施の形態を説明する構成
図。
【図１１】第４の実施の形態の処理を説明するフローチ
ャート。
【図１２】従来の画像合成処理を説明する構成図。
【図１３】或る顔画像に対する形状モデルの一例を示す
図。
【図１４】従来における形状補間比率を連続的に変化さ
せる場合の形状補間処理を説明する図。
【符号の説明】
１・・・形状補間処理部 ２・・・色補間処理部 １１・・・第１の形状整合処理部 １２・・・第２の形状整合処理部 １３，１６・・髪色検出部 １４，１７・・・肌色検出部 １５，１８・・・眼球色検出部 １９・・・遺伝情報テーブル ２０・・・表情変化処理部 ２１・・・表情データ記憶部 ３１・・・年齢変化処理部 Ｇ１，Ｇ２・・・合成される顔画像 Ｇ３・・・背景となる顔画像 Ｇ４・・・合成後の顔画像 α，β・・・目の中心点 γ・・・口の中心点 Ｙｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の輝度値 Ｒｃ・・・顔画像Ｇ１，Ｇ２，Ｇ３の色補間比率 ｑ・・・形状モデルにおける点 ｑ０，ｑ１，・・・点の番号 Ｌ・・・形状モデルにおける点と点との間を結ぶライン Ｌ０，Ｌ１・・・点と点との間を結ぶラインの番号 ｐ・・・形状モデルにおけるパッチ ｐ０，ｐ１・・・パッチの番号

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 ２枚の顔画像（Ｇ１，Ｇ２）および背景
    となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，
    Ｇ３）に整合させたそれぞれの形状モデルとから、前記
    顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ２）の
    特徴を加えた顔画像を合成する顔画像処理方法におい
    て、 前記顔画像（Ｇ１）の特徴的部分に注目し、この顔画像
    （Ｇ１）の形状モデルの前記特徴的部分に対応する所定
    点の座標を、背景画像（Ｇ３）の形状モデルの対応する
    点の座標に座標変換することで、顔画像（Ｇ１）を背景
    顔画像（Ｇ３）に大まかに整合するとともに、前記顔画
    像（Ｇ２）の特徴的部分に注目し、この画像（Ｇ２）の
    形状モデルの前記特徴的部分に対応する所定点の座標
    を、背景画像（Ｇ３）の形状モデルの対応する点の座標
    に座標変換することで、顔画像（Ｇ２）を背景顔画像
    （Ｇ３）に大まかに整合させたのち、 前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モ
    デルおよび顔画像（Ｇ３）の形状モデルのそれぞれ対応
    する点の座標値を所定の比率で形状補間し、この形状補
    間された形状モデルに対し、それぞれ対応する画素につ
    いて所定の比率で色補間することを特徴とする顔画像処
    理方法。
  2. 【請求項２】 前記顔画像（Ｇ１，Ｇ２）のそれぞれの
    整合後の形状モデルおよび背景顔画像（Ｇ３）の形状モ
    デルのそれぞれ対応する点の座標値を所定の比率で形状
    補間する形状補間処理は、顔を形作る特徴部分単位に形
    状補間の比率を変化させて形状補間を行うことを特徴と
    する請求項１記載の顔画像処理方法。
  3. 【請求項３】 前記形状補間された形状モデルに対し、
    それぞれ対応する画素について所定の比率で色補間する
    色補間処理は、背景顔画像（Ｇ３）の各部分の輝度値の
    大きさに応じて色補間比率を設定することを特徴とする
    請求項１記載の顔画像処理方法。
  4. 【請求項４】 前記輝度値に応じた色補間比率の設定
    は、背景顔画像（Ｇ３）の肌色の中心輝度を有する部分
    に対しては画像（Ｇ３）の色補間比率を画像（Ｇ１，Ｇ
    ２）の色補間比率に比べて最も小さくし、その肌色の中
    心輝度を中心としてその前後の所定範囲の輝度値以上ま
    たは以下の輝度値を有する部分に対しては、背景画像
    （Ｇ３）の色補間比率を画像（Ｇ１，Ｇ２）の色補間比
    率に比べて最も大きくし、前記中心輝度の前後所定範囲
    内は輝度値の変化に応じて背景顔画像（Ｇ３）の色補間
    比率を適宜変化させることを特徴とする請求項３記載の
    顔画像処理方法。
  5. 【請求項５】 前記形状補間された形状モデルに対し、
    それぞれ対応する画素について所定の比率で色補間する
    色補間処理は、前記顔画像（Ｇ１，Ｇ２）の各部分の輝
    度値の大きさに応じて色補間比率を設定することを特徴
    とする請求項１記載の顔画像処理方法。
  6. 【請求項６】 前記輝度値に応じた色補間比率の設定
    は、顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部
    分に対しては顔画像（Ｇ１，Ｇ２）の色補間比率を背景
    顔画像（Ｇ３）の色補間比率に比べて最も大きくし、そ
    の肌色の中心輝度を中心としてその前後の所定範囲の輝
    度値以上または以下の輝度値を有する部分に対しては、
    顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ
    ３）の色補間比率に比べて最も小さくし、前記中心輝度
    の前後所定範囲内は輝度値の変化に応じて顔画像（Ｇ
    １，Ｇ２）の色補間比率を適宜変化させることを特徴と
    する請求項５記載の顔画像処理方法。
  7. 【請求項７】 前記形状補間された形状モデルに対し、
    それぞれ対応する画素について所定の比率で色補間する
    色補間処理は、顔を形作る特徴部分単位に色補間の比率
    を変化させて色補間を行うことを特徴とする請求項１記
    載の顔画像処理方法。
  8. 【請求項８】 ２枚の顔画像（Ｇ１，Ｇ２）および背景
    となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ２，
    Ｇ３）に整合させたそれぞれの形状モデルとから、前記
    背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，Ｇ
    ２）の特徴を加えた顔画像を合成する顔画像処理方法に
    おいて、 前記顔画像（Ｇ１，Ｇ２）の特徴的な領域に注目し、そ
    の特徴的な領域の色データを基にして、前記背景顔画像
    （Ｇ３）を選択することを特徴とする顔画像処理方法。
  9. 【請求項９】 前記顔画像（Ｇ１，Ｇ２）の特徴的な領
    域の色データに基づく背景顔画像（Ｇ３）の選択は、前
    記顔画像（Ｇ１，Ｇ２）の前記特徴的な領域の画像デー
    タを基に遺伝的な情報に基づいて選択することを特徴と
    する請求項８記載の顔画像処理方法。
  10. 【請求項１０】 前記顔画像（Ｇ１，Ｇ２）の特徴的な
    領域は、少なくとも髪領域、肌領域、目領域のうちの１
    つを含むことを特徴とする請求項８記載の顔画像処理方
    法。
  11. 【請求項１１】 顔画像（Ｇ１，Ｇ２）、または背景顔
    画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）
    の特徴を加えて得られた合成後の顔画像など、或るいず
    れか１つの顔画像を処理対象顔画像とし、この処理対象
    顔画像とその処理対象画像に整合させた形状モデルを用
    い、当該処理対象顔画像の所定の点を所定量だけ移動さ
    せることによって表情を変化させる顔画像処理方法にお
    いて、 当該処理対象の顔画像内の或る一点からその顔画像の輪
    郭に向かって横方向および縦方向に向かう２つのベクト
    ル、これらの２つのベクトルに直交しこれら各ベクトル
    の相乗平均の大きさを有するベクトルを求め、これら各
    ベクトルと、表情を変化させるための予め設定された定
    数とを基に、当該処理対象顔画像の所定の点の移動方向
    及び移動量を表す移動ベクトルを算出することを特徴と
    する顔画像処理方法。
  12. 【請求項１２】 顔画像（Ｇ１，Ｇ２）、または背景と
    なる顔画像（Ｇ３）をベースとして前記顔画像（Ｇ１，
    Ｇ２）の特徴を加えて得られた合成後の顔画像など、或
    るいずれか１つの顔画像を処理対象顔画像とし、この処
    理対象顔画像とその処理対象画像に整合させた形状モデ
    ルを用い、前記処理対象顔画像に年齢変化を加える処理
    を行う顔画像処理方法において、 予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔
    画像（Ｇ５）に整合させた形状モデルから、この顔画像
    （Ｇ５）の肌領域の画像を抽出し、この抽出された肌領
    域の画像を前記処理対象顔画像の肌領域にマッピングし
    て年齢変化処理を行うことを特徴とする顔画像処理方
    法。
  13. 【請求項１３】 ２枚の顔画像（Ｇ１，Ｇ２）および背
    景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ
    ２，Ｇ３）に整合させたそれぞれの形状モデルとから、
    前記背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，
    Ｇ２）の特徴を加えた顔画像を合成する顔画像処理装置
    において、 前記顔画像（Ｇ１）の特徴的部分に注目し、この顔画像
    （Ｇ１）の形状モデルの前記特徴的部分に対応する所定
    点の座標を、前記背景顔画像（Ｇ３）の形状モデルの対
    応する点の座標に座標変換することで、顔画像（Ｇ１）
    を背景顔画像（Ｇ３）に大まかに整合する第１の形状整
    合処理手段と、 前記顔画像（Ｇ２）の特徴的部分に注目し、この顔画像
    （Ｇ２）の形状モデルの前記特徴的部分に対応する所定
    点の座標を、前記背景顔画像（Ｇ３）の形状モデルの対
    応する点の座標に座標変換することで、顔画像（Ｇ２）
    を背景顔画像（Ｇ３）に大まかに整合させる第２の形状
    整合処理手段と、 前記顔画像（Ｇ１，Ｇ２）のそれぞれの整合後の形状モ
    デルおよび背景顔画像（Ｇ３）の形状モデルのそれぞれ
    対応する点の座標値を所定の比率で形状補間する形状補
    間処理手段と、 この形状補間処理手段にて形状補間された形状モデルに
    対し、それぞれ対応する画素について所定の比率で色補
    間する色補間処理手段と、 を有したことを特徴とする顔画像処理装置。
  14. 【請求項１４】 前記顔画像（Ｇ１，Ｇ２）のそれぞれ
    の整合後の形状モデルおよび背景顔画像（Ｇ３）の形状
    モデルのそれぞれ対応する点の座標値を所定の比率で形
    状補間する形状補間処理手段は、顔を形作る特徴部分単
    位に形状補間の比率を変化させて形状補間を行うことを
    特徴とする請求項１３記載の顔画像処理装置。
  15. 【請求項１５】 前記形状補間された形状モデルに対
    し、それぞれ対応する画素について所定の比率で色補間
    する色補間処理手段は、背景顔画像（Ｇ３）の各部分の
    輝度値の大小を判断し、輝度値の大きさに応じて色補間
    比率を設定することを特徴とする請求項１３記載の顔画
    像処理装置。
  16. 【請求項１６】 前記輝度値に応じた色補間比率の設定
    は、背景顔画像（Ｇ３）の肌色の中心輝度を有する部分
    に対しては背景顔画像（Ｇ３）の色補間比率を顔画像
    （Ｇ１，Ｇ２）の色補間比率に比べて最も小さくし、そ
    の肌色の中心輝度を中心としてその前後の所定範囲の輝
    度値以上または以下の輝度値を有する部分に対しては、
    画像Ｇ３の色補間比率を顔画像（Ｇ１，Ｇ２）の色補間
    比率に比べて最も大きくし、前記中心輝度の前後所定範
    囲内は輝度値の変化に応じて背景顔画像（Ｇ３）の色補
    間比率を適宜変化させることを特徴とする請求項１５記
    載の顔画像処理装置。
  17. 【請求項１７】 前記形状補間された形状モデルに対
    し、それぞれ対応する画素について所定の比率で色補間
    する色補間処理手段は、前記顔画像（Ｇ１，Ｇ２）の各
    部分の輝度値の大小を判断し、輝度値の大きさに応じて
    色補間比率を設定することを特徴とする請求項１３記載
    の顔画像処理装置。
  18. 【請求項１８】 前記輝度値に応じた色補間比率の設定
    は、顔画像（Ｇ１，Ｇ２）の肌色の中心輝度を有する部
    分に対しては顔画像（Ｇ１，Ｇ２）の色補間比率を背景
    顔画像（Ｇ３）の色補間比率に比べて最も大きくし、そ
    の肌色の中心輝度を中心としてその前後の所定範囲の輝
    度値以上または以下の輝度値を有する部分に対しては、
    顔画像（Ｇ１，Ｇ２）の色補間比率を背景顔画像（Ｇ
    ３）の色補間比率に比べて最も小さくし、前記中心輝度
    の前後所定範囲内は輝度値の変化に応じて顔画像（Ｇ
    １，Ｇ２）の色補間比率を適宜変化させることを特徴と
    する請求項１７記載の顔画像処理装置。
  19. 【請求項１９】 前記形状補間された形状モデルに対
    し、それぞれ対応する画素について所定の比率で色補間
    する色補間処理手段は、顔を形作る特徴部分単位に色補
    間の比率を変化させて色補間を行うことを特徴とする請
    求項１３記載の顔画像処理装置。
  20. 【請求項２０】 ２枚の顔画像（Ｇ１，Ｇ２）および背
    景となる顔画像（Ｇ３）と、これら顔画像（Ｇ１，Ｇ
    ２，Ｇ３）に整合させたそれぞれの形状モデルとから、
    前記背景顔画像（Ｇ３）をベースとして顔画像（Ｇ１，
    Ｇ２）の特徴を加えた顔画像を合成する顔画像処理装置
    において、 前記顔画像（Ｇ１，Ｇ２）の特徴的な領域の色を検出す
    るそれぞれの色検出手段を有し、それぞれの色検出手段
    により検出されたそれぞれの前記特徴的な領域の色デー
    タを基にして、前記背景顔画像（Ｇ３）を選択すること
    を特徴とする顔画像処理装置。
  21. 【請求項２１】 前記顔画像（Ｇ１，Ｇ２）の特徴的な
    領域の色データに基づく背景顔画像（Ｇ３）の選択は、
    遺伝的な情報を予め格納した遺伝情報テーブルを設け、
    前記顔画像（Ｇ１，Ｇ２）の前記特徴的な領域の画像デ
    ータを基に、前記遺伝情報テーブルを参照して、前記顔
    画像（Ｇ１，Ｇ２）の画像データに対応する背景顔画像
    （Ｇ３）を選択することを特徴とする請求項２０記載の
    顔画像処理装置。
  22. 【請求項２２】 前記顔画像（Ｇ１，Ｇ２）の特徴的な
    領域は、少なくとも髪領域、肌領域、目領域のうちの１
    つを含むことを特徴とする請求項２０記載の顔画像処理
    装置。
  23. 【請求項２３】 顔画像（Ｇ１，Ｇ２）、または背景顔
    画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）
    の特徴を加えて得られた合成後の顔画像など、或るいず
    れか１つの顔画像を処理対象顔画像とし、この処理対象
    顔画像とその処理対象画像に整合させた形状モデルを用
    い、当該処理対象顔画像の所定の点を所定量だけ移動さ
    せることによって表情を変化させる顔画像処理装置にお
    いて、 表情を変化させるための予め設定された定数が格納され
    る表情データ記憶手段と、 当該処理対象の顔画像内の或る一点からその顔画像の輪
    郭に向かって横方向および縦方向に向かう２つのベクト
    ル、これらの各ベクトルに直交しこれら各ベクトルの相
    乗平均の大きさを有するベクトルを求め、これら２つの
    ベクトルと、前記表情を変化させるための予め設定され
    た定数とを基に、当該顔画像の所定の点の移動方向及び
    移動量を表す移動ベクトルを算出する表情変化処理手段
    と、 を有することを特徴とする顔画像処理装置。
  24. 【請求項２４】 顔画像（Ｇ１，Ｇ２）、または背景顔
    画像（Ｇ３）をベースとして前記顔画像（Ｇ１，Ｇ２）
    の特徴を加えて得られた合成後の顔画像など、或るいず
    れか１つの顔画像を処理対象顔画像とし、この処理対象
    顔画像とその処理対象画像に整合させた形状モデルを用
    い、前記処理対象顔画像に年齢変化を加える処理を行う
    顔画像処理装置において、 予め用意された或る年齢相応の顔画像（Ｇ５）とこの顔
    画像（Ｇ５）に整合させた形状モデルから、この顔画像
    （Ｇ５）の肌領域の画像を抽出し、この抽出された肌領
    域の画像を前記処理対象顔画像の肌領域にマッピングし
    て年齢変化処理を行う年齢変化処理部を有したことを特
    徴とする顔画像処理装置。
JP28169395A 1995-06-16 1995-10-30 顔画像処理方法および顔画像処理装置 Expired - Fee Related JP3799633B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28169395A JP3799633B2 (ja) 1995-06-16 1995-10-30 顔画像処理方法および顔画像処理装置
US08/665,149 US5850463A (en) 1995-06-16 1996-06-13 Facial image processing method and facial image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-150625 1995-06-16
JP15062595 1995-06-16
JP28169395A JP3799633B2 (ja) 1995-06-16 1995-10-30 顔画像処理方法および顔画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006062263A Division JP3876922B2 (ja) 1995-06-16 2006-03-08 顔画像処理方法および顔画像処理装置

Publications (2)

Publication Number Publication Date
JPH0962865A true JPH0962865A (ja) 1997-03-07
JP3799633B2 JP3799633B2 (ja) 2006-07-19

Family

ID=26480166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28169395A Expired - Fee Related JP3799633B2 (ja) 1995-06-16 1995-10-30 顔画像処理方法および顔画像処理装置

Country Status (2)

Country Link
US (1) US5850463A (ja)
JP (1) JP3799633B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998013325A1 (en) * 1996-09-26 1998-04-02 The Secretary Of State For Defence Liquid crystalline (e,e)-butadiene compounds and mixtures and devices containing such compounds
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP2004506996A (ja) * 2000-08-22 2004-03-04 バーチャルメディア　カンパニー　リミテッド 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法
JP2005141318A (ja) * 2003-11-04 2005-06-02 Omron Corp 輪郭判断装置及び輪郭表示装置
JP2006004158A (ja) * 2004-06-17 2006-01-05 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
WO2006057267A1 (ja) * 2004-11-25 2006-06-01 Nec Corporation 顔画像合成方法および顔画像合成装置
JP2012164152A (ja) * 2011-02-07 2012-08-30 Univ Of Aizu 画像生成装置および画像生成プログラム
JP2020514870A (ja) * 2019-03-11 2020-05-21 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成方法、画像生成装置、画像生成システム及びプログラム
KR102848345B1 (ko) * 2024-11-20 2025-08-20 하나시스 주식회사 Ai 알고리즘이 적용된 포토 키오스크 및 이미지 생성 방법

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP3222091B2 (ja) * 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JP2000048184A (ja) * 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
US6204860B1 (en) * 1998-07-02 2001-03-20 Silicon Graphics, Inc. Method and apparatus for geometric model deformation using wires
JP2000165648A (ja) * 1998-11-27 2000-06-16 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP2000293687A (ja) * 1999-02-02 2000-10-20 Minolta Co Ltd ３次元形状データ処理装置および３次元形状データ処理方法
JP4396873B2 (ja) * 1999-10-01 2010-01-13 株式会社資生堂 口紅又はアイシャドーの選択方法
US7106898B2 (en) * 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
US7561994B1 (en) * 2000-06-29 2009-07-14 Corsi Adam B Method for a virtual pregnancy experience
US6711286B1 (en) * 2000-10-20 2004-03-23 Eastman Kodak Company Method for blond-hair-pixel removal in image skin-color detection
US6690822B1 (en) * 2000-10-20 2004-02-10 Eastman Kodak Company Method for detecting skin color in a digital image
KR20020031630A (ko) * 2000-10-20 2002-05-03 구자홍 칼라 왜곡 정보를 이용한 얼굴 영역 추출 방법
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US6963839B1 (en) 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US20080040227A1 (en) 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US7827488B2 (en) 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
JP2002232908A (ja) * 2000-11-28 2002-08-16 Monolith Co Ltd 画像補間方法および装置
US6734858B2 (en) * 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US6834119B2 (en) * 2001-04-03 2004-12-21 Stmicroelectronics, Inc. Methods and apparatus for matching multiple images
US6870954B1 (en) * 2001-04-04 2005-03-22 Adobe Systems Incorporated Methods apparatus for generating shaped gradient fills
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
US7356453B2 (en) * 2001-11-14 2008-04-08 Columbia Insurance Company Computerized pattern texturing
US6922201B2 (en) * 2001-12-05 2005-07-26 Eastman Kodak Company Chronological age altering lenticular image
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
US7734070B1 (en) * 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
JP4397212B2 (ja) * 2003-02-05 2010-01-13 富士フイルム株式会社 本人認証装置
US7711155B1 (en) * 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
GB0400894D0 (en) * 2004-01-15 2004-02-18 British Telecomm Adaptive closed group caricaturing
US20050163379A1 (en) * 2004-01-28 2005-07-28 Logitech Europe S.A. Use of multimedia data for emoticons in instant messaging
CN101258963A (zh) * 2004-10-22 2008-09-10 株式会社资生堂 嘴唇的分类方法,化妆方法,分类图谱及化妆用器具
US7366635B1 (en) 2004-12-06 2008-04-29 Adobe Systems Incorporated Methods and apparatus for generating shaped gradients
GB2424332A (en) * 2004-12-13 2006-09-20 Mark Charles Spittle An image processing system
US7950925B2 (en) * 2004-12-30 2011-05-31 Kimberly-Clark Worldwide, Inc. Interacting with consumers to inform, educate, consult, and assist with the purchase and use of personal care products
US8606950B2 (en) * 2005-06-08 2013-12-10 Logitech Europe S.A. System and method for transparently processing multimedia data
US7209577B2 (en) 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
US20070133940A1 (en) * 2005-12-10 2007-06-14 Freeman Andrew P System and method for generating and documenting personalized stories
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
EP2188759A1 (en) 2007-03-05 2010-05-26 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
JP5127067B2 (ja) * 2009-03-06 2013-01-23 パナソニック株式会社 画像検索装置及び画像検索方法
US20110194762A1 (en) * 2010-02-04 2011-08-11 Samsung Electronics Co., Ltd. Method for detecting hair region
CN102147852B (zh) * 2010-02-04 2016-01-27 三星电子株式会社 检测头发区域的方法
CN102136158B (zh) * 2011-03-23 2014-07-09 浙江大学 一种基于预计算速度场的可并行形状插值方法
US9111144B2 (en) * 2011-09-15 2015-08-18 Identigene, L.L.C. Eye color paternity test
JP6341085B2 (ja) * 2014-12-26 2018-06-13 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
CA3015492C (en) 2016-03-21 2021-11-23 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
KR102297301B1 (ko) 2017-05-31 2021-09-06 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
JP6849824B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
US11074733B2 (en) 2019-03-15 2021-07-27 Neocortext, Inc. Face-swapping apparatus and method
CN111914604A (zh) * 2019-05-10 2020-11-10 丽宝大数据股份有限公司 将头发颜色套用至眉毛的扩充实境显示方法
CN112287852B (zh) * 2020-11-02 2023-11-21 腾讯科技（深圳）有限公司 人脸图像的处理方法、显示方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3023961B2 (ja) * 1989-10-04 2000-03-21 三菱電機株式会社 符号化器及び復号化器
EP0563737B1 (en) * 1992-03-23 1997-09-10 Canon Kabushiki Kaisha Multilens imaging apparatus with correction of misregistration
US5375195A (en) * 1992-06-29 1994-12-20 Johnston; Victor S. Method and apparatus for generating composites of human faces
US5623587A (en) * 1993-10-15 1997-04-22 Kideo Productions, Inc. Method and apparatus for producing an electronic image

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998013325A1 (en) * 1996-09-26 1998-04-02 The Secretary Of State For Defence Liquid crystalline (e,e)-butadiene compounds and mixtures and devices containing such compounds
US6106908A (en) * 1996-09-26 2000-08-22 The Secretary Of State For Defence In Her Britannic Majesty's Government Of The United Kingdom Of Great Britain And Northern Ireland Liquid crystalline (E, E)-butadiene compounds and mixtures and devices containing such compounds
US6333082B1 (en) 1996-09-26 2001-12-25 Qinetiq Ltd Liquid crystalline (E,E)-butadiene compounds and mixtures and devices containing such compounds
JP2004506996A (ja) * 2000-08-22 2004-03-04 バーチャルメディア　カンパニー　リミテッド 顔映像の形態情報に基づく合成顔映像の生成装置およびその方法
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP2005141318A (ja) * 2003-11-04 2005-06-02 Omron Corp 輪郭判断装置及び輪郭表示装置
CN100356406C (zh) * 2004-06-17 2007-12-19 奥林巴斯株式会社 图像处理方法和图像处理装置
JP2006004158A (ja) * 2004-06-17 2006-01-05 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
US7548236B2 (en) 2004-06-17 2009-06-16 Olympus Corporation Image processing method, image processing apparatus, image processing program, and storage medium
WO2006057267A1 (ja) * 2004-11-25 2006-06-01 Nec Corporation 顔画像合成方法および顔画像合成装置
JPWO2006057267A1 (ja) * 2004-11-25 2008-08-07 日本電気株式会社 顔画像合成方法および顔画像合成装置
US7876320B2 (en) 2004-11-25 2011-01-25 Nec Corporation Face image synthesis method and face image synthesis apparatus
JP2012164152A (ja) * 2011-02-07 2012-08-30 Univ Of Aizu 画像生成装置および画像生成プログラム
JP2020514870A (ja) * 2019-03-11 2020-05-21 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成方法、画像生成装置、画像生成システム及びプログラム
JP2020191142A (ja) * 2019-03-11 2020-11-26 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成方法、画像生成装置及びプログラム
KR102848345B1 (ko) * 2024-11-20 2025-08-20 하나시스 주식회사 Ai 알고리즘이 적용된 포토 키오스크 및 이미지 생성 방법

Also Published As

Publication number Publication date
US5850463A (en) 1998-12-15
JP3799633B2 (ja) 2006-07-19

Similar Documents

Publication Publication Date Title
JP3799633B2 (ja) 顔画像処理方法および顔画像処理装置
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
CN110096156B (zh) 基于2d图像的虚拟换装方法
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8437514B2 (en) Cartoon face generation
US8150205B2 (en) Image processing apparatus, image processing method, program, and data configuration
JP3639476B2 (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
US11238569B2 (en) Image processing method and apparatus, image device, and storage medium
CN108537126B (zh) 一种人脸图像处理方法
US20240078773A1 (en) Electronic device generating 3d model of human and its operation method
CN118037939A (zh) 虚拟视频图像生成方法、装置、设备和介质
CN115689869A (zh) 一种视频美妆迁移方法及系统
JPH10240908A (ja) 映像合成方法
JP3753625B2 (ja) 表情アニメーション生成装置および表情アニメーション生成方法
JP3951061B2 (ja) 顔画像処理方法および顔画像処理装置
CN114972601A (zh) 模型生成方法、人脸渲染方法、装置及电子设备
JP3915844B2 (ja) 顔画像処理方法および顔画像処理装置
JP2000155836A (ja) 似顔絵画像形成システム及び形成方法
JP3876922B2 (ja) 顔画像処理方法および顔画像処理装置
KR20160139657A (ko) 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템
JP3577154B2 (ja) 画像処理装置
WO2009036554A1 (en) Emulating cosmetic facial treatments with digital images
US20230050535A1 (en) Volumetric video from an image source
JP2004054759A (ja) 表情変形装置、方法及びプログラム
JP2003141563A (ja) 顔３次元コンピュータグラフィック生成方法、そのプログラム及び記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060417

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees