JP5659228B2 - キャラクタ生成システム、キャラクタ生成方法及びプログラム - Google Patents

Description

本発明は、コンピュータを用いて実現される仮想空間内のキャラクタを生成するキャラクタ生成システム、キャラクタ生成方法及びプログラムに関する。特に、携帯ゲーム装置を用いて実現される仮想空間内のキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成システム、キャラクタ生成方法及びプログラムに関する。

従来、携帯ゲーム装置等のコンピュータを用いて実現されるゲーム等の仮想空間において表示される登場キャラクタは、予め用意された複数のキャラクタの中からユーザが所望のキャラクタを選択し、選択したキャラクタを登場キャラクタとして、仮想空間に表示させていた。

また、仮想空間において表示される登場キャラクタに対して、デジタルカメラ等で撮影されたユーザの思い入れのある撮像画像を貼り付ける画像処理装置や画像処理方法も提案されている。例えば、特許文献１では、２次元画像情報を取り込み、仮想３次元物体の特徴位置に対応して設けられているゲージを備えた切り抜き範囲指定用の枠を使って、該２次元画像情報から、所定範囲の２次元画像情報を切り出し、切り出した２次元画像情報を仮想３次元物体に貼り付ける画像処理装置や画像処理方法が開示されている。

特開２０００−２３５６５６号公報

しかしながら、特許文献１に開示されているようにデジタルカメラ等で撮影された２次元画像情報から顔部分の２次元画像情報（顔撮像画像情報）を切り出して、仮想３次元物体（頭部形状モデル）に貼り付ける場合に、切り出す顔撮像画像情報の範囲を大きくすると、顔の輪郭部付近にできる影が肌の色と認識されてしまい、頭部形状モデルに貼り付けたときの横顔の不適当な位置に影ができた視覚的に違和感のある頭部形状モデルが生成されてしまうという問題があった。

また、顔の輪郭部付近にできる影が入らないように、切り出す顔撮像画像情報の範囲を顔の輪郭部よりも小さくすると、顔の輪郭部付近に肌の色の無い部分（空白部）ができてしまう。この空白部を、切り取られた顔撮像画像情報の部分の肌の色と、視覚的に違和感が無いように塗りつぶすことは、容易ではなかった。

本発明は、以上のような問題点を解決するためになされたもので、携帯ゲーム装置等のコンピュータを用いて実現される仮想空間内のキャラクタの顔として、デジタルカメラ等で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することが可能なキャラクタ生成システム、キャラクタ生成方法及びプログラムを提供することを目的とする。

上述した従来の問題点を解決すべく下記の発明を提供する。
本発明の第１の態様にかかるキャラクタ生成システムは、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成システムであって、前記コンピュータが、前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、前記顔用テクスチャの前記画像貼付領域の情報を、前記撮像画像取得手段によって取得した前記対象物の前記顔撮像画像情報に置き換え、前記顔用テクスチャの全領域と前記画像貼付領域との差分領域を、所望の色情報で塗りつぶすとともに、前記所望の色情報に基づいて選別した前記画像貼付領域内の画素を、前記所望の色情報に置き換えて、前記差分領域と前記画像貼付領域との間の視覚的な境界を無くした前記顔用テクスチャを生成するテクスチャ生成手段と、前記テクスチャ生成手段によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付けるテクスチャ貼付手段と、を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ生成システムは、本発明の第１の態様にかかるキャラクタ生成システムにおいて、前記テクスチャ生成手段は、前記所望の色情報の輝度に基づいて、前記画像貼付領域内の当該輝度以上の画素を選別し、選別した前記画素の色情報を前記所望の色情報に置き換えることを特徴とする。

本発明の第３の態様にかかるキャラクタ生成システムは、本発明の第１または２の態様にかかるキャラクタ生成システムにおいて、前記所望の色情報は、前記顔撮像画像情報の所望位置の色情報であることを特徴とする。

本発明の第４の態様にかかるキャラクタ生成システムは、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成システムであって、前記コンピュータが、前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、前記撮像画像取得手段によって取得した前記対象物の前記顔撮像画像情報を、前記顔用テクスチャの全領域に嵌め込み、前記顔用テクスチャの輪郭部近傍の所定の補正領域内の全ての画素をそれぞれ対象画素としたとき、前記各対象画素の色情報を、当該対象画素に連続する所定範囲内の当該対象画素以外の前記画素の色情報に基づいてそれぞれ算出し、当該対象画素の色情報を算出した色情報に置き換えた前記顔用テクスチャを生成するテクスチャ生成手段と、前記テクスチャ生成手段によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付けるテクスチャ貼付手段と、を備えており、
前記補正領域は、前記顔用テクスチャの上側輪郭部近傍及び下側輪郭部近傍に設定された第１補正領域と、前記顔用テクスチャのどちらか一方の側面輪郭部近傍に設定された第２補正領域と、前記第２補正領域と反対の側面輪郭部近傍に設定された第３補正領域とからなり、
前記テクスチャ生成手段は、
前記補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素を囲む所定範囲内の当該対象画素以外の全ての前記画素の色情報の平均値を算出した第１補正色情報を、当該対象画素の色情報として設定する第１補正手段と、
前記第２補正領域内及び前記第３補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素から側面輪郭部方向へ連続する当該対象画素以外の所定個数の前記画素の前記第１補正色情報の平均値を算出した第２補正色情報を、当該対象画素の色情報として設定する第２補正手段と、
を備えていることを特徴とする。

本発明の第５の態様にかかるキャラクタ生成システムは、本発明の第１乃至４のいずれか１つの態様にかかるキャラクタ生成システムにおいて、前記コンピュータが、前記表示部を制御して、所定の顔部品の配置を示す複数の顔配置ガイド情報と前記対象物を前記表示部に表示させる表示制御手段と、撮像部を制御して、前記対象物を撮像させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる撮像制御手段と、を更に備え、前記撮像画像取得手段は、前記表示制御手段と前記撮像制御手段とを連動させて、前記複数の顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記複数の顔配置ガイド情報の中から選択された、前記対象物の顔の合った選択顔配置ガイド情報に基づいて前記対象物を撮像させ、前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第６の態様にかかるキャラクタ生成システムは、本発明の第５の態様にかかるキャラクタ生成システムにおいて、前記撮像画像取得手段は、前記撮像制御手段によって撮像した前記対象物の前記撮像画像情報が明るい前記撮像画像情報となるように、前記対象物の撮影環境に基づいて、ホワイトバランス及び露出を前記撮像制御手段に調整させることを特徴する。

本発明の第７の態様にかかるキャラクタ生成システムは、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成システムにおいて、前記コンピュータが、入力部を制御して、前記対象物の前記撮像画像情報を含む各種情報を入力情報として入力させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる入力制御手段を更に備え、前記撮像画像取得手段は、前記表示制御手段と前記入力制御手段とを連動させて、前記複数の顔配置ガイド情報と入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記複数の顔配置ガイド情報に中から選択された前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第８の態様にかかるキャラクタ生成システムは、本発明の第５乃至７のいずれか１つの態様にかかるキャラクタ生成システムにおいて、前記顔部品は、目、鼻、口及び顔輪郭を少なくとも含んでいることを特徴とする。

本発明の第１の態様にかかるキャラクタ生成方法は、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成方法であって、前記コンピュータが、（ａ）前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、（ｂ）前記顔用テクスチャの前記画像貼付領域の情報を、前記工程（ａ）によって取得した前記対象物の前記顔撮像画像情報に置き換え、前記顔用テクスチャの全領域と前記画像貼付領域との差分領域を、所望の色情報で塗りつぶすとともに、前記所望の色情報に基づいて選別した前記画像貼付領域内の画素を、前記所望の色情報に置き換えて、前記差分領域と前記画像貼付領域との間の視覚的な境界を無くした前記顔用テクスチャを生成する工程と、（ｃ）前記工程（ｂ）によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付ける工程と、を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ生成方法は、本発明の第１の態様にかかるキャラクタ生成方法において、前記工程（ｂ）は、前記所望の色情報の輝度に基づいて、前記画像貼付領域内の当該輝度以上の画素を選別し、選別した前記画素の色情報を前記所望の色情報に置き換えることを特徴とする。

本発明の第３の態様にかかるキャラクタ生成方法は、本発明の第１または２の態様にかかるキャラクタ生成方法において、前記所望の色情報は、前記顔撮像画像情報の所望位置の色情報であることを特徴とする。

本発明の第４の態様にかかるキャラクタ生成方法は、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成方法であって、前記コンピュータが、（ａ）前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、（ｂ）前記工程（ａ）によって取得した前記対象物の前記顔撮像画像情報を、前記顔用テクスチャの全領域に嵌め込み、前記顔用テクスチャの輪郭部近傍の所定の補正領域内の全ての画素に対して、各前記画素を記対象画素としたとき、前記対象画素に連続する所定範囲内の当該対象画素以外の前記画素の色情報に基づいて、当該対象画素の色情報を算出し、当該対象画素の色情報を算出した色情報に置き換えた前記顔用テクスチャを生成する工程と、（ｃ）前記工程（ｂ）によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付ける工程と、を備えており、
前記補正領域は、前記顔用テクスチャの上側輪郭部近傍及び下側輪郭部近傍に設定された第１補正領域と、前記顔用テクスチャのどちらか一方の側面輪郭部近傍に設定された第２補正領域と、前記第２補正領域と反対の側面輪郭部近傍に設定された第３補正領域とからなり、
前記工程（ｂ）は、
（ｂ１）前記補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素を囲む所定範囲内の当該対象画素以外の全ての前記画素の色情報の平均値を算出した第１補正色情報を、当該対象画素の色情報として設定する工程と、
（ｂ２）前記第２補正領域内及び前記第３補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素から側面輪郭部方向へ連続する当該対象画素以外の所定個数の前記画素の前記第１補正色情報の平均値を算出した第２補正色情報を、当該対象画素の色情報として設定する工程と、
を備えていることを特徴とする。

本発明の第５の態様にかかるキャラクタ生成方法は、本発明の第１乃至４のいずれか１つの態様にかかるキャラクタ生成方法において、前記コンピュータが、（ｄ）所定の顔部品の配置を示す複数の顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記複数の顔配置ガイド情報の中から選択された、前記対象物の顔の合った選択顔配置ガイド情報に基づいて前記対象物を撮像し、前記対象物の前記撮像画像情報を前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、前記工程（ａ）は、前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第６の態様にかかるキャラクタ生成方法は、本発明の第５の態様にかかるキャラクタ生成方法において、前記工程（ｄ）は、撮像した前記対象物の前記撮像画像情報が明るい前記撮像画像情報となるように、前記対象物の撮影環境に基づいて、ホワイトバランス及び露出を調整することを特徴する。

本発明の第７の態様にかかるキャラクタ生成方法は、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成方法において、前記コンピュータが、（ｅ）前記対象物の前記撮像画像情報を入力して、前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、前記工程（ａ）は、所定の顔部品の配置を示す複数の顔配置ガイド情報と、前記工程（ｅ）によって入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記複数の顔配置ガイド情報に中から選択された前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第８の態様にかかるキャラクタ生成方法は、本発明の第５乃至７のいずれか１つの態様にかかるキャラクタ生成方法において、前記顔部品が、目、鼻、口及び顔輪郭を少なくとも含んでいることを特徴とする。

本発明の第１の態様にかかるプログラムは、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するための処理を、コンピュータに実行させるプログラムであって、本発明の第１乃至第８のいずれか１つの態様にかかるキャラクタ生成システムの各手段を実現させる処理を前記コンピュータに実行させることを特徴とする。

本発明によれば、携帯ゲーム装置等のコンピュータを用いて実現される仮想空間内のキャラクタの顔として、デジタルカメラ等で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタの顔を、ユーザの顔撮像画像情報に基づいて生成することにより、該キャラクタに対してユーザがより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。

本発明の第１の実施形態にかかるキャラクタ生成システムによって生成されたキャラクタの一例を示した図である。 本発明の第１の実施形態に係るにかかるキャラクタ生成システムを実行させる携帯ゲーム装置の概略構成を示す図である。 顔配置ガイド情報が表示された表示画面の一例である。 本発明の第１の実施形態にかかるキャラクタ生成システムにおけるシステム構成の一例を示す図である。 （ａ）、（ｂ）、（ｃ）は、異なる顔配置ガイド情報を示した図である。 顔用テクスチャ５３の画像貼付領域５１を説明するための図である 顔用テクスチャ５３の画像貼付領域５１の情報を顔撮像画像情報に置き換えた状態を示した図である。 差分領域５２と画像貼付領域５１との間に視覚的境界が無いように肌の色を調整した顔用テクスチャ５３を示した図である。 （ａ）は、顔用テクスチャ５３を貼り付ける前の頭部形状モデル６０の状態を示す図であり、（ｂ）は、顔用テクスチャ５３を貼り付けた後の頭部形状モデル６０の状態を示す図である。 本発明の第１の実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。 本発明の第２の実施形態にかかるキャラクタ生成システムにおけるシステム構成の一例を示す図である。 テクスチャ生成部１１５における補正処理を行う顔用テクスチャ５３の領域を説明するための図である 第１補正部１２１で実施される第１補正処理を説明するための図である。 （ａ）は第２補正部１２２で実施される第２補正領域５６に対する第２補正処理を説明するための図で、（ｂ）は第２補正部１２２で実施される第３補正領域５７に対する第２補正処理を説明するための図である。 本発明の第２の実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。

本発明の一実施形態を、図面を参照しながら説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なもので置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

本発明の第１の実施形態にかかるキャラクタ生成システム１０は、コンピュータ上で動作するゲーム等のソフトウェアによって実現される仮想空間において、該仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物（例えば、ユーザ自身）の顔撮像画像情報に基づいて生成するキャラクタ生成システムである。図１は、本発明の第１の実施形態にかかるキャラクタ生成システム１０によって生成された、携帯ゲーム装置上で動作するゲームソフトウェアによって実現される仮想空間内のキャラクタ７０の一例を示したものである。

ここで、対象物の顔撮像画像情報とは、デジタルカメラ等を用いて撮像された人物の撮像画像情報における顔部分の撮像画像情報であり、コンピュータに接続された、あるいは内蔵された撮像部を使用して、撮像部から直接取得した撮像画像情報であっても、コンピュータに接続された入力部から入力された、過去に撮像された撮像画像情報であっても良い。また、一枚の撮像画像情報を部分的に修正したり、複数の撮像画像を合成したりして、一枚の顔撮像画像情報にした画像情報であっても良い。

まず、本発明の第１の実施形態にかかるキャラクタ生成システム１０を実行させるコンピュータの概略構成について説明する。尚、本実施形態においては、コンピュータとして、携帯ゲーム装置２０を例に挙げて説明する。

図２は、本発明の第１の実施形態にかかるキャラクタ生成システム１０を実行させる携帯ゲーム装置２０の概略構成を示す図である。図２に示すように、携帯ゲーム装置２０は、ＣＰＵ（中央処理装置）２１、ＲＯＭ２２、ＲＡＭ２３、表示部２４、撮像部２５、入力部２６を備えている。

ＣＰＵ２１は、携帯ゲーム装置２０で実行させるキャラクタ生成システム１０を実現するためのソフトウェアおよびデータを記憶しているＲＯＭ２２から、必要な情報を読み出し、実行することにより、キャラクタ生成システム１０を実現する。また、ＲＡＭ２３は、携帯ゲーム装置２０で実行させるキャラクタ生成システム１０を実現するために必要なデータの記憶装置及びソフトウェアの実行作業領域として機能する。

また、表示部２４は、ＣＰＵ２１からの命令に従って表示情報（例えば、ユーザに作業を促すための情報、顔配置ガイド情報等）を出力する。ここで、顔配置ガイド情報とは、被写体の撮像画像情報において、キャラクタ７０の顔部分となる顔撮像画像情報を取り出すための位置基準及び範囲を設定するための情報で、所定の顔部品の配置を示す表示情報である。また、顔部品とは、顔を構成する目、鼻、口、顔輪郭、眉等の部品であり、少なくとも目、鼻、口及び顔輪郭を含んでいる。図３は、顔配置ガイド情報が表示された表示画面の一例である。図３に示すように、顔配置ガイド情報は、目の位置３１、鼻の位置３２、口の位置３３、顔の輪郭３４を示している。また、顔の輪郭３４は、顔撮像画像情報を貼り付けるキャラクタ７０の顔正面部分の大きさを示す。

また、撮像部２５は、ＣＰＵ２１からの命令に従って被写体を撮像し、撮像した被写体の撮像画像情報をＲＡＭ２３に記憶する。また、入力部２６は、例えば、操作ボタン、通信装置、外部記憶装置等であり、ＣＰＵ２１からの命令に従って入力情報（例えば、ユーザによって操作された操作ボタンの情報、撮像画像情報等）を入力して、ＲＡＭ２３に記憶する。

次に、本発明の第１の実施形態にかかるキャラクタ生成システム１０におけるシステム構成について説明する。図４は、本発明の第１の実施形態にかかるキャラクタ生成システム１０におけるシステム構成の一例を示す図である。

図４に示すように、キャラクタ生成システム１０は、表示制御部１１、撮像制御部１２、入力制御部１３、撮像画像情報取得部１４、テクスチャ生成部１５、テクスチャ貼付部１６、キャラクタ情報記憶部１７、及びガイド情報記憶部１８を備えている。

表示制御部１１は、表示部２４を制御して、所定の顔部品の配置を示す顔配置ガイド情報、ユーザに作業を促すための情報等の必要な情報をガイド情報記憶部１８から取り出させ、取り出させた情報から表示情報を生成させ表示させる。尚、表示制御部１１は、上述した制御に限らず、表示部２４の全ての処理を制御する。また、撮像制御部１２は、撮像部２５を制御して被写体を撮像させ、撮像した被写体の撮像画像情報をキャラクタ情報記憶部１７に記憶させる。また、入力制御部１３は、対応する入力部２６を制御して様々な入力情報（例えば、過去に撮像した撮像画像情報等）を入力させ、必要な情報をキャラクタ情報記憶部１７に記憶させる。ここで、被写体の撮像画像情報をキャラクタ情報記憶部１７に記憶させると記載しているが、一時的な記憶部に記憶させても良い。

撮像画像情報取得部１４は、表示制御部１１と撮像制御部１２とを連動させて、所定の顔部品の配置を示す複数の顔配置ガイド情報と対象物（被写体）とを表示部２４に表示させて、複数の顔配置ガイド情報の中から最も被写体に合った顔配置ガイド情報（以下、選択顔配置ガイド情報と呼ぶ）をユーザに選択させ、選択顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像させる（図３参照）。図５は、異なる顔配置ガイド情報を示した例であり、（ａ）は顔輪郭が楕円形に似ている場合の顔配置ガイド情報を、（ｂ）は顔輪郭が長方形に似ている場合の顔配置ガイド情報を、（ｃ）は正方形に似ている場合の顔配置ガイド情報を示している。選択顔配置ガイド情報とは、図５に示したような複数の顔配置ガイド情報の中からユーザによって選択された顔配置ガイド情報、例えば、図５（ｂ）の顔配置ガイド情報である。

また、撮像画像情報取得部１４は、キャラクタ７０における顔用テクスチャ５３の画像貼付領域５１に対応する顔撮像画像情報を、撮像した被写体の撮像画像情報から取得する。図６は、顔用テクスチャ５３の画像貼付領域５１を説明するための図である。図６に示すように、キャラクタ７０の頭部形状モデル６０（図９（ａ）及び（ｂ）参照）に貼り付ける頭部テクスチャ５０は、顔用テクスチャ５３と余白部５４とから構成され、更に、顔用テクスチャ５３は、画像貼付領域５１と差分領域５２とから構成されている。画像貼付領域５１は、撮像画像情報取得部１４によって取得される顔撮像画像情報が嵌め込まれる領域である。また、図６からわかるように、画像貼付領域５１は、顔用テクスチャ５３の全領域よりも小さい部分領域である。これは、顔部分を正面から撮像した撮像画像の顔輪郭部近傍にできる影を肌の色と認識させないためのもので、影の無い領域の撮像画像を取り出すためである。顔用テクスチャ５３の画像貼付領域５１以外の領域が差分領域５２である。尚、画像貼付領域５１の大きさが、上述の顔配置ガイド情報の顔の輪郭３４の大きさに対応する。

また、上述した顔撮像画像情報は、撮像部２５によって撮像された被写体の撮像画像情報から取得したものであるが、入力部２６から入力された被写体の撮撮像画像情報から取得したものであっても良い。即ち、撮像画像情報取得部１４は、表示制御部１１と入力制御部１３とを連動させて、所定の顔部品の配置を示す複数の顔配置ガイド情報と被写体の撮撮像画像情報とを表示部２４に表示させながら、複数の顔配置ガイド情報の中から選択顔配置ガイド情報をユーザに選択させ、更に、選択顔配置ガイド情報の顔部品の配置と被写体の撮撮像画像情報の中の顔部品の配置とを相対的に合わせながら、選択顔配置ガイド情報に合わせた顔撮撮像画像情を取得する。

また、被写体の撮影環境（例えば、晴天の屋外、曇天の屋外、屋内、使用されている照明の種類等）に基づいて、ホワイトバランス及び露出を撮像制御部１２に調整させて、被写体のより明るい撮像画像情報を撮像させるのが望ましい。特に、携帯ゲーム装置２０の場合、ユーザが携帯ゲーム装置２０を持ち歩いて、様々な撮影環境で、被写体を撮像することから、ホワイトバランス及び露出を調整して撮像画像情報を撮像させることが重要である。これにより、後述する画像貼付領域５１内の置換領域の選別基準として輝度を使用するときに、肌の色を明るくして、目、眉、口等と肌の色とのコントラストをはっきりさせるのに有効となる。図３に示すように、表示部位３５及び表示部位３６に、ホワイトバランスの調整状態及び露出の調整状態を示している。尚、ホワイトバランス及び露出の調整は、被写体の撮影環境に基づいて、ホワイトバランス及び露出を自動的に撮像制御部１２に調整させるようにしても良いし、ユーザに撮影環境における所望のホワイトバランスの状態及び露出の状態を選択させ、選択した状態に基づいて、ホワイトバランス及び露出を撮像制御部１２に調整させるようにしても良い。

テクスチャ生成部１５は、撮像画像情報取得部１４によって取得された顔撮像画像情報を顔用テクスチャ５３の画像貼付領域５１に嵌め込む。即ち、画像貼付領域５１の画像情報を顔撮像画像情報に置き換える。図７は、顔用テクスチャ５３の画像貼付領域５１の情報を顔撮像画像情報に置き換えた状態を示した図である。尚、顔撮像画像情報と顔用テクスチャ５３とのデータフォーマットが異なる場合は、顔撮像画像情報を顔用テクスチャ５３のデータフォーマットに変換してから置き換える。

また、テクスチャ生成部１５は、表示制御部１１と入力制御部１３とを連動させて、差分領域５２の色情報を所望の色に設定する。差分領域５２の色情報としては、顔撮像画像情報が嵌め込まれた画像貼付領域５１の一部分を設定することができる。即ち、顔撮像画像情報の任意の位置の肌の色を、差分領域５２の色情報として設定することができる。また、携帯ゲーム装置２０のペイント機能（図示せず）を用いて色を合成し、合成した色情報を設定することもできる。ここで、色情報とは、ＲＧＢ、ＹＵＶ等で表される色の情報である。

テクスチャ生成部１５は、設定された色情報で差分領域５２を全て塗りつぶす。即ち、差分領域５２の全ての画素の色情報を設定された色情報にする。また、余白部５４の部分も、設定された色情報にする。これにより、差分領域５２及び余白部５４が同じ色情報に設定される。

また、テクスチャ生成部１５は、差分領域５２の色情報に基づいて、画像貼付領域５１内の画素を選別し、選別した画素を設定された色情報（差分領域５２の色情報）に置き換える。画像貼付領域５１内の画素は、例えば、設定された色情報（差分領域５２の色情報）の輝度（Ｌ０）を閾値とし、Ｌ０以上の輝度となる画像貼付領域５１内の画素を、設定された色情報（差分領域５２の色情報）に置き換える対象の画素（以下、置換対象画素と呼ぶ）とする。この置換対象画素を設定された色情報（差分領域５２の色情報）に置き換えることにより、差分領域５２と画像貼付領域５１との間に視覚的な境界が無いように肌の色を調整することができる。一方、目、眉、口等の顔部品や、鼻の高さ等を示す影、黒子等の本人を特徴付ける物等の、輝度の小さい色は変化させない。

尚、置換対象画素を選別する基準として、輝度を例に挙げたが、これに限るものではない。しかし、容易に置換対象画素を選別でき、更に、差分領域５２と画像貼付領域５１との間に視覚的境界が無いように肌の色を調整することができることから、選別基準として輝度を用いることが好ましい。図８は、差分領域５２と画像貼付領域５１との間に視覚的境界が無いように肌の色を調整した顔用テクスチャ５３を一部分とする頭部テクスチャ５０を示した図である。

また、顔用テクスチャ５３に、ペイント機能を使用してお化粧や、手書きのメガネ等を施すことにより、部分的な色補正をすることもできる。また、キャラクタ情報記憶部１７に予め複数の顔部品を格納させておき、被写体の顔部分を所望の顔部品に置き換えることにより顔補正をすることもできる。

以上のようにして、テクスチャ生成部１５は、被写体の顔撮像画像情報から顔用テクスチャ５３（頭部テクスチャ５０）を生成する。そして、生成した顔用テクスチャ５３（頭部テクスチャ５０）をキャラクタ情報記憶部１７に格納する。

テクスチャ貼付部１６は、キャラクタ情報記憶部１７に予め格納してある頭部形状モデル６０を取り出し、取り出した頭部形状モデル６０に、テクスチャ生成部１５によって生成された顔用テクスチャ５３を一部分とする頭部テクスチャ５０を貼り付ける。図９（ａ）は、頭部テクスチャ５０を貼り付ける前の頭部形状モデル６０の状態を示す図であり、（ｂ）は、頭部テクスチャ５０を貼り付けた後の頭部形状モデル６０の状態を示す図である。

尚、髪型、服装、アクセサリ等に対応する部品は、ゲーム等のシチュエーションに応じて、予めキャラクタ情報記憶部１７にそれぞれ複数格納されており、ユーザに所望の部品を選択させたり、既定の部品を設定したりすることもできる。また、頭部形状モデル６０は、予め設定された固定の頭部形状モデルをキャラクタ情報記憶部１７から取り出すようにしても、顔の輪郭３４に合わせた頭部形状モデルをキャラクタ情報記憶部１７に格納されている複数の頭部形状モデルの中から選択して取り出すようにしても良い。

次に、本発明の第１の実施形態にかかるキャラクタ生成システム１０の起動タイミングについて説明する。
本発明の第１の実施形態にかかるキャラクタ生成システム１０の起動タイミングは、例えば、ロールプレイングゲーム（ＲＰＧ）の場合、該ＲＰＧを開始する前に、キャラクタ生成システム１０を起動させて、該ＲＰＧを開始する前に該ＲＰＧの仮想空間内に登場する全てのキャラクタの顔を生成するだけでなく、該ＲＰＧのゲーム進行途中において、新しく仮想空間内にキャラクタが登場したときに、キャラクタ生成システム１０を動作させて、登場したキャラクタの顔を生成することもできる。即ち、ユーザの所望の起動タイミングで、キャラクタ生成システム１０を起動させることができる。

上述した本発明の第１の実施形態にかかるキャラクタ生成システム１０により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔として、撮像部２５で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザ９０の顔撮像画像情報に基づいて生成することにより、該キャラクタ７０に対してユーザ９０がより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、本発明の第１の実施形態にかかるキャラクタ生成方法について説明する。図１０は、本発明の第１の実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。

図１０に示すように、キャラクタの生成は、まず、キャラクタの顔の対象となる顔撮像画像情報を取得する（ステップ１０１：Ｓ１０１）。ここでは、所定の顔部品の配置を示す複数の顔配置ガイド情報と被写体とを表示部２４に表示させながら、複数の顔配置ガイド情報の中から選択顔配置ガイド情報をユーザに選択させ、選択顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像部２５によって撮像し、撮像した被写体の撮像画像情報を取得する。更に、撮像した被写体の撮像画像情報からキャラクタの顔用テクスチャ５３の画像貼付領域５１に対応する顔撮像画像情報を取得する。尚、ここでは、撮像部２５によって撮像された被写体の撮像画像情報を用いているが、入力部２６から入力した撮像画像情報であっても良い。また、一枚の撮像画像情報を部分的に修正したり、複数の撮像画像を合成したりして、一枚の顔撮像画像情報にした画像情報であっても良い。尚、被写体の撮影環境に基づいて、ホワイトバランス及び露出を調整して、被写体の明るい撮像画像情報を取得する。

次に、顔撮像画像情報を顔用テクスチャ５３の画像貼付領域５１に嵌め込む（ステップ１０２：Ｓ１０２）。即ち、画像貼付領域５１の画像情報を顔撮像画像情報に置き換える。このとき、顔撮像画像情報と顔用テクスチャ５３とのデータフォーマットが異なる場合は、顔撮像画像情報を顔用テクスチャ５３のデータフォーマットに変換してから置き換える。

次に、差分領域５２の色情報を設定する（ステップ１０３：Ｓ１０３）。例えば、撮像画像情報が嵌め込まれた画像貼付領域５１の一部分を指定し、指定した色情報を差分領域５２の色情報として設定する。また、例えば、ペイント機能で合成した色情報を差分領域５２の色情報として設定する。

次に、ステップ１０３で設定された色情報で差分領域５２を全て塗りつぶす（ステップ１０４：Ｓ１０４）。即ち、差分領域５２の全ての画素の色情報を設定された色情報にする。また、余白部５４の部分も、設定された色情報で塗りつぶす。次に、設定された差分領域５２の色情報の輝度（Ｌ０）を取得し、選別基準値に設定する（ステップ１０５：Ｓ１０５）。ここでは、輝度を選別基準値の対象としているが、輝度に限定されるものではない。

次に、画像貼付領域５１内の各画素の輝度を画素毎に取り出し（ステップ１０６：Ｓ１０６）、取り出した画素の輝度が選別基準値（Ｌ０）以上であるか否かを判定する（ステップ１０７：Ｓ１０７）。取り出した画素の輝度が選別基準値（Ｌ０）以上である場合（Ｓ１０７：Ｙｅｓ）は、取り出した画素の色情報を設定された差分領域５２の色情報に置き換える（ステップ１０８：Ｓ１０８）。ステップ１０６乃至ステップ１０８の工程を、画像貼付領域５１内の全ての画素について行う（ステップ１０９：Ｓ１０９）。以上の処理により、顔用テクスチャ５３（頭部テクスチャ５０）が生成される。

次に、顔用テクスチャ５３の補正の必要があるか否かを判定する（ステップ１１０：Ｓ１１０）。顔用テクスチャ５３の補正とは、例えば、顔用テクスチャ５３に、ペイント機能を使用してお化粧や、手書きのメガネ等を施すことにより、部分的な色補正をしたり、被写体の顔部分をキャラクタ情報記憶部１７に予め格納されている顔部品に置き換えることにより顔補正をしたりすることである。顔用テクスチャ５３の補正の必要がある場合（Ｓ１１０：Ｙｅｓ）は、補正に対応した処理を顔用テクスチャ５３に施す（ステップ１１１：Ｓ１１１）。

最後に、予め用意されている頭部形状モデル６０に、生成した顔用テクスチャ５３を一部分とする頭部テクスチャ５０を貼り付ける（ステップ１１２：Ｓ１１２）。これにより、被写体の顔を貼り付けたキャラクタ７０が生成される。

上述した本発明の第１の実施形態にかかるキャラクタ生成方法により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔として、撮像部２５で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザ９０の顔撮像画像情報に基づいて生成することにより、該キャラクタ７０に対してユーザ９０がより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、本発明の第２の実施形態にかかるキャラクタ生成システムについて説明する。本発明の第２の実施形態にかかるキャラクタ生成システム１１０を実行させる携帯ゲーム装置２０の概略構成は、図２に示した本発明の第１の実施形態にかかるキャラクタ生成システム１０を実行させる携帯ゲーム装置２０の概略構成であるため、説明を省略する。

次に、本発明の第２の実施形態にかかるキャラクタ生成システム１１０におけるシステム構成について説明する。図１１は、本発明の第２の実施形態にかかるキャラクタ生成システム１１０におけるシステム構成の一例を示す図である。

図１１に示すように、キャラクタ生成システム１１０は、表示制御部１１１、撮像制御部１１２、入力制御部１１３、撮像画像情報取得部１１４、テクスチャ生成部１１５、テクスチャ貼付部１１６、キャラクタ情報記憶部１７、及びガイド情報記憶部１８を備え、更に、テクスチャ生成部１１５は、第１補正部１２１と第２補正部１２２とを備えている。尚、キャラクタ生成システム１１０の表示制御部１１１、撮像制御部１１２、入力制御部１１３、及びテクスチャ貼付部１１６は、図４において説明した、キャラクタ生成システム１０の表示制御部１１、撮像制御部１２、入力制御部１３、及びテクスチャ貼付部１６と同様な機能であることから、説明を省略する。

撮像画像情報取得部１１４は、表示制御部１１１と撮像制御部１１２とを連動させて、所定の顔部品の配置を示す複数の顔配置ガイド情報と対象物（被写体）とを表示部２４に表示させて、複数の顔配置ガイド情報の中から最も被写体に合った選択顔配置ガイド情報をユーザに選択させ、選択顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像させる（図３参照）。

また、撮像画像情報取得部１１４は、キャラクタ７０における顔用テクスチャ５３の全領域に対応する顔撮像画像情報を、撮像した被写体の撮像画像情報から取得する。即ち、撮像した被写体の撮像画像情報から取得する顔撮像画像情報は、本発明の第１の実施形態にかかるキャラクタ生成システム１０の場合は、顔用テクスチャ５３の画像貼付領域５１に対応する顔撮像画像情報であったが、本発明の第２の実施形態にかかるキャラクタ生成システム１１０の場合は、顔用テクスチャ５３の全領域に対応する顔撮像画像情報となる。

テクスチャ生成部１１５は、撮像画像情報取得部１１４によって取得された顔撮像画像情報を顔用テクスチャ５３の全領域に嵌め込む。即ち、顔用テクスチャ５３の全領域の画像情報を顔撮像画像情報に置き換える。更に、顔輪郭部近傍に写り込まれた影等の補正を行うとともに輪郭部のぼかし処理を顔用テクスチャ５３に対して行う。

次に、顔撮像画像情報に置き換えられた顔用テクスチャ５３に対して、顔輪郭部近傍に写り込まれた影等を補正及び顔輪郭部のぼかしを行うための、顔撮像画像情報に置き換えられた顔用テクスチャ５３に対する補正処理について説明する。

図１２は、テクスチャ生成部１１５における補正処理を行う顔用テクスチャ５３の領域を説明するための図である。図１２に示すように、顔用テクスチャ５３は、予め設定された補正領域５９と無補正領域５８とから構成される。補正領域５９は、顔部分を正面から撮像した撮像画像の顔輪郭部近傍の領域で、顔撮像画像情報から得られる画素の色情報に対して、影、髭等の影響で肌の色が暗くならないような補正や顔輪郭のぼかし処理等が行われる領域である。また、無補正領域５８は、顔撮像画像情報に対する補正処理を行わず、撮像画像情報取得部１１４によって取得された顔撮像画像情報のままの領域である。また、補正領域５９は、顔用テクスチャ５３の上側輪郭部近傍及び下側輪郭部近傍に設定された第１補正領域５５と、顔用テクスチャ５３のどちらか一方の側面輪郭部近傍に設定された第２補正領域５６と、第２置領域５６と反対の側面輪郭部近傍に設定された第３補正領域５７とから構成される。

尚、図１２においては、図面に向かって顔用テクスチャ５３の左側面輪郭部近傍に設定された領域を第２補正領域５６とし、図面に向かって顔用テクスチャ５３の右側面輪郭部近傍に設定された領域を第３補正領域５７とし、顔用テクスチャ５３の上側輪郭部近傍の第１補正領域５５を上側第１補正領域５５ａとし、顔用テクスチャ５３の下側輪郭部近傍の第１補正領域５５を下側第１補正領域５５ｂとして、以降説明する。

上側第１補正領域５５ａは、額にかかる髪の影を補正するための領域であり、下側第１補正領域５５ｂは、顎近傍の輪郭影、顎髭等を補正するための領域である。また、第２補正領域５６及び第３補正領域５７は、顔側面の髪の影、輪郭影、もみあげ等の補正や輪郭部のぼかし処理をするための領域である。

補正領域５９に対する補正処理は、第１補正処理と第２補正処理の２段階の補正処理によって行われる。テクスチャ生成部１１５の第１補正部１２１において、第１補正処理が行われ、テクスチャ生成部１１５の第２補正部１２２において、第２補正処理が行われる。また、第１補正処理は、補正領域５９内の全ての画素について行われる処理であり、第２補正処理は、第２補正領域５６内及び第３補正領域５７内の画素に対してのみ行われる処理である。

図１３は、第１補正部１２１で実施される第１補正処理を説明するための図である。図１３に示すように、第１補正処理は、色補正の対象となる画素（以下、補正対象画素と呼ぶ）８１を囲む所定領域８３内の画素８２の色情報を取得する。図１３においては、補正対象画素８１を囲む所定領域８３は、補正対象画素８１を囲む８個の画素８２からなる領域である。そして、取得した領域８３内の８個の画素８２の色情報の平均値を補正対象画素８１の色情報として設定する。以下、第１補正処理によって設定された色情報を第１補正色情報と呼ぶ。この第１補正処理により、顔輪郭部近傍に写り込まれた影、髭等の色をぼかして、視覚的な違和感が無いように肌の色を調整することができる。

尚、本明細書では、この補正対象画素８１を囲む所定領域を、領域８３としているが、これに限定されることはなく、例えば、補正対象画素８１を囲む２４個の画素８２からなる領域８４であっても良い。しかし、顔用テクスチャ５３の解像度、処理速度等から、補正対象画素８１を囲む所定領域を、領域８３とすることが望ましい。

図１４は、第２補正部１２２で実施される第２補正処理を説明するための図であり、（ａ）は第２補正領域５６に対する第２補正処理を説明するための図で、（ｂ）は第３補正領域５７に対する第２補正処理を説明するための図である。

第２補正処理は、補正対象画素８１から側面輪郭部方向へ連続する補正対象画素８１以外の所定個数の画素８２の第１補正色情報を取得する。具体的には、図１４（ａ）に示すように、第２補正領域５６内の画素に対しては、補正対象画素８１から側面輪郭部方向（図面左方向）へ連続する補正対象画素８１以外の領域８５内の８個の画素８２の第１補正色情報を取得する。また、図１４（ｂ）に示すように、第３補正領域５７内の画素に対しては、補正対象画素８１から側面輪郭部方向（図面右方向）へ連続する補正対象画素８１以外の領域８６内の８個の画素８２の第１補正色情報を取得する。

そして、第２補正領域５６内においては、取得した領域８５内の８個の画素８２の第１補正色情報の平均値を補正対象画素８１の色情報として設定する。また、第３補正領域５７内においては、取得した領域８６内の８個の画素８２の第１補正色情報の平均値を補正対象画素８１の色情報として設定する。以下、第２補正処理によって設定された色情報を第２補正色情報と呼ぶ。この第２補正処理により、第２補正領域５６内及び第３補正領域５７内の肌の色を顔輪郭部の肌の色の近づくようにぼかすとともに、顔輪郭部のぼかしを行い、顔側面近傍に視覚的な違和感が無いように肌の色を調整することができる。尚、本明細書では、補正対象画素８１から側面輪郭部方向へ連続する補正対象画素８１以外の所定個数を８個に設定しているが、これに限定されるものではない。

テクスチャ生成部１１５は、顔撮像画像情報を嵌め込んだ顔用テクスチャ５３に対して、第１補正処理及び第２補正処理からなる補正処理を行っているが、補正処理の前に、ペイント機能を使用して、写り込んだ髪、影、髭等を修正した後に、第１補正処理及び第２補正処理からなる補正処理を行っても良い。また、補正処理の後に、ペイント機能を使用して、肌の色を修正しても良い。

また、テクスチャ生成部１１５は、余白部５４内の画素の色情報を設定する。余白部５４内の画素の色情報は、所定の色情報であっても良いし、上述の補正処理が施された補正領域５９の余白部５４近傍の画素の色情報に基づいて設定するようにしても良い。例えば、余白部５４に接した補正領域５９の画素の色情報を余白部５４の画素の色情報に設定したり、更に、上述の第１補正処理を余白部５４の全画素に対して行ったりすることにより、余白部５４内の画素の色情報を設定する。

以上のようにして、テクスチャ生成部１１５は、被写体の顔撮像画像情報から顔用テクスチャ５３（頭部テクスチャ５０）を生成する。そして、生成した顔用テクスチャ５３（頭部テクスチャ５０）をキャラクタ情報記憶部１７に格納する。

次に、本発明の第２の実施形態にかかるキャラクタ生成システム１１０の起動タイミングについて説明する。本発明の第２の実施形態にかかるキャラクタ生成システム１１０の起動タイミングは、本発明の第１の実施形態にかかるキャラクタ生成システム１０の起動タイミングと同様に、ユーザの所望の起動タイミングで、キャラクタ生成システム１１０を起動させることができる。

上述した本発明の第２の実施形態にかかるキャラクタ生成システム１１０により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔として、撮像部２５で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザ９０の顔撮像画像情報に基づいて生成することにより、該キャラクタ７０に対してユーザ９０がより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、本発明の第２の実施形態にかかるキャラクタ生成方法について説明する。図１５は、本発明の第２の実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。

図１５に示すように、キャラクタの生成は、まず、キャラクタの顔の対象となる顔撮像画像情報を取得する（ステップ２０１：Ｓ２０１）。ここでは、所定の顔部品の配置を示す複数の顔配置ガイド情報と被写体とを表示部２４に表示させながら、複数の顔配置ガイド情報の中から選択顔配置ガイド情報をユーザに選択させ、選択顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像部２５によって撮像し、撮像した被写体の撮像画像情報を取得する。更に、撮像した被写体の撮像画像情報からキャラクタの顔用テクスチャ５３の全領域に対応する顔撮像画像情報を取得する。

次に、顔撮像画像情報を顔用テクスチャ５３の全領域に嵌め込む（ステップ２０２：Ｓ２０２）。即ち、顔用テクスチャ５３の画像情報を顔撮像画像情報に置き換える。このとき、顔撮像画像情報と顔用テクスチャ５３とのデータフォーマットが異なる場合は、顔撮像画像情報を顔用テクスチャ５３のデータフォーマットに変換してから置き換える。

次に、補正領域５９（第１補正領域５５、第２補正領域５６及び第３補正領域５７）内の全ての画素に対して、上述した第１補正処理を行ない、第１補正処理によって算出された第１補正色情報を設定する（ステップ２０３：Ｓ２０３）。尚、ステップ２０３の工程の前に、ペイント機能を使用して、写り込んだ髪、影、髭等を修正しても良い。

次に、第２補正領域５６内及び第３補正領域５７内の全ての画素に対して、上述した第２補正処理を行ない、第２補正処理によって算出された第２補正色情報を設定する（ステップ２０４：Ｓ２０４）。次に、余白部５４内の画素の色情報を、補正処理が施された補正領域５９の余白部５４近傍の画素の色情報に基づいて設定する（ステップ２０５：Ｓ２０５）。以上の処理により、顔用テクスチャ５３（頭部テクスチャ５０）が生成される。

次に、顔用テクスチャ５３の修正の必要があるか否かを判定する（ステップ２０６：Ｓ２０６）。顔用テクスチャ５３の修正とは、例えば、顔用テクスチャ５３に、ペイント機能を使用してお化粧や、手書きのメガネ等を施すことにより、部分的な色補正をしたり、被写体の顔部分をキャラクタ情報記憶部１７に予め格納されている顔部品に置き換えることにより顔補正をしたりすることである。顔用テクスチャ５３の修正の必要がある場合（Ｓ２０６：Ｙｅｓ）は、修正に対応した処理を顔用テクスチャ５３に施す（ステップ２０７：Ｓ２０７）。

最後に、予め用意されている頭部形状モデル６０に、生成した顔用テクスチャ５３を一部分とする頭部テクスチャ５０を貼り付ける（ステップ２０８：Ｓ２０８）。これにより、被写体の顔を貼り付けたキャラクタ７０が生成される。

上述した本発明の第２の実施形態にかかるキャラクタ生成方法により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔として、撮像部２５で撮影された対象物の顔撮像画像情報に基づいた、肌の色、顔輪郭等において視覚的に違和感の無い顔を容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザ９０の顔撮像画像情報に基づいて生成することにより、該キャラクタ７０に対してユーザ９０がより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。

上述した本発明の第１の実施形態にかかるキャラクタ生成システム１０及び本発明の第２の実施形態にかかるキャラクタ生成システム１１０は、携帯ゲーム装置２０を使用したシステムであるが、これに限定されるものではなく、業務用ゲーム装置（アーケードゲーム機）、家庭用ゲーム機、携帯電話、スタンドアローン型のコンピュータ、ワークステーション型のコンピュータシステム、ネットワーク型のコンピュータシステム等を用いて実現される仮想空間内の存在として表される２次元又は３次元のキャラクタの生成に適用できる。

１０，１１０ ： キャラクタ生成システム
１１，１１１ ： 表示制御部
１２，１１２ ： 撮像制御部
１３，１１３ ： 入力制御部
１４，１１４ ： 撮像画像情報取得部
１５，１１５ ： テクスチャ生成部
１６，１１６ ： テクスチャ貼付部
１７ ： キャラクタ情報記憶部
１８ ： ガイド情報記憶部
５０ ： 頭部テクスチャ
５１ ： 画像貼付領域
５２ ： 差分領域
５３ ： 顔用テクスチャ
５４ ： 余白部
５５ ： 第１補正領域
５６ ： 第２補正領域
５７ ： 第３補正領域
５８ ： 無補正領域
５９ ： 補正領域
６０ ： 頭部形状モデル
７０ ： キャラクタ
１２１ ： 第１補正部
１２２ ： 第２補正部

Claims (17)

1. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成システムであって、
   前記コンピュータが、
   前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得した前記対象物の前記顔撮像画像情報を、前記顔用テクスチャの前記画像貼付領域に嵌め込み、前記顔用テクスチャの全領域と前記画像貼付領域との差分領域を、所望の色情報で塗りつぶすとともに、前記所望の色情報に基づいて選別した前記画像貼付領域内の画素を、前記所望の色情報に置き換えて、前記差分領域と前記画像貼付領域との間の視覚的な境界を無くした前記顔用テクスチャを生成するテクスチャ生成手段と、
   前記テクスチャ生成手段によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付けるテクスチャ貼付手段と、
   を備えていることを特徴とするキャラクタ生成システム。
2. 前記テクスチャ生成手段は、前記所望の色情報の輝度に基づいて、前記画像貼付領域内の当該輝度以上の画素を選別し、選別した前記画素の色情報を前記所望の色情報に置き換えることを特徴とする請求項１に記載のキャラクタ生成システム。
3. 前記所望の色情報は、前記顔撮像画像情報の所望位置の色情報であることを特徴とする請求項１または２に記載のキャラクタ生成システム。
4. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成システムであって、
   前記コンピュータが、
   前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得した前記対象物の前記顔撮像画像情報を、前記顔用テクスチャの全領域に嵌め込み、前記顔用テクスチャの輪郭部近傍の所定の補正領域内の全ての画素をそれぞれ対象画素としたとき、前記各対象画素の色情報を、当該対象画素に連続する所定範囲内の当該対象画素以外の前記画素の色情報に基づいてそれぞれ算出し、当該対象画素の色情報を算出した色情報に置き換えた前記顔用テクスチャを生成するテクスチャ生成手段と、
   前記テクスチャ生成手段によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付けるテクスチャ貼付手段と、
   を備えており、
   前記補正領域は、前記顔用テクスチャの上側輪郭部近傍及び下側輪郭部近傍に設定された第１補正領域と、前記顔用テクスチャのどちらか一方の側面輪郭部近傍に設定された第２補正領域と、前記第２補正領域と反対の側面輪郭部近傍に設定された第３補正領域とからなり、
   前記テクスチャ生成手段は、
   前記補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素を囲む所定範囲内の当該対象画素以外の全ての前記画素の色情報の平均値を算出した第１補正色情報を、当該対象画素の色情報として設定する第１補正手段と、
   前記第２補正領域内及び前記第３補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素から側面輪郭部方向へ連続する当該対象画素以外の所定個数の前記画素の前記第１補正色情報の平均値を算出した第２補正色情報を、当該対象画素の色情報として設定する第２補正手段と、
   を備えていることを特徴とするキャラクタ生成システム。
5. 前記コンピュータが、
   前記表示部を制御して、所定の顔部品の配置を示す複数の顔配置ガイド情報と前記対象物を前記表示部に表示させる表示制御手段と、
   撮像部を制御して、前記対象物を撮像させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる撮像制御手段と、
   を更に備え、
   前記撮像画像取得手段は、前記表示制御手段と前記撮像制御手段とを連動させて、前記複数の顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記複数の顔配置ガイド情報の中から選択された、前記対象物の顔の合った選択顔配置ガイド情報に基づいて前記対象物を撮像させ、前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１乃至４のいずれか１項に記載のキャラクタ生成システム。
6. 前記撮像画像取得手段は、前記撮像制御手段によって撮像した前記対象物の前記撮像画像情報が明るい前記撮像画像情報となるように、前記対象物の撮影環境に基づいて、ホワイトバランス及び露出を前記撮像制御手段に調整させることを特徴する請求項５に記載のキャラクタ生成システム。
7. 前記コンピュータが、
   入力部を制御して、前記対象物の前記撮像画像情報を含む各種情報を入力情報として入力させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる入力制御手段を更に備え、
   前記撮像画像取得手段は、前記表示制御手段と前記入力制御手段とを連動させて、前記複数の顔配置ガイド情報と入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記複数の顔配置ガイド情報に中から選択された前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１乃至６のいずれか１項に記載のキャラクタ生成システム。
8. 前記顔部品は、目、鼻、口及び顔輪郭を少なくとも含んでいることを特徴とする請求項５乃至７のいずれか１項に記載のキャラクタ生成システム。
9. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成方法であって、
   前記コンピュータが、
   （ａ）前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、
   （ｂ）前記顔用テクスチャの前記画像貼付領域の情報を、前記工程（ａ）によって取得した前記対象物の前記顔撮像画像情報に置き換え、前記顔用テクスチャの全領域と前記画像貼付領域との差分領域を、所望の色情報で塗りつぶすとともに、前記所望の色情報に基づいて選別した前記画像貼付領域内の画素を、前記所望の色情報に置き換えて、前記差分領域と前記画像貼付領域との間の視覚的な境界を無くした前記顔用テクスチャを生成する工程と、
   （ｃ）前記工程（ｂ）によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付ける工程と、
   を備えていることを特徴とするキャラクタ生成方法。
10. 前記工程（ｂ）は、前記所望の色情報の輝度に基づいて、前記画像貼付領域内の当該輝度以上の画素を選別し、選別した前記画素の色情報を前記所望の色情報に置き換えることを特徴とする請求項９に記載のキャラクタ生成方法。
11. 前記所望の色情報は、前記顔撮像画像情報の所望位置の色情報であることを特徴とする請求項９または１０に記載のキャラクタ生成方法。
12. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するキャラクタ生成方法であって、
    前記コンピュータが、
    （ａ）前記キャラクタの顔用テクスチャの画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、
    （ｂ）前記顔用テクスチャの全領域の情報を、前記工程（ａ）によって取得した前記対象物の前記顔撮像画像情報に置き換え、前記顔用テクスチャの輪郭部近傍の所定の補正領域内の全ての画素に対して、各前記画素を対象画素としたとき、前記対象画素に連続する所定範囲内の当該対象画素以外の前記画素の色情報に基づいて、当該対象画素の色情報を算出し、当該対象画素の色情報を算出した色情報に置き換えた前記顔用テクスチャを生成する工程と、
    （ｃ）前記工程（ｂ）によって生成された前記顔用テクスチャが一部分となる頭部テクスチャを、前記キャラクタの頭部形状モデルに貼り付ける工程と、
    を備えており、
    前記補正領域は、前記顔用テクスチャの上側輪郭部近傍及び下側輪郭部近傍に設定された第１補正領域と、前記顔用テクスチャのどちらか一方の側面輪郭部近傍に設定された第２補正領域と、前記第２補正領域と反対の側面輪郭部近傍に設定された第３補正領域とからなり、
    前記工程（ｂ）は、
    （ｂ１）前記補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素を囲む所定範囲内の当該対象画素以外の全ての前記画素の色情報の平均値を算出した第１補正色情報を、当該対象画素の色情報として設定する工程と、
    （ｂ２）前記第２補正領域内及び前記第３補正領域内の全ての前記画素に対して、各前記画素を前記対象画素としたとき、当該対象画素から側面輪郭部方向へ連続する当該対象画素以外の所定個数の前記画素の前記第１補正色情報の平均値を算出した第２補正色情報を、当該対象画素の色情報として設定する工程と、
    を備えていることを特徴とするキャラクタ生成方法。
13. 前記コンピュータが、
    （ｄ）所定の顔部品の配置を示す複数の顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記複数の顔配置ガイド情報の中から選択された、前記対象物の顔の合った選択顔配置ガイド情報に基づいて前記対象物を撮像し、前記対象物の前記撮像画像情報を前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、
    前記工程（ａ）は、前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項９乃至１２のいずれか１項に記載のキャラクタ生成方法。
14. 前記工程（ｄ）は、撮像した前記対象物の前記撮像画像情報が明るい前記撮像画像情報となるように、前記対象物の撮影環境に基づいて、ホワイトバランス及び露出を調整することを特徴する請求項１３に記載のキャラクタ生成方法。
15. 前記コンピュータが、
    （ｅ）前記対象物の前記撮像画像情報を入力して、前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、
    前記工程（ａ）は、所定の顔部品の配置を示す複数の顔配置ガイド情報と、前記工程（ｅ）によって入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記複数の顔配置ガイド情報に中から選択された前記選択顔配置ガイド情報に基づいて、前記顔用テクスチャの前記画像貼付領域に対応する前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項９乃至１４のいずれか１項に記載のキャラクタ生成方法。
16. 前記顔部品は、目、鼻、口及び顔輪郭を少なくとも含んでいることを特徴とする請求項１３乃至１５のいずれか１項に記載のキャラクタ生成方法。
17. 仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいて生成するための処理を、コンピュータに実行させるプログラムであって、
    請求項１乃至８のいずれか１項に記載のキャラクタ生成システムの各手段を実現させる処理を前記コンピュータに実行させることを特徴とするプログラム。

Images