JP2004199301A - 画像加工装置 - Google Patents
画像加工装置 Download PDFInfo
- Publication number
- JP2004199301A JP2004199301A JP2002366040A JP2002366040A JP2004199301A JP 2004199301 A JP2004199301 A JP 2004199301A JP 2002366040 A JP2002366040 A JP 2002366040A JP 2002366040 A JP2002366040 A JP 2002366040A JP 2004199301 A JP2004199301 A JP 2004199301A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- dimensional
- face image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
- G06T11/60—Creating or editing images; Combining images with text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【課題】複雑なモデルの準備やその加工のための膨大な演算処理を要することなく、簡単な処理で、ユーザの興味を持続させるような視覚的効果が得られる、顔写真等の顔画像の加工装置を提供する。
【解決手段】屈曲境界線設定手段１１１は、顔画像の縦方向に、屈曲境界線を設定する。画像加工手段１１６は、屈曲境界線に沿って顔画像を凸や凹に屈曲させた後に、顔画像の横方向に設定された回転軸を中心に顔画像を回転させて、平面上に投影させる。これにより、顔画像の表情を変化させることができる。
【選択図】 図１
【解決手段】屈曲境界線設定手段１１１は、顔画像の縦方向に、屈曲境界線を設定する。画像加工手段１１６は、屈曲境界線に沿って顔画像を凸や凹に屈曲させた後に、顔画像の横方向に設定された回転軸を中心に顔画像を回転させて、平面上に投影させる。これにより、顔画像の表情を変化させることができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を変形させる画像加工装置に関するものであり、特に、顔写真等の顔画像を加工できる携帯電話機に用いるのに好適である。
【０００２】
【従来の技術】
従来の携帯電話機における顔写真等の顔画像の加工方法としては、ネガ反転やセピア化などのように階調変換を行うものや、イラストやフレームを付加して合成するものなどがあった。これらの加工方法においては、元となる画像の形状は加工されなかった。
【０００３】
またコンピュータ等において画像の形状を加工する方法としては、３次元グラフィックスを利用したテクスチャマッピングの技法が挙げられる。従来の顔写真等の顔画像の加工方法におけるテクスチャマッピングでは、２次元のテクスチャ画像に２次元空間の中だけで変形を加えたり、３次元空間内で３次元オブジェクトモデルを構築してそのモデルを形成する個々の面に対して２次元テクスチャ画像を貼り付けたりする方法が採られてきた。このような画像加工方法の例は、例えば特許文献１に記載されている。
【０００４】
【特許文献１】
特開２０００−１７２８７４号公報
【０００５】
【発明が解決しようとする課題】
従来の携帯電話機における顔画像や顔写真の加工方法は、以上のように、基本的には２次元の座標空間の中でのみ行われていたので、ユーザの興味を持続させることが難しいという問題点があった。
【０００６】
またユーザの興味を持続させるためには、複雑なモデルを準備しなければならず、その加工のために膨大な演算処理が必要になるという問題点があった。
【０００７】
本発明は以上の問題点を解決するためになされたものであり、複雑なモデルの準備やその加工のための膨大な演算処理を要することなく、簡単な処理でユーザの興味を持続させるような視覚的効果が得られる、顔写真等の顔画像を扱うのに適した画像加工装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明に係る画像加工装置は、２次元画像を入力させる画像入力手段と、入力された前記２次元画像を記憶する画像記憶手段と、記憶された前記２次元画像上に屈曲境界線を設定する屈曲境界線設定手段と、設定された前記屈曲境界線に沿って前記２次元画像を指定された屈曲角度で３次元空間内において屈曲させるとともに、視線の深さ方向に対する回転を規定する所定の回転軸を中心として指定された回転角度で回転させた画像を作成する画像加工手段と、前記画像加工手段により作成された前記画像を表示する画像表示手段とを備える。
【０００９】
【発明の実施の形態】
＜実施の形態１＞
図１は、本発明の実施の形態１に係る画像加工装置１００を示す構成図である。画像加工装置１００は、中央処理装置（ＣＰＵ）１１０と、指示入力装置１２０と、画像入力装置１３０と、通信装置１４０と、画像表示装置１５０と、記憶装置１６０とを備える。中央処理装置１１０は、画像加工装置１００の全体の制御を行う。指示入力装置１２０は、中央処理装置１００への指示をユーザが入力するキーボード等である。画像入力装置１３０は、カメラやスキャナ、ビデオ等から画像を入力させる装置である。また画像加工装置１００は、画像データ等の送受信を行う通信装置１４０を介して、インターネット等から画像を入力させることもできる。画像表示装置１５０は、画像を表示するディスプレイ等である。記憶装置１６０は、データを格納するメモリ等である。中央処理装置１１０は、所定のプログラムに従って制御されることにより、屈曲境界線設定手段１１１と、ポリゴン加工手段１１２およびテクスチャ貼り付け手段１１３を有する画像加工手段１１６と、フォグ処理手段１１４と、光源処理手段１１５として動作する機能を有する。
【００１０】
図２は、画像加工装置１００を用いた画像加工の処理手順を示すフローチャートである。
【００１１】
まずステップＳ１では、画像入力装置１３０から、例えば図３に示されるような顔画像５００が入力される。入力された顔画像５００は、記憶装置１６０に取り込まれる。このときに複数の顔画像を入力して記憶装置１６０に記憶しておくことにより、後述のステップＳ１３において、原画像即ち加工前の顔画像５００を入れ替える作業を容易にすることができる。
【００１２】
ステップＳ２では、後述のステップＳ５〜Ｓ７において、顔画像５００を縦方向（ｙ軸方向）に屈曲させるための屈曲角θを、指示入力装置１２０からユーザが入力することにより設定する。
【００１３】
ステップＳ３では、屈曲された顔画像５００を後述のステップＳ８においてｘ軸を中心としてユーザの視線の深さ方向に回転させるための回転角αを、指示入力装置１２０からユーザが入力することにより設定する。
【００１４】
ステップＳ４では、屈曲境界線設定手段１１１が、顔画像５００上で縦方向の３本の屈曲境界線を設定する。図３に示すように、顔画像５００の横方向をｘ軸、縦方向をｙ軸とする。顔画像５００の左端のｘ座標を０．０、顔画像の右端のｘ座標を１．０、顔座標の下端のｙ座標を０．０、顔座標の上端のｙ座標を１．０とする。ユーザは画像表示装置１５０に表示された顔画像５００を見ながら指示入力装置１２０に入力することにより、左右それぞれの目の位置のｘ座標である座標ｅＬおよび座標ｅＲを指定する。屈曲境界線設定手段１１１は、指定された座標ｅＬおよび座標ｅＲに基づいて当該座標ｅＬ，ｅＲを設定するとともに、
【００１５】
【数１】
【００１６】
により座標ｅＭを設定する。
【００１７】
顔画像５００は、直線ｘ＝０．０、ｘ＝ｅＬ、ｘ＝ｅＭ、ｘ＝ｅＲ、ｘ＝１．０によって４つの四角形に分割される。図３に示すように、ｘｙ平面に垂直な方向にｚ軸を定め、顔画像５００を、平面ｚ＝０上に置かれた平面として扱うと、分割された四角形は、４つのポリゴン１０〜４０として、それらの頂点の座標で表現して扱うことができる。このとき顔画像５００は、ポリゴン１０〜４０上に、テクスチャ５０〜８０が貼り付けられた、２次元テクスチャ画像として扱われる。ポリゴン１０〜４０の頂点の座標は、ポリゴン１０では点１１（０．０，０．０，０．０）、点１２（０．０，１．０，０．０）、点１３（ｅＬ，０．０，０．０）、点１４（ｅＬ，１．０，０．０）、ポリゴン２０では点２１（ｅＬ，０．０，０．０）、点２２（ｅＬ，１．０，０．０）、点２３（ｅＭ，０．０，０．０）、点２４（ｅＭ，１．０，０．０）、ポリゴン３０では点３１（ｅＭ，０．０，０．０）、点３２（ｅＭ，１．０，０．０）、点３３（ｅＲ，０．０，０．０）、点３４（ｅＲ，１．０，０．０）、ポリゴン４０では点４１（ｅＲ，０．０，０．０）、点４２（ｅＲ，１．０，０．０）、点４３（１．０，０．０，０．０）、点４４（１．０，１．０，０．０）となる。
【００１８】
テクスチャ５０〜８０の頂点の座標は、ポリゴン１０〜４０の頂点の座標からｚ座標成分を取り去ることにより導くことができる。従って、テクスチャ５０〜８０の頂点の座標は、テクスチャ５０では点５１（０．０，０．０）、点５２（０．０，１．０）、点５３（ｅＬ，０．０）、点５４（ｅＬ，１．０）、テクスチャ６０では点６１（ｅＬ，０．０）、点６２（ｅＬ，１．０）、点６３（ｅＭ，０．０）、点６４（ｅＭ，１．０）、テクスチャ７０では点７１（ｅＭ，０．０）、点７２（ｅＭ，１．０）、点７３（ｅＲ，０．０）、点７４（ｅＲ，１．０）、テクスチャ８０では点８１（ｅＲ，０．０）、点８２（ｅＲ，１．０）、点８３（１．０，０．０）、点８４（１．０，１．０）となる。
【００１９】
以下に説明するステップＳ５〜Ｓ１０において、画像加工手段１１６が、ポリゴン１０〜４０の頂点の座標を３次元空間内で平行移動および回転させた後に２次元平面上に投影し、その各ポリゴンにテクスチャ５０〜８０を貼り付ける（マッピングする）ことにより、顔画像５００が加工される。
【００２０】
まず、以下のステップＳ５〜Ｓ７により、ポリゴン加工手段１１２が顔画像５００を縦方向（ｙ軸方向）にθだけ屈曲させる。ステップＳ５〜Ｓ７では、顔画像５００が、直線ｘ＝ｅＬと直線ｘ＝ｅＲとに沿って凸形になり、直線ｘ＝ｅＭに沿って凹形になるように屈曲させる。
【００２１】
ステップＳ５では、図４に示すように、ポリゴン加工手段１１２がｙ軸を回転軸としてポリゴン１０〜４０を回転させる。回転角は、ポリゴン１０，３０がθで、ポリゴン２０，４０が−θである。回転によるこの座標変換を表す行列は、ポリゴン１０，３０については式（２）、ポリゴン２０，４０については式（３）のように表すことができる。なお、後述のステップＳ９で説明する透視法射影による座標変換が４行４列の行列で表されるため、ポリゴン座標も３次元グラフィックスにおける同次座標として値１を付加して４次元座標とし、全ての座標変換を４行４列の行列で表すことにする。
【００２２】
【数２】
【００２３】
【数３】
【００２４】
ステップＳ５でのθの回転により、辺を接していたポリゴン１０〜４０が分離されてしまう。そこで、ステップＳ６では、再びポリゴン１０〜４０の辺が接するように、ポリゴン加工手段１１２がポリゴン２０〜４０の平行移動を行う。このとき図５に示すように、ポリゴン１０は平行移動させずに、ポリゴン１０に対してポリゴン２０，３０，４０をそれぞれｚ軸方向に平行移動させる。ポリゴン２０，３０，４０の移動距離ａ，ｂ，ｃは、それぞれ
【００２５】
【数４】
【００２６】
【数５】
【００２７】
【数６】
【００２８】
により算出することができる。平行移動によるこの座標変換を表す行列は、ポリゴン２０，３０，４０について、式（７）、式（８）、式（９）のように表すことができる。
【００２９】
【数７】
【００３０】
【数８】
【００３１】
【数９】
【００３２】
ステップＳ６では、ポリゴン１０に対してポリゴン２０，３０，４０を平行移動するので、顔画像５００は、ｘ座標が小さくｚ座標が大きい方へ寄ってしまい、後述のステップＳ９でｘｙ平面上に投影したときに、画像表示装置１５０に表示される顔画像５００が左にずれたり、大きくなってしまったりする。これを補正するために、ステップＳ７では図６に示すように、ｘ座標が大きくｚ座標が小さい方へ、ポリゴン加工手段１１２がポリゴン１０〜４０を平行移動させる。ｘ方向の移動距離をｄ、ｚ方向の距離をｅとすると、ｄとｅとはそれぞれ式（１０）、式（１１）のように表すことができる。
【００３３】
【数１０】
【００３４】
【数１１】
【００３５】
平行移動によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１２）のように表すことができる。
【００３６】
【数１２】
【００３７】
ステップＳ８では、ポリゴン加工手段１１２が、ポリゴン１０〜４０をｘ軸を中心としてユーザの視線の深さ方向に回転角αだけ回転させることにより、顔画像５００の表情を変化させる。回転角αが負の場合に、回転させたポリゴン１０〜４０をｘ軸の正の方向から見た様子を図７に示す。また回転角αが正の場合に、回転させたポリゴン１０〜４０をｘ軸の正の方向から見た様子を図８に示す。回転によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１３）のように表すことができる。
【００３８】
【数１３】
【００３９】
ステップＳ９では、ポリゴン加工手段１１２が、ポリゴン１０〜４０をｘｙ平面上に投影させる。３次元空間内に置かれた物体を２次元の画像表示装置１５０で表示させる場合には、３次元グラフィックスにおける射影方法である透視法射影を用いる。透視法射影を用いることにより、遠くにあるものは小さく、近くにあるものは大きく表示させて、実際に人間の目で見たときの画像に近づけることができる。これにより、投影された顔画像５００の遠近感が表現されて、実際に顔画像５００を手にとって折り曲げて斜め上方もしくは斜め下方から見ているかのように表示することができる。透視法射影によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１４）のように表すことができる。ここで、ｌは透視法射影における視体積の左端座標、ｒは右端座標、ｔは上端座標、ｂは下端座標、ｎは手前端座標、ｆは奥端座標である。
【００４０】
【数１４】
【００４１】
ステップＳ１０では、テクスチャ貼り付け手段１１３が、ポリゴン１０〜４０に２次元テクスチャ画像であるテクスチャ５０〜８０を貼り付ける（テクスチャマッピング）。図７，８にそれぞれ示されるポリゴン１０〜４０にテクスチャ５０〜８０を貼り付けた顔画像５００を図９，１０に示す。ステップＳ５〜Ｓ８の座標変換により、ポリゴン１０〜４０の頂点の座標が変換されているため、テクスチャ５０〜８０を貼り付ける際には、テクスチャ５０〜８０を変換してから貼り付ける必要がある。このテクスチャ５０〜８０の変換は、座標変換前のポリゴン１０〜４０の頂点の座標と、座標変換後のポリゴン１０〜４０の頂点の座標とから、補間演算を行い、座標変換後のポリゴン１０〜４０に、変換されたテクスチャ５０〜８０を貼り付ける。
【００４２】
以上の工程の説明においては座標変換を表す行列を１つずつ分けて説明したが、本実施の形態のように座標変換に伴う全てのパラメータが準備できる場合には、中央処理装置１１０が、それぞれの座標変換を表す行列から１つの行列積をあらかじめ算出しておいてもよい。これにより、顔画像加工前のポリゴン１０〜４０の頂点の座標から、１回の行列演算を行うことで、顔画像加工後のポリゴン１０〜４０の頂点の座標を算出することができる。
【００４３】
なお、ステップＳ２（Ｓ３）においては、ユーザが直接に屈曲角θ（回転角α）の値を指示入力装置１２０から入力したが、所定のキーが押し下げられた時間に比例して屈曲角θ（回転角α）を増加させて、その屈曲角θ（回転角α）に対応する顔画像５００をユーザが画像表示装置１５０上で確認しながら、任意の角度でキーの押し下げをとりやめることにより、屈曲角θ（回転角α）の値を設定してもよい。
【００４４】
ステップＳ４においては、屈曲境界線設定手段１１１が式（１）を用いて座標ｅＭを設定するが、式（１）を用いることなく、ユーザが任意に座標ｅＭを指定してもよい。座標ｅＬおよび座標ｅＲについても、左右それぞれの目の位置ではなく、ユーザが顔画像の任意の位置に指定してもよい。また座標ｅＬおよび座標ｅＲについては、ユーザが指定するのではなく、目の形状と色（黒目の周囲に白目がある）の特徴を、例えば濃度分布を用いた画像処理等により判別することにより、屈曲境界線設定手段１１１が自動的に設定してもよい。この場合の顔画像の大きさや顔の向きは、屈曲境界線設定手段１１１が自動的に座標ｅＬおよび座標ｅＲすなわち顔画像上で目を認識できる程度に、制約される必要がある。
【００４５】
ステップＳ６において、ｘ軸を中心とした顔画像５００の回転角αがユーザにより入力されるが、ユーザは回転角αを入力するだけではなく、顔画像５００が回転角αを連続的に変化させる動作モードを選択することもできる。これにより、顔画像５００の表情を変化させ続けることが可能となり、ユーザの興味をより長く持続させることができる。
【００４６】
ステップＳ９に先だちユーザは、ステップＳ８−１において、遠近感をさらに強調するためのフォグ処理を行うためのフォグ処理手段１１４を用いて顔画像５００にフォグ処理を行うことを、選択することができる。フォグ処理は、物体の色調を式（１５）のように変えることにより、視点から遠い部分がかすんで見えるようにする技法である。
【００４７】
【数１５】
【００４８】
ここで、ｆはフォグ係数、Ｃｉは物体（テクスチャ５０〜８０が貼り付けられたポリゴン１０〜４０）の色、Ｃｆはフォグの色である。フォグ係数ｆは、視点と、回転角αだけ回転させたポリゴン１０〜４０との距離ｚに対して、（例えば式（１６）に示すように、ユーザが設定可能な係数ｄｅｎｓｉｔｙを比例定数として）指数関数的に減衰させてもよい。このフォグ処理を行うことによって、より現実味のある表示を行うことできる。
【００４９】
【数１６】
【００５０】
また、ステップＳ９に先だちユーザは、ステップＳ８−２において、物体に光が当たったかのように、物体の色を変化させたり、物体にハイライトを加えたりするための光源処理（ＯｐｅｎＧＬ Ｐｒｏｇｒａｍｍｉｎｇ Ｇｕｉｄｅ Ｐ．１８８−Ｐ．１９２参照）を行うことを、選択することができる。光源処理手段１１５は、視点の座標と、光源の座標と、回転角αだけ回転させたポリゴン１０〜４０の頂点の座標とに応じて、ポリゴン１０〜４０に対応するテクスチャ５０〜８０の色を変化させる。これにより、実際に顔画像５００を手にとって、所定の方向から光を照射したかのように、顔画像５００の全体に明暗をつけることができ、より現実味のある表示を行うことできる。
【００５１】
以上のステップＳ４〜Ｓ１０の工程で顔画像５００の描画が完了する。ステップＳ１１では、動作モードやパラメータ（屈曲角θ、回転角α）が指示入力装置１２０からのユーザ入力により変更されたか否かを確認して、動作モードやパラメータが変更された場合にはステップＳ５に戻って、再び顔画像５００の描画を行う。
【００５２】
ステップＳ１２では、加工された顔画像５００の保存を行うユーザ指示が指示入力装置１２０から行われたか否かを確認して、ユーザの指示があった場合にはステップＳ１５に進み、加工された顔画像５００の保存を行う。加工された顔画像５００は、加工された顔画像５００のデータ形式でそのまま保存してもよく、また、原画像即ち加工前の顔画像５００と、屈曲角θと、回転角αとからなるデータ形式で保存してもよい。加工された顔画像５００のデータ形式で保存した場合には、保存された顔画像５００を、通信装置１４０を用いて、本発明に係る画像加工装置１００を備えていない他の画像表示装置（コンピュータや携帯電話機等）に送信した場合にも、その画像表示装置で表示できるという利点がある。加工前の顔画像５００と、屈曲角θと、回転角αとからなるデータ形式で保存した場合には、ステップＳ２，Ｓ３において屈曲角θと回転角αとをユーザが入力する必要はなく、保存された値に設定される。
【００５３】
ステップＳ１３では、原画像即ち加工前の顔画像５００を入れ替えるユーザ指示が指示入力装置１２０から行われたか否かを確認して、ユーザ指示があった場合には、ステップＳ１に戻って原画像即ち加工前の顔画像５００の入力を行う。前述したように、ステップＳ１において複数の顔画像を入力して記憶装置１６０に記憶しておくことにより、このステップＳ１３において、原画像即ち加工前の顔画像５００を入れ替える作業を容易にすることができる。
【００５４】
ステップＳ１４では、このフローを終了させるユーザ指示が指示入力装置１２０から行われたか否かを確認する。ユーザ指示があった場合には、このフローは終了し、ユーザ指示がなかった場合にはステップＳ１１に戻ってこのフローを繰り返す。
【００５５】
このように、本実施の形態に係る画像加工装置１００においては、入力された顔画像５００を、ポリゴン１０〜４０に分割して、３次元空間内で屈曲および回転させた後に２次元平面上に投影してテクスチャ５０〜８０を貼り付けるので、簡単な処理でユーザの興味を持続させるような視覚的効果が得られる。
【００５６】
＜実施の形態２＞
図１１は、本発明の実施の形態２に係る画像加工装置２００を示す構成図である。図１１において、図１と同様の要素については同一の符号を付してしてあるので、それらのここでの詳細な説明は省略する。図１１に示される画像加工装置２００は、図１に示される画像加工装置１００において、中央処理装置１１０と画像表示装置１５０との間に、画像加工処理を専ら行うグラフィックスエンジン１７０を設置したものである。
【００５７】
グラフィックスエンジン１７０は、ジオメトリエンジン１７２と、レンダリングエンジン１７３と、テクスチャメモリ１７５と、フレームバッファ１７６と、Ｚバッファ１７７とを備える。ジオメトリエンジン１７２は、所定のプログラムに従って制御されることにより、屈曲境界線設定手段１１１と、ポリゴン加工手段１１２と、光源処理手段１１５として動作する機能を有する。レンダリングエンジン１７３は、所定のプログラムに従って制御されることにより、テクスチャ貼り付け手段１１３とフォグ処理手段１１４として動作する機能を有する。レンダリングエンジン１７３は、テクスチャメモリ１７５と、フレームバッファ１７６と、Ｚバッファ１７７とに接続されている。
【００５８】
図２のステップＳ４〜Ｓ９においては、屈曲境界線設定手段１１１およびポリゴン加工手段１１２として動作するジオメトリエンジン１７２が、ポリゴン１０〜４０の変換を行う。即ち、座標変換された頂点座標が得られる。
【００５９】
図２のステップＳ１０においては、テクスチャ貼り付け手段１１３として動作するレンダリングエンジン１７３が、テクスチャメモリ１７５に格納されている原画像データであるテクスチャ５０〜８０の補間演算を行い、変換されたポリゴン１０〜４０に貼り付ける。画像表示装置１５０へのテクスチャ５０〜８０の表示は、テクスチャ５０〜８０の座標値および色値を、フレームバッファ１７６に書き込むことにより行われる。即ち、ジオメトリエンジン１７２により得られた座標変換後の頂点座標に対して、レンダリングエンジン１７３は、テクスチャメモリ１７５に既に格納しておいたテクスチャ５０〜８０を割り当てる。そして、ポリゴン内については、ディスプレイの解像度に相当する個々のピクセルの座標におけるテクスチャの位置を変換後の頂点座標から補間演算することで求め、その補間されたテクスチャ位置における色値をフレームバッファ１７６に書き込む。
【００６０】
このときレンダリングエンジン１７３は、テクスチャ５０〜８０に対応するポリゴン１０〜４０の頂点のｚ座標値も補間演算してＺバッファ１７６に書き込む。但し、書き込もうとするピクセルのｚ座標値が既に格納されているｚ座標値よりも小さくて、視点から奥行き方向に対しては既に手前にポリゴンの一部が存在して、書き込もうとするポリゴン上の部分は見えない位置にある場合には、書き込みを行わない。これによりレンダリングエンジン１７３は、視点に最も近い部分にある画像のみを、画像表示装置１５０に表示させることができる。
【００６１】
また、レンダリングエンジン１７３がテクスチャ５０〜８０の補間演算を行う際には、座標値だけではなく色値についても、近傍のテクスチャの色値でフィルタリングして補間演算を行ってよい。これにより、滑らかに色が変化するテクスチャマッピングが可能となる。
【００６２】
このように、本実施の形態に係る画像加工装置２００は、画像加工処理を専ら行うグラフィックスエンジン１７０を備えているので、実施の形態１の効果に加えて、画像加工処理を高速に行うことができ、また、中央処理装置１１０において画像加工処理以外の処理を並行して行うことができる。実施の形態１で説明した画像加工処理は、３次元グラフィックス処理として一般的な、座標変換とテクスチャマッピングとの組み合わせによって成り立っているので、グラフィックスエンジン１７０として専用のハードウェアを持つことにより、上述したもの以外の３次元グラフィックス処理にも対応でき、様々な画像処理を行うことができる。
【００６３】
【発明の効果】
以上、説明したように、請求項１に記載の発明に係る画像加工装置は、２次元画像を入力させる画像入力手段と、入力された前記２次元画像を記憶する画像記憶手段と、記憶された前記２次元画像上に屈曲境界線を設定する屈曲境界線設定手段と、設定された前記屈曲境界線に沿って前記２次元画像を指定された屈曲角度で３次元空間内において屈曲させるとともに、視線の深さ方向に対する回転を規定する所定の回転軸を中心として指定された回転角度で回転させた画像を作成する画像加工手段と、前記画像加工手段により作成された前記画像を表示する画像表示手段とを備えるので、簡単な処理で、ユーザの興味を持続させるような視覚的効果が得られる。
【図面の簡単な説明】
【図１】実施の形態１に係る画像加工装置の構成図である。
【図２】実施の形態１に係る画像加工方法を示すフローチャートである。
【図３】実施の形態１に係る加工前の顔画像を示す図である。
【図４】実施の形態１に係る顔画像の回転を示す図である。
【図５】実施の形態１に係る顔画像の平行移動を示す図である。
【図６】実施の形態１に係る顔画像の平行移動を示す図である。
【図７】実施の形態１に係る顔画像の回転を示す図である。
【図８】実施の形態１に係る顔画像の回転を示す図である。
【図９】実施の形態１に係る加工後の顔画像を示す図である。
【図１０】実施の形態１に係る加工後の顔画像を示す図である。
【図１１】実施の形態２に係る画像加工装置の構成図である。
【符号の説明】
１０〜４０ ポリゴン、１１〜１４，２１〜２４，３１〜３４，４１〜４４，５１〜５４，６１〜６４，７１〜７４，８１〜８４ 点、５０〜８０ テクスチャ、１００，２００ 画像加工装置、１１０ 中央処理装置、１１１ 屈曲境界線設定手段、１１２ ポリゴン加工手段、１１３ テクスチャ貼り付け手段、１１４ フォグ処理手段、１１５ 光源処理手段、１１６ 画像加工手段、１２０指示入力装置、１３０ 画像入力装置、１４０ 通信装置、１５０ 画像表示装置、１６０ 記憶装置、１７０ グラフィックスエンジン、１７２ ジオメトリエンジン、１７３ レンダリングエンジン、１７５ テクスチャメモリ、１７６ フレームバッファ、１７７ Ｚバッファ、５００ 顔画像、ｅＬ，ｅＲ，ｅＭ 座標、α 回転角、θ 屈曲角。
【発明の属する技術分野】
本発明は、画像を変形させる画像加工装置に関するものであり、特に、顔写真等の顔画像を加工できる携帯電話機に用いるのに好適である。
【０００２】
【従来の技術】
従来の携帯電話機における顔写真等の顔画像の加工方法としては、ネガ反転やセピア化などのように階調変換を行うものや、イラストやフレームを付加して合成するものなどがあった。これらの加工方法においては、元となる画像の形状は加工されなかった。
【０００３】
またコンピュータ等において画像の形状を加工する方法としては、３次元グラフィックスを利用したテクスチャマッピングの技法が挙げられる。従来の顔写真等の顔画像の加工方法におけるテクスチャマッピングでは、２次元のテクスチャ画像に２次元空間の中だけで変形を加えたり、３次元空間内で３次元オブジェクトモデルを構築してそのモデルを形成する個々の面に対して２次元テクスチャ画像を貼り付けたりする方法が採られてきた。このような画像加工方法の例は、例えば特許文献１に記載されている。
【０００４】
【特許文献１】
特開２０００−１７２８７４号公報
【０００５】
【発明が解決しようとする課題】
従来の携帯電話機における顔画像や顔写真の加工方法は、以上のように、基本的には２次元の座標空間の中でのみ行われていたので、ユーザの興味を持続させることが難しいという問題点があった。
【０００６】
またユーザの興味を持続させるためには、複雑なモデルを準備しなければならず、その加工のために膨大な演算処理が必要になるという問題点があった。
【０００７】
本発明は以上の問題点を解決するためになされたものであり、複雑なモデルの準備やその加工のための膨大な演算処理を要することなく、簡単な処理でユーザの興味を持続させるような視覚的効果が得られる、顔写真等の顔画像を扱うのに適した画像加工装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明に係る画像加工装置は、２次元画像を入力させる画像入力手段と、入力された前記２次元画像を記憶する画像記憶手段と、記憶された前記２次元画像上に屈曲境界線を設定する屈曲境界線設定手段と、設定された前記屈曲境界線に沿って前記２次元画像を指定された屈曲角度で３次元空間内において屈曲させるとともに、視線の深さ方向に対する回転を規定する所定の回転軸を中心として指定された回転角度で回転させた画像を作成する画像加工手段と、前記画像加工手段により作成された前記画像を表示する画像表示手段とを備える。
【０００９】
【発明の実施の形態】
＜実施の形態１＞
図１は、本発明の実施の形態１に係る画像加工装置１００を示す構成図である。画像加工装置１００は、中央処理装置（ＣＰＵ）１１０と、指示入力装置１２０と、画像入力装置１３０と、通信装置１４０と、画像表示装置１５０と、記憶装置１６０とを備える。中央処理装置１１０は、画像加工装置１００の全体の制御を行う。指示入力装置１２０は、中央処理装置１００への指示をユーザが入力するキーボード等である。画像入力装置１３０は、カメラやスキャナ、ビデオ等から画像を入力させる装置である。また画像加工装置１００は、画像データ等の送受信を行う通信装置１４０を介して、インターネット等から画像を入力させることもできる。画像表示装置１５０は、画像を表示するディスプレイ等である。記憶装置１６０は、データを格納するメモリ等である。中央処理装置１１０は、所定のプログラムに従って制御されることにより、屈曲境界線設定手段１１１と、ポリゴン加工手段１１２およびテクスチャ貼り付け手段１１３を有する画像加工手段１１６と、フォグ処理手段１１４と、光源処理手段１１５として動作する機能を有する。
【００１０】
図２は、画像加工装置１００を用いた画像加工の処理手順を示すフローチャートである。
【００１１】
まずステップＳ１では、画像入力装置１３０から、例えば図３に示されるような顔画像５００が入力される。入力された顔画像５００は、記憶装置１６０に取り込まれる。このときに複数の顔画像を入力して記憶装置１６０に記憶しておくことにより、後述のステップＳ１３において、原画像即ち加工前の顔画像５００を入れ替える作業を容易にすることができる。
【００１２】
ステップＳ２では、後述のステップＳ５〜Ｓ７において、顔画像５００を縦方向（ｙ軸方向）に屈曲させるための屈曲角θを、指示入力装置１２０からユーザが入力することにより設定する。
【００１３】
ステップＳ３では、屈曲された顔画像５００を後述のステップＳ８においてｘ軸を中心としてユーザの視線の深さ方向に回転させるための回転角αを、指示入力装置１２０からユーザが入力することにより設定する。
【００１４】
ステップＳ４では、屈曲境界線設定手段１１１が、顔画像５００上で縦方向の３本の屈曲境界線を設定する。図３に示すように、顔画像５００の横方向をｘ軸、縦方向をｙ軸とする。顔画像５００の左端のｘ座標を０．０、顔画像の右端のｘ座標を１．０、顔座標の下端のｙ座標を０．０、顔座標の上端のｙ座標を１．０とする。ユーザは画像表示装置１５０に表示された顔画像５００を見ながら指示入力装置１２０に入力することにより、左右それぞれの目の位置のｘ座標である座標ｅＬおよび座標ｅＲを指定する。屈曲境界線設定手段１１１は、指定された座標ｅＬおよび座標ｅＲに基づいて当該座標ｅＬ，ｅＲを設定するとともに、
【００１５】
【数１】
により座標ｅＭを設定する。
【００１７】
顔画像５００は、直線ｘ＝０．０、ｘ＝ｅＬ、ｘ＝ｅＭ、ｘ＝ｅＲ、ｘ＝１．０によって４つの四角形に分割される。図３に示すように、ｘｙ平面に垂直な方向にｚ軸を定め、顔画像５００を、平面ｚ＝０上に置かれた平面として扱うと、分割された四角形は、４つのポリゴン１０〜４０として、それらの頂点の座標で表現して扱うことができる。このとき顔画像５００は、ポリゴン１０〜４０上に、テクスチャ５０〜８０が貼り付けられた、２次元テクスチャ画像として扱われる。ポリゴン１０〜４０の頂点の座標は、ポリゴン１０では点１１（０．０，０．０，０．０）、点１２（０．０，１．０，０．０）、点１３（ｅＬ，０．０，０．０）、点１４（ｅＬ，１．０，０．０）、ポリゴン２０では点２１（ｅＬ，０．０，０．０）、点２２（ｅＬ，１．０，０．０）、点２３（ｅＭ，０．０，０．０）、点２４（ｅＭ，１．０，０．０）、ポリゴン３０では点３１（ｅＭ，０．０，０．０）、点３２（ｅＭ，１．０，０．０）、点３３（ｅＲ，０．０，０．０）、点３４（ｅＲ，１．０，０．０）、ポリゴン４０では点４１（ｅＲ，０．０，０．０）、点４２（ｅＲ，１．０，０．０）、点４３（１．０，０．０，０．０）、点４４（１．０，１．０，０．０）となる。
【００１８】
テクスチャ５０〜８０の頂点の座標は、ポリゴン１０〜４０の頂点の座標からｚ座標成分を取り去ることにより導くことができる。従って、テクスチャ５０〜８０の頂点の座標は、テクスチャ５０では点５１（０．０，０．０）、点５２（０．０，１．０）、点５３（ｅＬ，０．０）、点５４（ｅＬ，１．０）、テクスチャ６０では点６１（ｅＬ，０．０）、点６２（ｅＬ，１．０）、点６３（ｅＭ，０．０）、点６４（ｅＭ，１．０）、テクスチャ７０では点７１（ｅＭ，０．０）、点７２（ｅＭ，１．０）、点７３（ｅＲ，０．０）、点７４（ｅＲ，１．０）、テクスチャ８０では点８１（ｅＲ，０．０）、点８２（ｅＲ，１．０）、点８３（１．０，０．０）、点８４（１．０，１．０）となる。
【００１９】
以下に説明するステップＳ５〜Ｓ１０において、画像加工手段１１６が、ポリゴン１０〜４０の頂点の座標を３次元空間内で平行移動および回転させた後に２次元平面上に投影し、その各ポリゴンにテクスチャ５０〜８０を貼り付ける（マッピングする）ことにより、顔画像５００が加工される。
【００２０】
まず、以下のステップＳ５〜Ｓ７により、ポリゴン加工手段１１２が顔画像５００を縦方向（ｙ軸方向）にθだけ屈曲させる。ステップＳ５〜Ｓ７では、顔画像５００が、直線ｘ＝ｅＬと直線ｘ＝ｅＲとに沿って凸形になり、直線ｘ＝ｅＭに沿って凹形になるように屈曲させる。
【００２１】
ステップＳ５では、図４に示すように、ポリゴン加工手段１１２がｙ軸を回転軸としてポリゴン１０〜４０を回転させる。回転角は、ポリゴン１０，３０がθで、ポリゴン２０，４０が−θである。回転によるこの座標変換を表す行列は、ポリゴン１０，３０については式（２）、ポリゴン２０，４０については式（３）のように表すことができる。なお、後述のステップＳ９で説明する透視法射影による座標変換が４行４列の行列で表されるため、ポリゴン座標も３次元グラフィックスにおける同次座標として値１を付加して４次元座標とし、全ての座標変換を４行４列の行列で表すことにする。
【００２２】
【数２】
【数３】
ステップＳ５でのθの回転により、辺を接していたポリゴン１０〜４０が分離されてしまう。そこで、ステップＳ６では、再びポリゴン１０〜４０の辺が接するように、ポリゴン加工手段１１２がポリゴン２０〜４０の平行移動を行う。このとき図５に示すように、ポリゴン１０は平行移動させずに、ポリゴン１０に対してポリゴン２０，３０，４０をそれぞれｚ軸方向に平行移動させる。ポリゴン２０，３０，４０の移動距離ａ，ｂ，ｃは、それぞれ
【００２５】
【数４】
【数５】
【数６】
により算出することができる。平行移動によるこの座標変換を表す行列は、ポリゴン２０，３０，４０について、式（７）、式（８）、式（９）のように表すことができる。
【００２９】
【数７】
【数８】
【数９】
ステップＳ６では、ポリゴン１０に対してポリゴン２０，３０，４０を平行移動するので、顔画像５００は、ｘ座標が小さくｚ座標が大きい方へ寄ってしまい、後述のステップＳ９でｘｙ平面上に投影したときに、画像表示装置１５０に表示される顔画像５００が左にずれたり、大きくなってしまったりする。これを補正するために、ステップＳ７では図６に示すように、ｘ座標が大きくｚ座標が小さい方へ、ポリゴン加工手段１１２がポリゴン１０〜４０を平行移動させる。ｘ方向の移動距離をｄ、ｚ方向の距離をｅとすると、ｄとｅとはそれぞれ式（１０）、式（１１）のように表すことができる。
【００３３】
【数１０】
【数１１】
平行移動によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１２）のように表すことができる。
【００３６】
【数１２】
ステップＳ８では、ポリゴン加工手段１１２が、ポリゴン１０〜４０をｘ軸を中心としてユーザの視線の深さ方向に回転角αだけ回転させることにより、顔画像５００の表情を変化させる。回転角αが負の場合に、回転させたポリゴン１０〜４０をｘ軸の正の方向から見た様子を図７に示す。また回転角αが正の場合に、回転させたポリゴン１０〜４０をｘ軸の正の方向から見た様子を図８に示す。回転によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１３）のように表すことができる。
【００３８】
【数１３】
ステップＳ９では、ポリゴン加工手段１１２が、ポリゴン１０〜４０をｘｙ平面上に投影させる。３次元空間内に置かれた物体を２次元の画像表示装置１５０で表示させる場合には、３次元グラフィックスにおける射影方法である透視法射影を用いる。透視法射影を用いることにより、遠くにあるものは小さく、近くにあるものは大きく表示させて、実際に人間の目で見たときの画像に近づけることができる。これにより、投影された顔画像５００の遠近感が表現されて、実際に顔画像５００を手にとって折り曲げて斜め上方もしくは斜め下方から見ているかのように表示することができる。透視法射影によるこの座標変換を表す行列は、ポリゴン１０〜４０について、式（１４）のように表すことができる。ここで、ｌは透視法射影における視体積の左端座標、ｒは右端座標、ｔは上端座標、ｂは下端座標、ｎは手前端座標、ｆは奥端座標である。
【００４０】
【数１４】
ステップＳ１０では、テクスチャ貼り付け手段１１３が、ポリゴン１０〜４０に２次元テクスチャ画像であるテクスチャ５０〜８０を貼り付ける（テクスチャマッピング）。図７，８にそれぞれ示されるポリゴン１０〜４０にテクスチャ５０〜８０を貼り付けた顔画像５００を図９，１０に示す。ステップＳ５〜Ｓ８の座標変換により、ポリゴン１０〜４０の頂点の座標が変換されているため、テクスチャ５０〜８０を貼り付ける際には、テクスチャ５０〜８０を変換してから貼り付ける必要がある。このテクスチャ５０〜８０の変換は、座標変換前のポリゴン１０〜４０の頂点の座標と、座標変換後のポリゴン１０〜４０の頂点の座標とから、補間演算を行い、座標変換後のポリゴン１０〜４０に、変換されたテクスチャ５０〜８０を貼り付ける。
【００４２】
以上の工程の説明においては座標変換を表す行列を１つずつ分けて説明したが、本実施の形態のように座標変換に伴う全てのパラメータが準備できる場合には、中央処理装置１１０が、それぞれの座標変換を表す行列から１つの行列積をあらかじめ算出しておいてもよい。これにより、顔画像加工前のポリゴン１０〜４０の頂点の座標から、１回の行列演算を行うことで、顔画像加工後のポリゴン１０〜４０の頂点の座標を算出することができる。
【００４３】
なお、ステップＳ２（Ｓ３）においては、ユーザが直接に屈曲角θ（回転角α）の値を指示入力装置１２０から入力したが、所定のキーが押し下げられた時間に比例して屈曲角θ（回転角α）を増加させて、その屈曲角θ（回転角α）に対応する顔画像５００をユーザが画像表示装置１５０上で確認しながら、任意の角度でキーの押し下げをとりやめることにより、屈曲角θ（回転角α）の値を設定してもよい。
【００４４】
ステップＳ４においては、屈曲境界線設定手段１１１が式（１）を用いて座標ｅＭを設定するが、式（１）を用いることなく、ユーザが任意に座標ｅＭを指定してもよい。座標ｅＬおよび座標ｅＲについても、左右それぞれの目の位置ではなく、ユーザが顔画像の任意の位置に指定してもよい。また座標ｅＬおよび座標ｅＲについては、ユーザが指定するのではなく、目の形状と色（黒目の周囲に白目がある）の特徴を、例えば濃度分布を用いた画像処理等により判別することにより、屈曲境界線設定手段１１１が自動的に設定してもよい。この場合の顔画像の大きさや顔の向きは、屈曲境界線設定手段１１１が自動的に座標ｅＬおよび座標ｅＲすなわち顔画像上で目を認識できる程度に、制約される必要がある。
【００４５】
ステップＳ６において、ｘ軸を中心とした顔画像５００の回転角αがユーザにより入力されるが、ユーザは回転角αを入力するだけではなく、顔画像５００が回転角αを連続的に変化させる動作モードを選択することもできる。これにより、顔画像５００の表情を変化させ続けることが可能となり、ユーザの興味をより長く持続させることができる。
【００４６】
ステップＳ９に先だちユーザは、ステップＳ８−１において、遠近感をさらに強調するためのフォグ処理を行うためのフォグ処理手段１１４を用いて顔画像５００にフォグ処理を行うことを、選択することができる。フォグ処理は、物体の色調を式（１５）のように変えることにより、視点から遠い部分がかすんで見えるようにする技法である。
【００４７】
【数１５】
ここで、ｆはフォグ係数、Ｃｉは物体（テクスチャ５０〜８０が貼り付けられたポリゴン１０〜４０）の色、Ｃｆはフォグの色である。フォグ係数ｆは、視点と、回転角αだけ回転させたポリゴン１０〜４０との距離ｚに対して、（例えば式（１６）に示すように、ユーザが設定可能な係数ｄｅｎｓｉｔｙを比例定数として）指数関数的に減衰させてもよい。このフォグ処理を行うことによって、より現実味のある表示を行うことできる。
【００４９】
【数１６】
また、ステップＳ９に先だちユーザは、ステップＳ８−２において、物体に光が当たったかのように、物体の色を変化させたり、物体にハイライトを加えたりするための光源処理（ＯｐｅｎＧＬ Ｐｒｏｇｒａｍｍｉｎｇ Ｇｕｉｄｅ Ｐ．１８８−Ｐ．１９２参照）を行うことを、選択することができる。光源処理手段１１５は、視点の座標と、光源の座標と、回転角αだけ回転させたポリゴン１０〜４０の頂点の座標とに応じて、ポリゴン１０〜４０に対応するテクスチャ５０〜８０の色を変化させる。これにより、実際に顔画像５００を手にとって、所定の方向から光を照射したかのように、顔画像５００の全体に明暗をつけることができ、より現実味のある表示を行うことできる。
【００５１】
以上のステップＳ４〜Ｓ１０の工程で顔画像５００の描画が完了する。ステップＳ１１では、動作モードやパラメータ（屈曲角θ、回転角α）が指示入力装置１２０からのユーザ入力により変更されたか否かを確認して、動作モードやパラメータが変更された場合にはステップＳ５に戻って、再び顔画像５００の描画を行う。
【００５２】
ステップＳ１２では、加工された顔画像５００の保存を行うユーザ指示が指示入力装置１２０から行われたか否かを確認して、ユーザの指示があった場合にはステップＳ１５に進み、加工された顔画像５００の保存を行う。加工された顔画像５００は、加工された顔画像５００のデータ形式でそのまま保存してもよく、また、原画像即ち加工前の顔画像５００と、屈曲角θと、回転角αとからなるデータ形式で保存してもよい。加工された顔画像５００のデータ形式で保存した場合には、保存された顔画像５００を、通信装置１４０を用いて、本発明に係る画像加工装置１００を備えていない他の画像表示装置（コンピュータや携帯電話機等）に送信した場合にも、その画像表示装置で表示できるという利点がある。加工前の顔画像５００と、屈曲角θと、回転角αとからなるデータ形式で保存した場合には、ステップＳ２，Ｓ３において屈曲角θと回転角αとをユーザが入力する必要はなく、保存された値に設定される。
【００５３】
ステップＳ１３では、原画像即ち加工前の顔画像５００を入れ替えるユーザ指示が指示入力装置１２０から行われたか否かを確認して、ユーザ指示があった場合には、ステップＳ１に戻って原画像即ち加工前の顔画像５００の入力を行う。前述したように、ステップＳ１において複数の顔画像を入力して記憶装置１６０に記憶しておくことにより、このステップＳ１３において、原画像即ち加工前の顔画像５００を入れ替える作業を容易にすることができる。
【００５４】
ステップＳ１４では、このフローを終了させるユーザ指示が指示入力装置１２０から行われたか否かを確認する。ユーザ指示があった場合には、このフローは終了し、ユーザ指示がなかった場合にはステップＳ１１に戻ってこのフローを繰り返す。
【００５５】
このように、本実施の形態に係る画像加工装置１００においては、入力された顔画像５００を、ポリゴン１０〜４０に分割して、３次元空間内で屈曲および回転させた後に２次元平面上に投影してテクスチャ５０〜８０を貼り付けるので、簡単な処理でユーザの興味を持続させるような視覚的効果が得られる。
【００５６】
＜実施の形態２＞
図１１は、本発明の実施の形態２に係る画像加工装置２００を示す構成図である。図１１において、図１と同様の要素については同一の符号を付してしてあるので、それらのここでの詳細な説明は省略する。図１１に示される画像加工装置２００は、図１に示される画像加工装置１００において、中央処理装置１１０と画像表示装置１５０との間に、画像加工処理を専ら行うグラフィックスエンジン１７０を設置したものである。
【００５７】
グラフィックスエンジン１７０は、ジオメトリエンジン１７２と、レンダリングエンジン１７３と、テクスチャメモリ１７５と、フレームバッファ１７６と、Ｚバッファ１７７とを備える。ジオメトリエンジン１７２は、所定のプログラムに従って制御されることにより、屈曲境界線設定手段１１１と、ポリゴン加工手段１１２と、光源処理手段１１５として動作する機能を有する。レンダリングエンジン１７３は、所定のプログラムに従って制御されることにより、テクスチャ貼り付け手段１１３とフォグ処理手段１１４として動作する機能を有する。レンダリングエンジン１７３は、テクスチャメモリ１７５と、フレームバッファ１７６と、Ｚバッファ１７７とに接続されている。
【００５８】
図２のステップＳ４〜Ｓ９においては、屈曲境界線設定手段１１１およびポリゴン加工手段１１２として動作するジオメトリエンジン１７２が、ポリゴン１０〜４０の変換を行う。即ち、座標変換された頂点座標が得られる。
【００５９】
図２のステップＳ１０においては、テクスチャ貼り付け手段１１３として動作するレンダリングエンジン１７３が、テクスチャメモリ１７５に格納されている原画像データであるテクスチャ５０〜８０の補間演算を行い、変換されたポリゴン１０〜４０に貼り付ける。画像表示装置１５０へのテクスチャ５０〜８０の表示は、テクスチャ５０〜８０の座標値および色値を、フレームバッファ１７６に書き込むことにより行われる。即ち、ジオメトリエンジン１７２により得られた座標変換後の頂点座標に対して、レンダリングエンジン１７３は、テクスチャメモリ１７５に既に格納しておいたテクスチャ５０〜８０を割り当てる。そして、ポリゴン内については、ディスプレイの解像度に相当する個々のピクセルの座標におけるテクスチャの位置を変換後の頂点座標から補間演算することで求め、その補間されたテクスチャ位置における色値をフレームバッファ１７６に書き込む。
【００６０】
このときレンダリングエンジン１７３は、テクスチャ５０〜８０に対応するポリゴン１０〜４０の頂点のｚ座標値も補間演算してＺバッファ１７６に書き込む。但し、書き込もうとするピクセルのｚ座標値が既に格納されているｚ座標値よりも小さくて、視点から奥行き方向に対しては既に手前にポリゴンの一部が存在して、書き込もうとするポリゴン上の部分は見えない位置にある場合には、書き込みを行わない。これによりレンダリングエンジン１７３は、視点に最も近い部分にある画像のみを、画像表示装置１５０に表示させることができる。
【００６１】
また、レンダリングエンジン１７３がテクスチャ５０〜８０の補間演算を行う際には、座標値だけではなく色値についても、近傍のテクスチャの色値でフィルタリングして補間演算を行ってよい。これにより、滑らかに色が変化するテクスチャマッピングが可能となる。
【００６２】
このように、本実施の形態に係る画像加工装置２００は、画像加工処理を専ら行うグラフィックスエンジン１７０を備えているので、実施の形態１の効果に加えて、画像加工処理を高速に行うことができ、また、中央処理装置１１０において画像加工処理以外の処理を並行して行うことができる。実施の形態１で説明した画像加工処理は、３次元グラフィックス処理として一般的な、座標変換とテクスチャマッピングとの組み合わせによって成り立っているので、グラフィックスエンジン１７０として専用のハードウェアを持つことにより、上述したもの以外の３次元グラフィックス処理にも対応でき、様々な画像処理を行うことができる。
【００６３】
【発明の効果】
以上、説明したように、請求項１に記載の発明に係る画像加工装置は、２次元画像を入力させる画像入力手段と、入力された前記２次元画像を記憶する画像記憶手段と、記憶された前記２次元画像上に屈曲境界線を設定する屈曲境界線設定手段と、設定された前記屈曲境界線に沿って前記２次元画像を指定された屈曲角度で３次元空間内において屈曲させるとともに、視線の深さ方向に対する回転を規定する所定の回転軸を中心として指定された回転角度で回転させた画像を作成する画像加工手段と、前記画像加工手段により作成された前記画像を表示する画像表示手段とを備えるので、簡単な処理で、ユーザの興味を持続させるような視覚的効果が得られる。
【図面の簡単な説明】
【図１】実施の形態１に係る画像加工装置の構成図である。
【図２】実施の形態１に係る画像加工方法を示すフローチャートである。
【図３】実施の形態１に係る加工前の顔画像を示す図である。
【図４】実施の形態１に係る顔画像の回転を示す図である。
【図５】実施の形態１に係る顔画像の平行移動を示す図である。
【図６】実施の形態１に係る顔画像の平行移動を示す図である。
【図７】実施の形態１に係る顔画像の回転を示す図である。
【図８】実施の形態１に係る顔画像の回転を示す図である。
【図９】実施の形態１に係る加工後の顔画像を示す図である。
【図１０】実施の形態１に係る加工後の顔画像を示す図である。
【図１１】実施の形態２に係る画像加工装置の構成図である。
【符号の説明】
１０〜４０ ポリゴン、１１〜１４，２１〜２４，３１〜３４，４１〜４４，５１〜５４，６１〜６４，７１〜７４，８１〜８４ 点、５０〜８０ テクスチャ、１００，２００ 画像加工装置、１１０ 中央処理装置、１１１ 屈曲境界線設定手段、１１２ ポリゴン加工手段、１１３ テクスチャ貼り付け手段、１１４ フォグ処理手段、１１５ 光源処理手段、１１６ 画像加工手段、１２０指示入力装置、１３０ 画像入力装置、１４０ 通信装置、１５０ 画像表示装置、１６０ 記憶装置、１７０ グラフィックスエンジン、１７２ ジオメトリエンジン、１７３ レンダリングエンジン、１７５ テクスチャメモリ、１７６ フレームバッファ、１７７ Ｚバッファ、５００ 顔画像、ｅＬ，ｅＲ，ｅＭ 座標、α 回転角、θ 屈曲角。
Claims (9)
- ２次元画像を入力させる画像入力手段と、
入力された前記２次元画像を記憶する画像記憶手段と、
記憶された前記２次元画像上に屈曲境界線を設定する屈曲境界線設定手段と、
設定された前記屈曲境界線に沿って前記２次元画像を指定された屈曲角度で３次元空間内において屈曲させるとともに、視線の深さ方向に対する回転を規定する所定の回転軸を中心として指定された回転角度で回転させた画像を作成する画像加工手段と、
前記画像加工手段により作成された前記画像を表示する画像表示手段と
を備える画像加工装置。 - 請求項１に記載の画像加工装置であって、
前記２次元画像は２次元顔画像であり、
前記屈曲境界線は、目の位置を含む前記２次元顔画像上の複数の位置に設定される画像加工装置。 - 請求項１又は請求項２に記載の画像加工装置であって、
前記屈曲境界線設定手段が、
記憶された前記２次元画像の濃度分布から前記屈曲境界線の位置を算出する手段を備える画像加工装置。 - 請求項１乃至請求項３のいずれかに記載の画像加工装置であって、
前記回転角度は連続的に変化される
画像加工装置。 - 請求項１乃至請求項４のいずれかに記載の画像加工装置であって、
前記画像記憶手段が、入力された複数の前記２次元画像を記憶する画像加工装置。 - 請求項１乃至請求項５のいずれかに記載の画像加工装置であって、
前記画像加工手段により作成された前記画像に対して光源処理を行う光源処理手段をさらに備える画像加工装置。 - 請求項１乃至請求項６のいずれかに記載の画像加工装置であって、
前記画像加工手段により作成された前記画像に対してフォグ処理を行うフォグ処理手段
をさらに備える画像加工装置。 - 請求項１乃至請求項７のいずれかに記載の画像加工装置であって、
前記画像加工装置により加工された前記２次元顔画像を送受信する通信手段
をさらに備える画像加工装置。 - 請求項１乃至請求項７のいずれかに記載の画像加工装置であって、
前記画像入力手段により入力された前記２次元顔画像と、
前記屈曲角度と、
前記回転角度とからなるデータを送受信する通信手段をさらに備える画像加工装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366040A JP2004199301A (ja) | 2002-12-18 | 2002-12-18 | 画像加工装置 |
| US10/454,506 US20040119723A1 (en) | 2002-12-18 | 2003-06-05 | Apparatus manipulating two-dimensional image in a three-dimensional space |
| DE10336492A DE10336492A1 (de) | 2002-12-18 | 2003-08-08 | Vorrichtung zur Bearbeitung eines zweidimensionalen Bildes in einem dreidimensionalen Raum |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366040A JP2004199301A (ja) | 2002-12-18 | 2002-12-18 | 画像加工装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004199301A true JP2004199301A (ja) | 2004-07-15 |
| JP2004199301A5 JP2004199301A5 (ja) | 2005-11-10 |
Family
ID=32588297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366040A Pending JP2004199301A (ja) | 2002-12-18 | 2002-12-18 | 画像加工装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040119723A1 (ja) |
| JP (1) | JP2004199301A (ja) |
| DE (1) | DE10336492A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006041179A1 (ja) * | 2004-10-15 | 2006-04-20 | Vodafone K.K. | 連係動作方法及び通信端末装置 |
| JP2007068133A (ja) * | 2005-08-29 | 2007-03-15 | For-A Co Ltd | ３次元画像特殊効果装置 |
| JP2015136377A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | 画像処理装置 |
| JP2016066327A (ja) * | 2014-09-26 | 2016-04-28 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4986279B2 (ja) * | 2006-09-08 | 2012-07-25 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| US9326831B2 (en) * | 2006-10-20 | 2016-05-03 | Align Technology, Inc. | System and method for positioning three-dimensional brackets on teeth |
| US8619131B2 (en) * | 2007-09-21 | 2013-12-31 | Koninklijke Philips N.V. | Method of illuminating a 3D object with a modified 2D image of the 3D object by means of a projector, and projector suitable for performing such a method |
| EP2447915A1 (en) * | 2010-10-27 | 2012-05-02 | Sony Ericsson Mobile Communications AB | Real time three-dimensional menu/icon shading |
| US20120197428A1 (en) * | 2011-01-28 | 2012-08-02 | Scott Weaver | Method For Making a Piñata |
| US9325936B2 (en) | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
| US10127725B2 (en) * | 2015-09-02 | 2018-11-13 | Microsoft Technology Licensing, Llc | Augmented-reality imaging |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715385A (en) * | 1992-07-10 | 1998-02-03 | Lsi Logic Corporation | Apparatus for 2-D affine transformation of images |
| US6492986B1 (en) * | 1997-06-02 | 2002-12-10 | The Trustees Of The University Of Pennsylvania | Method for human face shape and motion estimation based on integrating optical flow and deformable models |
| JP2001216515A (ja) * | 2000-02-01 | 2001-08-10 | Matsushita Electric Ind Co Ltd | 人物の顔の検出方法およびその装置 |
| US6960020B2 (en) * | 2001-08-31 | 2005-11-01 | Analogic Corporation | Image positioning method and system for tomosynthesis in a digital X-ray radiography system |
| US7246044B2 (en) * | 2000-09-13 | 2007-07-17 | Matsushita Electric Works, Ltd. | Method for aiding space design using network, system therefor, and server computer of the system |
| JP2002123160A (ja) * | 2000-10-16 | 2002-04-26 | Sony Corp | ホログラフィックステレオグラム印刷受注システム及び方法 |
-
2002
- 2002-12-18 JP JP2002366040A patent/JP2004199301A/ja active Pending
-
2003
- 2003-06-05 US US10/454,506 patent/US20040119723A1/en not_active Abandoned
- 2003-08-08 DE DE10336492A patent/DE10336492A1/de not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006041179A1 (ja) * | 2004-10-15 | 2006-04-20 | Vodafone K.K. | 連係動作方法及び通信端末装置 |
| JPWO2006041179A1 (ja) * | 2004-10-15 | 2008-05-22 | ソフトバンクモバイル株式会社 | 連係動作方法及び通信端末装置 |
| JP4722052B2 (ja) * | 2004-10-15 | 2011-07-13 | ソフトバンクモバイル株式会社 | 連係動作方法及び通信端末装置 |
| US8375079B2 (en) | 2004-10-15 | 2013-02-12 | Vodafone Group Plc | Coordinated operation method, and communication terminal device |
| JP2007068133A (ja) * | 2005-08-29 | 2007-03-15 | For-A Co Ltd | ３次元画像特殊効果装置 |
| JP2015136377A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | 画像処理装置 |
| JP2016066327A (ja) * | 2014-09-26 | 2016-04-28 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE10336492A1 (de) | 2004-07-15 |
| US20040119723A1 (en) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3294149B2 (ja) | 立体テクスチャマッピング処理装置及びそれを用いた３次元画像生成装置 | |
| KR101145260B1 (ko) | 3ｄ 객체 모델에 텍스쳐를 매핑하는 방법 및 장치 | |
| US10593096B2 (en) | Graphics processing employing cube map texturing | |
| US8436852B2 (en) | Image editing consistent with scene geometry | |
| TWI478096B (zh) | 三維圖形裁剪方法、三維圖形呈現方法及其圖形處理裝置 | |
| JPH05210745A (ja) | ３次元グラフィックス処理方法及びその装置 | |
| JP3626144B2 (ja) | 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム | |
| CN110648274A (zh) | 鱼眼图像的生成方法及装置 | |
| US20140085312A1 (en) | Seamless fracture in a production pipeline | |
| CN115810101A (zh) | 三维模型风格化方法、装置、电子设备及存储介质 | |
| JPH0771936A (ja) | 画像処理装置及びその方法 | |
| RU2680355C1 (ru) | Способ и система удаления невидимых поверхностей трёхмерной сцены | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2004199301A (ja) | 画像加工装置 | |
| CN104933746B (zh) | 一种为平面图片设置动态阴影的方法及装置 | |
| JP3459401B2 (ja) | Ｚバッファを用いた立体映像生成方法 | |
| JP2003115055A (ja) | 画像生成装置 | |
| KR20100075351A (ko) | 모바일용 컴퓨터 그래픽 랜더링 방법 및 시스템 | |
| JP5165819B2 (ja) | 画像処理方法および画像処理装置 | |
| CN113496506B (zh) | 图像处理方法、装置、设备及存储介质 | |
| JP4060375B2 (ja) | スポットライト特性形成方法及びこれを用いた画像処理装置 | |
| JPH0636025A (ja) | デフォーカス処理装置 | |
| JP2000057372A (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| JP4726336B2 (ja) | 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム | |
| US10453247B1 (en) | Vertex shift for rendering 360 stereoscopic content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081014 |