JP7087331B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7087331B2 JP7087331B2 JP2017195425A JP2017195425A JP7087331B2 JP 7087331 B2 JP7087331 B2 JP 7087331B2 JP 2017195425 A JP2017195425 A JP 2017195425A JP 2017195425 A JP2017195425 A JP 2017195425A JP 7087331 B2 JP7087331 B2 JP 7087331B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lips
- face image
- lip
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
- G06T11/10—Texturing; Colouring; Generation of textures or colours
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
- G06T11/60—Creating or editing images; Combining images with text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
顔画像を取得する処理を実行する取得手段と、
前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段と、
前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段と、
を備え、
前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始することを特徴とする。
撮像装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、撮像画像のデータとしてCPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
照明部22は、撮像部16の周囲に円を描くように設置された8個のLED(発光部材)と、当該撮像装置1において、この8個のLEDとは離れた位置に設置された1個のLEDとで構成される。これらのLEDは、ライブビュー撮影時、画像記録時に、ユーザの操作に従って選択的に発光する。このように照明のための光線の到来方向を変更させて顔を撮影することで、人為的に陰影がコントロールされた顔画像を取得することができる。
このため、本実施形態の撮像装置1では、薄くなった唇の色に対して、3つの要素のうち、彩度低減のみを復元し、他の効果は維持するようにして、唇の色を適切な色に補正する。
更に、本実施形態においては、唇の艶感を向上させる処理として、唇のテカリを強調する補正を行う。このとき、唇領域の画像が有する本来のテカリを強調する処理(テカリ強調処理)を実行することにより、自然な唇の艶感を再現する。これにより、上述の美白画像に対し、唇の質感を損なうことなく艶感を向上させる調整を行った顔画像(以下、「調整画像」という。)が生成される。
本実施形態の調整画像は、図2に示すように、画像全体に対して美白処理を施した画像(以下、「元画像」という。)から唇を含む領域を切り出す。そして、唇を含む領域に対して、美白処理によって薄くなってしまった唇の色を適切な色に再現するように色補正の処理を施して画像(以下、「色補正画像」という。)を作成する。色補正画像は、唇以外の画像全体に対して色補正がされているため、唇のみに色補正の効果がでるように、唇以外をマスクする色補正用マスク画像を用いて、元画像と色補正画像とをαブレンドによる画像合成をして、唇のみが色補正された画像(以下、「唇色補正画像」という。)を作成する。マスク画像は、αブレンドによる画像合成の際にα値となる。
本実施形態では、更に、上述の唇色補正画像に対して、唇の艶感を向上させるためのテカリ強調処理を施す。テカリ強調処理においては、唇を含む領域に対して、唇の本来のテカリを強調する処理を施した画像(以下、「テカリ強調画像」という。)を作成する。テカリ強調画像は、唇以外の画像全体に対してテカリ強調がされているため、唇のみにテカリ強調の効果がでるように、唇以外をマスクするテカリ強調用マスク画像を用いて、唇色補正画像とテカリ強調画像とをαブレンドによる画像合成をして、唇のみがテカリ強調された画像(以下、「唇テカリ強調画像」という。)を作成する。
その後、作成した唇テカリ強調画像を元画像の切り出し位置に合成して、調整画像を生成する。
図3は、色補正用マスク画像の作成例を示す模式図である。
本実施形態においては、美白処理により薄くなってしまった唇部分の色を再現する補正処理を施すために、唇に相当する領域に対応した色補正用マスク画像を生成する。
色補正用マスク画像は、図3に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほど色補正画像の合成の割合が高いことを示している。本実施形態においては、唇の中心部分は色補正が強く施されており、唇の外縁に近い部分は、肌との影響を少なくするために色補正が強く施されるように構成される。
HUEマップは、切り出し画像において唇の色に相当する箇所を特定したマップである。HUEマップは、まず、YUV色空間の切り出し画像をHSV(色相:Hue,彩度:Saturation・Chroma,明度:Value・Lightness・Brightness)色空間に変換する。その後、ノイズを除去するために、εフィルタでぼかした上で、HSV変換後の画像を解析(HSV解析処理)する。そして、HSV解析処理の処理結果から算出した値をHUEマップのマップ値として、HUEマップを作成する。
唇色レベルの設定では、まず、図2に示す器官検出で検出した点P1~P6から計測領域として上下の唇の中央付近に計測領域R1,R2を設定し、各計測領域におけるHSVそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇の色が取得可能な領域であれば、領域の数、種々の形状、位置、サイズであってもよい。
即ち、HUEマップのマップ値は、以下の式(1)により算出される。
HUEマップのマップ値(Map)=Lh×Ls×Lv・・・(1)
なお、「Lh」はHの唇色レベルを示し、「Ls」はSの唇色レベルを示し、「Lv」はVの唇色レベルを示す。
図5は、テカリ強調用マスク画像の作成例を示す模式図である。
本実施形態においては、唇の本来のテカリを強調する処理を施すために、唇に相当する領域に対応したマスク画像を生成する。
テカリ強調用マスク画像は、図5に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほどテカリ強調画像の合成の割合が高いことを示している。本実施形態においては、唇のうち下唇の部分はテカリ強調が強く施されている。
HUEマップは、図3を参照して上述した、切り出し画像において唇の色に相当する箇所を特定したマップである。図5の場合における唇テカリレベルの重み付けも、HSVのチャネル別に作成したヒストグラムに基づいて設定される。
唇テカリレベルの設定では、まず、図2に示す器官検出で検出した点P1~P6から計測領域として上下の唇の中央付近に計測領域R1,R2を設定し、各計測領域におけるHSVそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇のテカリが取得可能な領域であれば、種々の領域の数、形状、位置、サイズとすることができる。
即ち、HUEマップのマップ値は、上述の式(1)により算出される。
図7は、固定マップの作成を説明するための模式図である。
固定マップは、図7(a)に示すように、データから縮小サイズのマップを展開する。
そして、図7(b)示すように、画像における唇の輪郭情報(本実施形態においては、2点P5,P6の位置)から唇の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズに、リサイズして、HUEマップにおいて唇以外の部分を除去するために、HUEマップと合成されて使用される。合成に際しては、HUEマップと固定マップの最小値をとるようにする。
色補正画像は、本実施形態においては、器官検出によって検出された左右の瞳の下方の肌領域から計測したYUV色空間のV値に応じて決定された補正強度により、切り出し画像を補正処理して作成される。なお、左右の瞳の下方の肌領域は、目の下のクマを避けた位置であり、顔において肌の色を最も表わしている位置として決定されたものであり、顔における肌の色を抽出可能な位置であれば種々の位置であってもよい。
なお、リップ等で元々の唇の色が濃い場合には、補正が効き過ぎないように、唇の画素のV値の補正を行う。
唇色補正画像は、色補正画像と、切り出し画像とを、色補正用マスク画像に基づいて、αブレンドして画像合成して作成される。即ち、唇の領域のみに色補正が施され、それ以外の肌の部分は美白処理が施された唇色補正画像が生成される。
テカリ強調画像は、バイラテラルフィルタ(或いは他の平滑化フィルタ)によって、唇領域の肌を滑らかにする補正を実行した後、唇領域のテカリの画素数に応じたゲインをかけ、輝度を高める処理(テカリ強調)を実行することで作成される。このとき、例えば、画素の輝度成分にバイラテラルフィルタを適用することができる。また、例えば、唇領域のテカリの画素数(一例として、輝度が閾値以上の画素数)をカウントし、カウントされた画素数に応じたゲインをかけることができる。ただし、唇領域に占めるテカリの割合が大きい場合、過補正となることを抑制するために、画素数に応じたゲインを抑制することとしてもよい。
唇テカリ強調画像は、テカリ強調画像と、唇色補正画像とを、テカリ強調用マスク画像に基づいて、αブレンドして画像合成して作成される。即ち、唇のテカリ部分のみにテカリ強調が施され、それ以外の肌の部分は美白処理が施された唇テカリ強調画像が生成される。
調整画像生成処理とは、撮影された人の顔を含む画像に対して、美白処理及び唇の色補正処理を施すと共に、唇領域の画像が有する本来のテカリを強調するテカリ強調処理を施して調整画像を生成する一連の処理をいう。
固定マップ記憶部72には、マスク画像の作成に用いる固定マップのデータが記憶される。なお、固定マップは、データ量削減のため、唇を模した円弧形状であるため、円弧を分割して4分の1にしたデータを記憶しておくようにしてもよい。この場合、処理時に円弧となるように固定マップを展開する。
具体的には、画像処理部53は、例えば、主に、彩度低減、明度アップ、青色方向への色相回転の3点の要素の補正を行う美白処理を実行する。また、画像処理部53は、図2に示すように、元画像から唇を含む領域を切り出す。また、画像処理部53は、切り出した画像と、作成した色補正画像とを、作成した色補正用マスク画像に基づいて、αブレンドして画像合成する。その結果、唇色補正画像が作成される。
また、画像処理部53は、元の切り出し位置に唇テカリ強調画像を貼り付ける。その結果、調整画像が生成される。
色補正処理に際して、調整画像作成処理部55は、検出された左右の瞳の下方の肌領域のV値を計測する。そして、調整画像作成処理部55は、切り出し画像に対して、計測したV値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。
また、テカリ強調処理に際して、調整画像作成処理部55は、上述の切り出し画像に対して、バイラテラルフィルタ(或いは他の平滑化フィルタ)によって、唇領域の肌を滑らかにする補正を実行する。このとき、例えば、画素の輝度成分にバイラテラルフィルタを適用することができる。また、調整画像作成処理部55は、唇領域のテカリの画素数に応じたゲインをかけ、輝度を高める処理(テカリ強調処理)を実行する。このとき、調整画像作成処理部55は、例えば、唇領域のテカリの画素数(一例として、輝度が閾値以上の画素数)をカウントし、カウントされた画素数に応じたゲインをかけることができる。ただし、唇領域に占めるテカリの割合が大きい場合、過補正となることを抑制するために、画素数に応じたゲインを抑制する。このような処理の結果、切り出し画像に対してテカリ強調されたテカリ強調画像が作成される。
調整画像生成処理は、ユーザによる入力部17への調整画像生成処理開始の操作により開始される。
調整画像生成処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部16により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き調整画像生成処理を行ってもよく、また、画像記憶部71に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対する調整画像生成処理開始の操作であってもよい。
顔が検出されなかった場合には、ステップS12においてNOと判定されて、調整画像生成処理は終了する。
顔が検出された場合には、ステップS12においてYESと判定されて、処理はステップS13に進む。
その後、調整画像生成処理が終了する。
そこで、本実施形態の撮像装置1においては、人物を撮影した画像の輪郭を検出した結果を用いて、検出した顔領域から唇領域を抽出し、唇色を鮮やかにしたり、リップを塗ったように補正したりすることができる。唇色領域の抽出に際しては、HSV色空間で表現される画像(HSV画像)を解析し、HSV画像からαブレンド用のマスク画像を作成する。補正する際は、YUV色空間で表現される画像を解析し、YUV(特にV)それぞれで補正することができる。
更に、本実施形態の撮像装置1においては、唇の本来のテカリを強調した唇テカリ強調画像が作成される。唇テカリ強調画像を元画像に合成することによって、艶感が向上した調整画像が得られる。
画像取得部51は、顔画像を取得する。
画像処理部53は、画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す。美白処理においては、顔画像の明るさが調整される。画像処理部53は、更に、唇のテカリを適切に再現した唇テカリ強調画像を作成する。
マスク画像作成処理部54は、美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する。マスク画像作成処理部54は、更に、唇のテカリを強調すべき部分を特定する。マスク画像作成処理部54において特定される領域は、顔に照射された光の反射状態に基づいて特定される当該顔の所定領域である。この所定領域はマスク画像作成処理部54において生成される色補正用マスクやテカリ強調用マスクによって遮蔽されない透過領域である。換言すれば、この透過領域を特定するマップデータによって規定される領域である。この所定領域について、上述のように取得された顔画像と、画像処理部53によって調整画像を合成する。
調整画像作成処理部55は、特定された唇のテカリを強調すべき部分に対して、テカリ強調を施す。
これにより、撮像装置1においては、唇の艶感が向上した顔画像である調整画像が作成される。
これにより、撮像装置1においては、美白処理及び色補正処理のみでは不足しがちな唇の艶感が向上した顔画像である調整画像が作成される。
これにより、撮像装置1においては、美白処理及び色補正処理のみでは不足しがちな唇の艶感が向上した顔画像である調整画像が作成される。
これにより、撮像装置1においては、唇の艶感が向上した顔画像である調整画像が作成される。
例えば、本発明は、美白処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図8の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図8の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と、前記調整手段によって調整された顔画像を合成する合成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記マップデータは更に、所定の色相値について透過度が調整されたものであることを特徴とする付記1記載の画像処理装置。
[付記3]
前記マップデータは更に、前記所定の色相値の彩度及び明度について所定の重み付けを加えた透過度に調整されたものであることを特徴とする付記2記載の画像処理装置。
[付記4]
前記所定領域とは唇のある領域であることを特徴とする付記1乃至3の何れかに記載の画像処理装置。
[付記5]
顔画像を取得する取得処理と、
前記取得処理によって取得された顔画像の明るさを調整する調整処理と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得処理によって取得された顔画像と、前記調整処理によって調整された顔画像を合成する合成処理と、
を含むことを特徴とする画像処理方法。
[付記6]
コンピュータに
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と、前記調整手段によって調整された顔画像を合成する合成手段と、
を実現させることを特徴とするプログラム。
Claims (5)
- 顔画像を取得する処理を実行する取得手段と、
前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段と、
前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段と、
を備え、
前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始することを特徴とする画像処理装置。 - 前記マップデータは更に、前記唇を含む領域の色空間のピークとなる色相値に基づいて透過度が調整されたものであることを特徴とする請求項1記載の画像処理装置。
- 前記マップデータは更に、前記唇を含む領域の色相値の彩度及び明度について所定の重み付けを加えた透過度に調整されたものであることを特徴とする請求項2記載の画像処理装置。
- 画像処理装置の画像処理方法であって、
顔画像を取得する取得ステップと、
前記取得ステップにて取得された顔画像全体を明るくするよう調整する調整ステップと、
前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得ステップにて取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整ステップにて調整された顔画像と、を合成する合成ステップと、
を含み、
前記取得ステップ、前記調整ステップ、及び、前記合成ステップは、撮影指示操作に応じて開始されることを特徴とする画像処理方法。 - コンピュータを、
顔画像を取得する処理を実行する取得手段、
前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段、
前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段、
として機能させ、
前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始するプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017195425A JP7087331B2 (ja) | 2017-10-05 | 2017-10-05 | 画像処理装置、画像処理方法及びプログラム |
| US16/153,133 US10885616B2 (en) | 2017-10-05 | 2018-10-05 | Image processing apparatus, image processing method, and recording medium |
| CN201811166792.4A CN109639960B (zh) | 2017-10-05 | 2018-10-08 | 图像处理装置、图像处理方法及记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017195425A JP7087331B2 (ja) | 2017-10-05 | 2017-10-05 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019070871A JP2019070871A (ja) | 2019-05-09 |
| JP7087331B2 true JP7087331B2 (ja) | 2022-06-21 |
Family
ID=65993991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017195425A Active JP7087331B2 (ja) | 2017-10-05 | 2017-10-05 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10885616B2 (ja) |
| JP (1) | JP7087331B2 (ja) |
| CN (1) | CN109639960B (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230331A (zh) * | 2017-09-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、计算机存储介质 |
| JP2019070870A (ja) | 2017-10-05 | 2019-05-09 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN108737750A (zh) * | 2018-06-07 | 2018-11-02 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
| KR102641424B1 (ko) * | 2019-08-09 | 2024-02-28 | 삼성전자주식회사 | 컴퓨팅 장치 및 그 동작 방법 |
| US11403788B2 (en) | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| CN111091610B (zh) * | 2019-11-22 | 2023-04-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| JP6969622B2 (ja) * | 2020-02-20 | 2021-11-24 | 株式会社セガ | 撮影遊戯装置およびプログラム |
| CN111462003B (zh) * | 2020-03-20 | 2022-08-23 | 稿定(厦门)科技有限公司 | 人脸图像处理方法、介质、设备及装置 |
| CN111556303B (zh) * | 2020-05-14 | 2022-07-15 | 北京字节跳动网络技术有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| CN111598813B (zh) * | 2020-05-25 | 2023-05-19 | 抖音视界有限公司 | 人脸图像处理方法、装置、电子设备及计算机可读介质 |
| JP7604804B2 (ja) * | 2020-08-11 | 2024-12-24 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| CN113298888B (zh) * | 2020-09-08 | 2025-02-28 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、设备和存储介质 |
| JP7598031B2 (ja) * | 2022-04-28 | 2024-12-11 | フリュー株式会社 | プログラム、画像処理方法、画像処理装置 |
| US20230419549A1 (en) * | 2022-06-24 | 2023-12-28 | Sony Group Corporation | Systems and methods for determining and using a multidimensional measure of apparent skin color |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004303193A (ja) | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
| JP2006237807A (ja) | 2005-02-23 | 2006-09-07 | Brother Ind Ltd | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| JP2008243059A (ja) | 2007-03-28 | 2008-10-09 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3222091B2 (ja) | 1997-05-27 | 2001-10-22 | シャープ株式会社 | 画像処理装置及び画像処理装置制御プログラムを記憶した媒体 |
| US6845181B2 (en) | 2001-07-12 | 2005-01-18 | Eastman Kodak Company | Method for processing a digital image to adjust brightness |
| US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| JP2005210370A (ja) | 2004-01-22 | 2005-08-04 | Konica Minolta Photo Imaging Inc | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
| US7634106B2 (en) | 2004-09-22 | 2009-12-15 | Fujifilm Corporation | Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program |
| US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
| US8260008B2 (en) * | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
| JP2007193729A (ja) | 2006-01-23 | 2007-08-02 | Seiko Epson Corp | 印刷装置、画像処理装置、印刷方法、および画像処理方法 |
| JP2007219815A (ja) | 2006-02-16 | 2007-08-30 | Seiko Epson Corp | 印刷装置、画像処理装置、印刷方法、および画像処理方法 |
| JP5052263B2 (ja) | 2007-09-04 | 2012-10-17 | オリンパスイメージング株式会社 | 画像処理装置および画像処理方法 |
| JP5171434B2 (ja) | 2007-09-13 | 2013-03-27 | パナソニック株式会社 | 撮像装置、撮像方法、プログラム、および集積回路 |
| WO2010012448A2 (en) * | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
| JP4912374B2 (ja) | 2008-09-10 | 2012-04-11 | 富士フイルム株式会社 | 顔イラスト画生成方法及び顔イラスト画生成装置 |
| JP5187139B2 (ja) | 2008-10-30 | 2013-04-24 | セイコーエプソン株式会社 | 画像処理装置およびプログラム |
| EP2462535A2 (fr) | 2009-08-04 | 2012-06-13 | Vesalis | Procédé de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant |
| CN103077368A (zh) * | 2011-10-25 | 2013-05-01 | 上海银晨智能识别科技有限公司 | 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统 |
| US9898856B2 (en) * | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| JP6423625B2 (ja) * | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| CN104537372A (zh) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | 一种具备区域感知特性的人脸图像蒙板自动生成方法 |
| CN105956576A (zh) | 2016-05-18 | 2016-09-21 | 广东欧珀移动通信有限公司 | 一种图像美颜方法、装置及移动终端 |
| CN107093168A (zh) * | 2017-03-10 | 2017-08-25 | 厦门美图之家科技有限公司 | 皮肤区域图像的处理方法、装置和系统 |
| CN107180415B (zh) * | 2017-03-30 | 2020-08-14 | 北京奇艺世纪科技有限公司 | 一种图像中皮肤美化处理方法及装置 |
| JP2019070870A (ja) * | 2017-10-05 | 2019-05-09 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-10-05 JP JP2017195425A patent/JP7087331B2/ja active Active
-
2018
- 2018-10-05 US US16/153,133 patent/US10885616B2/en not_active Expired - Fee Related
- 2018-10-08 CN CN201811166792.4A patent/CN109639960B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004303193A (ja) | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
| JP2006237807A (ja) | 2005-02-23 | 2006-09-07 | Brother Ind Ltd | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| JP2008243059A (ja) | 2007-03-28 | 2008-10-09 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 青木 博松 外2名,色分布を用いた唇領域抽出に基づく美顔補正技術,SSII2011 第17回画像センシングシンポジウム講演論文集,日本,画像センシング技術研究会,2011年06月08日,IS1-16-1-IS1-16-6 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019070871A (ja) | 2019-05-09 |
| CN109639960A (zh) | 2019-04-16 |
| US20190108628A1 (en) | 2019-04-11 |
| CN109639960B (zh) | 2020-12-29 |
| US10885616B2 (en) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7087331B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6185453B2 (ja) | シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択 | |
| US9019402B2 (en) | Dynamic range extension by combining differently exposed hand-held device-acquired images | |
| JP6700840B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
| JP6685188B2 (ja) | 撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
| CN111526279B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| CN106919911A (zh) | 使用脸部检测的自动脸部和皮肤修饰 | |
| US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
| JP2009010566A (ja) | 写真画像のダイナミックレンジを拡大する方法及び撮像装置 | |
| JP2016213718A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| JP7114335B2 (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
| CN107730456A (zh) | 图像处理方法以及图像处理装置 | |
| US10861140B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2000242775A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP7375313B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP7015009B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2005128600A (ja) | 画像処理方法及び被写体撮影システム | |
| JP7318251B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7102192B2 (ja) | 画像処理装置、その制御方法、プログラム | |
| JP6908013B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7534866B2 (ja) | 画像処理装置及び方法、プログラム、記憶媒体 | |
| JP2010199866A (ja) | 画像処理装置 | |
| JP2018032442A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200923 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220523 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7087331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |