JP7087331B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP7087331B2
JP7087331B2 JP2017195425A JP2017195425A JP7087331B2 JP 7087331 B2 JP7087331 B2 JP 7087331B2 JP 2017195425 A JP2017195425 A JP 2017195425A JP 2017195425 A JP2017195425 A JP 2017195425A JP 7087331 B2 JP7087331 B2 JP 7087331B2
Authority
JP
Japan
Prior art keywords
image
lips
face image
lip
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017195425A
Other languages
English (en)
Other versions
JP2019070871A (ja
Inventor
武志 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017195425A priority Critical patent/JP7087331B2/ja
Priority to US16/153,133 priority patent/US10885616B2/en
Priority to CN201811166792.4A priority patent/CN109639960B/zh
Publication of JP2019070871A publication Critical patent/JP2019070871A/ja
Application granted granted Critical
Publication of JP7087331B2 publication Critical patent/JP7087331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/10Texturing; Colouring; Generation of textures or colours
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/22Cropping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来より、顔画像における特定領域の色相、彩度、明度等を補正することが行われている。例えば、特許文献1には、顔画像における唇の艶を自然なものに補正する技術が開示されている。特許文献1の技術では、ストロボや環境光の状態に基づいて唇の部分を加工している。
特開2009-65269号公報
しかしながら、上述した特許文献1に開示された技術では、ストロボや環境光の状態を重視したグロス表現になるため、唇本来の質感が損なわれるおそれがある。
本発明は、このような状況に鑑みてなされたものであり、顔の唇の部位について、その質感を損なうことなく艶のある画像にすることを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
顔画像を取得する処理を実行する取得手段と、
前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段と、
前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段と、
を備え
前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始することを特徴とする。
本発明によれば、顔の唇の部位について、その質感を損なうことなく艶のある画像にすることができる。
本発明の画像処理装置の一実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。 本実施形態における調整画像の生成過程を説明するための模式図である。 色補正用マスク画像の作成例を示す模式図である。 色補正用HUEマップ作成処理に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。 テカリ強調用マスク画像の作成例を示す模式図である。 テカリ強調用HUEマップ作成処理に係るヒストグラム及び唇テカリレベルの重み付けテーブルを示す図である。 固定マップの作成を説明するための模式図である。 図1の撮像装置1の機能的構成のうち、調整画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図8の機能的構成を有する図1の撮像装置1が実行する調整画像生成処理の流れを説明するフローチャートである。 調整画像生成処理のうち、色補正用マスク画像作成処理の流れを説明するフローチャートである。 調整画像生成処理のうち、色補正画像作成処理の流れを説明するフローチャートである。 調整画像生成処理のうち、テカリ強調用マスク画像作成処理の流れを説明するフローチャートである。 調整画像生成処理のうち、テカリ強調画像作成処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の画像処理装置の一実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。
撮像装置1は、例えば、デジタルカメラとして構成される。
撮像装置1は、図1に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、照明部22と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20、ドライブ21及び照明部22が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、撮像画像のデータとしてCPU11や図示しない画像処理部等に適宜供給される。
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
照明部22は、撮像部16の周囲に円を描くように設置された8個のLED(発光部材)と、当該撮像装置1において、この8個のLEDとは離れた位置に設置された1個のLEDとで構成される。これらのLEDは、ライブビュー撮影時、画像記録時に、ユーザの操作に従って選択的に発光する。このように照明のための光線の到来方向を変更させて顔を撮影することで、人為的に陰影がコントロールされた顔画像を取得することができる。
このように構成される撮像装置1では、顔を撮影した画像に対して、肌に対して美白処理が施されていると共に、肌色と色相が近く美白処理によって色が薄くなる等の影響を受けた唇を適切に補正した画像(以下、「美白画像」という。)を生成することができる機能を有する。即ち、撮像装置1では、顔の肌に施された美白処理によって補正された唇の色を適切な色に補正して美白処理の効果を復元(軽減)することにより美白画像を生成する。
即ち、美白処理は、肌色領域に対してだけ施されるように対象箇所以外がマスクされるが、唇の色は肌色と色相が近く、肌色領域に含まれてしまうため、美白処理が施されてしまい、唇の色が薄くなる等の影響を受けてしまう。また、美白処理は、主に、彩度低減、明度アップ、青色方向への色相回転の3つの要素を補正することによって行われる。
このため、本実施形態の撮像装置1では、薄くなった唇の色に対して、3つの要素のうち、彩度低減のみを復元し、他の効果は維持するようにして、唇の色を適切な色に補正する。
美白画像は、本実施形態においては、まず、顔全体に対して美白処理を施し、その後、美白処理の影響を受けた唇に対して別途、適切な色に再現するための色補正を行って生成される。
更に、本実施形態においては、唇の艶感を向上させる処理として、唇のテカリを強調する補正を行う。このとき、唇領域の画像が有する本来のテカリを強調する処理(テカリ強調処理)を実行することにより、自然な唇の艶感を再現する。これにより、上述の美白画像に対し、唇の質感を損なうことなく艶感を向上させる調整を行った顔画像(以下、「調整画像」という。)が生成される。
図22は、本実施形態における調整画像の生成過程画像の生成を説明するための模式図である。
本実施形態の調整画像は、図2に示すように、画像全体に対して美白処理を施した画像(以下、「元画像」という。)から唇を含む領域を切り出す。そして、唇を含む領域に対して、美白処理によって薄くなってしまった唇の色を適切な色に再現するように色補正の処理を施して画像(以下、「色補正画像」という。)を作成する。色補正画像は、唇以外の画像全体に対して色補正がされているため、唇のみに色補正の効果がでるように、唇以外をマスクする色補正用マスク画像を用いて、元画像と色補正画像とをαブレンドによる画像合成をして、唇のみが色補正された画像(以下、「唇色補正画像」という。)を作成する。マスク画像は、αブレンドによる画像合成の際にα値となる。
本実施形態では、更に、上述の唇色補正画像に対して、唇の艶感を向上させるためのテカリ強調処理を施す。テカリ強調処理においては、唇を含む領域に対して、唇の本来のテカリを強調する処理を施した画像(以下、「テカリ強調画像」という。)を作成する。テカリ強調画像は、唇以外の画像全体に対してテカリ強調がされているため、唇のみにテカリ強調の効果がでるように、唇以外をマスクするテカリ強調用マスク画像を用いて、唇色補正画像とテカリ強調画像とをαブレンドによる画像合成をして、唇のみがテカリ強調された画像(以下、「唇テカリ強調画像」という。)を作成する。
その後、作成した唇テカリ強調画像を元画像の切り出し位置に合成して、調整画像を生成する。
[色補正用マスク画像の作成]
図3は、色補正用マスク画像の作成例を示す模式図である。
本実施形態においては、美白処理により薄くなってしまった唇部分の色を再現する補正処理を施すために、唇に相当する領域に対応した色補正用マスク画像を生成する。
色補正用マスク画像は、図3に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほど色補正画像の合成の割合が高いことを示している。本実施形態においては、唇の中心部分は色補正が強く施されており、唇の外縁に近い部分は、肌との影響を少なくするために色補正が強く施されるように構成される。
このような色補正用マスク画像は、まず、顔の器官の検出によって唇の位置を特定し、特定した唇の位置を含む領域におけるHSV色空間のピークとなる色相値に基づいて作成される。本実施形態の顔の器官検出では、図2に示すように、唇位置の特定等のために、少なくとも、上唇の中央の上下の2点P1,P2、下唇の中央の上下の2点P3,P4、唇の左右の端の2点P5,P6の合計6点の位置を検出する。
本実施形態においては、HSV色空間のピークとなる色相値に基づいて生成された色補正用マスク画像に、鼻等の余計な部分を排除するために、予め唇の形状を模した固定マップを合成して、最終的なマスク画像を作成する。
具体的には、本実施形態の色補正用マスク画像は、元画像から唇を含む領域を切り出した画像(以下、「切り出し画像」という。)から、HUEマップを作成し、予め作成しておいた固定マップと合成して作成される。HUEマップと固定マップの合成では、HUEマップから空間的に不要な領域を除去するために、HUEマップと固定マップの最小値をとるようにする。
[HUEマップの作成]
HUEマップは、切り出し画像において唇の色に相当する箇所を特定したマップである。HUEマップは、まず、YUV色空間の切り出し画像をHSV(色相:Hue,彩度:Saturation・Chroma,明度:Value・Lightness・Brightness)色空間に変換する。その後、ノイズを除去するために、εフィルタでぼかした上で、HSV変換後の画像を解析(HSV解析処理)する。そして、HSV解析処理の処理結果から算出した値をHUEマップのマップ値として、HUEマップを作成する。
HSV解析処理では、各画素におけるマップ値を決定するために、唇色レベルの重み付けを設定する。唇色レベルの重み付けは、HSVのチャネル別に作成したヒストグラムに基づいて設定される。
図4は、色補正用HUEマップ作成処理に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。この色補正は、唇の色補正である。
唇色レベルの設定では、まず、図2に示す器官検出で検出した点P1~P6から計測領域として上下の唇の中央付近に計測領域R1,R2を設定し、各計測領域におけるHSVそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇の色が取得可能な領域であれば、領域の数、種々の形状、位置、サイズであってもよい。
そして、図4(a)に示すようなHSVそれぞれのヒストグラムの最頻値に対応して、図4(b)に示すように唇色レベルの重み付けテーブルが設定される。Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、S(V)のチャネルの場合には、ヒストグラムの最頻値を上方の左端(右端)の基準にして、ピーク値に所定の幅があり、かつ、1段目よりも2段目の方が勾配が緩やかとなる2段階の傾きとなるように、重み付けが設定される。
その後、各画素ごとにHSVの各チャネル別に重み付けに応じて算出した唇色レベルを掛け合わせた結果をマップ値としてHUEマップを作成する。
即ち、HUEマップのマップ値は、以下の式(1)により算出される。
HUEマップのマップ値(Map)=Lh×Ls×Lv・・・(1)
なお、「Lh」はHの唇色レベルを示し、「Ls」はSの唇色レベルを示し、「Lv」はVの唇色レベルを示す。
[テカリ強調用マスク画像の作成]
図5は、テカリ強調用マスク画像の作成例を示す模式図である。
本実施形態においては、唇の本来のテカリを強調する処理を施すために、唇に相当する領域に対応したマスク画像を生成する。
テカリ強調用マスク画像は、図5に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほどテカリ強調画像の合成の割合が高いことを示している。本実施形態においては、唇のうち下唇の部分はテカリ強調が強く施されている。
このようなテカリ強調用マスク画像は、まず、顔の器官の検出によって唇の位置を特定し、特定した唇の位置を含む領域におけるHSV色空間のピークとなる色相値に基づいて作成される。本実施形態の顔の器官検出では、図2に示すように、唇位置の特定等のために、少なくとも、上唇の中央の上下の2点P1,P2、下唇の中央の上下の2点P3,P4、唇の左右の端の2点P5,P6の合計6点の位置を検出する。
本実施形態においては、HSV色空間のピークとなる色相値に基づいて生成された暫定的なテカリ強調用マスク画像に、鼻等の余計な部分を排除するために、予め唇の形状を模した固定マップを合成して、最終的なテカリ強調用マスク画像を作成する。
具体的には、本実施形態のテカリ強調用マスク画像は、元画像から唇を含む領域を切り出した画像(切り出し画像)から、HUEマップを作成し、予め作成しておいた固定マップと合成して作成される。HUEマップと固定マップの合成では、HUEマップから空間的に不要な領域を除去するために、HUEマップと固定マップの最小値をとるようにする。
[HUEマップの作成]
HUEマップは、図3を参照して上述した、切り出し画像において唇の色に相当する箇所を特定したマップである。図5の場合における唇テカリレベルの重み付けも、HSVのチャネル別に作成したヒストグラムに基づいて設定される。
図6は、テカリ強調用HUEマップ作成処理に係るヒストグラム及び唇テカリレベルの重み付けテーブルを示す図である。
唇テカリレベルの設定では、まず、図2に示す器官検出で検出した点P1~P6から計測領域として上下の唇の中央付近に計測領域R1,R2を設定し、各計測領域におけるHSVそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇のテカリが取得可能な領域であれば、種々の領域の数、形状、位置、サイズとすることができる。
そして、図6(a)に示すようなHSVそれぞれのヒストグラムの最頻値に対応して、図6(b)に示すように唇テカリレベルの重み付けテーブルが設定される。Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Sのチャネルの場合には、ヒストグラムの最頻値に到る以前まで重み付けが定常水準(飽和レベル)を維持し、ピーク値に到る直前からピーク値まで急峻に単調減少し、以降は零レベルを維持するように重み付けされる。また、Vのチャネルの場合には、ヒストグラムの最頻値に到る以前まで重み付けが零レベルを維持し、以降は飽和レベルに向けて急峻に単調増加している。
その後、各画素ごとにHSVの各チャネル別に重み付けに応じて算出した唇テカリレベルを掛け合わせた結果をマップ値としてHUEマップを作成する。
即ち、HUEマップのマップ値は、上述の式(1)により算出される。
[固定マップの作成]
図7は、固定マップの作成を説明するための模式図である。
固定マップは、一般的な顔において唇の形を模したマップで、色補正を行うにあたり予め作成されているマップである。
固定マップは、図7(a)に示すように、データから縮小サイズのマップを展開する。
そして、図7(b)示すように、画像における唇の輪郭情報(本実施形態においては、2点P5,P6の位置)から唇の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズに、リサイズして、HUEマップにおいて唇以外の部分を除去するために、HUEマップと合成されて使用される。合成に際しては、HUEマップと固定マップの最小値をとるようにする。
[色補正画像の作成]
色補正画像は、本実施形態においては、器官検出によって検出された左右の瞳の下方の肌領域から計測したYUV色空間のV値に応じて決定された補正強度により、切り出し画像を補正処理して作成される。なお、左右の瞳の下方の肌領域は、目の下のクマを避けた位置であり、顔において肌の色を最も表わしている位置として決定されたものであり、顔における肌の色を抽出可能な位置であれば種々の位置であってもよい。
なお、リップ等で元々の唇の色が濃い場合には、補正が効き過ぎないように、唇の画素のV値の補正を行う。
[唇色補正画像の作成]
唇色補正画像は、色補正画像と、切り出し画像とを、色補正用マスク画像に基づいて、αブレンドして画像合成して作成される。即ち、唇の領域のみに色補正が施され、それ以外の肌の部分は美白処理が施された唇色補正画像が生成される。
[テカリ強調画像の作成]
テカリ強調画像は、バイラテラルフィルタ(或いは他の平滑化フィルタ)によって、唇領域の肌を滑らかにする補正を実行した後、唇領域のテカリの画素数に応じたゲインをかけ、輝度を高める処理(テカリ強調)を実行することで作成される。このとき、例えば、画素の輝度成分にバイラテラルフィルタを適用することができる。また、例えば、唇領域のテカリの画素数(一例として、輝度が閾値以上の画素数)をカウントし、カウントされた画素数に応じたゲインをかけることができる。ただし、唇領域に占めるテカリの割合が大きい場合、過補正となることを抑制するために、画素数に応じたゲインを抑制することとしてもよい。
[唇テカリ強調画像の作成]
唇テカリ強調画像は、テカリ強調画像と、唇色補正画像とを、テカリ強調用マスク画像に基づいて、αブレンドして画像合成して作成される。即ち、唇のテカリ部分のみにテカリ強調が施され、それ以外の肌の部分は美白処理が施された唇テカリ強調画像が生成される。
図8は、図1の撮像装置1の機能的構成のうち、調整画像生成処理を実行するための機能的構成を示す機能ブロック図である。
調整画像生成処理とは、撮影された人の顔を含む画像に対して、美白処理及び唇の色補正処理を施すと共に、唇領域の画像が有する本来のテカリを強調するテカリ強調処理を施して調整画像を生成する一連の処理をいう。
テカリ強調画像生成処理を実行する場合には、図8に示すように、CPU11において、画像取得部51と、顔検出部52と、画像処理部53と、マスク画像作成処理部54と、調整画像作成処理部55と、が機能する。
また、記憶部19の一領域には、画像記憶部71と、固定マップ記憶部72と、が設定される。
画像記憶部71には、撮像部16から出力された画像のデータが記憶される。
固定マップ記憶部72には、マスク画像の作成に用いる固定マップのデータが記憶される。なお、固定マップは、データ量削減のため、唇を模した円弧形状であるため、円弧を分割して4分の1にしたデータを記憶しておくようにしてもよい。この場合、処理時に円弧となるように固定マップを展開する。
画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部71から処理対象となる画像のデータを取得する。
顔検出部52は、画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。顔検出部52は、少なくとも、輪郭形状から、左右の瞳と、唇の器官を検出する。なお、顔検出部52は、唇に関しては、少なくとも、上唇の中央の上下の2点P1,P2、下唇の中央の上下の2点P3,P4、唇の左右の端の2点P5,P6の合計6点の位置を検出する。顔検出及び各器官の検出は、既存の顔検出技術及び器官技術の公知の技術を用いる。また、顔検出及び各器官の検出は、輝度、輪郭抽出等、HSV色空間の色情報とは異なる情報に基づく検出方法であればその検出方法は問わない。
画像処理部53は、元画像に対して各種の画像処理を実行する。
具体的には、画像処理部53は、例えば、主に、彩度低減、明度アップ、青色方向への色相回転の3点の要素の補正を行う美白処理を実行する。また、画像処理部53は、図2に示すように、元画像から唇を含む領域を切り出す。また、画像処理部53は、切り出した画像と、作成した色補正画像とを、作成した色補正用マスク画像に基づいて、αブレンドして画像合成する。その結果、唇色補正画像が作成される。
また、画像処理部53は、唇色補正画像と、上述のように作成したテカリ強調画像とを、作成したテカリ強調用マスク画像に基づいて、αブレンドして画像合成する。その結果、唇テカリ強調画像が作成される。
また、画像処理部53は、元の切り出し位置に唇テカリ強調画像を貼り付ける。その結果、調整画像が生成される。
マスク画像作成処理部54は、唇の領域のみに補正が施された画像となるように、αブレンドに用いるマスク画像を生成する。本実施形態の場合、マスク画像作成処理部54は上述の2種のマスク画像を生成する。1つは色補正用マスク画像であり、他の1つはテカリ強調用マスク画像である。
色補正用マスク画像の生成に際して、マスク画像作成処理部54は、図3に示すように、切り出し画像のYUV色空間をHSV色空間に変換する。また、マスク画像作成処理部54は、ノイズ除去を目的としてεフィルタで画像をぼかす処理を行う。
また、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、上下の唇の中央付近に設定した計測領域R1,R2(図2参照)のHSVの各チャネルでヒストグラムを作成する(図4(a)参照)。そして、作成したヒストグラムから算出する唇色レベルの重み付けを作成する(図4(b)参照)。その後、作成した唇色レベルの重み付けに基づいて、上述した式(1)を用いて、各画素におけるHUEマップのマップ値を算出する。算出した各画素のマップ値から色補正用HUEマップを作成する。
テカリ強調用マスク画像の生成に際して、マスク画像作成処理部54は、図5に示すように、切り出し画像のYUV色空間をHSV色空間に変換する。更に、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、上下の唇の中央付近に設定した計測領域R1,R2(図2参照)のHSVの各チャネルでヒストグラムを作成する(図6(a)参照)。そして、作成したヒストグラムから算出する唇テカリレベルの重み付けを作成する(図6(b)参照)。その後、作成した唇テカリレベルの重み付けに基づいて、上述した式(1)を用いて、各画素におけるHUEマップのマップ値を算出する。算出した各画素のマップ値からテカリ強調用HUEマップを作成する。
また、マスク画像作成処理部54は、図7(a)及び図7(b)に示すように、固定マップ記憶部72に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。
また、マスク画像作成処理部54は、図3に示すように、角度調整及びサイズ調整をした固定マップと作成した色補正用HUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的な不要な領域を除去するために、色補正用HUEマップと固定マップの最小値をとるように合成する。合成の結果、色補正マスク画像が作成される。
更に、マスク画像作成処理部54は、図5に示すように、角度調整及びサイズ調整をした固定マップと作成したテカリ強調用HUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的な不要な領域を除去するために、テカリ強調用HUEマップと固定マップの最小値をとるように合成する。合成の結果、テカリ強調用マスク画像が作成される。
調整画像作成処理部55は、切り出し画像に対して、色補正処理及びテカリ強調処理を実行する。
色補正処理に際して、調整画像作成処理部55は、検出された左右の瞳の下方の肌領域のV値を計測する。そして、調整画像作成処理部55は、切り出し画像に対して、計測したV値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。
また、テカリ強調処理に際して、調整画像作成処理部55は、上述の切り出し画像に対して、バイラテラルフィルタ(或いは他の平滑化フィルタ)によって、唇領域の肌を滑らかにする補正を実行する。このとき、例えば、画素の輝度成分にバイラテラルフィルタを適用することができる。また、調整画像作成処理部55は、唇領域のテカリの画素数に応じたゲインをかけ、輝度を高める処理(テカリ強調処理)を実行する。このとき、調整画像作成処理部55は、例えば、唇領域のテカリの画素数(一例として、輝度が閾値以上の画素数)をカウントし、カウントされた画素数に応じたゲインをかけることができる。ただし、唇領域に占めるテカリの割合が大きい場合、過補正となることを抑制するために、画素数に応じたゲインを抑制する。このような処理の結果、切り出し画像に対してテカリ強調されたテカリ強調画像が作成される。
図9は、図8の機能的構成を有する図1の撮像装置1が実行する調整画像生成処理の流れを説明するフローチャートである。この調整画像生成処理はテカリ強調画像生成処理を含む。
調整画像生成処理は、ユーザによる入力部17への調整画像生成処理開始の操作により開始される。
調整画像生成処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部16により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き調整画像生成処理を行ってもよく、また、画像記憶部71に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対する調整画像生成処理開始の操作であってもよい。
ステップS11において、画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部71から処理対象となる元画像を取得する。
ステップS12において、顔検出部52は、元画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップS12においてNOと判定されて、調整画像生成処理は終了する。
顔が検出された場合には、ステップS12においてYESと判定されて、処理はステップS13に進む。
ステップS13において、画像処理部53は、元画像に対して美白処理を実行する。美白処理によって、元画像は、彩度低減、明度アップ、青色方向への色相回転されたものとなる。
ステップS14において、顔検出部52は、検出された顔の器官の検出を行う。その結果、少なくとも、元画像において左右の瞳と、唇の器官の位置が検出される。
ステップS15において、画像処理部53は、検出した唇を含む領域を切り出す。
ステップS16において、マスク画像作成処理部54は、色補正用マスク画像作成処理を実行する。色補正用マスク画像作成処理の実行の結果、αブレンド用の色補正用マスク画像が作成される。色補正用マスク画像作成処理の詳細については、後述する。
ステップS17において、調整画像作成処理部55は、色補正画像作成処理を実行する。色補正画像作成処理の実行の結果、切り出し画像に対して、薄くなった唇を適切な色にする色補正が行われた色補正画像が作成される。色補正画像作成処理の詳細については、後述する。
ステップS18において、画像処理部53は、切り出し画像と、作成した色補正画像とを、作成した色補正用マスク画像に基づいて、αブレンドして画像合成する。その結果、唇部分のみに色補正が施された唇色補正画像が作成される。
ステップS19において、マスク画像作成処理部54は、テカリ強調用マスク画像作成処理を実行する。テカリ強調用マスク画像作成処理の実行の結果、αブレンド用のテカリ強調用マスク画像が作成される。テカリ強調用マスク画像作成処理の詳細については、後述する。
ステップS20において、調整画像作成処理部55は、テカリ強調画像作成処理を実行する。テカリ強調画像作成処理の実行の結果、切り出し画像に対して、唇の本来のテカリを強調したテカリ強調画像が作成される。テカリ強調画像作成処理の詳細については、後述する。
ステップS21において、画像処理部53は、唇色補正画像と、作成したテカリ強調画像とを、作成したテカリ強調用マスク画像に基づいて、αブレンドして画像合成する。その結果、唇部分の質感が保たれ艶感が向上したテカリ強調画像が作成される。
ステップS22において、画像処理部53は、テカリ強調画像を元の切り出し位置に貼り付ける。その結果、肌に美白処理が施されていると共に、唇部分は適切な色に補正され、更に唇部分の艶感が向上した調整画像が生成される。
その後、調整画像生成処理が終了する。
図10は、調整画像生成処理のうち、色補正用マスク画像作成処理の流れを説明するフローチャートである。
ステップS31において、マスク画像作成処理部54は、切り出し画像のYUV色空間をHSV色空間に変換する。
ステップS32において、マスク画像作成処理部54は、εフィルタでぼかす処理を行う。
ステップS33において、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、図2に示すように上下の唇の中央付近に設定した計測領域R1,R2のHSVの各チャネルでヒストグラムを作成する(図4(a)参照)。そして、作成したヒストグラムから算出する唇色レベルの重み付けを設定する(図4(b)参照)。唇色レベルの重み付けは、Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、S(V)のチャネルの場合には、ヒストグラムの最頻値を上方の左端(右端)の基準にして、ピーク値に所定の幅があり、かつ、1段目よりも2段目の方が勾配が緩やかとなる2段階の傾きとなるように、重み付けが設定される。
ステップS34において、マスク画像作成処理部54は、色補正用HUEマップを作成する。色補正用HUEマップにおけるマップ値は、作成した唇色レベルの重み付けに基づいて、上述した式(1)を用いて算出する。
ステップS35において、マスク画像作成処理部54は、固定マップ記憶部72に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。
ステップS36において、マスク画像作成処理部54は、角度調整及びサイズ調整をした固定マップと作成した色補正用HUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的に不要な領域を除去するために、色補正用HUEマップと固定マップの最小値をとるように合成する。合成の結果、色補正マスク画像が作成される。
図11は、調整画像生成処理のうち、色補正画像作成処理の流れを説明するフローチャートである。
ステップS51において、調整画像作成処理部55は、検出された左右の瞳の下方の肌領域のV値を計測する。
ステップS52において、調整画像作成処理部55は、切り出し画像に対して、計測したV値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。
図12は、調整画像生成処理のうち、テカリ強調用マスク画像作成処理の流れを説明するフローチャートである。
ステップS71において、マスク画像作成処理部54は、切り出し画像のYUV色空間をHSV色空間に変換する。
ステップS72において、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、図2に示すように上下の唇の中央付近に設定した計測領域R1,R2のHSVの各チャネルでヒストグラムを作成する(図6(a)参照)。そして、作成したヒストグラムから算出する唇テカリレベルの重み付けを設定する(図6(b)参照)。唇テカリレベルの重み付けは、Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、Sのチャネルの場合には、ヒストグラムの最頻値に到る以前まで重み付けが定常水準(飽和レベル)を維持し、ピーク値に到る直前からピーク値まで急峻に単調減少し、以降は零レベルを維持するように重み付けされる。また、Vのチャネルの場合には、ヒストグラムの最頻値に到る以前まで重み付けが零レベルを維持し、以降は飽和レベルに向けて急峻に単調増加するように重み付けされる。
ステップS73において、マスク画像作成処理部54は、テカリ強調用HUEマップを作成する。テカリ強調用HUEマップにおけるマップ値は、作成した唇テカリ強調レベルの重み付けに基づいて、上述した式(1)を用いて算出する。
ステップS74において、マスク画像作成処理部54は、固定マップ記憶部72に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。
ステップS75において、マスク画像作成処理部54は、角度調整及びサイズ調整をした固定マップと作成したテカリ強調用HUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的に不要な領域を除去するために、テカリ強調用HUEマップと固定マップの最小値をとるように合成する。合成の結果、テカリ強調用マスク画像が作成される。
図13は、調整画像生成処理のうち、テカリ強調画像作成処理の流れを説明するフローチャートである。
ステップS91において、調整画像作成処理部55は、バイラテラルフィルタ(或いは他の平滑化フィルタ)によって、唇領域の肌を滑らかにする補正を実行する。
ステップS92において、調整画像作成処理部55は、唇領域のテカリの画素数に応じたゲインをかけ、輝度を高める処理(テカリ強調処理)を実行する。このとき、唇領域に占めるテカリの割合が大きい場合、過補正となることを抑制するために、画素数に応じたゲインが抑制される。その結果、切り出し画像に対してテカリ強調されたテカリ強調画像が作成される。
種々の撮像装置では、ユーザが肌色を選択できる機能があり、例えば、顔の血色を良くする「ナチュラル」や顔の色を白くする「美白」が選択可能に構成される。ナチュラルでは、発色が良い色の再現になるので、唇の色も発色をよくすることができる。一方で美白では、肌色の彩度を低下させるため、唇色もそれに応じて、色が薄く血色の悪いものになる場合がある。
そこで、本実施形態の撮像装置1においては、人物を撮影した画像の輪郭を検出した結果を用いて、検出した顔領域から唇領域を抽出し、唇色を鮮やかにしたり、リップを塗ったように補正したりすることができる。唇色領域の抽出に際しては、HSV色空間で表現される画像(HSV画像)を解析し、HSV画像からαブレンド用のマスク画像を作成する。補正する際は、YUV色空間で表現される画像を解析し、YUV(特にV)それぞれで補正することができる。
更に、本実施形態の撮像装置1においては、唇の本来のテカリを強調した唇テカリ強調画像が作成される。唇テカリ強調画像を元画像に合成することによって、艶感が向上した調整画像が得られる。
以上のように構成される撮像装置1は、画像取得部51と、画像処理部53と、マスク画像作成処理部54と、調整画像作成処理部55と、を備える。
画像取得部51は、顔画像を取得する。
画像処理部53は、画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す。美白処理においては、顔画像の明るさが調整される。画像処理部53は、更に、唇のテカリを適切に再現した唇テカリ強調画像を作成する。
マスク画像作成処理部54は、美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する。マスク画像作成処理部54は、更に、唇のテカリを強調すべき部分を特定する。マスク画像作成処理部54において特定される領域は、顔に照射された光の反射状態に基づいて特定される当該顔の所定領域である。この所定領域はマスク画像作成処理部54において生成される色補正用マスクやテカリ強調用マスクによって遮蔽されない透過領域である。換言すれば、この透過領域を特定するマップデータによって規定される領域である。この所定領域について、上述のように取得された顔画像と、画像処理部53によって調整画像を合成する。
調整画像作成処理部55は、特定された唇のテカリを強調すべき部分に対して、テカリ強調を施す。
これにより、撮像装置1においては、唇の艶感が向上した顔画像である調整画像が作成される。
透過領域を特定するマップデータは、更に、所定の色相(HUE)について透過度が調整されたものである。本実施形態では、透過領域を特定するマップデータに相当する色補正用マスク(図3、図4)及びテカリ強調用マスク(図5、図6)により透過度が調整される。
これにより、撮像装置1においては、美白処理及び色補正処理のみでは不足しがちな唇の艶感が向上した顔画像である調整画像が作成される。
また、透過領域を特定するマップデータは、更に、所定の色相値(HSV)の彩度(S)及び明度(V)について所定の重み付けを加えた透過度が調整されたものである。本実施形態では、透過領域を特定するマップデータに相当する色補正用マスク(図3、図4)及びテカリ強調用マスク(図5、図6)により透過度が調整される。
これにより、撮像装置1においては、美白処理及び色補正処理のみでは不足しがちな唇の艶感が向上した顔画像である調整画像が作成される。
また、撮像装置1は、色補正用HUEマップ(図3)、テカリ補正HUEマップ(図5)、固定マップ(図7)により、所定領域として唇のある領域が特定される。
これにより、撮像装置1においては、唇の艶感が向上した顔画像である調整画像が作成される。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、美白処理によって影響を受けた唇の色を適正な色に補正するように構成したがこれに限られない。特定した唇の領域に対して、唇の色を変化させるように補正してもよい。具体的には、異なるリップや口紅の色にしたり、リップ、口紅、グロス等を塗っていない唇に対して、リップ、口紅、グロス等を塗ってメイクアップしたり、血色の程度を調整したりしてもよい。この際、彩度を積極的に変化させてもよく、更に、明度や色相を変化させてもよい。
また、上述の実施形態では、唇の領域を最初に特定して、顔全体に施す美白処理の際に、肌のマスクの領域として特定した唇の領域を指定するように構成してもよい。
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美白処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図8の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図8の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と、前記調整手段によって調整された顔画像を合成する合成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記マップデータは更に、所定の色相値について透過度が調整されたものであることを特徴とする付記1記載の画像処理装置。
[付記3]
前記マップデータは更に、前記所定の色相値の彩度及び明度について所定の重み付けを加えた透過度に調整されたものであることを特徴とする付記2記載の画像処理装置。
[付記4]
前記所定領域とは唇のある領域であることを特徴とする付記1乃至3の何れかに記載の画像処理装置。
[付記5]
顔画像を取得する取得処理と、
前記取得処理によって取得された顔画像の明るさを調整する調整処理と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得処理によって取得された顔画像と、前記調整処理によって調整された顔画像を合成する合成処理と、
を含むことを特徴とする画像処理方法。
[付記6]
コンピュータに
顔画像を取得する取得手段と、
前記取得手段によって取得された顔画像の明るさを調整する調整手段と、
顔に照射された光の反射状態に基づいて当該顔の所定領域を透過領域としたマップデータを用いて、前記取得手段によって取得された顔画像と、前記調整手段によって調整された顔画像を合成する合成手段と、
を実現させることを特徴とするプログラム。
1・・・撮像装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,22・・・照明部,31・・・リムーバブルメディア,51・・・画像取得部,52・・・顔検出部,53・・・画像処理部,54・・・マスク画像作成処理部,55・・・調整画像作成処理部,71・・・画像記憶部,72・・・固定マップ記憶部

Claims (5)

  1. 顔画像を取得する処理を実行する取得手段と、
    前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段と、
    前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段と、
    を備え
    前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始することを特徴とする画像処理装置。
  2. 前記マップデータは更に、前記唇を含む領域の色空間のピークとなる色相値に基づいて透過度が調整されたものであることを特徴とする請求項1記載の画像処理装置。
  3. 前記マップデータは更に、前記唇を含む領域の色相値の彩度及び明度について所定の重み付けを加えた透過度に調整されたものであることを特徴とする請求項2記載の画像処理装置。
  4. 画像処理装置の画像処理方法であって、
    顔画像を取得する取得ステップと、
    前記取得ステップにて取得された顔画像全体を明るくするよう調整する調整ステップと、
    前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得ステップにて取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整ステップにて調整された顔画像と、を合成する合成ステップと、
    を含み、
    前記取得ステップ、前記調整ステップ、及び、前記合成ステップは、撮影指示操作に応じて開始されることを特徴とする画像処理方法。
  5. コンピュータを、
    顔画像を取得する処理を実行する取得手段、
    前記取得手段によって取得された顔画像全体を明るくするよう調整する処理を実行する調整手段、
    前記顔画像における唇の位置を含む領域を透過領域としたマップデータを用いて、前記取得手段によって取得され前記唇の領域の輝度を高める処理を施した顔画像と、前記調整手段によって調整された顔画像と、を合成する処理を実行する合成手段、
    として機能させ、
    前記取得手段、前記調整手段、及び、前記合成手段は、撮影指示操作に応じて夫々の処理を開始するプログラム。
JP2017195425A 2017-10-05 2017-10-05 画像処理装置、画像処理方法及びプログラム Active JP7087331B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017195425A JP7087331B2 (ja) 2017-10-05 2017-10-05 画像処理装置、画像処理方法及びプログラム
US16/153,133 US10885616B2 (en) 2017-10-05 2018-10-05 Image processing apparatus, image processing method, and recording medium
CN201811166792.4A CN109639960B (zh) 2017-10-05 2018-10-08 图像处理装置、图像处理方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017195425A JP7087331B2 (ja) 2017-10-05 2017-10-05 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019070871A JP2019070871A (ja) 2019-05-09
JP7087331B2 true JP7087331B2 (ja) 2022-06-21

Family

ID=65993991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017195425A Active JP7087331B2 (ja) 2017-10-05 2017-10-05 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10885616B2 (ja)
JP (1) JP7087331B2 (ja)
CN (1) CN109639960B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
JP2019070870A (ja) 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
KR102641424B1 (ko) * 2019-08-09 2024-02-28 삼성전자주식회사 컴퓨팅 장치 및 그 동작 방법
US11403788B2 (en) 2019-11-22 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111091610B (zh) * 2019-11-22 2023-04-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
JP6969622B2 (ja) * 2020-02-20 2021-11-24 株式会社セガ 撮影遊戯装置およびプログラム
CN111462003B (zh) * 2020-03-20 2022-08-23 稿定(厦门)科技有限公司 人脸图像处理方法、介质、设备及装置
CN111556303B (zh) * 2020-05-14 2022-07-15 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质
CN111598813B (zh) * 2020-05-25 2023-05-19 抖音视界有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质
JP7604804B2 (ja) * 2020-08-11 2024-12-24 オムロン株式会社 画像処理装置および画像処理方法
CN113298888B (zh) * 2020-09-08 2025-02-28 阿里巴巴集团控股有限公司 图像处理方法、装置、设备和存储介质
JP7598031B2 (ja) * 2022-04-28 2024-12-11 フリュー株式会社 プログラム、画像処理方法、画像処理装置
US20230419549A1 (en) * 2022-06-24 2023-12-28 Sony Group Corporation Systems and methods for determining and using a multidimensional measure of apparent skin color

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303193A (ja) 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006237807A (ja) 2005-02-23 2006-09-07 Brother Ind Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
JP2008243059A (ja) 2007-03-28 2008-10-09 Fujifilm Corp 画像処理装置及び画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3222091B2 (ja) 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
US6845181B2 (en) 2001-07-12 2005-01-18 Eastman Kodak Company Method for processing a digital image to adjust brightness
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
JP2005210370A (ja) 2004-01-22 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US7634106B2 (en) 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
JP2007193729A (ja) 2006-01-23 2007-08-02 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
JP2007219815A (ja) 2006-02-16 2007-08-30 Seiko Epson Corp 印刷装置、画像処理装置、印刷方法、および画像処理方法
JP5052263B2 (ja) 2007-09-04 2012-10-17 オリンパスイメージング株式会社 画像処理装置および画像処理方法
JP5171434B2 (ja) 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
WO2010012448A2 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
JP4912374B2 (ja) 2008-09-10 2012-04-11 富士フイルム株式会社 顔イラスト画生成方法及び顔イラスト画生成装置
JP5187139B2 (ja) 2008-10-30 2013-04-24 セイコーエプソン株式会社 画像処理装置およびプログラム
EP2462535A2 (fr) 2009-08-04 2012-06-13 Vesalis Procédé de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
US9898856B2 (en) * 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
JP6423625B2 (ja) * 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN105956576A (zh) 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端
CN107093168A (zh) * 2017-03-10 2017-08-25 厦门美图之家科技有限公司 皮肤区域图像的处理方法、装置和系统
CN107180415B (zh) * 2017-03-30 2020-08-14 北京奇艺世纪科技有限公司 一种图像中皮肤美化处理方法及装置
JP2019070870A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303193A (ja) 2003-03-20 2004-10-28 Omron Corp 画像処理装置
JP2006237807A (ja) 2005-02-23 2006-09-07 Brother Ind Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
JP2008243059A (ja) 2007-03-28 2008-10-09 Fujifilm Corp 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青木 博松 外2名,色分布を用いた唇領域抽出に基づく美顔補正技術,SSII2011 第17回画像センシングシンポジウム講演論文集,日本,画像センシング技術研究会,2011年06月08日,IS1-16-1-IS1-16-6

Also Published As

Publication number Publication date
JP2019070871A (ja) 2019-05-09
CN109639960A (zh) 2019-04-16
US20190108628A1 (en) 2019-04-11
CN109639960B (zh) 2020-12-29
US10885616B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
JP7087331B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6185453B2 (ja) シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
JP6700840B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
CN111526279B (zh) 图像处理装置、图像处理方法和记录介质
CN106919911A (zh) 使用脸部检测的自动脸部和皮肤修饰
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
JP2009010566A (ja) 写真画像のダイナミックレンジを拡大する方法及び撮像装置
JP2016213718A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP7114335B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
CN107730456A (zh) 图像处理方法以及图像处理装置
US10861140B2 (en) Image processing apparatus, image processing method, and recording medium
JP2000242775A (ja) 画像処理方法および装置並びに記録媒体
JP7375313B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7015009B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2005128600A (ja) 画像処理方法及び被写体撮影システム
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7102192B2 (ja) 画像処理装置、その制御方法、プログラム
JP6908013B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7534866B2 (ja) 画像処理装置及び方法、プログラム、記憶媒体
JP2010199866A (ja) 画像処理装置
JP2018032442A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7087331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150