JPH11313202A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力された原画像に対し、エッジ抽出の結果
に関わらず、原画像の対象となる物体を強調し、かつ、
全体として実画像に即した違和感のないイラスト画像に
変換することのできる画像処理装置および画像処理方法
を提供する。 【解決手段】 原画像を入力する画像入力装置１１、入
力された原画像を表示する表示装置１５と、表示された
原画像中の任意の物体領域を指定する領域位置指定装置
１２と、各種演算を行う演算処理装置１４とを備える。
演算処理装置１４は、入力された原画像を、指定された
物体領域が強調された画像に変換すると共に、線画像に
変換し、これら強調変換画像と線画像とを合成して、こ
の合成画像を表示装置１５に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パソコン、ワープ
ロ、ワークステーション、オフコン、携帯型情報ツー
ル、コピー機、スキャナ装置、ファクシミリ、テレビ、
ビデオ、ビデオカメラなどに用いられ、取り込んだ画像
を操作者の所望する状態、例えば写真をイラスト風の趣
のある画像に変換することのできる画像処理装置および
画像処理方法に関するものである。

【０００２】

【従来の技術】従来、写真や画像からイラスト風の趣を
もつ画像を生成する場合、次のような手法がとられてい
た。

【０００３】最も一般的なのは、熟練した技術をもつ者
が、手作業にて作業することである。これは、非常に特
殊な技術と高度な熟練を要する作業であるため、誰にで
もできるものではないし、また、人間が手作業で行うた
め、作業に時間がかかり、大量に作成できない。

【０００４】そこで、近年、作業時間の短縮と、大量作
成とを可能にするために、パソコンやワープロなどの装
置に搭載された画像処理装置を用いて、写真や画像から
イラスト風の趣をもつ画像を生成することが考えられて
いる。

【０００５】例えば、画像処理を行うことのできる装置
にて、入力画像をイラスト風の趣をもつ画像に変換する
のに用いられる技術として、線画を生成したり、減色処
理を行う手法などが提案されている。

【０００６】線画を抽出する方法として、例えば、Sobe
l フィルタを用いた手法がある。この手法は簡単なアル
ゴリズムで画像中のエッジ部分を抽出することが可能で
あるが、線の太さが場所によって異なるなどの欠点があ
る。また、一般的に用いられる減色処理は、画素値（Ｒ
ＧＢ値や輝度値）のヒストグラムに基づいて行われるも
のであるため、例えば画像中でなめらかに明るさが変化
している部分（グラデーション）など、ひとつの色で統
合されるべき部分が複数の色に分割されるなどの欠点が
ある。

【０００７】また、写真などの画像をイラスト風の趣の
ある画像に変換する方法として、例えば特許第2685458
号の「画像処理方法」（キヤノン株式会社）のような発
明もある。上記画像処理方法では、エッジを抽出し、そ
のエッジに囲まれた領域内を特定の色で塗り潰してイラ
スト風の画像を生成するようになっている。

【０００８】

【発明が解決しようとする課題】ところが、上記特許第
2685458 号の「画像処理方法」では、エッジを抽出し、
そのエッジに囲まれた領域内を特定の色で塗り潰す処理
のため、エッジがとぎれなく閉領域を構成していなけれ
ばならず、自然画像に対してそのようなエッジ抽出を行
えば、画像によって小さい領域が多数生じてしまった
り、逆に閉領域がまったく抽出されないなどで、画像に
よっては、目的とするイラスト風の趣をもつ画像を生成
することが難しい。

【０００９】また、上記の画像処理方法では、エッジ部
のみ変換されていない原画像を出力する構成になってお
り、変換した画像と原画像が混成して表示されるため、
原画像によっては、違和感を覚える画像が生成されてし
まうという問題が生じる。

【００１０】本発明は、上記の問題点を解決するために
なされたもので、その目的は、入力された原画像に対
し、エッジ抽出の結果に関わらず、原画像の対象となる
物体を強調し、かつ、全体として実画像に即した違和感
のないイラスト画像に変換することのできる画像処理装
置および画像処理方法を提供することにある。

【００１１】

【課題を解決するための手段】請求項１の画像処理装置
は、上記の課題を解決するために、原画像を、該原画像
中の任意の物体領域を強調した画像に変換すると共に、
線画像に変換し、これら強調変換画像と線画像とを合成
する画像合成処理手段を有していることを特徴としてい
る。

【００１２】上記の構成によれば、原画像中の任意の物
体領域を強調した強調変換画像と、原画像を線画に変換
した線画像とを合成することにより、特定の物体領域の
みが強調された画像を得ることができる。

【００１３】これにより、原画像を写真とした場合、例
えば請求項５に記載のように物体領域を人物顔とすれ
ば、人物顔が強調され、背景が線画となる画像、すなわ
ちイラスト風の趣のある画像を得ることができる。

【００１４】したがって、入力された原画像に対し、エ
ッジ抽出の結果に関わらず、原画像の対象となる物体を
強調し、かつ、全体として実画像に即した違和感のない
イラスト画像に変換することができる。

【００１５】請求項２の画像処理装置は、上記の課題を
解決するために、原画像を入力する画像入力手段と、入
力された原画像を表示する表示手段と、表示された原画
像中の任意の物体領域を指定する物体領域指定手段と、
入力された原画像を、指定された物体領域が強調された
画像に変換する強調変換手段と、入力された原画像を、
線画像に変換する線画像変換手段と、上記強調変換手段
により得られた強調変換画像と、上記線画像変換手段に
より得られた線画像とを合成する画像合成手段とを備え
ていることを特徴としている。

【００１６】上記の構成によれば、画像入力手段により
入力された原画像は、まず、表示手段に表示される。そ
して、この表示された原画像に対して、操作者は、マウ
スやペンなどのポインティングデバイスである物体領域
指定手段を用いて、所望する物体領域を指定する。その
後、強調変換手段によって、原画像が、指定された物体
領域が強調された画像、すなわち強調変換画像に変換さ
れる。一方、線画像変換手段によって指定された物体領
域を考慮して画像全体のエッジを抽出することにより、
原画像が線画像に変換される。最後に、画像合成手段に
より、上記強調変換画像と線画像とが合成されること
で、操作者が所望する物体領域が強調された画像、すな
わちイラスト風の画像が得られる。

【００１７】これにより、単純な線画像生成ではできな
い、指定された物体領域を強調し、かつ、全体として実
画像に即した違和感のないイラスト画像に変換すること
ができる。

【００１８】請求項３の画像処理装置は、上記の課題を
解決するために、請求項２の構成に加えて、上記強調変
換手段は、入力画像を複数の領域に分割する画像分割手
段と、分割された各領域の色をそれぞれ決定して分割領
域変換画像を生成する分割領域変換画像生成手段と、分
割された各領域の境界線を抽出して分割領域境界線画像
を生成する分割領域境界線画像生成手段と、上記物体領
域指定手段により指定された物体領域を抽出すると共
に、該物体領域の色を決定して物体領域変換画像を生成
する物体領域変換画像生成手段とを備え、上記画像合成
手段は、上記線画像変換手段により得られた線画像と、
上記分割領域変換画像生成手段により得られた分割領域
変換画像と、上記分割領域境界線画像生成手段により得
られた分割領域境界線画像と、上記物体領域変換画像生
成手段により得られた物体領域変換画像とを合成するこ
とを特徴としている。

【００１９】上記の構成によれば、請求項２の構成によ
る作用に加えて、まず、分割領域変換画像生成手段は、
画像分割手段により分割された各領域の色をそれぞれ決
定して分割領域変換画像を生成する。具体的には、原画
像を複数の領域に分割し、かつ分割された各領域の色を
決定する。領域を分割する際には、近接画素間の色のつ
ながりが考慮される。次いで、決定された色で領域内の
画素を描画することにより、分割領域変換画像を生成す
る。

【００２０】更に、分割領域境界線画像生成手段は、分
割された各領域の境界線を抽出して分割領域境界線画像
を生成する。具体的には、分割された領域間の境界線を
抽出し、境界線以外の画素は白、かつ、境界線上の画素
を黒または白とする分割領域境界線画像を生成する。こ
の境界線上の画素の判定は、各分割領域の情報から判断
される。

【００２１】また、別に、操作者に処理対象の前記原画
像中の強調処理を行ないたい物体を指定させる。

【００２２】次いで、物体領域変換画像生成手段は、物
体領域指定手段により指定された物体領域を抽出すると
共に、該物体領域の色を決定して物体領域変換画像を生
成する。具体的には、指定された物体領域を判別し、物
体が強調されるように物体領域内の各画素の色を決定す
る。次いで、物体領域内の各画素を決定された色で描画
し、物体領域変換画像を生成する。

【００２３】また、別に、請求項２記載の線画像変換手
段により、入力画像からエッジを抽出し、線画像が作成
される。

【００２４】最後に、画像合成手段は、該線画像、該分
割領域変換画像、該分割領域境界線画像、該物体領域変
換画像を合成する。

【００２５】これにより、減色処理や、エッジ抽出から
求めた輪郭領域内の色描画処理ではうまく変換できない
ような、近接画素の色のつながりを考慮した各領域の色
描画を行なうことができ、かつ、指定した物体部分を強
調した趣のあるイラスト画像を生成できる。

【００２６】請求項４の画像処理装置は、上記の課題を
解決するために、請求項２の構成に加えて、上記強調変
換手段は、上記物体領域指定手段により指定された物体
領域を抽出すると共に、抽出した物体領域を２値化して
物体領域変換画像を生成する２値化物体領域変換画像生
成手段を有し、上記画像合成手段は、上記線画像変換手
段により得られた線画像と、上記２値化物体領域変換画
像生成手段により得られた２値化物体領域変換画像とを
合成することを特徴としている。

【００２７】上記の構成によれば、請求項２の構成によ
る作用に加えて、まず、２値化物体領域変換画像生成手
段は、物体領域指定手段により指定された物体領域を抽
出すると共に、抽出した物体領域を２値化して物体領域
変換画像を生成する。具体的には、操作者に処理対象の
前記原画像中の強調処理を行ないたい物体を指定させ
る。次いで、この指定された物体領域を判別し、この物
体領域を強調するように２値化処理を行ない、２値化さ
れた物体領域変換画像を生成する。

【００２８】また、別に、請求項２記載の線画像変換手
段により、入力画像からエッジを抽出し、線画像が作成
される。

【００２９】最後に、画像合成手段は、該２値化物体領
域変換画像と該線画像を合成する。

【００３０】これにより、単純な２値化処理では生成で
きない、指定した物体部分を強調した趣のあるモノクロ
のイラスト画像を生成できる。

【００３１】請求項５の画像処理装置は、上記の課題を
解決するために、請求項２ないし４の何れかの構成に加
えて、上記物体領域指定手段により指定される物体領域
が人物顔であることを特徴としている。

【００３２】上記の構成によれば、請求項２ないし４の
何れかの構成による作用に加えて、入力される原画像中
の物体に人物顔を含む人物写真画像などから、人物顔を
似顔絵風に強調処理した、カラーのイラスト画像あるい
はモノクロのイラスト画像を簡単に作成できる。

【００３３】また、上記の課題を解決する手段として
は、上述した請求項１ないし５までの各装置の他に、請
求項６に記載の画像処理方法であってもよく、また、請
求項７に記載のように、コンピュータで読み出し可能な
記録媒体に本願発明の画像処理を実行するためのプログ
ラムを記録しても良い。

【００３４】すなわち、請求項６の画像処理方法は、上
記の課題を解決するために、原画像を入力する第１ステ
ップと、入力された原画像を表示する第２ステップと、
表示された原画像中の任意の物体領域を指定する第３ス
テップと、入力された原画像を、指定された物体領域を
強調した画像に変換する第４ステップと、入力された原
画像を、線画像に変換する第５ステップと、上記第４ス
テップで得られた強調変換画像と、上記第５ステップで
得られた線画像とを合成する第６ステップとを含むこと
を特徴としている。

【００３５】また、請求項７のコンピュータ読み取り可
能な記録媒体は、上記の課題を解決するために、原画像
を入力する第１ステップと、入力された原画像を表示す
る第２ステップと、表示された原画像中の任意の物体領
域を指定する第３ステップと、入力された原画像を、指
定された物体領域を強調した画像に変換する第４ステッ
プと、入力された原画像を、線画像に変換する第５ステ
ップと、上記第４ステップで得られた強調変換画像と、
上記第５ステップで得られた線画像とを合成する第６ス
テップとをコンピュータに実行させるための画像処理プ
ログラムに記録したことを特徴としている。

【００３６】

【発明の実施の形態】本発明の実施の一形態について図
１ないし図２６に基づいて説明すれば、以下の通りであ
る。

【００３７】本実施の形態に係る画像処理装置は、写真
や画像からイラスト風の趣をもつ画像を生成するための
装置であり、図１に示すように、画像入力装置１１、領
域位置指定装置１２、記憶装置１３、演算処理装置１
４、表示装置１５、外部記憶装置１６を有している。

【００３８】上記画像入力装置１１は、処理対象となる
写真などの原画像を入力するための画像入力手段であ
る。すなわち、画像入力装置１１は、処理対象となる画
像の信号（画像信号）を本画像処理装置に入力するため
の装置である。

【００３９】上記画像信号は、複数の画素が行列状に配
列されて構成される２次元画像であり、各画素を表す画
素データを有するデジタル信号である。各画素データに
は、２次元画像内の画素の位置を表す位置データ、およ
び画素の表示特性を表す数値データが含まれる。表示特
性を表す数値データには、２次元画像がカラー画像であ
るならば、たとえば赤青緑の各単色光毎の輝度を表す輝
度データが含まれている。

【００４０】上記画像入力装置１１としては、たとえば
ハードディスク、フロッピーディスク、光ディスクおよ
びビデオテープなどの記録媒体に記録されている信号を
読み出す装置が用いられる。この場合、画像入力装置１
１により記録媒体から読み出された信号は記憶装置１３
に格納される。

【００４１】このとき、上述の記録媒体には、たとえば
撮像装置（図示せず）によって物体からの画像光を撮像
して得られた画像信号が記憶されている。撮像装置とし
ては、たとえばスキャナ、デジタルカメラ、およびビデ
オカメラが挙げられる。

【００４２】また、画像入力装置１１自体が撮像装置を
有し、得られた画像信号を記録媒体を経ずに、直接本画
像処理装置の記憶装置１３に導入してもよい。

【００４３】さらに、画像信号は、上述の撮像装置以外
の装置および手法によって生成されてもよい。また、た
とえばＣＤ−ＲＯＭのような記録媒体を用いて配布され
るような、本画像処理装置の操作者以外の第三者が作成
された画像の画像信号であってもよい。これらの画像信
号の取得動作は、後述の本画像処理装置の画像処理動作
の事前にあらかじめ準備されていてもよいし、処理動作
の直前に行なわれてもよい。

【００４４】上記領域位置指定装置１２は、操作者が画
像中の対象物体領域を指定するための物体領域指定手段
であり、たとえばマウスやトラックボール、ペンなどの
ポインティングデバイスが好適に用いれる。つまり、操
作者は、上記領域位置指定装置１２としてのマウス等の
ポインティングデバイスを用いて、後述する表示装置１
５に表示される画像入力装置１１によって導入された原
画像を見ながら、強調処理したい領域を含むように領域
位置（領域輪郭座標位置）を指定する。このとき、指定
された領域輪郭座標位置は記憶装置１３に格納される一
方、表示装置１５に反映され、たとえば、各座標間を結
ぶ線分として表示される。このようにして得られる領域
を物体領域とする。

【００４５】上記記憶装置１３は、上述した原画像の画
像信号や領域輪郭座標位置などを記憶する記憶手段であ
り、記憶する情報の種類に応じて少なくとも７つの記憶
部、すなわちメモリ１３ａ〜１３ｇを有している。な
お、記憶装置１３は、後述するメモリＭ１〜Ｍ３（図示
しない）を有している。

【００４６】メモリ１３ａには、画像入力装置１１によ
って入力された原画像（処理対象原画像）が格納され、
メモリ１３ｂには、領域位置指定装置１２で上記処理対
象画像に対して指定した領域を示す物体座標（領域輪郭
座標位置）が格納される。

【００４７】メモリ１３ｃ〜１３ｅには、演算処理装置
１４にて、画像処理中に中間画像として生成される分割
領域画像、物体領域画像、線画像がそれぞれ格納され
る。

【００４８】メモリ１３ｆには、演算処理装置１４にて
合成処理を行なった結果得られた合成画像が格納され
る。

【００４９】メモリ１３ｇには、演算処理装置１４にて
行われる各処理用のプログラムが格納され、これら各プ
ログラムは必要に応じて読み出され、実行されるように
なっている。この処理用のプログラムの詳細については
後述する。

【００５０】上記表示装置１５は、たとえば陰極線管や
液晶表示装置などからなり、記憶装置１３のメモリ１３
ａ，１３ｂに格納された画像データもしくは座標データ
を画面上に表示するようになっている。画面上には、入
力された原画像が表示され、かつ、操作者が領域位置指
定装置１２によって入力した座標が前記の原画像上に各
座標間を結ぶ線分として表示されている。

【００５１】また、表示装置１５は、記憶装置１３のメ
モリ１３ｆに格納された画像データ、すなわち、後述の
演算処理装置１４の画像処理動作によって生成される合
成画像を表示するようにもなっている。

【００５２】上記演算処理装置１４は、本発明の主要な
処理を行なう装置であり、且つ画像分割部１７、領域色
変換部１８、物体領域生成部１９、線画像生成部２０、
画像合成部２１から構成され、画像の合成処理を行う画
像合成手段でもある。

【００５３】上記画像分割部１７は、平滑化部１７ａ、
ラベリング部１７ｂ、モードフィルタ部１７ｃからな
り、これら各部を用いて原画像を複数の領域に分割する
領域分割処理を行うようになっている。なお、この領域
分割処理の詳細は後述する。

【００５４】上記領域色変換部１８は、代表色取得部１
８ａ、トーン変換部１８ｂからなり、これら各部を用い
て分割領域毎の色を決定する領域色変換処理を行うよう
になっている。なお、領域色変換処理の詳細は後述す
る。

【００５５】上記物体領域生成部１９は、色分布取得部
１９ａ、肌領域抽出部１９ｂ、髪領域抽出部１９ｃ、顔
マスク合成部１９ｄからなり、これら各部を用いて物体
領域画像を生成する物体領域生成処理を行うようになっ
ている。なお、物体領域生成処理の詳細は後述する。

【００５６】上記線画像生成部２０は、エッジ抽出部２
０ａ、２値化部２０ｂ、境界線画部２０ｃ、線画合成部
２０ｄ、ノイズ除去部２０ｅからなり、これら各部を用
いて原画像に対応する線画像を生成する線画像生成処理
を行うようになっている。

【００５７】上記画像合成部２１は、上記画像分割部１
７と領域色変換部１８によって得られた分割領域画像、
物体領域生成部１９によって得られた物体領域画像、線
画像生成部２０によって得られた線画像を順に重ねて１
枚の合成画像に生成する画像合成処理を行うようになっ
ている。

【００５８】上記演算処理装置１４にて行われる各処理
用のプログラムは、上述したように、メモリ１３ｇに予
め記憶させていてもよいし、上記の各処理用のプログラ
ムをコンピュータが読み取り可能なようにフロッピーデ
ィスクやＣＤ−ＲＯＭなどの記録媒体に記録させてもよ
い。この場合、例えば、図１に示すように、フロッピー
ディスクやＣＤ−ＲＯＭなどの記録媒体の情報が読み取
り可能な外部記憶装置１６を設け、この外部記憶装置１
６によって上記の記録媒体に記録された情報、すなわち
処理用プログラムをメモリ１３ｇに転送すればよい。

【００５９】上記の記録媒体としては、例えば図２６に
示すように、領域分割処理用プログラム３１ａ、領域色
変換処理用プログラム３１ｂ、物体領域生成処理用プロ
グラム３１ｃ、線画像生成処理用プログラム３１ｄ、画
像合成処理用プログラム３１ｅが記録された記録媒体３
１が考えられる。しかしながら、記録媒体３１に全ての
処理用プログラムが記録されている必要はなく、上記の
５つの処理用プログラムのうち少なくとも１つの処理用
プログラムが記録されていればよい。この場合、記録媒
体に記録されていない処理用プログラムは、メモリ１３
ｆに予め記憶させればよい。

【００６０】ここで、上記構成の画像処理装置で実行さ
れる画像処理について以下に説明する。なお、本説明で
は、原画像中で強調したい物体として人物の顔を適用し
た場合について説明する。また、はじめに図１に示す画
像処理装置（以下、本画像処理装置と称する）で行われ
る画像処理の流れの全体を簡単に説明し、その後、各処
理について詳細に説明する。

【００６１】まず、本画像処理装置の画像処理について
図２および図３を参照しながら簡単に説明する。

【００６２】図２は、本画像処理装置によって実施され
る画像処理動作の各処理段階における画像を示す説明図
であり、図３は、本画像処理装置における画像処理の流
れを示すフローチャートである。本画像処理装置の画像
処理では、図２に示す原画像２２ａに対し、操作者が強
調したい人物顔領域として物体領域輪郭２２ｃを指定し
た場合に、物体領域を似顔絵風に強調変換し、かつ原画
像２２ａ全体をイラスト風に変換して図２に示すイラス
ト風画像を示す処理結果画像２６，２７を生成するよう
になっている。

【００６３】図３に示すように、はじめに原画像入力を
行う（Ｓ１）。すなわち、画像入力装置１１は、対象と
なる原画像２２ａを記憶装置１３のメモリ１３ａに格納
する。

【００６４】次に、原画像表示を行う（Ｓ２）。すなわ
ち、表示装置１５は、記憶装置１３のメモリ１３ａに格
納された原画像２２ａを画面上に表示する。

【００６５】次いで、物体領域の指定が行われる（Ｓ
３）。すなわち、操作者は、領域位置指定装置１２を用
いて、表示装置１５に表示される原画像２２ａを見なが
ら、領域輪郭座標位置を指定する。

【００６６】これにより、図２に示す原画像２２ｂにお
いて、物体領域輪郭２２ｃが示される。この領域輪郭座
標位置は、物体領域の情報、たとえば、座標列、または
２次元画像データ（マスク画像）として記憶装置１３の
メモリ１３ｂに格納される。ここで、物体領域輪郭２２
ｃは、完全に原画像２２ｂ中の実際の物体領域（顔領
域）と一致する必要はない。また、物体領域輪郭２２ｃ
は、完全に閉じた輪郭として指定される必要はなく、閉
じた輪郭が指定されなかった場合は、輪郭の始点と終点
を結び、閉じた輪郭として記憶装置１３のメモリ１３ｂ
に格納されるようにしてもよい。なお、図２に示す原画
像２２ａと原画像２２ｂとは同じ画像を示しており、説
明の便宜上２つに分けている。すなわち、原画像２２ａ
は領域指定する前の画像を示し、原画像２２ｂは領域指
定した後の画像を示している。

【００６７】そして、物体領域の情報がメモリ１３ｂに
格納された後で、次のステップ（Ｓ４）に移行する。

【００６８】次いで、原画像の領域分割が行われる（Ｓ
４）。ここで、画像分割部１７は、メモリ１３ａに格納
された原画像２２ａを読み込み、領域分割処理を行う。
すなわち、画像分割部１７は、平滑化部１７ａ、ラベリ
ング部１７ｂ、モードフィルタ部１７ｃを用いて、画像
中の画像の特性値が類似する画素が連続する領域を、単
一の領域として原画像から分割する。分割された領域の
情報はメモリ１３ｃに格納される。この領域分割処理の
詳細は後述する。

【００６９】続いて、領域色変換が行われる（Ｓ５）。
ここで、領域色変換部１８は、メモリ１３ａに格納され
た原画像２２ａと、Ｓ４で生成され、メモリ１３ｃに格
納された分割領域の情報とに基づいて、各分割領域の色
をそれぞれ決定し、決定された色を用いて各分割領域内
を描画することにより、図２に示す分割領域変換画像
（以下、分割領域画像と称する）２３を生成し、メモリ
１３ｃに再度格納する。この領域色変換処理の詳細は後
述する。すなわち、上記領域色変換部１８は、分割され
た各領域の色をそれぞれ決定して分割領域変換画像を生
成する分割領域変換画像生成手段を構成している。

【００７０】次いで、物体領域の抽出／変換が行われる
（Ｓ６）。ここで、物体領域生成部１９は、メモリ１３
ａに格納された原画像２２ａとメモリ１３ｂに格納され
た領域輪郭座標位置の情報とに基づいて、物体領域の抽
出と領域の色を決定し、決定された色を用いて抽出され
た領域内を描画することにより、図２に示す物体領域変
換画像（以下、物体領域画像と称する）２４を生成し、
メモリ１３ｄに格納する。この物体領域生成処理の詳細
は後述する。すなわち、上記物体領域生成部１９は、物
体領域を抽出すると共に、該物体領域の色を決定して物
体領域変換画像を生成する物体領域変換画像生成手段を
構成している。

【００７１】次いで、線画像生成が行われる（Ｓ７）。
ここで、線画像生成部２０は、メモリ１３ａに格納され
た原画像２２ａと、Ｓ５で生成され、メモリ１３ｃに格
納された分割領域画像２３と、Ｓ６で生成され、メモリ
１３ｄに格納された物体領域画像２４とに基づいて、図
２に示す線画像２５を生成し、メモリ１３ｅに格納す
る。この線画像生成処理の詳細は後述する。

【００７２】続いて、中間画像の合成が行われる（Ｓ
８）。すなわち、上述のＳ７の動作が終ると、当該フロ
ーチャートの動作は、Ｓ８に進む。ここで、画像合成部
２１は、Ｓ５〜Ｓ７で生成され、メモリ１３ｃ〜１３ｅ
に格納された中間画像である分割領域画像２３、物体領
域画像２４、線画像２５を順に重ねることにより１枚の
画像に合成し、図２に示す処理結果画像２６として、メ
モリ１３ｆに格納する。この画像合成処理の詳細は後述
する。

【００７３】最後に、処理結果表示が行われる（Ｓ
９）。すなわち、メモリ１３ｆに格納された処理結果画
像２６が、表示装置１５に表示される。この場合の画像
は、入力画像がカラー画像であるので、カラーのイラス
ト風の画像となる。

【００７４】なお、Ｓ４、Ｓ５とＳ６における処理は並
行して実施されても良い。また、Ｓ４、Ｓ５はＳ３の前
に行なわれても良い。

【００７５】また、上記の画像処理の説明では、処理結
果の画像がカラー画像の場合について説明しているが、
処理結果の画像がモノクロ画像の場合についても同様に
できる。

【００７６】処理結果の画像がモノクロ画像の場合、特
にカラー化に必要な処理、すなわち、Ｓ４、Ｓ５を必ず
しも行なう必要はない。したがって、画像分割部１７、
およびメモリ１３ｃは必要ない。また、線画像生成部２
０中の境界線画部２０ｃも必要ない。この場合、Ｓ８に
おいて画像合成部２１は、メモリ１３ｄと１３ｅに格納
された物体領域画像２４、線画像２５を、順に重ねるこ
とにより１枚の画像に合成し、図２に示す処理結果画像
２７として、メモリ１３ｆに格納し、Ｓ９へ進むように
すればよい。

【００７７】次に、本画像処理装置における画像処理の
各処理の詳細について説明する。なお、ここでは、入力
画像がカラーである例を中心に説明し、グレースケー
ル、いわゆるモノクロの場合については別途説明を追加
する。

【００７８】はじめに、領域分割処理について説明す
る。図４は、図３に示したフローチャートのＳ４の領域
分割処理の詳細を表すフローチャートである。また、図
５は、この領域分割処理動作によって後述のラベル画像
が生成される様子を簡単に示した説明図である。図４の
フローチャートと図５を用いて、画像分割部１７におけ
る上述の領域分割処理動作を説明する。

【００７９】まず、平滑化処理を行う（Ｓ１１）。すな
わち、図３のフローチャートでＳ３からＳ４に進むと、
図４のフローチャートのＳ１１に移行する。ここで、平
滑化部１７ａは、入力された原画像の画像信号の平滑化
動作を実施する。

【００８０】つまり、任意の位置の或る画素に対する平
滑化動作は、たとえば、該画素の８近傍の画素の各単色
光（赤、緑、青）の輝度値を各単色光毎に平均し、求ま
った単色光毎の平均値を該画素の単色光毎の輝度値とす
ることにより行なわれる。そして、入力された原画像中
の全ての画素に対して上記平滑化を行なう。以降、各画
素毎の画素データとして、平滑化された輝度値が与えら
れた画像を平滑化画像として定義する。

【００８１】この平滑化画像の単純な例を図５（ａ）に
示す。すなわち、図５（ａ）に示す平滑化画像では、単
色光毎の平均値から分割領域画像が６つの色で、領域４
０〜４５に分割されている。

【００８２】したがって、上記平滑化部１７ａによる平
滑化処理により、画像信号に含まれる雑音成分の影響を
低減させることが出来る。平滑化手法は、この他の別の
手法を用いてもよい。

【００８３】次に、ラベリング処理を行う（Ｓ１２）。
ここで、ラベリング部１７ｂは、Ｓ１１で求めた平滑化
画像に対して、画素のラベリング動作を実施する。

【００８４】つまり、ラベリング動作は、画素データが
類似する画素に同一の領域番号を付ける動作であり、画
像内の全ての画素について、画素単位で実施される。具
体的には、任意の位置の或る画素に対し、該画素と該画
素の近傍の複数の画素について、画素間の色差を算出す
る。続いて、色差とあらかじめ定める基準色差を比較
し、基準色差以上の色差をもつ画素間は別の領域に含ま
れると判定し、互いに異なる領域番号を付ける。逆に、
基準色差未満の色差をもつ画素間は同じ領域に含まれる
と判定し、同一の領域番号を付ける。これによって、平
滑画像を構成するすべての画素が、複数の領域のいずれ
かに属するように、ラベリング動作が実施される。以
降、各画素毎の画素データとして、領域番号が与えられ
た画像をラベル画像として定義する。

【００８５】このラベル画像の例を、図５（ａ）の平滑
化画像に対し、図５（ｂ）に示す。すなわち、図５
（ｂ）に示すラベル画像では、６つの領域４０〜４５に
対してそれぞれ数値（領域番号）が付与されている。領
域４０に対して領域番号『３』が、領域４１に対して領
域番号『１』が、領域４２に対して領域番号『４』が、
領域４３に対して領域番号『６』が、領域４４に対して
領域番号『２』が、領域４５に対して領域番号『５』が
付与されている。

【００８６】ここで、前記色差を算出する方法として
は、たとえば、画素データの各単色光毎の輝度値を画素
間でそれぞれ減算処理することにより差分値を算出し、
各単色光毎の差分値の合計値を色差として算出する。色
差算出手法は、この他の別の手法を用いても良い。たと
えば、画素データを各単色光の輝度値から、色相（Ｈ）
・彩度（Ｓ）・輝度（Ｖ）で表現されるＨＳＶ値に変換
し、色差を求める２画素のＨＳＶ空間上での位置を求
め、その間の距離値を色差としてもよい。

【００８７】次に、モードフィルタ処理を行う（Ｓ１
３）。ここで、モードフィルタ部１７ｃは、Ｓ１２で求
めたラベル画像中の微小な領域を隣接の他の領域と統合
する。任意の位置の或る画素に対する統合手法は、たと
えば、或る画素の領域番号を、該画素の周辺の複数の画
素に付けられた領域番号のうちでもっとも出現頻度が高
い領域番号、すなわち、周囲の複数の画素がもっとも多
く属する領域の領域番号に置き換えることで実施され
る。これにより、分割面積が極めて小さい領域を除去し
て、ラベル画像が、領域面積の比較的大きな領域のみで
構成されるようにすることが出来る。

【００８８】例えば、統合処理された画像の例を、図５
（ｂ）に示すラベル画像に対し、図５（ｃ）に示す。す
なわち、図５（ｂ）で領域番号『２』が付与された領域
４４と領域番号『５』が付与された領域４５とは、それ
ぞれ近傍画素である領域４０の領域番号『３』が付与さ
れる。これにより、ラベル画像中の微小な領域を適切な
色に導くようになっている。

【００８９】なお、以上の説明では、入力される原画像
がカラー画像の場合を中心に説明したが、これに限定す
るものではなく、例えば入力される原画像がグレースケ
ール画像の場合、上述のＳ１１の平滑化は各画素の単色
光毎の輝度値の平均ではなく、各画素の輝度値の平均を
とればよい。

【００９０】同様にＳ１２のラベリング動作において算
出される色差は、各単色光の輝度値の差分値の合計では
なく、画素の輝度値の差分値を色差と定義し、算出すれ
ばよい。

【００９１】また、ＨＳＶ空間上で色差を算出する方法
を用いるならば、画素の輝度値をＶとし、残りのＨ、Ｓ
値を０として、画素データをＨＳＶ値に変換してから上
述にあるように色差を算出してもよい。

【００９２】以上のＳ１３の処理が終了すると、図３の
Ｓ４の動作、すなわち領域分割処理が終了し、次いで、
図３のＳ５へと進む。

【００９３】次に、領域色変換処理について説明する。
上述のラベル画像と原画像から、分割領域の色を決定
し、決定された色を用いて分割領域内を描画することに
より、分割領域画像を生成する。ここで、具体的な分割
領域の色（領域色）を決定する方法について、図６に示
すフローチャートを参照しながら以下に説明する。

【００９４】まず、分割領域の代表色の算出を行う（Ｓ
２１）。ここで、領域色変換部１８の代表色取得部１８
ａは、メモリ１３ａに格納された原画像と、画像分割部
１７で求めたラベル画像から分割領域毎にその領域を代
表する色（代表色）を算出する。

【００９５】具体的な代表色の算出手法としては、たと
えば、ラベル画像中のある領域番号の領域内の全ての画
素の座標に対応する原画像中の画素データ、すなわち、
各単色光の輝度値をそれぞれ平均し、求まった単色光毎
の平均輝度値を各単色光毎の輝度値とする画素データ
を、その領域の代表色とする。代表色の算出は、この他
の手法を用いて決定してもよい。

【００９６】次に、ＲＧＢ→ＨＳＶ変換を行う（Ｓ２
２）。ここでは、該代表色（ＲＧＢ）を色相・彩度・輝
度によるデータ（ＨＳＶ）に変換する。

【００９７】続いて、代表色の属するトーンを調査する
（Ｓ２３）。ここでは、彩度、輝度を軸とした空間上
で、該代表色の彩度・輝度値に基づき、該代表色がこの
空間上のどの部分空間に属するかを決定する。以後、こ
の彩度、輝度を軸とした空間全体をトーン空間と定義
し、トーン空間の部分空間をトーンと定義する。

【００９８】具体的には、たとえば図７に示すように、
輝度、彩度のスケールを均等にレベル１からレベル８ま
でのレベルに分割することにより、全部で６４の領域に
トーン空間内を分割し、その各領域をトーンとして定義
する。したがって、Ｓ２２で求めた該代表色の彩度・輝
度値から、該代表色はトーン空間内の或るトーンと一意
に関係付けることができる。たとえば、彩度・輝度のス
ケールが１であり、該代表色が彩度０．７、輝度０．４
である場合、該代表色は、彩度レベル６、輝度レベル４
のトーン（図中斜線部分）に属することになる。

【００９９】次に、上記代表色の輝度レベルが２〜７
（２以上７以下）の範囲にあるか否かを判断する（Ｓ２
４）。ここで、代表色の輝度レベルが上記の範囲にあれ
ばＳ２５に移行し、範囲になければＳ２７に移行する。

【０１００】Ｓ２５では、Ｓ２４で調査した代表色に対
して更に、彩度レベルが２以上であるか否かを判断す
る。すなわち、更に該代表色のトーンの彩度レベルを調
べる。もし彩度レベルが２以上であるならばＳ２６に移
行し、そうでなければ、Ｓ２８に移行する。

【０１０１】Ｓ２６では、上記代表色を、該当トーンに
対応する彩度・輝度に変更する。すなわち、あらかじめ
該代表色の属するトーンに一意に決定付けられている彩
度・輝度を、該領域の領域色の彩度・輝度とする。

【０１０２】代表色のトーンから彩度・輝度値を決める
具体的な方法としては、例えば、図８に示すように、代
表色の属するトーンより彩度・輝度レベルが一段上のト
ーン内における彩度・明度の最大値を、該トーンの彩度
・輝度値として定義する。つまり、図８（ａ）に示すト
ーン空間で設定された代表色のトーン（彩度レベル６，
輝度レベル４）に対して、図８（ｂ）に示すように、彩
度・輝度ともに１段階大きくした位置のトーン（彩度レ
ベル７，輝度レベル５）を採用し、さらに、図８（ｃ）
に示すように、図８（ｂ）で示したトーン内における最
大彩度・輝度値に代表色の彩度・輝度値を変換する。こ
れによって、代表色を、より明るく鮮やかな色に変換す
ることができる。図８（ｃ）において、●は代表色を変
換した領域色を示す。

【０１０３】なお、トーンから彩度・輝度値を決める方
法は、別の方法を用いても良い。たとえば、図９（ａ）
に示すトーン空間から、図９（ｂ）に示すように、トー
ン空間の分割レベルをもっと少なくした上位トーンを新
たに定義し、図９（ｃ）に示すように、該トーンの含ま
れる上位トーン内の彩度・明度の最大値を、該トーンの
彩度・輝度値として定義しても良い。これによれば、代
表色は画像全体としてより色合いが統一された色に変換
することができる。図９（ｃ）において、●は代表色を
変換した領域色を示す。

【０１０４】一方、Ｓ２４で代表色の輝度レベルが２〜
７の範囲でない場合には、彩度・輝度は代表色の彩度・
輝度と同じにする（Ｓ２７）。ここでは、領域色の彩度
・輝度値として、該代表色の彩度・輝度値をそのまま用
いる。すなわち、輝度が極端に高い、または低い代表色
は、色変換を行なわずに、代表色をそのまま領域色に適
用する。

【０１０５】これにより、輝度レベルが１や８の代表
色、すなわち輝度が極端な値をもつ代表色の彩度が不安
定な場合に、余分な色変換を行なわないようにすること
ができる。そして、Ｓ２７の処理の終了後、Ｓ３２に移
行する。

【０１０６】また、Ｓ２５で彩度レベルが２未満の場
合、Ｓ２８に移行する。ここでは、領域色の彩度値は無
条件に０とする。すなわち、彩度が低い代表色をもつ領
域の領域色は、無彩色として定義される。これにより、
人間が知覚しやすい無彩色により近い色は、完全に無彩
色として扱い、余計な色変換を行なわないようにする。

【０１０７】そして、Ｓ２８の処理が終了すると、続い
て、Ｓ２９に移行する。ここでは、該トーンの輝度レベ
ルが３以上かどうかを調べる。３以上であるならば、Ｓ
３０に移行し、３未満ならばＳ３１に移行する。

【０１０８】Ｓ３０では、領域色の輝度値を、代表色の
輝度値＋（最大輝度値−代表色の輝度値）により算出す
る。

【０１０９】これにより、ある程度の輝度値をもつ代表
色は、輝度値の底上げが行なわれ、より明るい無彩色に
変換されることになる。Ｓ３０が終了すると、Ｓ３２に
移行する。

【０１１０】一方、Ｓ３１では、領域色の輝度値を、該
代表色の輝度値とする。すなわち、彩度が低く、かつ、
輝度があまり高くない代表色は、輝度値を変更せずに、
無彩色に変換する。これにより、たとえば、より黒色に
近い代表色は、黒さを保ったままで、かつ、完全に彩度
のない無彩色として変換されることになる。Ｓ３１の処
理が終了すると、Ｓ３２に移行する。

【０１１１】Ｓ３２では、ＨＳＶ→ＲＧＢ変換を行う。
すなわち、ここでは、ここまでの各ステップを経て求ま
った領域色の彩度・輝度に加えて、該代表色の色相を領
域色の色相とし、これにより定まった領域色の色相・彩
度・輝度（ＨＳＶデータ）を各単色光（赤、緑、青）の
輝度値（ＲＧＢデータ）に変換する。以後、変換された
各単色光の輝度値で表現される色を領域色とする。

【０１１２】以上のステップにより図６のフローチャー
トの処理は終了し、分割領域内を描画する色である領域
色を決定することが出来る。上記の領域色の決定は、す
べての分割領域に対して行なわれる。求められた領域色
を用いて、ラベル画像内の領域位置に対応する領域内を
描画することにより、分割領域画像が生成される。

【０１１３】分割領域画像の生成が終了すると、図３の
Ｓ５が終了し、次いで、図３のＳ６へと移行する。

【０１１４】なお、以上の説明では、入力される原画像
がカラー画像の場合を中心に説明したが、入力される原
画像がグレースケール画像の場合は、処理対象となる画
素の各単色光の輝度値が、原画像（グレースケール画
像）の該画素の輝度値と全て同じ値とした後で、上述の
図６のフローチャートに従って処理を行えば良い。

【０１１５】続いて、物体領域生成処理について説明す
る。ここでは、上述の領域輪郭座標位置の情報（ユーザ
ー入力パターン）と原画像とから、物体領域の抽出と領
域の色を決定し、決定された色を用いて抽出された領域
内を描画することにより物体領域画像を生成する。ここ
で、具体的な生成手法について、図１０〜２２を用い
て、詳細に説明する。

【０１１６】本処理を説明するために、あらかじめ以下
の手順で抽出すべき物体の色分布を解析しておく。

【０１１７】１. 人間が手作業にて、対象物体が写って
いる画像より、その物体のもっとも支配的な色で構成さ
れた領域のみを抽出した支配領域色画像を作成する。支
配的な色とは、例えば、図１１（ａ）に示すように、物
体が人間の顔の場合、図１１（ｂ）に示すように、顔の
色を示す肌色のことであり、その物体の色を表す一系統
の色のことである。

【０１１８】２. 同様の画像を別の物体についても複数
個作成する。

【０１１９】３. それらの支配色領域画像において、画
素の色分布を、図１２に示す出現頻度のヒストグラムと
して表す。すなわち、図１２（ａ）に示す曲線３２ａは
色相のヒストグラム、図１２（ｂ）に示す曲線３２ｃは
彩度のヒストグラム、図１２（ｃ）に示す曲線３２ｅは
明度のヒストグラムを示している。

【０１２０】４．各ヒストグラムにて、分布の平均と分
散を求め、分布に最もよくフィットするような正規確率
密度関数（以下の式（１））を求める。色相、彩度、明
度の各正規確率密度関数は、それぞれ図１２（ａ）では
曲線３２ｂ、図１２（ｂ）では曲線３２ｄ、図１２
（ｃ）では曲線３２ｆで示される。

【０１２１】かくして、該物体の色分布は、色相、彩
度、明度それぞれについて、その平均値と分散（それぞ
れ、μhue 、σhue²、μsat 、σsat²、μval 、σva
l²）の２つの引数で表される正規確率密度関数（Phue
(x) 、Psat(x) 、Pval(x) ）で表すことができる（式
（２）〜（４））。そして、式（５）〜（７）で与えら
れる式をそれぞれ、色相、彩度、明度を与えた時の、物
体領域確率密度関数と呼ぶ。

【０１２２】 P(x) 〜 N(μ,σ²) ≡ P(x) = 1/(2π^(1/2) ) * exp(-((x- μ)²)/(2 σ²) ・・・・（１） Phue(x) 〜 N(μhue, σhue²) ・・・・（２） Psat(x) 〜 N(μsat, σsat²) ・・・・（３） Pval(x) 〜 N(μval, σval²) ・・・・（４） Fhue(x) = Phue(x) / Phue( μhue) ・・・・（５） Fsat(x) = Psat(x) / Psat( μsat) ・・・・（６） Fval(x) = Pval(x) / Pval( μval) ・・・・（７） なお、平均と分散を求めて正規分布にあてはめる際、平
均から大きくずれるような値（例えば、図１２（ａ）に
示す色相の分布ヒストグラムにおいて、２０位を中心に
±３０程度にほとんどの画素の色相が分布するような場
合に、１００や−１５０といった値）は、たとえ数が少
なくとも、分散を大きく見積もってしまうことになるた
め、それらの色相値をもつ画素は異常値として除去した
のち、平均と分散を計算したほうが、より正しい分布に
あてはめられる正規分布曲線（確率密度関数）を得るこ
とができる。

【０１２３】次に、物体領域抽出処理の流れを図１０に
示すフローチャートを参照しながら以下に説明する。

【０１２４】まず、処理対象領域の設定を行う（Ｓ４
１）。ここで、図１３（ａ）において、ユーザーにより
入力されたパターン（以下、ユーザー入力パターンと称
する）に基づき処理対象領域を設定する。画像４１に対
し、人間の顔領域を指定するようなパターンがユーザー
によって入力された場合、そのユーザー入力パターン４
２の外接矩形の上下左右各辺をそれぞれ上方向、下方
向、左方向、右方向に拡張して得られる矩形４３処理対
象領域とする。また、ユーザー入力パターン４２で囲ま
れた領域を、図１３（ｂ）に示すように、入力マスク領
域４４とする。

【０１２５】次に、物体領域候補画素の算出を行う（Ｓ
４２）。つまり、入力画像は各画素ＲＧＢ値で表現され
ているとし、処理対象領域内にて、該入力画像の各画素
のＲＧＢ値より求められる、色相、彩度、明度をそれぞ
れ引数として、３つの関数Fhue(x) 、Fsat(x) 、Fval
(x) の値を求め、各値が特定のしきい値以上になるよう
な画素を最初の物体領域候補画素とする。ここで、上記
式（２）〜（４）で与えられる値は、各式にそれぞれ、
ある画素の色相、彩度、明度を与えた時に、その画素
が、これから抽出しようとする物体領域を構成する画素
である確率を与えるものである。

【０１２６】この時、設定する確率は、例えば５％のよ
うに、なるべく広い範囲をとるように小さめに設定すべ
きである。また、引数が平均（正規分布曲線の極大点）
より小さい場合と大きい場合とで違う確率を設定する事
もあり得る。

【０１２７】このようにして、ユーザー指定によって設
定された処理対象領域のなかで、わずかでも物体領域を
構成する可能性のある画素を最初の物体領域候補画素と
する。

【０１２８】続いて、残った画素の色相、彩度、明度の
平均・分散の算出を行う（Ｓ４３）。すなわち、上述の
物体領域候補画素のうち、入力マスク領域内の画素の、
色相、彩度、明度の平均と分散を求める。

【０１２９】ここで、物体領域候補画素の選択を、確率
を基準にして行うことを述べたが、撮像系の特性などに
より、適宜、この確率での画素値（色相、彩度、明度）
に近い値で適当にしきい値を調整することも有効であ
る。

【０１３０】新しく計算された色相、彩度、明度の平
均、分散をそれぞれ、μhue ’、σhue²’、μsat ’、
σsat²’、μval ’、σval²’とすると、色相、彩度、
明度を引数とした新しい確率密度関数（ Phue ’(x) 、
Psat ’(x) 、Pval ’(x) ）は、それぞれ、以下のよ
うに表される（式（８）〜（１０））。そして、新しい
物体領域確率密度関数として、式（１１）〜（１３）を
定義する。

【０１３１】 Phue’(x) 〜 N(μhue ’, σhue²) ・・・・（８） Psat’(x) 〜 N(μsat ’, σsat²) ・・・・（９） Pval’(x) 〜 N(μval ’, σval²) ・・・（１０） Fhue’(x) = Phue’(x) / Phue’( μhue ’) ・・・（１１） Fsat’(x) = Psat’(x) / Psat’( μsat ’) ・・・（１２） Fval’(x) = Pval’(x) / Pval’( μval ’) ・・・（１３） これらの関数を用いて物体を構成する画素を選択する。

【０１３２】１. まず、処理対象領域に含まれるすべて
の画素を初期値とし、そのなかで、色相値を引数として
得られた物体領域確率（Fhue’(x) ）が一定値以下の画
素を除去する。

【０１３３】２. 次に、彩度値を引数として得られた物
体領域確率（Fsat’(x) ）が一定値以下の画素を除去す
る。

【０１３４】３. 最後に、明度値を引数として得られた
物体領域確率（Fval’(x) ）が一定値以下の画素を除去
する。

【０１３５】ここで、しきい値として設定される確率の
下限は、最初の物体領域候補画素を求めた時より高く設
定する。例えば、前者が５％なら、後者は３０％という
ようにする。これにより、最初の顔肌候補画素を求めた
時にノイズとして誤抽出されていたような画素も、後段
で行われた手法では誤抽出されない、といった特徴があ
ることになる。

【０１３６】ここで、物体領域画素の選択を、確率を基
準にして行うことを述べたが、撮像系の特性などによ
り、適宜、この確率での画素値（色相、彩度、明度）に
近い値で適当にしきい値を調整することも有効である。

【０１３７】例えば、図１４（ａ）に示すように、物体
が顔である場合、明度に関して言及すると、顔肌と髪の
毛では明らかに明度が異なり、図１４（ｂ）に示すよう
に、ヒストグラムをとると明度値の小さいほうに髪の毛
を表す山４５および、明度の比較的高いほうに顔肌領域
を表す山４６が現れることになる。

【０１３８】したがって、図１４（ａ）で示した画像に
対して、単純に確率をしきい値として画素を選択してし
まうと、図１４（ｂ）に示すように、明度値がＸ１のよ
うな位置にしきい値が設定されてしまい、髪の毛の一部
も顔肌画素として抽出されてしまう可能性がある。そこ
で、このような場合には、適当な明度値以下で「大津の
判別分析」のようなアルゴリズムを適用し、明度のしき
い値をＸ２のように、より適当な値に設定することが可
能となる。

【０１３９】以上のような方法で、適応的に物体領域確
率密度関数を更新することにより、図１５（ａ）に示す
入力画像に対して、図１５（ｃ）に示すような物体領域
抽出画像を得ることができる。また、従来のような固定
関数で抽出する手法では、図１５（ｂ）に示すような物
体領域抽出画像が得られる。したがって、上記した本願
の方法により得られた図１５（ｃ）に示す物体領域抽出
画像は、図１５（ｂ）に示す従来のような固定関数で抽
出する手法で得られる物体領域抽出画像に比べ、ノイズ
による誤抽出が少なくなるという利点がある。

【０１４０】以上の説明は、入力画像がカラー画像であ
る場合のことであり、グレースケール画像の場合は以下
のようになる。

【０１４１】まず、カラー画像の場合には、あらかじめ
抽出すべき物体の色分布を解析するところで、各画素の
ＲＧＢ値を変換することによって得られるＨＳＶ値の分
布を解析したが、グレースケール画像の場合には、各画
素の輝度値を同様の解析手法によって解析する。すなわ
ち、『色分布』とあるのを『輝度分布』に変更し、『支
配的な色』とあるのを『支配的な輝度』に変更すればよ
い。

【０１４２】そして、カラー画像では、ＨＳＶ値それぞ
れについて求めていたものについて、グレースケール画
像では、輝度値だけが対象となるので、物体領域確率密
度関数は、３つでなく1 つだけ得られることになる。

【０１４３】また、上述の図１０に示すフローチャート
のＳ４３の処理において、『色相、彩度、明度』とある
のを『輝度』に変更し、上述の物体領域確率に基づいて
物体を構成する画素を選択する際の処理において、『色
相値』を『輝度値』に変更すると共に、『彩度値』およ
び『明度値』に基づいて画素を選択する処理を削除する
ことにより、入力画像がグレースケール画像の場合の処
理の流れを示すフローチャートを得ることができる。

【０１４４】したがって、上述のようにすれば、入力画
像がカラー画像の時と同じように、グレースケール画像
の場合であっても、物体領域抽出画像を得ることができ
る。

【０１４５】ここで、上記のような方法で得られた物体
領域抽出画像に対し、物体マスク画像を生成するための
処理について、図１６および図１７を参照しながら以下
に説明する。

【０１４６】まず、穴埋め処理を行う（Ｓ５１）。ここ
では、得られた物体領域抽出画像を、図１７（ａ）に示
す画像とする。白画素が物体領域を表す画素であり、黒
画素が背景領域を表す画素である。したがって、この画
像に対し、白色画素で囲まれた黒色画素（穴）を白色画
素に置き換えることにより、穴を塞いだ画像、すなわ
ち、図１７（ｂ）に示すような画像を得る。

【０１４７】次に、微小領域の削除を行う（Ｓ５２）。
ここで、収縮処理を１回以上行うことにより、微小領域
を削除した画像、すなわち、図１７（ｃ）に示すような
画像を得る。

【０１４８】続いて、一部の領域を削除する（Ｓ５
３）。ここで、連結画素を結合していくことにより物体
領域を１つ以上の領域に分離し、各領域について、入力
マスク領域との面積の共有率に基づき、一部の領域のみ
を残し、残りの領域を削除する（この処理については後
述する）。このようにして得られた画像は、図１７
（ｄ）に示すような画像となる。

【０１４９】そして、物体マスク画像を生成する（Ｓ５
４）。ここでは、図１７（ｄ）に示す画像を１回以上膨
張させることで、図１７（ｅ）に示すような物体マスク
画像を得る。

【０１５０】ここで、上述の入力マスク領域との面積の
共有率に基づく処理について、図１８を参照しながら以
下に説明する。

【０１５１】まず、物体領域抽出画像として、図１８
（ａ）に示す画像が得られているとする。この画像は、
５つの領域５１〜５５を含んでいる。また、物体領域抽
出画像に対応する入力マスクを、図１８（ｂ）に示す画
像とする。そして、図１８（ａ）に示す物体領域抽出画
像と図１８（ｂ）に示す入力マスクの重なり具合を示し
たものが、図１８（ｃ）に示す画像となる。

【０１５２】図１８（ａ）に示す画像の領域５２および
５４であるが、これは、領域すべてが入力マスク内部に
含まれているため、入力マスクとの面積共有率は１．０
である。一方、領域５５は、入力マスクと全く重なる部
分がないため、面積共有率は０．０である。領域５３
は、領域のほとんどが入力マスク内に入っており、一部
だけが入力マスクの外にあるため、面積共有率は高い。
逆に、領域５１は、領域の一部だけが入力マスク内にあ
り、ほとんどは入力マスク外にあるため、共有率は低
い。

【０１５３】ここで、領域ｒの面積共有率Ｓ(r) を次式
（１４）に示すように定義する。

【０１５４】 Ｓ(r) = Area(Inmask & r) ／ Area(r) ・・・・・・・（１４） ここで、Inmaskは入力マスク、Area(x) は領域 xの面
積、& は論理積を表す。各領域毎にこの面積共有率Ｓを
計算し、特定のしきい値を越える領域のみ残して、残り
を削除することで、入力マスクの形状に近い物体領域を
抽出することが可能になる。このようにして得られた画
像は、図１８（ｄ）に示す画像である。

【０１５５】さて、上で説明したことは、物体がひとつ
の支配的な色で構成されている場合であり、もし物体が
二つの以上の支配的な色で構成されている場合、上記の
ような方法を用い、各色についてそれぞれ領域抽出を行
う必要がある。例えば図１９（ａ）に示す人間の顔画像
に対して、図１９（ｂ）に示す顔肌領域と、図１９
（ｃ）に示す髪の毛の領域とを別々に抽出する必要があ
る。

【０１５６】髪の毛の場合、図１０で説明している確率
密度関数を用いる手法の他に、別の方法もある。髪の毛
は、原則として明度の低い画素で構成されていることが
多い。従って、Ｓ４１で得られる処理対象領域内におい
て、判別分析法やP-TILE法などの手法を用いて二値化す
ることができる。

【０１５７】例えば図２０（ａ）に示す入力画像を二値
化した場合、図２０（ｂ）に示す画像となる。このまま
では、髪の毛の他に、明度の低い別の領域が抽出されて
しまっている。後段の処理にて、不要な領域を削除し、
図２０（ｃ）に示すように、髪の毛の領域のみ残した画
像とする。

【０１５８】また、図２１（ａ）に示す入力マスク領域
に基づいて、処理対象領域を幾つかのエリアに分割す
る。図２１（ｂ）は、４つのエリアに分割し、それぞれ
のエリアに重み付け係数を設定している例である。この
係数に基づいて各領域の重み付け面積を算出する。ここ
で、領域をＲ、点Ｐでの重み付け係数を Wp とすると、
領域Ｒの重み付け面積Ｒwareaは、次式（１５）で与え
られる。

【０１５９】 このようにして算出した重み付け面積が、一定のしきい
値以上の領域のみ残して、残りを削除することで、髪の
毛の領域のみを抽出することができる。すなわち、図２
１（ｃ）に示す画像から余分な領域を削除することで、
図２１（ｄ）に示すような髪の毛の領域のみを抽出した
画像を得ることができる。ここで用いる、エリアの分割
方法と係数は、目的に応じて、様々に変化させる。

【０１６０】ところで、髪の毛のように黒い、すなわ
ち、明度が極端に低い画素で構成されている領域、ある
いは、白紙などの白い、すなわち、彩度が極端に低い画
素で構成されている領域の場合、物体領域確率密度関数
を導出する方法よりも、上記判別分析法などを用いた二
値化を手法を使ったほうがよいことがある。確率密度関
数を適用する色空間にもよるが、例えばＨＳＶ色空間を
用いた場合、黒い画素（ＲＧＢ値がすべて小さい値の画
素）や白い画素（ＲＧＢ値がすべて高い値の画素）は、
ＲＧＢ値からＨＳＶ値に変換する際、色相や彩度を精度
よく計算できない場合があるからである。

【０１６１】さて、上記のようにして領域を抽出するこ
とができるが、この領域内をさらに複数の領域に分割す
ることもできる。

【０１６２】例えば図２２（ａ）に示す入力画像に対し
て、顔領域が抽出された場合、図２２（ｂ）に示すよう
な画像となる。この顔領域内を例えば、明るい領域と暗
い領域の２つに分割するとする。ここでも、判別分析法
やP-TILE法などを用いればよく、抽出された顔領域内の
輝度値のヒストグラムを作り、それを元にしきい値を決
定すればよい。図２２（ｃ）は、抽出された顔領域をさ
らに２つに分割したものであり、入力された画像の顔領
域の明るさに応じて、２つに分割されている。３つ以上
への分割も同様の方法で可能である。

【０１６３】以上の動作により、物体領域の抽出が終了
する。

【０１６４】続いて、抽出された物体領域内をあらかじ
め物体に応じて設定された色で描画することにより、物
体領域画像が生成される（Ｓ４４）。たとえば、前述の
顔画像の場合、顔肌、影、髪の毛などの領域の色を、人
間の知覚に対して、より違和感のない色となるように実
験的に求めておき、その色で描画する。物体領域画像の
生成が終了すると、図３のＳ６が終了し、次いで、図３
のＳ７の線画像生成処理へと進む。

【０１６５】なお、上述の物体領域生成処理について
は、出力する画像がカラー画像の場合について述べた
が、これに限定するものではなく、例えばモノクロ画像
であっても基本的には同様の処理が適用できる。

【０１６６】つまり、出力する画像がモノクロ画像の場
合、上記物体領域抽出処理において生成された物体領域
内を描画する色は２値（白または黒）である必要があ
る。たとえば、前述の顔画像の場合ならば、髪の毛を黒
画素、顔肌を白画素で描画し、影領域を黒と白の市松模
様となるように描画することによって実現できる。

【０１６７】続いて、線画像生成処理について説明す
る。ここでは、上述の原画像と、図３のＳ４で生成され
た分割領域画像と、Ｓ６で生成された物体領域画像とか
ら線画像を生成する。線画像生成処理の流れを図２３お
よび図２４に示すフローチャート並びに図２５を参照し
ながら以下に説明する。

【０１６８】まず、エッジ画像の生成が行われる（Ｓ６
１）。ここでは、原画像と物体領域画像からエッジ画像
を生成する。

【０１６９】ここで、エッジ画像の具体的な生成方法に
ついて、図２４を用いて以下に説明する。なお、説明の
便宜上、入力画像を格納するメモリとして入力画像用メ
モリＭ１、平滑化画像を格納するメモリとして平滑化画
像用メモリＭ２、出力画像を格納するメモリとして出力
画像用メモリＭ３を用いる。これらメモリＭ１〜Ｍ３
は、記憶装置１３内に存在するものとする。

【０１７０】はじめに、入力画像を入力画像用メモリＭ
１（以下、メモリＭ１とする）に格納する（Ｓ７１）。
この入力画像用メモリＭ１は、図１に示す記憶装置１３
内に存在するものとする。そして、入力画像用メモリＭ
１における画像の格納方法は、画像（横：Ｘ画素，縦：
Ｙ画素）に対し、画像左上の画素から画像右下の画素へ
と順に輝度値を格納していく。すなわち、座標（ｘ，
ｙ）の輝度値ＶをメモリＭ１の（ｘ＋Ｘ×ｙ）番目に格
納する。画像１枚につきメモリ容量は（Ｘ×Ｙ）ｂｙｔ
ｅ必要である。また、平滑化画像用メモリＭ２（以下、
メモリＭ２とする），出力画像用メモリＭ３（以下、メ
モリＭ３とする）の構成も同様である。なお、入力画像
がカラー（Ｒ，Ｇ，Ｂ）の場合には、輝度値ＶをＶ←
0.30 ×Ｒ＋0.59×Ｇ＋0.11×Ｂと求めて同様にＭ１に
格納する。

【０１７１】輝度値は、１画素につき1byte(=8bit)で表
現されるため、とりうる値の範囲は、０〜２５５であ
る。

【０１７２】次に、メモリＭ１内の画像を平滑化し、メ
モリＭ２に格納する（Ｓ７２）。ここで、線画像生成部
２０は、入力画像用メモリＭ１に格納された画像の平滑
化を行なう。具体的には、座標（ｘ，ｙ）におけるメモ
リＭ１の値をＭ１（ｘ，ｙ）とすると、 （Ｍ１（ｘ−３，ｙ−３）＋Ｍ１（ｘ，ｙ−３）＋Ｍ１
（ｘ＋３，ｙ−３）＋Ｍ１（ｘ−３，ｙ ）＋Ｍ１
（ｘ，ｙ ）＋Ｍ１（ｘ＋３，ｙ ）＋Ｍ１（ｘ−
３，ｙ＋３）＋Ｍ１（ｘ，ｙ＋３）＋Ｍ１（ｘ＋３，ｙ
＋３））／９ を計算してメモリＭ２のＭ２（ｘ，ｙ）に値を格納し、
画像の全画素に対して同様の処理を行なう。

【０１７３】上下左右斜め８方向に対して均等の処理と
なるので、従来のエッジ抽出手法である、Sobel フィル
タを使用して輪郭を検出する場合と異なり、結果が画素
濃度勾配の方向に依存しない。

【０１７４】なお、平滑化に使用する画素の範囲は上記
９画素に限らず、さらに広い範囲や狭い範囲の画素を対
象にしてもよい。

【０１７５】続いて、メモリＭ１内の画像と、メモリＭ
２内の画像の差分を求め、メモリＭ３に格納する（Ｓ７
３）。ここで、線画像生成部２０は、平滑化後の画素値
と平滑化前の画素値との差分を求める。

【０１７６】具体的には、座標（ｘ，ｙ）においてメモ
リＭ１のＭ１（ｘ，ｙ）とメモリＭ２のＭ２（ｘ，ｙ）
の値を比較し、Ｍ１（ｘ，ｙ）≧Ｍ２（ｘ，ｙ）であれ
ば、 Ｍ３（ｘ，ｙ）← ２５５ Ｍ１（ｘ，ｙ）＜Ｍ２（ｘ，ｙ）であれば、 Ｍ３（ｘ，ｙ）← ２５５ −（Ｍ２（ｘ，ｙ）−Ｍ１
（ｘ，ｙ）） を代入し、画像の全画素に対して同様の処理を行なう。
単にメモリＭ１とメモリＭ２の画素値の差分の絶対値を
取る方法も考えられるが、この場合、近傍に明るい画素
のある暗い画素と、近傍に暗い画素のある明るい画素の
両方で差分値が大きくなるため、後述処理において２値
化した結果は、Sobel フィルタを使用して検出した場合
と同様に輪郭領域が大きく検出され、画像のイラスト化
を目的とした結果としては好ましくない。従って、メモ
リＭ２とメモリＭ１との差が正となる近傍に明るい画素
のある暗い画素のみが検出されるように上記式で計算を
行なう。

【０１７７】次いで、メモリＭ３内の画像を２値化する
（Ｓ７４）。ここで、線画像生成部２０は、メモリＭ３
に格納された画像の２値化を行なう。具体的には、例え
ば、あらかじめ定めたしきい値Ｔｈ１とメモリＭ３のＭ
３（ｘ，ｙ）の値を比較し、Ｍ３（ｘ，ｙ）≧Ｔｈ１で
あれば、 Ｍ３（ｘ，ｙ）←０（白） Ｍ３（ｘ，ｙ）＜Ｔｈ１であれば、 Ｍ３（ｘ，ｙ）←１（黒） を代入し、画像の全画素に対して同様の処理を行なう。
なお、白を１，黒を０として表すことも可能である。

【０１７８】しきい値Ｔｈ１として、あらかじめ定めた
値を使わずに、適応的に決定する手法もあり、それら他
の手法をＳ７４において使用することも可能である。例
えば、公知技術「大津の判別分析法」を用いることもで
きるし、前記の「物体領域抽出処理」によって抽出され
た領域内部を、公知技術「P-TILE法」で求めることなど
が考えられる。

【０１７９】さらに、メモリＭ１もしくはＭ２内の画像
を２値化し、メモリＭ３との論理和もしくは論理積を求
める（Ｓ７５）。ここで、線画像生成部２０は、メモリ
Ｍ１もしくはメモリＭ２に格納された画像の２値化を行
なう。具体的には、例えばメモリＭ１に格納された画像
の２値化を行なう場合、あらかじめ定めたしきい値Ｔｈ
２とＭ１（ｘ，ｙ）の値を比較し、Ｍ１（ｘ，ｙ）≧Ｔ
ｈ２であれば、 Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理和 Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、 Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理和 を代入し、画像の全画素に対して同様の処理を行なう。
なお、白を１，黒を０として表した場合は、Ｍ１（ｘ，
ｙ）≧Ｔｈ２であれば、 Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理積 Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、 Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理積 を代入し、画像の全画素に対して同様の処理を行なう。

【０１８０】しきい値Ｔｈ２を求める方法としては、公
知技術、「大津の判別分析法」や、「P-TILE法」などが
あり、目的に合わせてどのようなしきい値判定法を用い
てもよい。

【０１８１】上記処理の結果、メモリＭ３には２値化さ
れた画像データが格納される。

【０１８２】以上の動作により、エッジ画像が生成さ
れ、図２３に示すＳ６２に移行する。Ｓ６２では、境界
線画像の生成が行われる。すなわち、分割領域画像から
境界線画像を生成する。具体的な生成方法について、図
２５を用いて以下に説明する。

【０１８３】まず、前記分割領域画像から、各分割領域
の面積値Ａ（ｎ）、及び各領域の領域色Ｃ（ｎ）を算出
する。ここで、ｎは領域番号を表す。

【０１８４】次に、互いに領域境界が接している２領域
を検出する。図２５（ａ）に示す分割領域画像の場合、
領域６１と領域６２、領域６２と領域６３、領域６２と
領域６４、領域６３と領域６４が検出される。

【０１８５】次に、検出された互いに接している領域ｎ
とｎ’の面積値と領域色について、あらかじめ設定した
閾値Ｔｈ＿ＡとＴＨ＿Ｃに対し、 （条件１）面積値Ａ（ｎ）＞Ｔｈ＿Ａ かつ 面積値Ａ
（ｎ’）＞ＴＨ＿Ａ （条件２）領域色Ｃ（ｎ）とＣ（ｎ’）の色差 ＞ ＴＨ
＿Ｃ であるならば、領域ｎとｎ’が互いに接している領域境
界上の位置にある画素を黒画素とする。そうでなければ
該画素を白画素とする。また、各分割領域内の画素は、
全て白画素とする。これにより、領域境界上の画素で上
記条件をみたす画素は黒画素で、それ以外の画素は白画
素となる画像（境界線画像）が生成できる。

【０１８６】たとえば、図２５（ａ）に示す分割領域画
像の場合、上述の互いに領域境界を接している２領域の
うち、領域６３と領域６４の組合せ以外は、上記２条件
を満たしたとすると、図２５（ｂ）に示す線分６５と線
分６６が描画されることになる。

【０１８７】ここで、条件（１）は、領域面積がある程
度以上の大きさをもつ領域同士の境界、条件（２）は領
域色があまり類似していない領域同士の境界を意味し、
この２つの条件を満たす境界にのみ線が引かれることに
なる。この条件を科すことにより、各領域が過分割であ
る場合も、違和感のない境界線画を生成できる。なお、
上記条件は、イラスト画の生成を目的としたものだが、
生成する画像の目的や用途に応じて別の条件を用いても
構わない。

【０１８８】また、条件（２）における色差の計算は図
３のＳ４において用いた色差計算式を適用すれば良い。
また、各条件の閾値Ｔｈ＿ＡとＴＨ＿Ｃは、実験的に求
めた固定値を用いても良いし、画像に応じて適応的に変
更しても良い。具体的には、原画像サイズ（全領域の面
積値合計）に対するＴｈ＿Ａの割合を、たとえば、２０
％と定義し、入力された原画像サイズを０．２倍するこ
とによりＴｈ＿Ａを算出すれば、Ｔｈ＿Ａを画像に応じ
て適宜再設定することができる。これにより、原画像の
サイズの変化に対して、より柔軟に対応した境界線画像
を生成できる。

【０１８９】以上の動作により、境界線画像が生成さ
れ、Ｓ６２が終了する。次いで、Ｓ６３に移行する。

【０１９０】Ｓ６３では、画像の合成が行われる。ここ
では、Ｓ６１で生成されたエッジ画像と、Ｓ６２で生成
された境界線画像とを合成する。具体的には、黒画素を
０、白画素を１とした場合、両画像の同じ座標の画素デ
ータの論理積をとることによって、両画像を合成する。

【０１９１】最後に、Ｓ６４では、合成画像の孤立線除
去が行われる。ここでは、Ｓ６３で生成された合成画像
に対して、孤立線の除去が行われる。具体的には、以下
の手順で行なわれる。

【０１９２】まず、合成画像中の任意の画素に対し、該
画素が黒画素であるものを検出する。次に、該画素の周
囲８近傍の黒画素を調べ、該画素に連結している黒画素
の数を求める。連結している黒画素があれば、さらにそ
の画素の周囲８近傍を調査する。連結している画素がな
くなるまで再帰的に近傍を調査し、連結数を求める。最
後に、連結数がある数より少ない黒画素は、孤立線とし
て、黒から白画素に変更することにより、除去する。

【０１９３】以上の動作により線画像の生成が終了し、
図３のＳ７からＳ８へと進む。

【０１９４】なお、図２３に示したエッジ画像を生成す
るＳ６１と境界線画像を生成するＳ６２は、並行して実
施されても良い。

【０１９５】また、上記の説明では、出力画像がカラー
画像の場合について説明したが、出力画像がモノクロ画
像の場合、すなわち図３のＳ４、Ｓ５の処理動作を省い
ている場合は、分割領域画像が生成されないので、Ｓ６
２による境界線画像を生成できない。この場合、Ｓ６２
を省き、Ｓ６３の合成画像は、Ｓ６１で生成されたエッ
ジ画像と同一とすれば良い。

【０１９６】図３のＳ８では、上述のＳ５〜Ｓ７で生成
された分割領域画像、物体領域画像、線画像を、順に重
ねることにより１枚の画像に合成し、処理結果画像を生
成する。具体的な合成方法を図２を用いて説明する。

【０１９７】まず、メモリ１３ｃに格納された分割領域
画像２３を合成結果画像を格納するメモリ１３ｆに転送
する。

【０１９８】次いで、メモリ１３ｄに格納された物体領
域画像２４中の物体領域部分に存在する画素値を、メモ
リ１３ｆ上の同一座標の画素値に上書きする。

【０１９９】最後に、メモリ１３ｅに格納された線画像
２５中の画素で、黒画素のみをメモリ１３ｆ上の同一座
標の画素値に上書きする。これにより、メモリ１３ｆ上
に最終的な合成結果画像が生成される。

【０２００】以上の動作により、ユーザーが指定した領
域のみを顔画像として似顔絵風に強調処理し、かつ、そ
れ以外の領域もイラスト風に変換した画像を得ることが
出来る。

【０２０１】なお、本実施の形態では、入力画像として
主にカラー画像を用いた場合について説明したが、これ
に限定されるものではなく、上述したように、入力画像
がグレースケール画像（モノクロ画像）の場合であって
も、本発明は適用できる。

【０２０２】したがって、入力画像がグレースケール画
像の場合であっても、ユーザーが指定した領域を強調し
たイラスト風の画像を、違和感なく生成することができ
る。

【０２０３】以上のことから、本発明は、パソコン、ワ
ープロ、ワークステーション、オフコン、携帯型情報ツ
ール、コピー機、スキャナ装置、ファクシミリ、テレ
ビ、ビデオ、ビデオカメラなどにおいて、画像を取得す
る装置、画像を記憶する装置、画像を表示する装置を持
つシステムで、利用者がマウスやペン、タブレットなど
の座標入力装置を用いて当該画像上の任意の座標を指定
できるもの、あるいは、あらかじめ紙などに印刷された
画像に異なるインクなどを用いて座標指定があるものを
光電変換し、当該画像と指定された座標を入力する事の
できる装置を持つシステムならば、上記に列挙したよう
な機器において適用可能となっている。

【０２０４】

【発明の効果】請求項１の発明の画像処理装置は、以上
のように、原画像を、該原画像中の任意の物体領域を強
調した画像に変換すると共に、線画像に変換し、これら
強調変換画像と線画像とを合成する画像合成処理手段を
有している構成である。

【０２０５】それゆえ、原画像中の任意の物体領域を強
調した強調変換画像と、原画像を線画に変換した線画像
とを合成することにより、特定の物体領域のみが強調さ
れた画像を得ることができる。

【０２０６】これにより、原画像を写真とした場合、例
えば請求項５に記載のように物体領域を人物顔とすれ
ば、人物顔が強調され、背景が線画となる画像、すなわ
ちイラスト風の趣のある画像を得ることができる。

【０２０７】したがって、入力された原画像に対し、エ
ッジ抽出の結果に関わらず、原画像の対象となる物体を
強調し、かつ、全体として実画像に即した違和感のない
イラスト画像に変換することができるという効果を奏す
る。

【０２０８】請求項２の発明の画像処理装置は、以上の
ように、原画像を入力する画像入力手段と、入力された
原画像を表示する表示手段と、表示された原画像中の任
意の物体領域を指定する物体領域指定手段と、入力され
た原画像を、指定された物体領域が強調された画像に変
換する強調変換手段と、入力された原画像を、線画像に
変換する線画像変換手段と、上記強調変換手段により得
られた強調変換画像と、上記線画像変換手段により得ら
れた線画像とを合成する画像合成手段とを備えている構
成である。

【０２０９】それゆえ、単純な線画像生成ではできな
い、指定された物体領域を強調し、かつ、全体として実
画像に即した違和感のないイラスト画像に変換すること
ができるという効果を奏する。

【０２１０】請求項３の発明の画像処理装置は、以上の
ように、請求項２の構成に加えて、上記強調変換手段
は、入力画像を複数の領域に分割する画像分割手段と、
分割された各領域の色をそれぞれ決定して分割領域変換
画像を生成する分割領域変換画像生成手段と、分割され
た各領域の境界線を抽出して分割領域境界線画像を生成
する分割領域境界線画像生成手段と、上記物体領域指定
手段により指定された物体領域を抽出すると共に、該物
体領域の色を決定して物体領域変換画像を生成する物体
領域変換画像生成手段とを備え、上記画像合成手段は、
上記線画像変換手段により得られた線画像と、上記分割
領域変換画像生成手段により得られた分割領域変換画像
と、上記分割領域境界線画像生成手段により得られた分
割領域境界線画像と、上記物体領域変換画像生成手段に
より得られた物体領域変換画像とを合成する構成であ
る。

【０２１１】それゆえ、請求項２の構成による効果に加
えて、減色処理や、エッジ抽出から求めた輪郭領域内の
色描画処理ではうまく変換できないような、近接画素の
色のつながりを考慮した各領域の色描画を行なうことが
でき、かつ、指定した物体部分を強調した趣のあるイラ
スト画像を生成できるという効果を奏する。

【０２１２】請求項４の発明の画像処理装置は、以上の
ように、請求項２の構成に加えて、上記強調変換手段
は、上記物体領域指定手段により指定された物体領域を
抽出すると共に、抽出した物体領域を２値化して物体領
域変換画像を生成する２値化物体領域変換画像生成手段
を有し、上記画像合成手段は、上記線画像変換手段によ
り得られた線画像と、上記２値化物体領域変換画像生成
手段により得られた２値化物体領域変換画像とを合成す
る構成である。

【０２１３】それゆえ、請求項２の構成による効果に加
えて、単純な２値化処理では生成できない、指定した物
体部分を強調した趣のあるモノクロのイラスト画像を生
成できるという効果を奏する。

【０２１４】請求項５の発明の画像処理装置は、以上の
ように、請求項２ないし４の何れかの構成に加えて、上
記物体領域指定手段により指定される物体領域が人物顔
である構成である。

【０２１５】それゆえ、請求項２ないし４の何れかの構
成による効果に加えて、入力される原画像中の物体に人
物顔を含む人物写真画像などから、人物顔を似顔絵風に
強調処理した、カラーのイラスト画像あるいはモノクロ
のイラスト画像を簡単に作成できるという効果を奏す
る。

【０２１６】また、請求項６の発明の画像処理方法は、
以上のように、原画像を入力する第１ステップと、入力
された原画像を表示する第２ステップと、表示された原
画像中の任意の物体領域を指定する第３ステップと、入
力された原画像を、指定された物体領域を強調した画像
に変換する第４ステップと、入力された原画像を、線画
像に変換する第５ステップと、上記第４ステップで得ら
れた強調変換画像と、上記第５ステップで得られた線画
像とを合成する第６ステップとを含む構成である。

【０２１７】それゆえ、単純な線画像生成ではできな
い、指定された物体領域を強調し、かつ、全体として実
画像に即した違和感のないイラスト画像に変換すること
ができるという効果を奏する。

【０２１８】また、請求項７の発明のコンピュータ読み
取り可能な記録媒体は、以上のように、原画像を入力す
る第１ステップと、入力された原画像を表示する第２ス
テップと、表示された原画像中の任意の物体領域を指定
する第３ステップと、入力された原画像を、指定された
物体領域を強調した画像に変換する第４ステップと、入
力された原画像を、線画像に変換する第５ステップと、
上記第４ステップで得られた強調変換画像と、上記第５
ステップで得られた線画像とを合成する第６ステップと
をコンピュータに実行させるための画像処理プログラム
に記録した構成である。

【０２１９】それゆえ、上記記録媒体をコンピュータに
用いることで、単純な線画像生成ではできない、指定さ
れた物体領域を強調し、かつ、全体として実画像に即し
た違和感のないイラスト画像に変換することができると
いう効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像処理装置の概
略ブロック図である。

【図２】図１に示した画像処理装置によって実施される
画像処理動作の各処理段階において生成される画像を示
す説明図である。

【図３】図１に示した画像処理装置によって実施される
画像処理動作の流れを示すフローチャートである。

【図４】図３に示したフローチャートの原画像領域分割
処理の詳細を示すフローチャートである。

【図５】図３に示したフローチャートの原画像領域分割
処理の流れを簡単に示したものであり、（ａ）は平滑化
画像、（ｂ）はラベル画像、（ｃ）は統合処理された画
像を示す模式図である。

【図６】図３に示したフローチャートの領域色変換処理
の詳細を示すフローチャートである。

【図７】図６に示したフローチャートにおける代表色の
属するトーンを調査する動作における一例を表す模式図
である。

【図８】図６に示したフローチャートにおける代表色の
属するトーンに対応する彩度・輝度を決定するための一
手法について示した模式図である。

【図９】図６に示したフローチャートにおける代表色の
属するトーンに対応する彩度・輝度を決定するための、
図８とは異なる一手法について示した模式図である。

【図１０】図３に示したフローチャートの物体領域抽出
処理において、抽出対象が顔肌領域である場合の例を詳
細に説明するためのフローチャートである。

【図１１】（ａ）（ｂ）は、図１の画像処理装置を構成
するために、あらかじめ物体の支配的色領域を解析する
際の一例を示す模式図である。

【図１２】（ａ）〜（ｃ）は、図１１に示す支配的色領
域を解析した画像の色分布の、色相・彩度・明度におけ
る出現頻度ヒストグラムである。

【図１３】（ａ）（ｂ）は、図１０に示したフローチャ
ートにおいて、ユーザーの入力パターンに対する処理対
象領域と入力マスク領域の関係を示す説明図である。

【図１４】（ａ）（ｂ）は、図１０に示したフローチャ
ートにおいて、処理対象領域中の画素の明度に対する出
現頻度ヒストグラムと、物体領域画素を選択する際のし
きい値について説明するための模式図である。

【図１５】（ａ）〜（ｃ）は、図１０に示したフローチ
ャートに従って、適応的に物体領域確率密度関数を更新
することにより物体領域画像を生成した場合と、固定関
数で物体領域抽出画像を生成した場合を比較するための
説明図である。

【図１６】図１０に示した物体領域抽出処理によって抽
出された領域画像から、物体マスク画像を生成する処理
を説明するためのフローチャートである。

【図１７】（ａ）〜（ｅ）は、図１６に示したフローチ
ャートに従って、物体マスク画像が生成される様子を表
した説明図である。

【図１８】（ａ）〜（ｄ）は、図１６に示したフローチ
ャートにおいて、抽出領域と入力マスク領域との面積の
共有率に基づく領域削除処理を説明するための模式図で
ある。

【図１９】（ａ）〜（ｃ）は、図３に示したフローチャ
ートの物体領域抽出処理において、抽出対象が顔肌と髪
の毛である場合の抽出例を表す説明図である。

【図２０】（ａ）〜（ｃ）は、図３に示したフローチャ
ートの物体領域抽出処理において、抽出対象が髪の毛の
領域である場合に、２値化処理を用いて抽出する例を示
す説明図である。

【図２１】（ａ）〜（ｄ）は、図２０に示した髪領域の
抽出処理において、図２０（ｂ）から図２０（ｃ）に至
る処理動作を示す説明図である。

【図２２】（ａ）〜（ｃ）は、図３に示したフローチャ
ートの物体領域抽出処理において、抽出した領域内を更
に複数に分割する場合の例を表した説明図である。

【図２３】図３に示したフローチャートの線画像生成処
理の詳細を表すフローチャートである。

【図２４】図２３に示したフローチャートのエッジ画像
生成処理の詳細を表すフローチャートである。

【図２５】（ａ）（ｂ）は、図２３に示したフローチャ
ートの境界線画像の生成処理を説明するための模式図で
ある。

【図２６】図１に示す画像処理装置にて実行させるため
の画像処理用の各種プログラムを記録したコンピュータ
読み取り可能な記録媒体を示す説明図である。

【符号の説明】

１１ 画像入力装置（画像入力手段） １２ 領域位置指定装置（物体領域指定手段） １３ 記憶装置 １４ 演算処理装置（画像合成処理手段） １５ 表示装置（表示手段） １６ 外部記憶装置 １７ 画像分割部 １８ 領域色変換部（分割領域変換画像生成手段） １９ 物体領域生成部（物体領域変換画像生成手段、
２値化物体領域変換画像生成手段） ２０ 線画像生成部（線画像変換手段、分割領域境界
線画像生成手段） ２１ 画像合成部（画像合成手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹澤 創 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 紺矢 峰弘 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】原画像を、該原画像中の任意の物体領域を
   強調した画像に変換すると共に、線画像に変換し、これ
   ら強調変換画像と線画像とを合成する画像合成処理手段
   を有していることを特徴とする画像処理装置。
2. 【請求項２】原画像を入力する画像入力手段と、 入力された原画像を表示する表示手段と、 表示された原画像中の任意の物体領域を指定する物体領
   域指定手段と、 入力された原画像を、指定された物体領域が強調された
   画像に変換する強調変換手段と、 入力された原画像を、線画像に変換する線画像変換手段
   と、 上記強調変換手段により得られた強調変換画像と、上記
   線画像変換手段により得られた線画像とを合成する画像
   合成手段とを備えていることを特徴とする画像処理装
   置。
3. 【請求項３】上記強調変換手段は、 入力画像を複数の領域に分割する画像分割手段と、 分割された各領域の色をそれぞれ決定して分割領域変換
   画像を生成する分割領域変換画像生成手段と、 分割された各領域の境界線を抽出して分割領域境界線画
   像を生成する分割領域境界線画像生成手段と、 上記物体領域指定手段により指定された物体領域を抽出
   すると共に、該物体領域の色を決定して物体領域変換画
   像を生成する物体領域変換画像生成手段とを備え、 上記画像合成手段は、上記線画像変換手段により得られ
   た線画像と、上記分割領域変換画像生成手段により得ら
   れた分割領域変換画像と、上記分割領域境界線画像生成
   手段により得られた分割領域境界線画像と、上記物体領
   域変換画像生成手段により得られた物体領域変換画像と
   を合成することを特徴とする請求項２記載の画像処理装
   置。
4. 【請求項４】上記強調変換手段は、 上記物体領域指定手段により指定された物体領域を抽出
   すると共に、抽出した物体領域を２値化して物体領域変
   換画像を生成する２値化物体領域変換画像生成手段を有
   し、 上記画像合成手段は、 上記線画像変換手段により得られた線画像と、上記２値
   化物体領域変換画像生成手段により得られた２値化物体
   領域変換画像とを合成することを特徴とする請求項２記
   載の画像処理装置。
5. 【請求項５】上記物体領域指定手段により指定される物
   体領域が人物顔であることを特徴とする請求項２ないし
   ４の何れかに記載の画像処理装置。
6. 【請求項６】原画像を入力する第１ステップと、 入力された原画像を表示する第２ステップと、 表示された原画像中の任意の物体領域を指定する第３ス
   テップと、 入力された原画像を、指定された物体領域を強調した画
   像に変換する第４ステップと、 入力された原画像を、線画像に変換する第５ステップ
   と、 上記第４ステップで得られた強調変換画像と、上記第５
   ステップで得られた線画像とを合成する第６ステップと
   を含むことを特徴とする画像処理方法。
7. 【請求項７】原画像を入力する第１ステップと、 入力された原画像を表示する第２ステップと、 表示された原画像中の任意の物体領域を指定する第３ス
   テップと、 入力された原画像を、指定された物体領域を強調した画
   像に変換する第４ステップと、 入力された原画像を、線画像に変換する第５ステップ
   と、 上記第４ステップで得られた強調変換画像と、上記第５
   ステップで得られた線画像とを合成する第６ステップと
   をコンピュータに実行させるための画像処理プログラム
   に記録したことを特徴とするコンピュータ読み取り可能
   な記録媒体。