JPH06203157A

JPH06203157A - カラー画像処理方法および装置

Info

Publication number: JPH06203157A
Application number: JP5201406A
Authority: JP
Inventors: Yoshiharu Suzuki; 祥治鈴木; Masanaga Tokuyo; 雅永徳世
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-10-14
Filing date: 1993-08-13
Publication date: 1994-07-22
Also published as: US5475507A; EP0593028B1; DE69332286D1; DE69332286T2; EP0593028A1

Abstract

(57)【要約】【目的】簡単な指定操作で画像中の物体の輪郭検出およ
び物体抽出ができるようにする。【構成】検出対象物体の輪郭７６に近い位置を指定点７
２として指示し、この指示に基づき輪郭７６上の境界点
を検出し、検出した境界点から順次輪郭上の点を探索し
て物体輪郭を検出する。更に、物体輪郭７６の検出結果
をもとに、輪郭内部又は外部を塗り潰して画像中の物体
を抽出し、抽出画像データを出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力したカラー画像の
任意の物体の輪郭を検出し、さらに輪郭で示される物体
を抽出して色調整や画像合成を行うカラー画像処理方法
および装置に関する。画像処理技術は、計算機を利用し
たデザインシステム、コンピュータグラフィックス、絵
入り文書の作成可能なデスクトップパブリッシング、印
刷の原版作成システムなどの幅広い分野で利用されてい
る。この画像処理技術は、物体の色を変える処理、物体
の大きさや形を変える拡大、縮小、変形のための処理、
物体を別の画像と合成する処理、人物，車，机など物体
の認識をする処理などがある。

【０００２】例えば、パッケージや車などの商品やポス
タなどをデザインするシステムでは、計算機でコンピュ
ータグラフィックス画像を作成、または読取装置でもと
となる画像、特にカラー画像を入力し、画像のサイズや
形，色を変えたり、背景を変えたりする処理を行う。こ
のような計算機でのカラー画像の処理する場合には、高
精度で簡単な色変え、拡大、縮小、変形、合成、認識処
理や、使いやすい計算機と人間のインタフェース（ヒュ
ーマン・インタフェース）などが要望されている。

【０００３】特に画像中の物体の色変え、拡大、縮小、
変形、合成、認識などの処理においては、まず処理対象
となる物体の輪郭と、輪郭で囲われる物体そのものを原
画像から抽出する必要がある。この輪郭検出処理や物体
抽出処理は、それ以降の画像処理のために必ず必要な重
要なものである。更に、物体の輪郭検出や物体抽出の作
業のしやすさは、画像処理全体の作業効率を高めるため
にも重要であり、輪郭検出や物体抽出の精度は、最終結
果として得られる画像の質、即ち色変えの自然さ，合成
の自然さなどを左右するものである。このような状況で
より一層簡単で精度が高い輪郭検出や物体抽出の方法が
望まれている。

【０００４】

【従来の技術】従来の物体輪郭の検出方法としては、微
分処理または境界の濃度差や輝度差に対して閾値を設け
ることなどが一般に利用されている。即ち、画像全体に
対して一括して微分処理を行って輪郭を検出したり、対
象物体の輪郭だけが上手く検出できるような適切な閾値
をオペレータが設定して輪郭を検出している。

【０００５】また従来の物体抽出は、殆どオペレータに
よる手作業により行っている。即ち、画像をディスプレ
イ上に表示し、マウスやライトペンなどを利用して、オ
ペレータが境界部分を見て一画素ごとに抽出するか抽出
しないかという指示を与えている。またある程度自動的
に物体抽出を行う方法として、抽出対象の物体の色や表
面の模様や変化のようすなどの属性を利用し、色や空間
周波数の属性が似た部分だけを物体として抽出する方法
などもある。

【０００６】

【発明が解決しようとする問題点】しかしながら、従来
の微分による輪郭検出方法では、画像全体に一括で処理
を行うため、抽出対象以外の物体の輪郭や、物体内部の
エッジなどの望まない境界も検出してしまうという問題
がある。また閾値による輪郭検出方法では、通常、輪郭
全体が同一の閾値ではうまく検出できず、検出したい境
界の位置ごとに適切な閾値を設ける必要があり、作業効
率が悪いという欠点がある。

【０００７】さらに、微分処理による方法も閾値による
方法も、検出したい物体の輪郭線を最終的に連続して閉
じたものとして得るためには、オペレータによるかなり
大きな補助を必要としている。この結果、作業効率も悪
く、また検出精度も十分に高められない問題点があっ
た。一方、オペレータが手作業として行っている従来の
物体抽出は、時間と手間が非常にかかるという問題点が
ある。例えばある程度慣れたオペレータでも、１画面の
画像中の物体、たとえば自動車などをきれいに抽出する
ためには、数時間を必要とする。特に物体の境界部分の
画素に対しては、物体か背景かどちらに含めるべきか判
断する必要があり、画像を拡大して一点ごとに（一画素
ごとに）判断するため、非常に時間がかかってしまう。

【０００８】色や空間周波数などの物体の属性を利用し
て物体を抽出する方法では、物体だけを正確に取り出せ
ず、抽出の精度が低い。例えば物体の属性として色を利
用した抽出では、物体中の色が背景には無いという条件
が必要であり、少しでも背景に物体と同じ色があれば、
背景中の画像も抽出してしまい、抽出精度が悪化してし
まう。

【０００９】さらに、物体が全面同じ色といっても、影
などの暗い部分や光沢をもった明るい部分などさまざま
な色合が含まれるため、それらを残さず抽出するのは困
難である。このように抽出の精度が悪くて背景部分の抽
出しすぎや、物体の抽出し残しがあると、それ以降の色
変え、合成、拡大、縮小、変形など画像処理で得られる
画像が例えば不要な背景の色が変わったりして画質が劣
化するといった問題を引き起こす。

【００１０】本発明の目的は、簡単な指定操作で画像中
の物体の輪郭を自動的に検出できるカラー画像処理方法
を提供する。本発明の他の目的は、画像中の物体の輪郭
の近くを指定するだけで輪郭を自動的に検出できるカラ
ー画像処理方法を提供する。本発明の他の目的は、指定
点の画素から複数方向の画素を見て差分をとり、差分の
最も大きい方向の画素から境界点を検出するカラー画像
処理方法を提供する。

【００１１】本発明の他の目的は、指定点の画素から複
数方向の画素を見て差分をとり、差分の最も大きい方向
の画素間の混色比率から境界点を検出するカラー処理方
法を提供する。本発明の他の目的は、最初に検出した境
界点に続く境界点を自動的に探索して物体輪郭を検出す
るカラー画像処理方法を提供する。

【００１２】本発明の他の目的は、指定した２点に基づ
き２つの境界点を検出し、２つの境界点を結ぶ直線上に
沿った探索領域の設定で境界点を自動的に探索するカラ
ー画像処理方法を提供する。本発明の他の目的は、指定
した物体領域と背景領域の２点を指定して各色平均を閾
値として求めて画像全体を２つの領域に分けて物体輪郭
を検出するカラー画像処理方法を提供する。

【００１３】本発明の他の目的は、画像全体を物体色と
背景色との加法混色で表わし、所定の混色比率を閾値と
して２つの領域に分けて物体輪郭を検出するカラー画像
処理方法を提供する。本発明の他の目的は、簡単な指定
操作で画像中の物体を自動的に抽出できるカラー画像処
理方法を提供する。

【００１４】本発明の他の目的は、検出した輪郭内部又
は外部の塗り潰し処理により輪郭内部の座標として物体
を抽出するカラー画像処理方法を提供する。本発明の他
の目的は、検出した輪郭内部の物体色と又は輪郭外部の
背景色から境界部分の混色比率を物体抽出に含めて出力
する物体抽出方法を提供する。本発明の他の目的は、簡
単な操作で物体輪郭の検出と、物体抽出ができるカラー
画像処理装置を提供する。

【００１５】

【問題点を解決するための手段】図１は本発明の原理説
明図である。まず画像中の任意の物体の輪郭を検出する
本発明のカラー画像処理方法は、図１（ａ）に示すよう
に、検出対象物体の輪郭７６の付近を指定点７２として指
示する輪郭指示過程（Ｓ１）；輪郭指示過程の指示に基づき輪郭７６上の境界点を検
出する境界点検出過程（Ｓ２）；境界点検出過程で検出した境界点から順次輪郭上の点
を探索して物体輪郭を検出する輪郭探索過程（Ｓ３）；輪郭探索過程による物体輪郭の検出を監視して終了さ
せる終了過程；の各過程で実現される。

【００１６】また本発明の物体抽出方法は、図１（ｂ）
に示すように図１（ａ）のＳ１〜Ｓ３に示した内容を含む物体輪郭
の検出過程（Ｓ１）；物体輪郭の検出結果をもとに、輪郭内部又は外部を塗
り潰して画像中の物体を抽出する抽出過程（Ｓ２）；物体抽出過程で得られた抽出画像データを出力する出
力過程（Ｓ３）；の各過程で実現される。

【００１７】また本発明は、物体の輪郭をある幅をもっ
た領域として検出する。さらに本発明は、物体抽出処理
の際に得られた物体と背景の境界部分の混色比率を示す
マスクデータを使用して、色調整または画像合成の際の
境界部分での混り合う色を求める。

【００１８】

【作用】このような本発明のカラー画像処理方法及び装
置によれば、画像中の物体輪郭の検出を、オペレータに
よる簡単な指定と、指定結果に基づく計算機により自動
的に輪郭を検出できる。さらに検出した輪郭の内部を例
えば塗り潰す処理を行うことで物体を抽出することがで
きる。

【００１９】このためオペレータの負担が少なく、かつ
精度の高い輪郭検出と物体抽出ができる。従って、画像
処理全体の作業効率が格段に向上し、かつ色変え、拡
大、縮小、合成などの処理が高精度に行え、高画質な処
理結果を得ることができる。

【００２０】

【実施例】

＜目次＞１．画像処理方法および物体抽出方法を実現する装置構
成２．物体の輪郭検出処理３．境界点検出処理の第１実施例４．境界点検出処理の第２実施例５．輪郭検出処理の第１実施例６．輪郭検出処理の第２実施例７．輪郭検出処理の第３実施例８．幅を持つ輪郭検出処理の実施例９．物体の抽出処理１０．物体抽出処理の第１実施例１１．物体抽出処理の第２実施例１２．削除モードをもつ物体抽出処理の第３実施例１３：出力データ形式１４．色調整と画像合成１．画像処理方法および物体抽出方法を実現する装置構
成図２は本発明の画像処理方法及び物体抽出方法を実現す
る画像処理装置の一実施例を示した実施例構成図であ
る。

【００２１】図２において、画像処理用計算機１０は制
御手段としてＣＰＵ１６を備えており、ＣＰＵ１６から
は内部バス１８が引き出されている。内部バス１８には
ＲＯＭ２０が接続され、ＲＯＭ２０には本発明の画像処
理方法及び物体抽出方法を実現するための制御プログラ
ムが固定的に格納されている。ＲＡＭ２２はＣＰＵ１６
の制御記憶として使用され、物体の輪郭検出あるいは物
体抽出の処理に必要なデータを一時的に記憶する。

【００２２】画像入力インタフェース２４は画像入力装
置１２を外部接続するために設けられる。画像入力装置
１２としては、例えばイメージスキャナ等が使用され、
イメージスキャナで写真や印刷物等の画像情報を読み取
ってＲＧＢ信号あるいはＵＶ信号等のカラー信号として
画像データを入力する。画像入力インタフェース２４か
ら入力された画像データは画像保持用メモリ２６に格納
される。ワークメモリ２８は物体の輪郭検出あるいは物
体抽出処理を行うため、画像保持用メモリ２６に入力さ
れた画像データを展開する。表示用メモリ３０はディス
プレイコントローラ３２によりカラーディスプレイ３４
に表示する画像データが格納される。ディスクコントロ
ーラ４２は外部記憶装置としてのハードディスク４４を
接続する。プリンタコントローラ４６は外部接続したプ
リンタ４８を制御する。

【００２３】マウスインタフェース３８はマウス３６を
接続し、カラーディスプレイ３４に入力画像を表示し、
この表示画像にカーソルをセットして輪郭検出や物体抽
出のための指示を入力する。尚、マウス以外にライトペ
ン、デジタイザ等の指示デバイスを用いることができ
る。キーボード４０は画像処理用計算機１０に対する各
種の入力操作を行う。更にデータ出力インタフェース５
０は画像処理装置１４を外部接続しており、画像処理用
計算機１０で得られた物体抽出データを画像処理装置１
４に送り、物体抽出後の色変え，拡大，縮小，変形，合
成，認識等の必要な処理を行わせる。

【００２４】図３は図２に示した画像処理用計算機１０
における本発明の物体輪郭の検出及び物体抽出のための
処理機能を示した機能ブロック図である。図３におい
て、画像処理用計算機１０内にはＣＰＵ１６のプログラ
ム制御により輪郭検出処理部５２としての機能と物体抽
出処理部６０としての機能が実現される。輪郭検出処理
部５２には検出法選択部５４，物体指示部５６及び輪郭
検出部５８のそれぞれが設けられている。また物体抽出
処理部６０には輪郭内指示部６２，物体抽出部６４及び
不要部削除部６６が設けられている。

【００２５】図３について本発明の物体輪郭の検出及び
物体抽出の基本的な処理機能を説明すると次のようにな
る。イメージスキャナ等を用いた画像入力装置１２から
のＲＧＢ信号等でなる入力画像データは、まず画像保持
用メモリ２６に格納される。画像保持用メモリ２６に格
納された入力画像データはそのまま表示用メモリ３０に
送られ、カラーディスプレイ（カラーモニタ）３４に表
示される。

【００２６】このような入力画像の表示状態でオペレー
タは輪郭検出処理部５２に設けた物体指示部５６の機能
を使用してカラーディスプレイ３４の表示画像の中の輪
郭検出対象となる物体を指定すると、輪郭検出部５８に
よる物体輪郭の検出処理が行われる。ここで、オペレー
タは画像の特徴により予め準備されている複数の輪郭検
出方法の中から適切な方法を検出選択部５４で選択し
て、輪郭検出部５８による処理を行わせる。

【００２７】輪郭検出部５８により検出された物体輪郭
は表示用メモリ３０に格納された後にカラーディスプレ
イ３４に検出結果として表示される。カラーディスプレ
イ３４に入力画像データから検出した物体輪郭が表示さ
れた状態で、オペレータは物体抽出処理部６０の機能を
使用して物体抽出を行う。即ち、オペレータは輪郭内指
示部６２によりカラーディスプレイ３４に表示された物
体輪郭の内部を指示すると、物体抽出部６４により輪郭
内部または外部の塗り潰しによる抽出処理が行われ、輪
郭内部の座標データを抽出結果として作り出す。検出輪
郭に基づく物体の抽出結果は表示用メモリ３０に送られ
てカラーディスプレイ３４に表示されると共に、データ
出力部６８より画像処理装置１４に対しても出力され
る。

【００２８】また、物体抽出に再し輪郭検出処理部５２
で検出された物体輪郭の中に不要部分がある場合には、
不要部削除部６６を使用して不要な輪郭を削除する修正
を行う。データ出力部６８より画像処理装置１４に出力
された物体抽出データは、色変え，画像合成，拡大，縮
小等の各種の画像処理に利用される。２．物体の輪郭検出処理図４は本発明の画像処理方法における処理手順を示した
フローチャートである。図４において、まずステップＳ
１でカラーモニタに表示された画像に対し、輪郭検出対
象となる物体の輪郭付近を指示する。この指示は、例え
ばオペレータがマウスなどを使用して指定したり、自動
的に輪郭付近を検出して指定する。自動的に輪郭付近を
検出する方法としては、例えば複数の画像の中の同じ物
体、例えば自動車の輪郭を続けて検出するような場合
は、車という知識、具体的には形状や図形中の位置等を
利用して輪郭付近の位置を指示する。

【００２９】続いてステップＳ２に示すように、ステッ
プＳ１で指示された位置を元に、指示位置の近傍の物体
と背景の間の境界点を検出する。続いてステップＳ３で
検出した境界点を元に物体の周囲全ての境界点を検出
し、全周に亘る境界点で構成される物体の輪郭を検出す
る。図５は図４のステップＳ１に示した対象物体の輪郭
付近の指示方法を示した説明図である。

【００３０】図５（ａ）に示すように、モニタ画面７０
に輪郭検出対象となる物体として自動車７５が表示され
ている。自動車７５の輪郭検出に際しては、自動車７５
の輪郭の部分を指定点７２として指定する。この輪郭の
指定は厳密に輪郭の上の点を指定する必要がなく、図５
（ｂ）に示すように輪郭７６の近い場所を大雑把に指定
点７２として指定すれば良く、厳密な輪郭上の境界点は
図４のステップＳ２の処理で検出される。

【００３１】尚、図５（ｂ）にあっては、指定点７２は
輪郭７６の外側の背景７８の領域にあるが、輪郭７６の
内側の物体８０の領域の中にあっても良い。輪郭７６に
対する指定点７２の指定方法としては、モニタ画面７０
に検出対象の画像を表示した状態で、オペレータがマウ
スやライトペン、あるいはデジタイザを使用して、輪郭
検出対象となる画像上の少なくとも１箇所の位置を指示
する。

【００３２】図６は本発明における輪郭検出対象物体の
他の指定方法を示したもので、図５のポイント指定に対
し領域を指定するようにしたことを特徴とする。図６に
おいて、輪郭検出の対象となる物体をモニタ画面に表示
した状態で、オペレータはマウス等で物体輪郭７６をな
ぞり、物体輪郭７６を含むその周囲の領域を指示境界領
域８２とする。この指示境界領域８２の設定に基づく厳
密な物体輪郭７６の検出は、図４のステップＳ２の境界
検出処理で行われる。

【００３３】この図５及び図６に示したように、オペレ
ータは検出しようとする物体の輪郭を厳密に指定する必
要がないため、作業負担が少なくて済む。３．境界点検出処理の第１実施例図７は図４のステップＳ２で行われる境界検出処理の第
１実施例を詳細に示したフローチャートである。

【００３４】図７において、まずステップＳ１でオペレ
ータが指示した指示位置の座標を検出し、続いてステッ
プＳ２で複数の近傍画素の画像データを求める。図８は
図１の画素に基づいて検出する近傍の複数画素の様子を
示したもので、現在、処理対象となっている注目画素と
しての境界画素８４に対し、主走査方向（水平方向）に
１画素離れた検出画素８６，８８のデータを検出する。

【００３５】図９は注目画素としての境界画素８４に対
し、副走査方向（垂直方向）に付き１画素以上離れた位
置の画素を検出画素８６，８８としている。更に、図１
０に示すように、斜め方向についても注目画素としての
境界画素８４に対し１画素以上離れた位置の検出画素８
６，８８を求める。図８〜図１０に示したように、左
右，上下及び斜め方向の各方向に関し、注目画素として
の境界画素８４に対し１画素以上離れた位置の画素デー
タを検出画素として求めたならば、図７のステップＳ３
に進み、各方向に関する画素データの差分を計算する。
続いてステップＳ４で複数方向で計算した差分の中の最
大値を保存する。

【００３６】ここで、画像データとしてカラーデータを
使用していた場合には、カラー成分ＲＧＢまたはＹＵＶ
等のいずれか１つを用いて各方向での差分を計算し、そ
の中の最大値を保存する。また、ＲＧＢ，ＹＵＶ等の各
カラー成分毎に差分を計算し、その中の最大値を保存す
るようにしても良い。このように、全てのカラー成分毎
に差分を計算して最大値を保存する方法は、計算量は多
くなるが、どのような色の変化及び明るさの変化にも対
応することができ、輪郭検出の精度を向上することがで
きる。

【００３７】勿論、図８〜図１０に示したように、左右
方向，上下方向，斜め方向の差分を計算することで、ど
の方向に存在する境界についても対応できる。ステップ
Ｓ４で複数方向の差分の最大値の保存が済んだならば、
ステップＳ５で予め指定された探索範囲の全ての画素に
関し、ステップＳ２〜Ｓ４の処理が終了したか否かチェ
ックし、終了していなければステップＳ７に戻って、探
索範囲内の次の座標を検出して、ステップＳ２からの処
理を繰り返す。ステップＳ５で探索範囲の差分計算が全
て終了した場合にはステップＳ６に進み、探索範囲の各
画素に対し保存された差分の中の最大値をもつ座標を検
出し、これを境界点として検出する。

【００３８】図１１はオペレータによる指定点と探索範
囲及び検出した境界点の関係を示す。即ち、オペレータ
が物体８０と背景７８の間の境界９４の近傍に指定点７
２を指示すると、この指定点７２を中心に例えば矩形の
探索範囲９０を設定し、探索範囲９０内に存在する全て
の画素について図５のステップＳ２〜Ｓ４に示した処理
を繰り返し、最終的に境界点９２を検出する。

【００３９】図１２は境界領域での画像データの変化の
様子と差分の変化及び境界判断の様子を示す。図１２
（ａ）に示すように、境界領域９６で画像データは物体
色９８から背景色１００に色が滑らかに変化している。
このような境界領域９６における色の滑らかな変化は、
画像入力の際のカメラやイメージスキャナ等のレンズの
ぼけに依存している。探索範囲における差分の比較は境
界領域の画素Ｘ０からＸｅまでの各画素に関し、順次差
分を求め、結果を図１２（ｂ）に示すようにプロットす
る。

【００４０】図１２（ｂ）に示すような境界領域での差
分の分布状態に対し、差分が最大となる画素を境界点１
０２と判断する。図１２（ａ）の画素のデータから、図
１２（ｂ）の差分の計算は図８〜図１０に示したよう
に、判断対象となる境界画素８４に対し１つ離れた画素
を検出画素８６，８８として計算している。勿論、境界
画素８４に隣接する画素を検出画素としても良いが、両
隣りより１画素程度離れた方がノイズの影響を受けにく
く、色の変化を捕まえ易い。４．境界点検出処理の第２実施例図１３は図４のステップＳ２に示した境界検出の第２実
施例を詳細に示したフローチャートである。この境界検
出の第２実施例にあっては、境界領域における物体色と
背景色の加法混色の比率を用いて境界を検出するように
したことを特徴とする。

【００４１】図１３において、まずステップＳ１でオペ
レータが指示した指示位置の座標を検出し、次のステッ
プＳ２で図５の第１実施例と同様、注目している境界画
素の周囲の近傍画素の画像データを検出し、ステップＳ
３で複数方向の境界画素と検出画素の間の差分を計算
し、ステップＳ４で複数方向の差分の中の最大値の方向
を検出する。

【００４２】続いてステップＳ５で物体側の物体色と背
景側の背景色の２つの画像データを用いて境界画素の画
像データを加法混色で表現し、更に混色の比率を求めて
各画素毎に保存しておく。ステップＳ２〜Ｓ５の処理
は、ステップＳ６で探索範囲の全てについて比率計算が
終了するまでステップＳ８で探索範囲内の次の代表を検
出して同様の処理を繰り返す。

【００４３】探索範囲の全ての比率計算処理が終了する
とステップＳ７に進み、予め定めた設定比率、例えば
０．５に最も近い加法混色の比率をもつ画素を境界画素
として検出する。図１４に図１３の境界検出の第２実施
例の処理対象となる物体色と背景色の加法混色のモデル
を示す。即ち、物体色から背景色に色が変化する境界９
６では物体の色と背景の色が混じり合っている。この境
界部分における色の混じり具合を、物体色の比率をｋ
（但し、ｋ＝０〜１）としてモデル化すると、物体混色
比率９８は境界９６から背景側に向かうに従って、ｋ＝
１からｋ＝０に直線的に低下する。

【００４４】一方、（１−ｋ）で示される背景色混色比
率１００は物体側から背景側に向かうにつれて（１−
ｋ）＝０から（１−ｋ）＝１に向かって直線的に増加す
る関係にある。したがって境界領域における関係は次式
で現わされる。境界色＝ｋ×（物体色）＋（１−ｋ）×（背景色）（１）このような混色比率のモデル化において、混色比率ｋ＝
０．５ということは、物体色と背景色が同程度混じり合
った混色領域の中央、即ち境界９４を示すことになる。
従って、背景側から物体側に並んでいる画素について求
めた混色比率の値につき、設定比率０．５に最も近い画
素を境界画素として検出することで物体輪郭を検出する
ことができる。

【００４５】図１５は図５及び図１３のステップＳ２で
オペレータにより指示された指示点の近傍画素の画像デ
ータを求める第２実施例を示した説明図である。この第
２実施例による指定点の近傍画素の画像データの求め方
としては、例えば左右方向の検出を例にとると、境界画
素８４の左右に１つおいて存在する縦方向に３つ並んだ
３画素平均として検出データ１０４，１０６を求め、境
界画素８４の画像データと３画素平均として求めた検出
データとの差分を計算する。このように、検出画素とし
て３画素平均の画像データを用いることで画像に含まれ
るノイズの影響を少なくでき、より高精度の境界検出が
できる。

【００４６】尚、図１５は主走査方向としての左右方向
に位置する検出画素の平均をとる場合を示したが、図９
に示した副走査方向（上下方向）及び図１０の斜め方向
についても同様に、３画素平均を検出データとすれば良
い。更に図１５にあっては、３画素の平均をとっている
が、平均計算に使用する画素数を更に増加すれば、より
一層、ノイズの影響を低減できる。５．輪郭検出処理の第１実施例オペレータの指示点から境界点が検出できたならば、検
出した境界点を元に物体の周囲を探索追跡することで物
体の輪郭を検出する。物体の輪郭を検出していく手順、
即ち境界判断を積み重ねていく方法は、画像の特徴に依
存して異なった方法を選択して使用する必要がある。

【００４７】画像の特徴としては、背景が一様で輪郭がはっきりしている。背景が複雑で輪郭が不明確である。影等により物体と背景の境界が判りにくい。等に分けることができる。本発明にあっては、〜に
示したような画像の特徴に応じた最適な物体輪郭の検出
方法を定めており、最適な方法を選択して物体輪郭を検
出する。

【００４８】図１６は本発明の輪郭検出処理の第１実施
例を示したもので、図７または図１３の境界検出処理で
求めた境界点に基づき物体輪郭を追跡する。図１６にお
いて、まずステップＳ１で境界点を求め、これを物体輪
郭を追跡するための始点とする。続いてステップＳ２で
境界点の周囲に予め定めた探索範囲を設定し、この探索
範囲について、図７に示した境界検出処理の第１実施例
あるいは図１３に示した境界検出処理の第２実施例と同
じ方法を適用して新たな境界点を検出する。

【００４９】続いてステップＳ４で始点に戻ったか否か
チェックし、始点に戻るまでステップＳ２，Ｓ３の探索
範囲の設定と境界点の検出処理を繰り返す。また、ステ
ップＳ４からＳ２に戻る際に、ステップＳ５で探索範囲
の設定と境界点の検出でなる輪郭検出処理が予め定めた
設定回数に達したか、あるいは予め定めた時間、探索し
たか判断し、設定回数に達したり設定時間以上であれば
始点に戻っていなくても処理を強制的に終了する。

【００５０】図１７は図１６の輪郭検出処理の様子を示
したもので、最初に始点として指定点７２を設定する
と、追跡方向７４として矢印で示すように輪郭検出対象
となる自動車７５の輪郭に沿った探索範囲の設定と境界
点の検出が繰り返され、始点として設定した指定点７２
に戻ってきたときに一連の境界検出処理を終了する。図
１８は図１６の輪郭検出処理において、１つの輪郭点が
検出された後に次の探索範囲の設定の方法を示してい
る。

【００５１】図１８において、探索範囲の設定と境界点
の検出により輪郭画素９２−１，９２−２，９２−３が
順次検出され、次に輪郭画素９２−３を検出点として探
索範囲を設定する。この探索範囲は右上に取り出して示
す３×３の合計９画素の参照マスク１０８の中央の画素
を輪郭画素９２−３に合わせ、斜線で示す周囲８つの画
素の中から次の輪郭画素を選択する。尚、左下隅の輪郭
画素９２−２については既に処理が済んでいることから
除外し、残り７つの中から輪郭画素を選択する。輪郭画
素の選択方法は、輪郭画素９２−３の周囲の既に処理が
済んだ輪郭画素９２−２を除く残り７つの画素に関し、
各画素を境界画素と仮定して図７または図１３の輪郭検
出処理により差分や混色比率を求め、最も差分が大きい
画素あるいは混色比率が設定値０．５に最も近い画素を
境界を示す新たな輪郭画素として検出する。

【００５２】尚、図１８にあって、輪郭画素の周囲８画
素を探索範囲としているが、左右及び上下の４画素を探
索範囲としても良い。図１６のステップＳ５において、
処理回数が設定回数あるいは設定時間に達したときに追
跡処理を強制終了している理由は、輪郭検出の探索処理
が無限ループに陥って処理が終わらない場合や、追跡の
結果、画像の端部に行ってしまって処理が終了しない場
合を考慮している。

【００５３】また、図１７の輪郭追跡において、輪郭線
が交差した分岐部分の処理については、指定点７２を図
示のように一点とせず、複数点指定することで輪郭線の
分岐を含めて全て探索できる。また、指定点７２を一点
とした場合には、分岐部分で少なくとも２つの輪郭画素
が得られることから、これを第１候補及び第２候補とし
て保存しておき、まず第１候補の輪郭画素について追跡
処理を実行し、追跡開始点に戻ったら残っている第２候
補からの追跡処理を行えば良い。６．輪郭検出処理の第２実施例図１９は図４のステップＳ３の輪郭検出処理の第２実施
例の詳細を示したフローチャートであり、この第２実施
例にあっては、複数の境界点の指示に基づい物体輪郭追
跡することを特徴とする。

【００５４】図１９の輪郭検出処理の第２実施例に先立
って、オペレータはモニタ画面の輪郭検出対象となる画
像の輪郭に沿って複数の指定点を予め指示しておく。こ
のような複数の指定点が指示された状態で、まずステッ
プＳ１で特定の指示点について図７あるいは図１３の方
法で境界点を求め、これを始点とする。次にステップＳ
２で次の指定点から同様にして境界点を検出する。

【００５５】次にステップＳ３で２つの境界点間を結ぶ
直線を仮定し、この直線を等分割した各座標点を指示点
と考え、ステップＳ４で直線上に設定した指示点につい
て図７あるいは図１３の方法で境界点を検出して輪郭を
追跡していく。ステップＳ５で２点間の輪郭追跡が終了
したならば、ステップＳ６で始点に戻ったか否かチェッ
クし、始点に戻っていなければ先の方の境界点を新たな
始点としてステップＳ２〜Ｓ５の処理を繰り返し、始点
に戻ったら一連の処理を終了する。

【００５６】この図１９に示した輪郭検出処理の第２実
施例は、オペレータによる一点だけの始点による輪郭追
跡では良好に輪郭を検出できないような画像に対し有効
な方法である。具体的には、背景が複雑で境界がはっき
りしないような画像や物体の影となる部分で背景との境
界が区別しにくいような画像について、オペレータによ
る複数点の指示を補助として正確な物体の輪郭を検出す
ることができる。

【００５７】勿論、オペレータによる複数点の指示は物
体の境界付近を大雑把に指定するもので良く、正確な境
界は図７あるいは図１３の方法を計算機で実行して検出
されるため、複数点を指定してもオペレータの負担はな
く、経験も必要としない。図２０は図１９の輪郭検出処
理におけるオペレータによる複数の指定点の指示を示し
たもので、モニタ画面７０上の自動車の輪郭に沿って指
定点７２−１〜７２−１２を指示している。ここで、指
定点７２−１が最初に指定されていることから始点とな
り、指定点７２−１２が最後の指定点となる。

【００５８】図２１は図２０の中の２つの指定点７２−
１，７２−２の間の輪郭追跡の処理内容を示している。
まず、指定点７２−１に基づき探索範囲９０−１を設定
して、始点となる境界画素（境界点）９２−１を検出す
る。２番目に指定した指定点７２−２について探索範囲
９０−２を設定し、境界画素（境界点）９２−２を検出
する。

【００５９】次に、検出した２つの境界画素９２−１と
９２−２を結ぶ直線１１０の方程式を求める。先に検出
された境界画素９２−１からＸ座標を１つずつ増加させ
て直線１１０上のＹ座標を求め、求めた座標値（Ｘ，
Ｙ）により直線１１０上に新たな指示点１１２−１を設
定する。同様にして境界画素９２−２まで直線１１０上
に指示点１１２−２，１１２−３をセットする。

【００６０】直線１１０上の最初の指示点１１２−１に
ついて探索範囲９０−３を設定し、図５あるいは図１３
の方法により境界画素（境界点）９２−３を検出する。
以下、直線１１０上の指定点１１２−２，１１２−３に
ついて同様に探索範囲９０−４，９０−５を設定し、境
界画素を次々と検出する。尚、図２１の処理にあって
は、直線１１０についてＸ座標を１つずつ増加させて指
定点１１２−１，１１２−２，・・・を設定している
が、直線の傾きが大きい場合には、Ｘ座標ではなくＹ座
標を１つずつ増加させ、Ｘ座標は直線の方程式から求め
て指定点を順次設定する。

【００６１】尚、以上の説明では２点の境界画素をもと
に直線を求め、２点間の境界画素を検出したが、３点以
上の境界画素をもとに曲線を求め、その線上の点から点
間の境界画素を求めるようにしてもよい。この場合、点
の指定の数を減らすことができ、より一層オペレータの
負担を減少できる。図２２は図６に示した輪郭検出対象
物体の指定に対応して輪郭追跡を行う方法を示した説明
図である。

【００６２】図２２において、モニタ画面上に対象物体
８０の画像と重ねてある範囲を示す図形形状、例えば四
角のカーソル１１４を表示し、マウスによりカーソル１
１４を移動できるようにする。オペレータはカーソル１
１４を図示のように物体輪郭７６に合わせ、カーソル１
１４の中に物体輪郭７６が入るように移動する。また、
オペレータはカーソル１１４を移動する毎にマウスクリ
ック操作等により境界検出処理等を指令すると、図７あ
るいは図１３の方法により境界画素９２−１，９２−
２，９２−３のように次々と検出されていく。

【００６３】このように、カーソル１１４を物体輪郭に
沿って動かす方法による輪郭検出にあっては、一点指定
や複数点指定、更には色指定等による輪郭検出に比べて
オペレータの負担は増えることになるが、境界がより不
明確な画像に対しては有効であり、オペレータの負担が
僅かに増えても高精度の境界検出ができる。図２３は図
２２で用いるカーソルの変形例を示したもので、カーソ
ル１１４の中に十字線１１６を入れている。これは図２
２にあっては、カーソル１４の内部領域の全てについて
境界判断の処理を行うために時間がかかる。そこで、図
２３のようにカーソル１１４の中心点１１５を求め、中
心点１１５に対する十字線１１６上の画素だけを境界画
素と仮定して図７もしくは図１３の処理を行う。

【００６４】この十字線１１６を使用すれば、検出した
い境界画素はほぼ含まれることとなり、十字線１１６に
限って境界判断の処理を実行することで処理時間を短縮
することができる。７．輪郭検出処理の第３実施例図２４は図４に示した物体輪郭検出処理の第３実施例を
詳細に示したフローチャートであり、この第３実施例に
あっては、物体色と背景色の２点を指示し、色の相違を
利用して輪郭を検出するようにしたことを特徴とする。

【００６５】図２４において、まずステップＳ１でオペ
レータは輪郭検出の対象となる物体の中の一点と物体の
周囲の背景の中の一点を指示し、指定点の物体色と背景
色を求める。続いてステップＳ２で、ステップＳ１で得
られた物体色と背景色の２つの色の画像データから閾値
を計算し、計算した閾値を用いてステップＳ３で画像デ
ータ全体を物体と背景の２つの領域に分離する。続いて
ステップＳ４で、分離した２つの領域の境界を物体の輪
郭として検出する。

【００６６】ステップＳ３で物体と背景に分離する閾値
としては、加法混色の比率かあるいは物体と背景の２つ
の画像データの平均値等を利用することができる。この
ような物体色と背景色に基づいて輪郭を検出する方法
は、物体と背景の色が明らかに異なるような画像に対し
て有効である。図２５は図２４の輪郭検出処理の様子を
示したもので、モニタ画面７０上の画像に対し、マウス
等でオペレータが物体色の代表色を得るための指定点１
２２と背景色の代表色を指示するための指定点１２４を
指示する。また、モニタ画面７０については、予め背景
色と物体色に基づく輪郭検出の対象領域を指示領域１２
０として指示しておくことで、表示画像の一部分につい
て輪郭検出処理を実行できるようにする。指定点１２
２，１２４が指示されたならば、それぞれの色に関する
画像データが閾値を計算し、指示領域１２０の全ての画
素の画像データに関し物体か背景かの判断を行う。

【００６７】例えば、ＲＧＢ色空間を例にとると、指定
点１２４の背景色が（Ｒ０，Ｇ０，Ｂ０）であり、指定
点１２２の物体色が（Ｒ１，Ｇ１，Ｂ１）であったとす
ると、閾値を｛（Ｒ０＋Ｒ１）／２，（Ｇ０＋Ｇ１）／２，（Ｂ０＋Ｂ１）／２｝（２）として求め、この閾値を用いて物体か背景かの判断を行
う。

【００６８】また、指示領域１２０の各画素のデータ毎
に図１４に示したようにして加法混色の混合比率を求
め、求めた比率が設定値、例えば０．５以上のとき物体
とし、０．５より小さいときに背景と分けるようにして
も良い。図２６は閾値に基づく背景領域と物体領域の判
断結果から輪郭を検出する方法を示したもので、分離さ
れた物体画素１２６と背景画素１３０について２つの領
域の画素と接する位置の画素を境界画素１２８と判断す
る。この境界画素１２８の繋がりが物体の輪郭として検
出される。

【００６９】図２７は図１６，図１９あるいは図２４の
方法で検出された輪郭のスムージング処理を示した説明
図である。前述した各実施例で検出された輪郭は図２７
（ａ）の境界画素１２８に示すように、通常は激しい凹
凸を繰り返している。これは、輪郭検出前の画像は人間
が見ると輪郭は滑らかに見えるが、実際の境界領域には
２〜３画素が存在しており、この境界を１画素で検出す
ると必ずしも滑らかにはならない。特に、影の部分のよ
うに境界が不明確で境界画素が判断対象となる画素数が
多い場合には凹凸が激しくなり易い。

【００７０】このような凹凸の激しい境界画素につい
て、図２７（ｂ）に示すようにスムージング処理を施す
ことで境界画素１２８の並びを滑らかにし、後の画像処
理として行う他の画像との合成や拡大，縮小等を行った
後の画像品質を改善することができる。図２７に示すよ
うなスムージング処理の方法としては、検出した境界画
素１２８から最小二乗法により輪郭の近似曲線を求める
方法が有効である。

【００７１】図２８は本発明の輪郭検出処理の最終過程
で行われる輪郭修正処理を示した説明図である。前述し
た本発明の輪郭検出処理の結果をモニタ画面に表示して
みると、例えば図２８に示すように輪郭検出の結果が誤
っている場合がある。図２８はモニタ画面の左側に原画
表示画面１３２を設け、右側に輪郭検出結果表示画面１
３４を設けており、原画と検出した輪郭とが比較できる
ようにしている。この場合、輪郭検出結果にあっては、
原画にない検出ミス１４０を起こしている。

【００７２】本発明にあっては、輪郭検出結果における
検出ミスを想定して、例えば原画表示画面１３２の下側
に指示用ボタン表示部１３６を設け、その中に修正モー
ド選択ボタン１３８を設けている。そして検出ミス１４
０を発見した場合にはカーソル等により修正モード選択
ボタン１３８にカーソルをセットしてマウスクリックを
することで輪郭検出結果表示画面１３４の検出ミス１４
０を修正するモードを設定することができる。

【００７３】図２９は輪郭検出結果の修正方法を示した
説明図である。まず、検出ミスを起こした輪郭の消去に
ついては、図２９（ａ）に示すマウスカーソル１４２を
検出ミスを起こした部分で動かして消す、いわゆる消し
ゴム的な処理、あるいは図２９（ｂ）に示す指定領域１
４４をセットして削除する領域削除処理のいずれかが行
われる。続いて、図２９（ｃ）に示すように、削除した
輪郭について指定点１４６，１４８の２点を指示し、そ
の間を結んで輪郭線１５０を再検出する。８．幅を持つ輪郭検出処理の実施例図３０は本発明の境界点検出処理及び輪郭検出処理の他
の実施例を示したフローチャートであり、この実施例に
あっては物体の輪郭をある幅をもって領域として検出す
るようにしたことを特徴とする。まず物体の輪郭をある
幅をもって検出する理由を説明する。既に説明した図７
及び図１３の境界検出処理に基づく図１６あるいは図１
９の輪郭検出処理で求められた物体輪郭は、例えば図３
１（ａ）に示すように、ぎざぎざになることがある。例
えば物体と背景の境界部分に影がついていて物体の輪郭
が明瞭でないような場合にぎざぎざとなり、検出された
輪郭が滑らかにならない。

【００７４】また既に説明した物体輪郭の検出処理は、
物体の周囲部分の画素に対し行っていたが、物体色から
境界色に色が変化する領域の広さは物体の周囲の全ての
位置で一定とは限らず、広くなったり狭くなってりして
おり、広くなった領域についてぎざぎざの輪郭検出が行
われてしまう。このように既に説明した方法では、画像
によって検出した輪郭がぎざぎざになり、続いて行う物
体の抽出処理の精度が悪化したり、混色処理により境界
の色の自然さを保存する処理の領域が狭く処理画像の自
然さが不十分になってしまう恐れがある。

【００７５】そこで図３０の実施例にあっては、輪郭領
域が広い場合、即ち物体色から背景色に色が変化する領
域が広い場合は、この色の変化する領域に応じた幅（太
さ）をもつ輪郭を検出する。これによって、影などによ
り不明瞭な輪郭部分は、それに応じた太い輪郭として検
出される。従って、物体色から背景色に色が変化する領
域として存在する輪郭領域について検出した輪郭がぎざ
ぎざにならず、高精度の輪郭検出と、輪郭検出に基づく
物体抽出を可能とする。

【００７６】更に、幅をもった輪郭領域の検出結果に基
づき、後処理として行う画像処理装置における色調整や
画像合成の際に、色の変化が広い境界領域について混色
比率をマスクデータとして求め、このマスクデータを使
用して境界領域の色を求めることで、原画像と同様な滑
らかな色の変化を幅の広い輪郭領域についても実現する
ことができる。

【００７７】このような幅をもった輪郭の検出処理の方
法を図３０について説明すると次のようになる。図３０
において、ステップＳ１〜Ｓ６までの処理は境界点検出
処理であり、基本的には図７に示した境界検出処理の第
１実施例と同じである。図７の境界検出処理と異なるの
は、ステップＳ６において探索範囲の閾値以上の差分値
の画素を輪郭候補点として検出している点である。すな
わち、図７のステップＳ６にあっては、探索範囲の最大
差分値の画素を検出しており、１つの輪郭点しか検出さ
れない。これに対し図３０にあっては、所定の閾値以上
の差分値の画素を全て輪郭候補点とすることから、少な
くとも１つ以上の候補点が検出され、もし輪郭が幅をも
っていれば２以上の複数の輪郭候補点が検出されること
になる。

【００７８】図３２は図３０のステップＳ１〜Ｓ６の境
界点検出処理で得られた境界部分の画素位置に対する画
素データ値と差分値の関係を示している。図３２（ａ）
に示すように、画素データ値が背景色１００の領域から
境界領域９６で増加しながら物体色９８の領域に変化す
る場合、その差分値は図３２（ｂ）に示すように、境界
領域９６でピークを示すように変化する。このような差
分値に対し、例えば所定の閾値３０６を設定し、閾値３
０６を越える差分値をもつ画素を輪郭候補点として検出
する。この場合には点３０８，３１０，３１２で示す３
つの画素が輪郭候補点として検出される。

【００７９】図３３は背景色１００から物体色９８への
画素データ値の変化が図３２に比べ緩やかであった場
合、即ち境界領域９６が広がっている場合の画素位置に
対する画素データと差分値の関係を示している。この場
合、図３３（ｂ）に示す差分値は境界領域９６の広がり
に応じてなだらかな変化となる。ここで、図３２と同じ
閾値３０６を差分値に対し設定していたとすると、境界
領域９６が広くなることで点３１４，３１６，３１８，
３２０，３２２で示す５つの画素が輪郭候補点として検
出されることになる。

【００８０】図３２（ｂ）及び図３３（ｂ）に示すよう
にして閾値３０６を越える差分値をもつものとして検出
された輪郭候補点としての画素にインデックスをつけ、
次に行う輪郭検出処理のためにピーク差分値をもつ候補
点３１０，３１８、ピーク値に続き２番目に高い差分値
をもつ左右の候補点、更に３番目の差分値をもつ左右の
候補点というように識別できるようする。例えばピーク
差分値をもつ候補点にＩＤ０、次に高い差分値をもつ２
つの候補点に例えば右からＩＤ１，ＩＤ２、次に高い差
分値をもつ２つの候補点二同じく右からＩＤ３，ＩＤ４
というようにインデックスをつけておく。

【００８１】続いて図３０のステップＳ８〜Ｓ１１に示
す輪郭領域検出処理を行う。この輪郭領域検出処理は基
本的には図１６，図１９に示した輪郭検出処理と同じに
なる。例えばステップＳ８の輪郭検出処理として図１６
の実施例を用いるものとすると、ステップＳ１〜Ｓ６の
境界点検出処理結果として得られた境界点の検出結果を
始点として境界の探索処理を開始する。このとき始点位
置の境界点として複数の輪郭候補点があった場合には、
差分値の高い順に割り振ったインデックスＩＤ０，ＩＤ
１，ＩＤ２，・・・の順番に始点を設定し、各始点ごと
に輪郭検出処理を行う。

【００８２】ステップＳ８の輪郭検出処理にあっては、
始点を中心に探索範囲を設定しながらステップＳ１〜Ｓ
６と同じ境界点検出処理を実行し、次の位置での境界点
を示す複数の輪郭候補点を検出する。こ最初はピーク差
分値のインデックスＩＤ０の候補点による輪郭検出処理
であることから、新たに検出したピーク値をもつ輪郭候
補点と前回検出しているピーク値をもつ輪郭候補点とを
結んだ輪郭を検出する。このステップＳ８の輪郭検出処
理は始点に戻るまで繰り返される。

【００８３】輪郭検出処理が始点に戻るとステップＳ９
に進み、全候補点について終了したか否かチェックす
る。終了していなければステップＳ１０で次の候補点に
更新し、ステップＳ８で新たに設定した候補点と同じイ
ンデックスをもつ候補点についての輪郭検出処理を繰り
返す。２回目の輪郭検出処理にあっては、最初の輪郭検
出処理で複数の輪郭候補点が既に検出されていることか
ら、同じインデックスをもつ候補点をつなぐ輪郭検出を
行うだけでよい。また、ある輪郭点の検出処理で現在探
索中の輪郭候補点と同じインデックスをもつ輪郭候補点
がなかった場合には、既に処理が済んでいる上位のイン
デックスをもつ輪郭候補点を使用して輪郭検出を行えば
よい。

【００８４】このようなステップＳ８〜Ｓ９における複
数の輪郭候補点を対象とした輪郭検出処理により、例え
ば図３１（ｂ）に示すような複数ラインをつなげる形の
輪郭検出結果を得ることができる。図３４は図３１
（ｂ）に示すような複数ラインの輪郭検出結果を部分的
に取り出して示している。図３４（ａ）は３つのライン
３２４，３２６，３２８が輪郭として検出されている。
図３４（ｂ）は３つのラインを拡大して画素単位で示
し、黒く塗り潰した画素が輪郭候補点として検出された
画素である。しかしながら、複数の輪郭候補点に基づく
輪郭ラインの検出結果にあっては、物体色から背景色に
色が変化する境界領域の全ての画素を検出することはで
きず、候補点として検出できなかった画素による隙間を
生じている。これは物体周囲の位置により境界の明瞭さ
が異なり、検出される候補点の数が変化することによ
る。

【００８５】そこで、図３０のステップＳ１１にあって
は、全候補点についての輪郭検出による複数の輪郭ライ
ンが求められたならば、輪郭画素として検出された画素
を縦方向及び横方向に調べ、既に検出された２つの輪郭
画素の間に輪郭候補点となっていない画素が存在した場
合には、この画素を輪郭画素に強制的に設定する。これ
により、図３４（ｂ）に示すように複数ラインとして検
出された輪郭の間に隙間があっても輪郭領域に含まれる
全ての画素は輪郭画素と判断され、隙間のない輪郭領域
を得ることができる。

【００８６】図３５は幅をもつ輪郭領域を検出する他の
実施例を示したフローチャートである。この実施例にあ
っては、複数の輪郭候補点を物体色から背景色に変化す
る境界部分における加法混色の比率計算結果に基づいて
検出するようにしたことを特徴とする。即ち図３５のス
テップＳ１〜Ｓ７の境界検出処理は、基本的には図１３
に示した境界検出処理の第２実施例と同じであり、ステ
ップＳ７で探索範囲の混色比率に対し複数の設定値を設
定し、この設定値に近い画素を輪郭候補点として検出し
ている点である。

【００８７】物体色９８から背景色１００に変化する境
界９６における画素位置に対する物体色９８の混色比率
ｋは図３６のようにｋ＝１〜０と変化し、逆に背景色の
混色比率（ｋ−１）は０〜１と変化する関係にある。そ
こで、例えば物体色の混色比率ｋについて、図示のよう
に３つの設定値０．７５，０．５及び０．２５を設定
し、この３つの設定値に近い混色比率をもつ画素を輪郭
候補点として検出する。勿論、輪郭候補点を決めるため
の閾値は検出しようとする候補点の数に応じた適宜の数
とできる。図３５のステップＳ８〜Ｓ１１の輪郭領域検
出処理にあっては、図３０の場合と同じである。

【００８８】尚、図３５のステップＳ７にあっては、図
３６に示すように、例えば物体色９８の混色比率ｋにつ
いて設定した設定値０．７５，０．５，０．２５に近い
画素を一義的に輪郭候補点として検出する場合を例にと
っているが、物体色９８の混色比率ｋの値と背景色１０
０の混色比率（ｋ−１）の値との差分値ΔＫを算出し、
この混色差分値ΔＫについて同様に複数の設定値を設定
して、設定値に近い混色差分値をもつ画素を輪郭候補点
として検出してもよい。

【００８９】このような混色差分値を求めた場合には、
ｋ＝（ｋ−１）＝０．５の値が０となり、例えば物体色
側が０〜１の値Δｋをもち、背景色１００側が０−１の
値Δｋをもち、Δｋの変化そのものは図３６の物体色９
８の混色比率ｋと同じである。図３７は図３０または図
３５により境界が境界領域として検出される画像を示し
ている。図３７の画像にあっては、物体色９８の右側に
影領域３３０があり、外側が背景色１００となってい
る。このような場合、影領域３３０については１ライン
の輪郭検出では、図３１（ａ）に示すように影領域３３
０内をぎざぎざの輪郭ラインが通り、正しい物体抽出が
できない。これに対し、図３０または図３５に示した処
理方法によれば、影領域３３０は幅をもった輪郭領域と
して検出することができる。

【００９０】更に、影領域３３０を輪郭領域として検出
した場合、縦方向およびまたは横方向を含む複数方向に
おける物体色９８から背景色１００に至る色の変化を示
す混色比率を求めておけば、この混色比率を使用して例
えば物体色９８や背景色１００の色変え、あるいは物体
色９８に別の画像の背景色１００を合成する際の境界領
域における元の画像のもっている色変化を混色比率の値
から算出でき、自然な色調整や画像合成を可能とする。
尚、物体抽出後の色調整及び画像調整については、後の
説明で更に明らかにする。

【００９１】このように物体色から背景色に至る色の変
化する範囲が広い場合には、この範囲を輪郭領域として
幅（太さ）をもった輪郭を検出することで、検出した輪
郭は例えば図３１（ｃ）に示すように部分的に幅をもっ
た輪郭として検出できる。この結果、検出した輪郭が図
３１（ａ）の輪郭３００のようにぎざぎざにならず、高
精度の輪郭検出や物体抽出が実現できる。更に、検出し
た幅をもつ輪郭領域について、輪郭領域に存在する複数
画素について物体色から背景色に変化する際の混色比率
を求めておくことで、この混色比率を利用して色調整や
画像合成の際に原画像と同様な滑らかな色の変化を幅を
もった境界部分で実現することができる。９．物体の抽出処理図３８は輪郭内部を検出して物体を抽出する本発明の物
体抽出方法の基本的な処理手順を示したフローチャート
である。

【００９２】この物体抽出処理にあっては、まずステッ
プＳ１で物体輪郭の検出を行う。この物体輪郭の検出は
既に説明した本発明の物体輪郭の検出方法に従った処理
を行う。次に、ステップＳ２で輪郭内の物体抽出を行
う。この輪郭内の物体抽出は検出した輪郭画像をディス
プレイに表示し、輪郭の内部を自動的に検出して指示す
るか、オペレータが指示する。続いて輪郭内部の検出結
果あるいは指示結果に基づき輪郭の内側の座標位置を特
定する。

【００９３】最終的にステップＳ３で特定された輪郭内
側の座標位置を抽出画像データとして外部に出力して、
物体抽出結果を得る。１０．物体抽出処理の第１実施例図３９は図３８のステップＳ２に示した輪郭内物体抽出
処理の第１実施例の詳細を示したフローチャートであ
る。まずステップＳ１でモニタ画面に表示している検出
された輪郭の画像に対し、オペレータが輪郭内部の点を
指示する。次にステップＳ２で、オペレータが指示した
物体内部の指示点を利用して輪郭上の点を検出する。続
いてステップＳ３で、検出した輪郭上の点に基づき、輪
郭内部の点の座標を全て検出する。

【００９４】図４０は図３９のステップＳ３における輪
郭内部の座標検出の様子を示す。輪郭内部の座標を検出
することは、具体的には輪郭７６の内部に存在する画素
を特定の画像データで一様に塗り潰すことを意味する。
このとき背景側は塗り潰し用の画像データとは異なる、
ある特定の画像データの値としておく。塗り潰しに使用
する画像データとしては、元の物体の画像データを求め
て使用しても良いし、値の予め判っている背景とは異な
る画像データの値を使用して埋め尽すようにしても良
い。

【００９５】図４１は輪郭内部の塗り潰し方法を示した
説明図である。まず図４１（ａ）に示すように、輪郭７
６の画像をモニタ画面に表示し、輪郭７６の内部の点１
５４をオペレータがマウス等で指定する。この指定点１
５４に基づき、指定点１５４を通ってＸ軸方向（左右方
向）１５６に向かって輪郭７６に到達するまで探索を行
い、輪郭７６上の画素２００，２０２の座標を検出す
る。また、指定点１５４を通ってＹ軸方向（上下方向）
に向かって輪郭７６に達するまで探索を行い、輪郭７６
上の画素２０４，２０６の座標を検出する。

【００９６】次に図４１（ｂ）に示すように、Ｘ軸の検
出点２００と２０２間の全ての画素に関し、矢印で示す
ように輪郭７６に到達するまで各画素の画像データを塗
り潰し用の画像データの値に置き換える上下方向の塗り
潰しを行う。続いて図３３（ｃ）に示すように、Ｙ軸方
向の検出点２０４，２０６間の全ての画素に関し、輪郭
に到達するまで左右方向に塗り潰しを行う。

【００９７】このような輪郭７６の内部の全ての画素デ
ータの塗り潰しにより、輪郭７６を含む内部の全ての画
素の画像データは背景側の画像データから区別された特
定の画像データの値で表わされることとなり、塗り潰し
の結果として物体抽出を行うことができる。図４２は輪
郭が複雑な形状をした場合の塗り潰し方法を示す。この
ように、輪郭７６が複雑な形状をもっていた場合には、
図４１に示した塗り潰し方法では輪郭７６の内部の全て
の領域を塗り潰すことはできない。そこで、例えば最初
に指定点１５８−１を指定して塗り潰しを行い、塗り潰
しが行われなかった領域について、次に指定点１５８−
２を指定して塗り潰しを行い、更に指定点１５８−３を
指定して塗り潰しを行うことで、複雑な形状であっても
輪郭７６の内部の全領域を塗り潰すことができる。

【００９８】このように、複数の指定点を順番に指定し
ながら輪郭内部を全て塗り潰す方法は、図４１の一点を
指定して塗り潰す場合に比べ、オペレータの操作回数が
増加するが、塗り潰しのアルゴリズムそのものは簡単で
あり、総合的に見た塗り潰しの処理速度は速くできる。１１．物体抽出処理の第２実施例図４３は図３８のステップＳ２に示した輪郭内物体の抽
出処理の第２実施例を詳細に示したフローチャートであ
り、この第２実施例にあっては輪郭外部の点を検出し、
検出した輪郭外部の点を基に輪郭内部の点の座標を検出
するようにしたことを特徴とする。

【００９９】即ち、ステップＳ１でモニタ画面に表示さ
れた検出輪郭の画像データ全体を探索し、ステップＳ２
で輪郭外の一点を検出する。続いてステップＳ３で、検
出した輪郭外の点に基づき、輪郭内部の点の座標を検出
する。図４４は図４３の物体抽出処理において輪郭外部
の塗り潰しを行い、この輪郭外部の塗り潰しに基づいて
輪郭内部を検出する方法を示している。

【０１００】まず図４４（ａ）に示すように、画像の左
右の端部（周囲部分）からＸ軸方向（左右方向）に関
し、輪郭７６に到達するまで探索を行い、輪郭７６に到
達するまでの画素を輪郭外部として塗り潰す。続いて図
４４（ｂ）に示すように、画像の上下の端部からＹ軸方
向に関して輪郭７６に到達するまで探索を行い、輪郭７
６に到達するまでの画素を輪郭外部として塗り潰す。

【０１０１】このように画像全体に対する輪郭外部の塗
り潰しにより塗り潰されなかった部分１６０が輪郭内部
（物体）であるとして物体抽出を行う。１２．削除モードをもつ物体抽出処理の第３実施例図４５は削除モードをもつ物体抽出処理の第３実施例を
示したフローチャートであり、物体抽出後に不要な部分
があった場合には輪郭を検出し内部を消去するようにし
たことを特徴とする。

【０１０２】図４５において、ステップＳ１で物体輪郭
を検出し、ステップＳ２で輪郭内物体抽出を行う。この
輪郭内物体抽出は図３９もしくは図４３の方法で行う。
次にステップＳ３で物体抽出結果について不要部分の削
除が不要か否かチェックし、削除不要であればステップ
Ｓ４で抽出画像データを出力するが、削除が必要な場合
にはステップＳ５〜Ｓ７の処理を行う。ステップＳ５で
は不要部分の輪郭を検出し、ステップＳ６で輪郭内部を
指示し、ステップＳ７で輪郭内部を削除する。

【０１０３】本発明の物体抽出方法により抽出された物
体によっては、抽出された物体の中に不要な部分、即ち
物体でない部分が含まれることがある。例えば、図４６
に示すように、穴１６２−１，１６２−２があり、背景
が見えているような場合がある。また、自動車の色変え
のための物体抽出では自動車のボディだけを抽出し、ラ
イトや窓，タイヤ等は不要な部分となる。このような場
合に対処するため本発明にあっては、抽出物体から不要
な部分を削除するモードをもたせている。

【０１０４】不要部分の削除方法としては、前述した輪
郭検出方法により不要部分の領域の輪郭、例えば図４６
で不要となる穴１６２−１，１６２−２の輪郭７６−
１，７６−２を検出し、検出した輪郭７６−１，７６−
２の内部を図３９に示したと同じ塗り潰し方法を適用し
て背景データで塗り潰すことで、抽出された不要部分の
データを消去する。

【０１０５】図４７は自動車の色変えのための物体抽出
における削除処理を示したもので、図４７（ａ）に示す
物体抽出結果が得られた場合には、前述した輪郭検出方
法により窓１６４，ライト１６６，１６８及びタイヤ１
７２，１７４のような不要部分の領域を検出し、各輪郭
内について背景データによる塗り潰しで消去し、不要部
分を削除した画像データを得ることができる。１３：出力データ形式図４８は本発明の物体抽出結果として出力されるデータ
形式を示した説明図である。

【０１０６】図４８において、原画１８０は背景，境界
及び物体の各データを含んでおり、物体抽出により基本
的には物体画像データ１８２に示す物体と境界を示すデ
ータが得られる。また、物体画像データ１８２の反転デ
ータとして、背景画像データ１８４に示す背景と境界を
示すデータも得ることができる。更に、原画１８０にお
ける物体と背景の境界領域の混色比率を求め、マスクデ
ータ１８６に示すように、例えば背景の混色比率を０、
物体の混色比率を１としたとき、境界領域で０〜１の範
囲で変化する混色比率をもつデータを得ることができ
る。

【０１０７】物体と境界を示す物体画像データ１８２
は、境界部分を物体の色で埋めておく。また、背景と境
界を示す背景画像データ１８４にあっては、境界部分を
背景の色で埋めておく。境界混色比率を表わすマスクデ
ータ１８６は抽出物体を他の画像と合成したり、抽出部
分を色変えして元の画像に埋め込んだりする際に、境界
混色比率の値を使用した境界部分の色変化を決定するこ
とができる。

【０１０８】例えば、抽出物体と他の画像との合成では
基の物体色と背景色との混色の様子を示す境界混色比率
をそのまま新たな背景色に対し保存するように境界色を
決めることで、合成後にも自然な境界の見え方を実現す
ることができる。通常の画像では、背景色から物体色に
色が変化する境界領域の画素数は２〜３画素程度である
ため、混色比率を求める境界領域としては、前述した輪
郭検出方法で求めた輪郭画素と、輪郭画素の周囲（上下
左右）の画素とすれば良い。混色比率を求める方法は図
８〜図１０に示したように、境界画素８４に対し物体側
の近傍画素８８の物体色及び背景側の近傍画素の背景色
を求め、図１４の物体色と背景色の混色モデルについて
示した（１）式から混色比率ｋを求めれば良い。１４．色調整と画像合成図４９は図４８に示したデータ形式の出力結果に基づい
て行われる本発明による色調整と画像合成の処理を示し
たフローチャートである。この図４９に示す色調整処理
及び画像合成処理は図３に示した画像処理装置１４で行
われることになるが、画像処理用計算機１０の機能とし
て内部的にもたなくてもよい。

【０１０９】図４９にあっては、まずステップＳ１で原
画像について物体抽出結果として得られたデータを入力
する。このデータは図４８に示す原画データ１８０，物
体画像データ１８２，背景画像データ１８４及び境界混
色比率を示すマスクデータ１８６である。次にステップ
Ｓ２で色調整モードか画像合成モードかを判別する。
今、オペレータが色調整モードを設定していたとする
と、ステップＳ３〜Ｓ５に示す色調整処理を行う。この
色調整処理はステップＳ３で変更しようとする物体また
は背景の目標色を色調整目標色として指定する。続いて
ステップＳ４で指定領域の色を目標色に変更する。

【０１１０】続いてステップＳ５で原画像の境界領域に
ついて、入力したマスクデータから得られた混色比率に
基づき、色を変更した部分と変更していない部分との各
色に基づき、境界領域での混色計算を行って境界領域の
色を求める。以上の色調整処理が済むと、ステップＳ１
０で画像データをカラーディスプレイに出力表示し、ス
テップＳ１０でオペレータによる処理結果の適宜の判断
を受け、処理結果がＯＫであれば一連の処理を終了し、
処理結果がまずければ再びステップＳ２に戻り、再度色
調整を行う。

【０１１１】図５０は図４９のステップＳ５で行われる
境界領域の混色演算の内容を模式的に示している。物体
画像データ１８２は原画像データの抽出結果として得ら
れたもので、物体領域について斜線で示す色データをも
ち、背景領域は０に示すように色指定はない。この物体
画像データ１８２には同じく原画像の抽出結果として入
力したマスクデータ１８６を掛け合わせる。

【０１１２】一方、背景色データ１８８は色変更を行う
目標色の色データであり、単なる目標色の決定結果とし
て準備される。この背景色データ１８８には入力したマ
スクデータ１８６を反転した値をもつマスクデータ１９
０を掛け合わせる。そして両者の掛け合わせ結果を加算
合成することで原画像から抽出されたマスクデータの混
色比率に従った境界領域での色変化を色調整において実
現する。

【０１１３】この混色計算を数式で説明すると次のよう
になる。物体画像データ１８２の物体色をＣ1 、マスク
データ１８６の境界部分において物体色側を１として背
景側で０に変化する混色比率をｋ、色調整を行う背景色
データ１８８の背景色をＣ₂、マスクデータ１９０にお
ける背景側を１として物体側で０まで変化する混色比率
を（ｋ−１）とすると、境界領域における色データＣ₀
はＣ₀＝（ｋ×Ｃ₁）＋｛（ｋ−１）×Ｃ₂）｝となる。

【０１１４】図５１は図４８の出力データの、物体画像
データ１８２の境界部分を物体の色で埋める方法と背景
画像データ１８４の境界部分を背景の色で埋める方法を
示す。これはまた、図５０に示した混色計算において、
マスクデータ１８６，１９０の境界部分の混色比率ｋ，
（ｋ−１）に掛け合わせる背景及び物体側の色の決め方
ともいえる。図５１の場合には、例えば上下３段の内の
真中の画素の横並びを例にとると、境界領域９６に隣接
する背景７０の画素１９４の色データを背景色Ｃ２と
し、また境界領域９６に隣接する物体８０の画素１９８
の色データを物体色Ｃ１とする。このような物体画素１
９８の物体色Ｃ１と背景画素１９４の背景色Ｃ２の指定
結果に基づき、図５０の混色演算を行って境界領域９６
に存在する境界画素１９２，１９６の色データを求め
る。

【０１１５】図５２は混色演算に求める物体色と背景色
の他の決め方を示している。この場合には、例えば上下
３段の真中の横並びの画素を例にとって、境界領域９６
の境界画素１９２より１つ離れた背景画素１９４とその
上下の背景画素２００，２０２の３つの色データの平均
値を求め、この平均値を背景色Ｃ₂とする。物体８０側
についても同様に、境界画素１９６より１つ離れた物体
画素１９８の上下の２つの物体画素２０４，２０６の３
つの色データの平均値を求め、これを物体色Ｃ ₁とす
る。そして平均値として求めた物体色Ｃ₁及び背景色Ｃ
₂から図５０の混色演算を行って、境界画素１９２，１
９６の色データを求める。勿論、混色計算に用いる物体
色及び背景色の決め方は図５１，図５２に限定されず、
例えばオペレータが物体色及び背景色を指定するように
してもよい。

【０１１６】再び図４９を参照するに、オペレータが画
像合成を指定した場合にはステップＳ２のモード判定か
らステップＳ６〜Ｓ８に進んで画像合成処理が行われ
る。即ち、ステップＳ６でオペレータによる原画像の中
の合成領域の指定例えば背景か物体かを行わせ、次にス
テップＳ７で合成しようとする画像を他の画像検索から
入力する。続いてステップＳ８で合成した画像の境界領
域の混色演算を行い、ステップＳ９でカラーディスプレ
イに結果を出力表示し、ステップＳ１０のオペレータに
よる処理結果の判断を待って次の画像合成を行ったり処
理を終了したりする。

【０１１７】図５３は図４９のステップＳ８に示した画
像合成における境界領域の混色演算の様子を示してい
る。物体画像データ２０８は原画像の抽出処理により得
られたデータである。また背景画像データ１８４は新た
に合成するために他の画像から検索入力した背景データ
である。混色演算にあっては、原画像から抽出した物体
画像データ２０８に同じく原画像から得られた混色比率
のマスクデータ１８６を掛け合わせる。一方、新たに合
成する背景画像データ１８４については、原画像から得
られたマスクデータ１８６の値を反転したマスクデータ
１９０を掛け合わせる。この演算そのものは図５０に示
した色調整の場合と同じである。また混色演算に用いる
物体画像データ２０８の物体色Ｃ１及び新たに合成する
背景画像データ１８４における背景色Ｃ２の決め方につ
いても、図５１あるいは図５２の決め方を同様に使用す
ることができる。

【０１１８】尚、図５０及び図５３の混色計算における
物体色Ｃ１及び背景色Ｃ２のそれぞれは、例えばＲＧＢ
カラーデータを例にとった場合には、Ｃ₁＝（Ｒ₁，Ｇ₁，Ｂ₁）Ｃ₂＝（Ｒ₂，Ｇ₂，Ｂ₂）の３成分をもつデータとして処理される。勿論、色計算
はＲＧＢ空間に限定されず、適宜の色空間につき必要に
応じて同様に行うことができる。

【０１１９】尚、本発明による画像処理方法及び物体抽
出方法の各処理は、計算機によるプログラム制御により
実現しても良いし、専用のハードウェアで実現しても良
いことは勿論である。

【０１２０】

【発明の効果】以上説明してきたように本発明によれ
ば、オペレータは処理対象とする物体の輪郭の近くを指
示してやるだけで自動的に物体の輪郭検出及び物体抽出
が高精度ででき、オペレータの負担は少なく、また物体
輪郭や物体抽出に必要な処理時間が短くて済み、オペレ
ータの負担も少なくできる。

【０１２１】また、オペレータによる輪郭の厳密な指示
は必要としないため、輪郭検出や物体抽出を行いながら
画像処理を扱える人の範囲を広げることができる。更
に、物体輪郭や物体の抽出精度が高いことから、抽出結
果を利用した色変え，合成等の処理を高精度に行うこと
ができ、良好な画質をもった画像処理結果を得ることが
できる。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明のハードウェア構成図

【図３】本発明の機能ブロック図

【図４】本発明の輪郭検出方法を示したフローチャート

【図５】輪郭検出対象物体の指定方法を示した説明図

【図６】輪郭検出対象物体の他の指定方法を示した説明
図

【図７】図３の境界検出処理の第１実施例を示したフロ
ーチャート

【図８】境界画素と左右方向の検出画素との差分検出の
説明図

【図９】境界画素と上下方向の検出画素との差分検出の
説明図

【図１０】境界画素と斜め方向の検出画素との差分検出
の説明図

【図１１】指定点に基づく周囲探索の説明図

【図１２】画素の差分に基づく境界判断の説明図

【図１３】図３の境界検出処理の第２実施例を示したフ
ローチャート

【図１４】物体色と背景色の境界部分での混色比率の説
明図

【図１５】境界画素と周辺複数画素の平均による差分検
出の説明図

【図１６】図３の輪郭検出処理の第１実施例を示したフ
ローチャート

【図１７】指定点に基づく輪郭追跡の説明図

【図１８】輪郭追跡で設定する探索領域の説明図

【図１９】図３の輪郭検出処理の第２実施例を示したフ
ローチャート

【図２０】複数点の指定による輪郭追跡の説明図

【図２１】図２０の２つの指定点間における輪郭追跡の
詳細説明図

【図２２】輪郭領域の指定による輪郭追跡の説明図

【図２３】十字線入りカーソルを用いた輪郭追跡の説明
図

【図２４】図３の輪郭検出処理の第３実施例を示したフ
ローチャート

【図２５】物体色と背景色の指定による輪郭検出の説明
図

【図２６】物体色と背景色の領域に分けた画像の輪郭画
素の設定説明図

【図２７】検出輪郭のスムージング処理の説明図

【図２８】検出輪郭の修正を示した説明図

【図２９】検出輪郭の修正過程を示した説明図

【図３０】幅を持つ輪郭検出処理の第１実施例を示した
フローチャート

【図３１】１ラインの輪郭、複数ラインの輪郭、幅をも
つ輪郭の説明図

【図３２】境界部分の画素位置に対するデータ価と差分
値の関係を示した説明図

【図３３】色変化の緩やかな境界部分の画素位置に対す
るデータ価と差分値の関係を示した説明図

【図３４】複数ラインによる境界とその拡大による境界
画素の説明図

【図３５】幅を持つ輪郭検出処理の第２実施例を示した
フローチャート

【図３６】複数の候補点の検出するための混色比率に対
する閾値の設定を示した説明図

【図３７】輪郭の領域的な検出を必要とする画像と輪郭
領域の検出結果を利用した色調整や画像合成の説明図

【図３８】本発明の物体抽出方法を示したフローチャー
ト

【図３９】図３の物体抽出処理の第１実施例を示したフ
ローチャート

【図４０】物体抽出のための輪郭内部の塗り潰しを示し
た説明図

【図４１】輪郭内部の塗り潰し方法の説明図

【図４２】複雑な輪郭内部の塗り潰し方法の説明図

【図４３】図３の物体抽出処理の第２実施例を示したフ
ローチャート

【図４４】輪郭外部の塗り潰しによる検出方法の説明図

【図４５】削除モードを備えた物体抽出処理の第３実施
例を示したフローチャート

【図４６】穴あき物体の削除処理を示した説明図

【図４７】自動車のボディ抽出における削除処理を示し
た説明図

【図４８】物体抽出結果としての出力データ形式の説明
図

【図４９】本発明による色調整と画像合成の処理を示し
たフローチャート

【図５０】物体画像データ、マスクデータ、背景画像デ
ータを用いた色調整の説明図

【図５１】マスクデータを用いた混色計算に使用する物
体色と背景色の指定方法を示した説明図

【図５２】マスクデータを用いた混色計算に使用する物
体色と背景色の他の指定方法を示した説明図

【図５３】物体画像データ、マスクデータ、背景画像デ
ータを用いた画像合成の説明図

【符号の説明】

１０：画像処理用計算機１２：画像入力装置１４：画像処理装置１６：ＣＰＵ１８：内部バス２０：ＲＯＭ２２：ＲＡＭ２４：画像入力インタフェース２６：画像保持用メモリ２８：ワークメモリ３０：表示用メモリ３２：ディスプレイコントローラ３４：カラーディスプレイ３６：マウス３８：マウスインタフェース４０：キーボード４２：ディスクコントローラ４４：ハードディスク４６：プリンタコントローラ４８：プリンタ５０：データ出力インタフェース５２：輪郭検出処理部５４：検出方法選択部５６：物体指示部５８：輪郭検出部６０：物体抽出処理部６２：輪郭内指示部６４：物体抽出部６６：不要部削除部６８：データ出力部７０：モニタ画面７２，７２−１〜７２−１２：指定点７４：追跡方向７５：自動車７６：物体輪郭（輪郭）７８：背景８０：物体８２：指示境界領域８４：境界画素８６，８８：検出画素９０：探索範囲９２：境界点９４：境界９６：境界領域９８：物体色１００：背景色１０４，１０６：３画素平均検出データ１０８：参照マスク１１０：直線１１２−１〜１１２−３：直線上の点１１４：カーソル１１６：十字線１２２，１２４：指定点１２６：物体画素１２８：境界画素１３０：背景画素１３２：原画表示画面１３４：輪郭検出結果表示画面１３６：指示用ボタン表示部１３８：修正モード選択ボタン１４２：マウスカーソル１６４：窓１６６，１６８：ライト１７２，１７４：タイヤ１８２，１８４，１８６：画像データ

Claims

【特許請求の範囲】

【請求項１】カラー画像処理方法に於いて、検出対象物体の輪郭付近を指示する輪郭指示過程と；該
輪郭指示過程の指示に基づき輪郭上の境界点を検出する
境界点検出過程と；該境界点検出過程で検出した境界点
から順次輪郭上の点を探索して物体輪郭を検出する輪郭
探索過程と；該輪郭探索過程による物体輪郭の検出を監
視して終了させる終了過程と；を備え、画像中の任意の
物体の輪郭を検出することを特徴とするカラー画像処理
方法。
【請求項２】請求項１記載のカラー画像処理方法に於い
て、前記輪郭指示過程は、対象画像を表示装置に表示す
る過程と、表示装置に表示された画像上の少なくとも一
箇所以上の位置を指示する過程とで構成されることを特
徴とするカラー画像処理方法。
【請求項３】請求項１記載のカラー画像処理方法に於い
て、前記輪郭指示過程は、対象画像を表示装置に表示す
る過程と、表示装置に表示された画像上の境界領域を指
示する過程とで構成されることを特徴とするカラー画像
処理方法。
【請求項４】請求項１記載のカラー画像処理方法に於い
て、前記境界点検出過程は、前記輪郭指示過程で指示した指示位置の座標を検出する
過程と；該検出座標の近傍の複数画素の画像データを求
める過程と；前記画像データの複数方向の差分を算出す
る過程と；前記計算した複数方向の差分の最大値を保存
する過程と；予め設定された探索範囲のすべての画素の
差分計算が終了したか否かを判断する過程と；前記差分
計算が終了していないことを判断した場合は次の探索範
囲内の画素の座標を検出する過程と；前記差分計算が終
了したことを判断した場合は探索範囲内の最大の差分の
画素の座標を境界座標として検出する過程と；で構成さ
れることを特徴とするカラー画像処理方法。
【請求項５】請求項１記載のカラー画像処理方法に於い
て、前記境界点検出過程は、前記輪郭指示過程による指示位置の座標を検出する過程
と；前記指示位置の座標近傍の複数画素の画像データを
求める過程と；前記画像データの複数方向の差分を算出
する過程と；前記計算した複数方向の差分の最大値をと
る方向を検出する過程と；前記指示位置の座標近傍の複
数画素の画像データを加法混色で表し、前記差分の最大
値をとる方向の複数画素の画像データおける混色の比率
を計算し計算結果を保存する過程と；予め設定された探
索範囲のすべての画素の差分計算が終了したか否か判断
する過程と；前記差分計算が終了していないことを判断
した場合は次の探索範囲内の画素の座標を検出する過程
と；前記差分計算の終了を判断した場合は探索範囲内の
混色比率が予め設定した値に最も近い画素の座標を境界
座標として検出する過程と；で構成されることを特徴と
するカラー画像処理方法。
【請求項６】請求項４又は５記載のカラー画像処理方法
に於いて、差分を計算する画像データとして、複数画素
の平均値を用いたことを特徴とするカラー画像処理方
法。
【請求項７】請求項５記載のカラー画像処理方法に於い
て、前記混色比率を計算する画像データとして、複数画
素の平均値を用いたことを特徴とするカラー画像処理方
法。
【請求項８】請求項１記載のカラー画像処理方法に於い
て、前記輪郭探索過程は、前記境界点検出過程で検出した境界点を始点として、探
索する範囲である周囲画素を設定する過程と；設定した
周囲画素を探索して次の境界点を検出し該探索と境界点
の検出を順次繰り返して輪郭を追跡する過程と；該追跡
の結果を監視して前記始点に戻ったか否か判断し、始点
に戻ったことを判断した場合に追跡を終了させる過程
と；予め設定された回数探索を行ったか、あるいは予め
設定された時間探索を行ったかどうか判断し、設定回数
または設定時間に達した時に始点に戻っていなくとも強
制的に追跡を終了させる過程と；から構成されることを
特徴とするカラー画像処理方法。
【請求項９】請求項１記載のカラー画像処理方法に於い
て、前記輪郭探索過程は、複数点の指示に基づいて検出した複数の境界点の中の一
点を始点として、指示された境界点と次の境界点との間
の座標を検出する過程と；前記検出座標を基に境界点を
検出して輪郭を追跡する過程と；該追跡の結果を監視し
て前記始点に戻ったか否か判断し、始点に戻ったことを
判断した場合に追跡を終了させる過程と；から構成され
ることを特徴とするカラー画像処理方法。
【請求項１０】請求項１記載のカラー画像処理方法に於
いて、前記輪郭探索過程は、指定された境界領域内を探
索して境界点を検出することを特徴とするカラー画像処
理方法。
【請求項１１】請求項１記載のカラー画像処理方法に於
いて、前記輪郭探索過程は、前記検出対象の物体と背景の２点を指示する過程と；前
記２点の指示に基づいて物体色と背景色の画像データを
検出する過程と；前記物体色と背景色の画像データの各
色ごとの平均値を計算する過程と；前記平均値を閾値と
して画像データ全体を２つの領域に分割する過程と；前
記分割領域の境界領域を検出する過程と；で構成される
ことを特徴とするカラー画像処理方法。
【請求項１２】請求項１記載のカラー画像処理方法に於
いて、前記輪郭探索過程は、前記検出対象の物体と背景の２点を指示する過程と；前
記２点の指示に基づいて物体色と背景色の画像データを
検出する過程と；画像データ全体を前記物体色と背景色
の加法混色で表し混色比率を計算する過程と；前記混色
比率を閾値として画像データ全体を２つの領域に分割す
る過程と；前記分割領域の境界領域を検出する過程と；
で構成されることを特徴とするカラー画像処理方法。
【請求項１３】請求項１，１１又は１２記載のカラー画
像処理方法に於いて、前記輪郭探索過程で検出した輪郭
のスムージングを行う過程を備えることを特徴とするカ
ラー画像処理方法。
【請求項１４】請求項１，１１又は１２記載のカラー画
像処理方法に於いて、前記輪郭探索過程は、更に、検出
した輪郭を消去する過程と、前記消去した部分の輪郭を
再度検出する過程とを備えることを特徴とするカラー画
像処理方法。
【請求項１５】請求項１乃至１４記載のカラー画像処理
方法に於いて、更に、物体輪郭の検出結果をもとに画像中の物体を抽出する抽
出過程と；該物体抽出過程で得られた抽出画像データを
出力する出力過程と；を設けたことを特徴とする物体抽
出方法。
【請求項１６】請求項１５記載のカラー画像処理方法に
於いて、前記抽出過程は、輪郭内部の位置を指示する過程と；該輪郭内部の指示に
基づいて輪郭上の点の座標を検出する過程と；前記輪郭
上の点座標の検出結果に基づいて輪郭内部の点の座標を
検出する過程と；で構成されることを特徴とするカラー
画像処理方法。
【請求項１７】請求項１５記載のカラー画像処理方法に
於いて、前記抽出過程は、画像全体の端部から輪郭を探索し輪郭外部の座標を検出
する過程と；前記輪郭外部の座標の検出結果に基づいて
輪郭内部の点の座標を検出する過程と；で構成されるこ
とを特徴とするカラー画像処理方法。
【請求項１８】請求項１５記載のカラー画像処理方法に
於いて、前記抽出過程は、輪郭内部の物体の輪郭を検出する過程と；該検出した輪
郭内部の位置を指示する過程と；前記輪郭内部の指示結
果に基づいて輪郭内部を消去する過程と；を備えること
を特徴とするカラー画像処理方法。
【請求項１９】請求項１５記載のカラー画像処理方法に
於いて、前記出力過程は、前記抽出過程で抽出した物体輪郭部分の物体色と背景色
の混色の比率を計算する過程と；前記混色比率の計算結
果を示すマスクデータ、物体色と境界を示す物体画像デ
ータ、および背景色と境界を示す背景画像データを出力
する過程と；で構成されることを特徴とするカラー画像
処理方法。
【請求項２０】請求項１乃至１５記載のカラー画像処理
方法に於いて、前記境界点検出過程は、物体周囲の各位置で輪郭として
の候補点を少なくとも１点以上検出する候補点検出過程
を備え、前記輪郭探索過程は、前記候補点検出過程で検出した１
又は複数の候補点から連続的な１ライン以上の輪郭を検
出する輪郭検出過程と、該輪郭検出過程で検出した１ラ
イン又は複数ラインを基に、幅が位置ごとに一定ではな
い輪郭領域を検出する輪郭領域検出過程とを備えたこと
を特徴とするカラー画像処理方法。
【請求項２１】請求項２０記載のカラー画像処理方法に
於いて、前記候補点検出過程は、物体周囲の位置での色
の変化の度合が、ある一定範囲において予め定めた閾値
より大きい画素を候補点として検出することを特徴とす
るカラー画像処理方法。
【請求項２２】請求項２０又は２１記載のカラー画像処
理方法に於いて、前記輪郭領域検出過程は、検出領域内
に含まれる候補点以外の画素を輪郭画素として設定する
ことを特徴とするカラー画像処理方法。
【請求項２３】請求項１乃至１５記載のカラー画像処理
方法に於いて、更に、前記抽出過程で抽出した原画像の物体色又は背景色いず
れかを変更すると共に、物体と背景との境界部分につい
て、色変更前の前記原画像の物体色と背景色との混色の
比率に基づいて色変更後の境界部分の色を求める色調整
過程を設けたことを特徴とする画像処理装置。
【請求項２４】請求項１乃至１５記載の画像処理装置に
於いて、更に、前記抽出過程で原画像から抽出した物体又は背景を他の
画像から抽出した背景又は物体と合成すると共に、合成
した物体と背景との境界部分について、合成前の原画像
の物体色と背景色との混色の比率に基づいて合成後の境
界部分の色を求める画像合成過程を設けたことを特徴と
するカラー画像処理方法。
【請求項２５】請求項２３又は２４記載のカラー画像処
理方法に於いて、前記色調整過程および前記画像合成過程は、前記出力過
程から出力される物体色と背景色との境界部分での境界
部分の混色比率を示すマスクデータ、物体色と境界を示
す物体画像データ、および背景色と境界を示す背景画像
データに基づいて、色調整および画像合成を行うことを
特徴とする画像処理方法。
【請求項２６】画像中の任意の物体の輪郭を検出するカ
ラー画像処理装置に於いて、ＲＧＢ信号などの入力画像データを蓄える記憶手段と；
前記入力された画像を表示する表示手段と；前記表示さ
れた画像中の検出対象物体の輪郭付近を指示する輪郭指
示手段と；該輪郭指示手段の指示に基づき輪郭上の境界
点を検出する境界点検出手段と；該境界点検出手段で検
出した境界点から順次輪郭上の点を探索して物体輪郭を
検出する輪郭探索手段と；該輪郭探索手段による物体輪
郭の検出を監視して終了させる終了手段と；を備えたこ
とを特徴とするカラー画像処理装置。
【請求項２７】請求項２６記載のカラー画像処理装置に
於いて、更に、前記輪郭探索手段による物体輪郭の検出結果をもとに画
像中の物体を抽出する抽出手段と；該物体抽出手段で得
られた抽出画像データを出力する出力手段と；を設けた
ことを特徴とするカラー画像処理装置。
【請求項２８】請求項２７記載のカラー画像処理装置に
於いて、前記出力手段は、輪郭を含む物体抽出データ、
輪郭を含む背景抽出データおよび物体と背景の境界領域
の混色比率データとの少なくとも１つを出力することを
特徴する画像処理装置。
【請求項２９】請求項２６乃至２８記載のカラー画像処
理装置に於いて、更に、前記抽出手段で抽出した物体又は背景の色いずれかを変
更すると共に、物体と背景との境界部分について、色変
更前の物体色と背景色との混色の比率に基づいて色変更
後の境界部分の色を求める色調整手段を設けたことを特
徴とするカラー画像処理装置。
【請求項３０】請求項２６乃至２８記載のカラー画像処
理装置に於いて、更に、前記抽出手段で原画像から抽出した物体又は背景を他の
画像から抽出した背景又は物体と合成すると共に、合成
した物体と背景との境界部分について、合成前の原画像
の物体色と背景色との混色の比率に基づいて合成後の境
界部分の色を求める画像合成手段を設けたことを特徴と
するカラー画像処理装置。