JP2000353239A

JP2000353239A - 不確定なピクセルからなる領域における固有のピクセル色の識別

Info

Publication number: JP2000353239A
Application number: JP2000125499A
Authority: JP
Inventors: Gregg Wilensky; ウィレンスキーグレッグ; Martin E Newall; イー．ニューエルマーチン
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 1999-04-26
Filing date: 2000-04-26
Publication date: 2000-12-19
Also published as: EP1049047B1; CA2306641A1; EP1049047A3; EP1049047A2

Abstract

(57)【要約】（修正有）【課題】複雑な形状をもつオブジェクトを効果的に背
景から分離する手段を提供する。【解決手段】第一及び第二の領域を包含するデジタル
イメージを処理する。該第一及び第二領域のうちの少な
くとも１つに隣接する興味のある区域内に位置している
与えられたピクセルの固有の色を、該第一及び第二領域
のうちの一方における複数個のピクセル及び該２つの領
域のうちの他方における複数個のピクセルの色から外挿
することによって推定し、バックグランドからフォアグ
ランドオブジェクトを抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は不確定なピクセルか
ら領域における固有のピクセルの色及びピクセルの不透
明度を識別することに関するものである。

【０００２】

【従来の技術】デジタルイメージ（画像）の処理におけ
る通常の作業はシーン（場面）から１つ又はそれ以上の
フォアグラウンド（前景）オブジェクトを除去すること
及びこのオブジェクトと新たなバックグラウンド（背
景）イメージとの合成である。このことは、典型的に、
以下のような幾つかの理由により困難な作業である。

【０００３】（１）オブジェクトとバックグラウンドシ
ーンとのブレンディング、即ち混合：オブジェクトのエ
ッジ（端部）におけるピクセル（画素）はフォアグラウ
ンドとバックグラウンドの両方からの貢献分を有してい
る場合があり、そのカラー即ち色は結果的にこれら２つ
の領域の混合したものであり；（２）オブジェクトの複雑性：ハードエッジ（端部）を
有するオブジェクトの場合であっても、オブジェクトの
境界は、しばしば、手作業によって画定するための厄介
な努力を必要とする詳細を包含しており；及び（３）（１）及び（２）の結合：１つの例は毛であり、
その形状は複雑であり且つ細い繊維を有する領域は色を
混合させることとなる。

【０００４】一般的に、この問題は簡単で明確な解決方
法を有するものではない。映画業界は、シーンを簡単化
することによって、可及的に一様な色を有する簡単なバ
ックグラウンド（青のスクリーン）に対して物体又は人
を映写することによってこのことを取扱っている。この
状態において近似的な解決方法を発生するための技術が
開発されている。オブジェクトをマスクするために使用
することの可能なソフトウエア製品は、例えば毛を有す
る被写体等の複雑なオブジェクトに対してかなりの手作
業を必要とする。既存の製品も、カラーチャンネルに対
して処理を行うことによって簡単化したバックグラウン
ドシーンからのある程度の色抽出を可能としている。

【０００５】

【課題を解決するための手段】一般的に、１つの側面に
おいては、本発明は、第一及び第二領域のうちの少なく
とも１つに隣接している１つの興味のある区域内に位置
している与えられたピクセルの固有の色を推定すること
によって第一及び第二領域を包含するデジタルイメージ
を処理することを特徴としている。該推定を行うこと
は、該第一及び第二領域のうちの１つにおける複数個の
ピクセル及び該２つの領域のうちの他方における複数個
のピクセルの色から外挿を行うことを包含している。

【０００６】本発明の実施化において以下の特徴の内の
１つ又はそれ以上を包含することが可能である。与えら
れたピクセルのオリジナルの色は第一及び第二領域の両
方におけるピクセルのオリジナルの色に関連している。
与えられたピクセルの推定された固有の色は第一及び第
二領域のうちの一方又は他方のみにおけるオリジナルの
カラーに関連している。該興味のある区域は該第一及び
第二領域のうちの１つを包含しており、又は該第一及び
第二領域の両方に隣接している。該第一領域はフォアグ
ラウンドオブジェクトであり且つ第二領域はバックグラ
ウンドである。

【０００７】該第一及び第二領域は該興味のある区域の
最小スパンと同じ程度か又はそれより小さい空間的スケ
ールにわたって可視光スペクトルにおいて任意の程度の
色変化を有している。該推定を行う場合に、該第一及び
第二領域におけるピクセルの色及び空間的近接度の両方
を解析することを包含している。

【０００８】該推定を行うことは、該第一及び第二領域
における最も近いピクセルから外挿を行うこと、又は該
第一及び第二領域のうちの一方又は両方から該興味のあ
る区域内に色を流し込むことを包含している。該色の流
し込みは、該第一領域における１組のピクセル及び該第
二領域における１組のピクセルの各々に対する色値の平
均化を行うことを包含している。該デジタルイメージは
ピクセル情報からなるレイヤーを包含しており且つ該推
定を行うことは該レイヤーのうちの１つのみにおけるピ
クセル情報に基づいており、又はその他の実施化におい
ては、全てのレイヤーの合成におけるピクセル情報に基
づいている。

【０００９】不透明度値が与えられたピクセルに対して
決定され、それは該固有の色の推定を行った結果に基づ
いて、与えられたピクセルの固有の色が該第一及び第二
領域におけるオリジナルのカラーに関連する範囲を表
す。該与えられたピクセルはオリジナルの不透明度情報
を有しており、且つ該不透明度値もオリジナルの不透明
度情報に基づいている。幾つかの実施化においては、不
透明度の決定はイメージのオリジナルの色及び推定され
た固有の色に関してトレーニングされたニューラルネッ
トワークを使用することを包含している。該不透明度値
は該第一及び第二領域のうちの１つを別のデジタルイメ
ージと合成するために使用される。

【００１０】該推定を行うことは、色空間及び画像座標
空間においてのサーチを使用して第一及び第二領域の固
有の色の推定値を外挿することを包含している。該推定
を行う場合に線形混合モデルを仮定する。該推定を行う
場合に、該第一及び第二領域の色の推定値で該興味のあ
る区域を塗り潰すために該興味のある区域の端部から色
を流し込むことを包含している。

【００１１】該固有の色を推定することは、与えられた
ピクセルに対する２つの色サンプルの組を決定すること
を包含しており、該色サンプルの組の各々は該第一及び
第二領域のうちの一方と関連しており、且つ該２つの色
サンプルの組に基づいて固有の色を推定することを包含
している。該与えられたピクセルのオリジナルの色は該
色サンプルの組における色と比較される。エラー最小化
技術に基づいて該色サンプルの組の各々から単一の色が
選択される。

【００１２】一般的に、別の側面においては、本発明
は、第一領域及び第二領域のうちの少なくとも一方に隣
接している少なくとも１つの興味にある区域を識別する
ためにデジタルイメージの１つの区域をユーザがペイン
トすることを可能とさせることを特徴としている。ユー
ザが該興味のある区域を画定した後に、該興味のある区
域内のピクセルの固有の色が、該第一領域及び該第二領
域におけるピクセルに対する色情報に基づいて推定され
る。

【００１３】本発明の実施化は、以下の特徴のうちの１
つ又はそれ以上を包含することが可能である。ペイント
動作はユーザによって形態特定することの可能なブラシ
ツールで行われる。ペイントされた区域は、繰返しのペ
イントステップによって増加させることが可能であり且
つペイントした区域の一部はユーザによって対話的に消
去することが可能である。ユーザは該興味のある区域を
ペイントし且つ該第一及び第二領域のうちの１つにおけ
る１つの位置を別個に識別する。又は、ユーザは該第一
及び第二領域のうちの少なくとも１つ及び該興味のある
区域をペイントし、且つ別個の該第一及び第二領域のう
ちの１つと関連する色を識別する。ユーザは、その領域
内のピクセル位置を識別することによって該第一及び第
二領域のうちの１つを指定する。ユーザは、該１つの領
域における１個のピクセル又は１組のピクセルに対して
スポイトツールを適用することによって該色を識別す
る。該領域のうちの１つは、その領域をフォアグラウン
ドとして指定するために識別されたピクセル位置に基づ
いて塗り潰される。ペイントされた区域はユーザによっ
て対話的に且つ繰返し修正することが可能である。ユー
ザはその他の対の第一及び第二領域の間の付加的な興味
のある区域をペイントすることが可能とされる。

【００１４】一般的に、別の側面においては、本発明
は、デジタルイメージ内の興味のある区域と関連するマ
スクを受取ることを特徴としており、該マスクは隣接す
る興味のある領域に関する該興味のある領域内のピクセ
ルの不透明度を表す値を包含している。該ピクセルに対
する固有の色は該マスクに基づいて推定される。

【００１５】一般的に、別の側面においては、本発明
は、イメージの表示上でブラシを操作することによって
ユーザがオリジナル抽出を制御することを可能とさせ、
該オリジナル抽出に続いてユーザがタッチアップ抽出を
制御することを可能とさせ、且つそのピクセルが該オリ
ジナル抽出における不確定な色であった場合にのみタッ
チアップ抽出に対して識別されたピクセルを考慮するこ
とを特徴としている。

【００１６】本発明の実施化は、以下の特徴のうちの１
つ又はそれ以上を包含することが可能である。固有の色
は、強制したフォアグラウンド又はバックグラウンドの
色に基づいて不確定な色のものであったピクセルの各々
に対して決定される。該強制した色は、ユーザによって
選択されるか、又はフォアグラウンド領域内のオリジナ
ルの色から自動的に決定される。

【００１７】一般的に、別の側面においては、本発明
は、デジタルイメージ内の興味のある区域内の各ピクセ
ルに対して、該興味のある区域に隣接している該イメー
ジの第一領域内の最も近いピクセル及び該興味のある区
域に隣接して該イメージの第二領域内の最も近いピクセ
ルを決定することを特徴としている。該イメージより小
さな処理用区域が画定される。該画定された処理用区域
より小さなピクセルウインドウが画定される。該処理用
区域は、共に該イメージにわたる一連のオーバーラップ
する位置においてスキャニングされる。該処理用区域の
各オーバーラップする位置において、該ピクセルウイン
ドウが該処理用区域を横断してスキャニングされる。該
ピクセルウインドウのスキャニングの各位置において、
該ウインドウ内のピクセルに対して格納されている情報
がアップデートされ、該格納されている情報は該第一及
び第二領域内の最も近いピクセルに関連している。

【００１８】本発明の実施化は以下の特徴のうちの１つ
又はそれ以上を包含することが可能である。該処理用区
域は長さが高さの２倍の矩形を包含しており、且つ該一
連の位置の各々において、該処理用区域は該矩形の長さ
の半分だけ前の位置からオフセットされる。該ピクセル
ウインドウは正方形を有している。該処理用区域のスキ
ャニング及び該ピクセルウインドウのスキャニングは該
イメージにわたっての前方及び後方の両方の通過におい
て発生する。

【００１９】一般的に、別の側面においては、本発明
は、イメージ内のバックグラウンドからユーザがオブジ
ェクトを抽出する方法を特徴としている。該イメージを
表示させる。ペイントツールを選択し、且つその特性を
調節する。該ペイントツールは、該オブジェクトの周り
の帯状帯をペイントするために使用される。該帯状帯は
該オブジェクト又は該バックグラウンドにおける帰属関
係が不確定なピクセルを包含しており且つ該オブジェク
ト及び該バックグラウンドに帰属することが確実なピク
セルを包含している。該オブジェクト又は該バックグラ
ウンドに帰属することが既知である少なくとも１個のピ
クセルにマークが付けられる。該抽出を実施するために
プログラムが喚起される。該抽出の品質を観察する。そ
の観察に依存して、ペイントツールを使用してタッチア
ップ抽出を制御する。

【００２０】利点複雑なシーン中の複雑なオブジェクトを正確に抽出する
ことが可能であり、バックグラウンドのピクセルをゼロ
の不透明度（完全に透明）ヘドロップアウトさせる。複
雑なトポロジィ（多数の孔）を有するオブジェクトを抽
出することが可能である。簡単なユーザインターフェー
スが、各領域にわたってマウスをクリックさせる直感的
な処理によってフォアグラウンドとして指定されるべき
領域の全てをユーザが選択することを可能とし、選択し
た領域の即時の視覚的フィードバックが得られる。イメ
ージを格納するために必要とされるメモリの小さな部分
のみが任意の与えられた時間においてコンピュータのラ
ンダムアクセスメモリ内に常駐することが必要とされる
に過ぎない。このことは、その寸法がイメージの複数個
のコピーと同等のデータを処理及び格納することを必要
とするこの問題を解決するためのより自明なアプローチ
と比較して重要な利点である。例えば、透明度情報を有
する５０００×５０００ピクセルＲＧＢイメージは、約
１００メガバイトのデータを有している。この方法のよ
り自明な実施化はＲＡＭ内において一度に数１００メガ
バイト（ＭＢ）を格納することを必要とする場合があ
る。本発明の好適実施例は、２ＭＢ未満を必要とし、且
つこの条件は変形実施例においては更に減少させること
が可能である。本方法は動作速度とメモリ条件との間に
おいて効果的なバランスを達成している。より自明な実
施化はより遅いものであるか（且つイメージ寸法が増加
する場合にスケーリングが劣化し）又はより大型のＲＡ
Ｍを必要とする。ユーザは１ステップでオブジェクトを
ハイライトさせる柔軟性を有すると共に、消去すること
により又は付加的なペイントを付加することによってア
ウトライン即ち輪郭を修正することの容易性を有してい
る。幾つかの実施化においては、ユーザはフォアグラウ
ンド及びバックグラウンドの色を予め選択することは必
要ではない。デジタルイメージからのオブジェクトのマ
スキング及び抽出は高い精度で達成される。単一のステ
ップでイメージから複数個のオブジェクトを抽出するこ
とが可能である。

【００２１】

【発明の実施の形態】イメージからオブジェクトを抽出
することはデジタルイメージで作業するものにとって通
常のことである。ユーザがその境界をアウトライン即ち
輪郭を描くことによってシーンから除去すべきオブジェ
クトを選択する。然しながら、その作業がかなりなもの
となるか又はフォアグラウンド及びバックグラウンドの
色が混合されているために、この輪郭はその出所を確定
すること（即ち、それらがフォアグラウンドであるか又
はバックグラウンドであるか？）が困難なピクセルをカ
バーしている。その結果、出所について不確かなピクセ
ルの領域が存在している。この問題に答える１つの方法
は、その領域を取囲む（その境界のある小さな距離内
に）色のみに基づいてその不確定な領域を色で塗り潰す
ことである。固有の色をこのように推定することによっ
て、問題のピクセルの不透明度を与えられた混合用モデ
ルから推定することが可能であり、それによって抽出を
完了するのに必要な全ての情報を完成させる。従って、
マスキング／色抽出はフォアグラウンドとバックグラウ
ンドとの潜在的な混合の結果である何等かの色情報が存
在している未知の領域を塗り潰すことに帰結される。こ
の混合を達成するために幾つかの方法が存在している。

【００２２】以下の用語はそこに示された意味を有して
いる：デジタルイメージ：視覚的イメージの形態にキャスト
することが可能なデジタル情報の集まり。デジタルイメ
ージは、例えば、写真、アートワーク、文書及びウエブ
ページを包含することが可能である。イメージは、例え
ば、デジタルカメラ、デジタルビデオ、スキャナ及びフ
ァックスから得ることが可能である。該イメージは二次
元又はより高い次元のものとすることが可能である。例
えば、三次元イメージは三次元空間、又は二次元の動画
でその場合に三番目の次元が時間であるものの表現を包
含することが可能である。

【００２３】ピクセル：デジタルイメージ内における
特定の位置を有しており且つその位置に対する色情報を
有しているデジタルイメージの要素。

【００２４】マスキング：イメージ内のオブジェクト
を新たなバックグラウンド内に混合させるか又は更に操
作することが可能であるようにイメージの一部を切除す
る処理。マスキングは、典型的に、各イメージピクセル
がフォアグラウンドオブジェクト又はバックグラウンド
シーンを表す程度を特定する不透明度マスクを画定する
ことを包含する。それは、又、各ピクセルに対して、観
察した色と異なる場合のあるオブジェクトの固有の色の
抽出に関与する。

【００２５】色抽出（又は色浄化）：デジタルイメー
ジ内のオブジェクトを構成する各ピクセルに対する固有
の色を決定する処理。画像形成処理期間中に１つのピク
セル区域内にフォアグラウンド及びバックグラウンドの
光が混合するためにその固有の色は観察された色と異な
る場合がある。色が異なる別の原因は、透明な又は半透
明なフォアグラウンドオブジェクトを介してのバックグ
ラウンドの部分的な透過である。これらは、両方とも、
バックグラウンドブリードスルー（ｂｌｅｅｄ−ｔｈｒ
ｏｕｇｈ）として分類することが可能である。一般的な
色の溢れは別の汚染メカニズムであり、その場合には、
バックグラウンドの光がフォアグラウンドオブジェクト
から反射される。

【００２６】合成：例えば、切除したオブジェクトイ
メージを新たなバックグラウンドイメージシーン上に積
層させる場合等の２つのイメージを混合する処理。

【００２７】選択（又は不透明度）マスク：各ピクセ
ルがオブジェクトに属するか又はバックグラウンドシー
ンに属するかの程度を表すデジタルイメージ内の各ピク
セルに対して１つづつの１組の値。１の値は、そのピク
セルが完全にオブジェクトに属することを表す。ゼロの
値は、それが完全にバックグラウンドシーンに属するこ
とを表す。０と１との間の値は両方における部分的な帰
属関係を表す。合成用モデルは単一の複合画像を得るた
めにオブジェクトピクセルとバックグラウンドシーンピ
クセルとを混合させるためにどのようにしてこの値が使
用されるかを決定する。

【００２８】固有の色：バックグラウンドと混合され
なかった場合にイメージ内のオブジェクトが示すであろ
う色（イメージ内の任意の与えられたピクセルにおい
て）。デジタルイメージをキャプチャする処理において
の画像形成光学系からか又は複数個のイメージレイヤー
の合成から混合が発生する場合がある。「色の溢れ」の
ためにオブジェクトの色がバックグラウンドの色と混合
される場合もあり、その場合にはシーンのバックグラウ
ンド部分からの光がオブジェクトによって反射される。
混合されていないピクセルの場合には、これが観察され
る色である。バックグラウンドと混合されているピクセ
ルの場合には（色の溢れに起因する混合の場合を含
め）、これが観察される色と異なる色である。この色を
決定することは色抽出と呼称される。

【００２９】不確定な領域（ハイライトされた領域とも
呼称される）：固有の色及び／又はピクセルの不透明
度が不確定であるイメージの部分。「ハイライト」は、
単に、ブラシツールでこれらのピクセルをハイライトす
ることによってこれらのピクセルを選択する方法のこと
を意味する。

【００３０】色：ここにおいては、イメージ強度情報
の全て又は一部を特性づける値からなるベクトルを表現
するために使用されている。それはＲＧＢ色空間内にお
ける赤、緑、青の強度又はグレイスケール色空間におけ
る単一の輝度を表すことが可能である。一方、それは例
えばＣＭＹ、ＣＭＹＫ、パントーン（Ｐａｎｔｏｎ
ｅ）、ヘキサクロム（Ｈｅｘａｃｈｒｏｍｅ）、Ｘ線、
赤外線、種々のスペクトルの波長帯域からのガンマ線強
度等の別の情報を表すことが可能である。それは、更
に、例えば電磁放射の測定値ではない音響振幅（ソナ
ー、超音波）又は磁気共鳴画像形成（ＭＲＩ）振幅等の
その他の態様の情報を表す場合がある。

【００３１】図１はユーザ及びプログラムステップから
なるフローチャートである。プログラムの開始５０に続
く各ステップについて以下に説明する。

【００３２】ユーザが輪郭選択５２モードを選択図２におけるスクリーン画面によって示したように、ユ
ーザインターフェースダイアログボックスが、ユーザが
輪郭選択の３つのモード１０，１２，１４のうちの１つ
を選択することを可能とする。３つの可能性が存在して
いる。

【００３３】（Ａ）ハイライトした境界領域はその固有
の色及び／又は不透明度が未知であるピクセルを包含す
る１つ又はそれ以上の不確定な領域を表す場合がある。
この選択肢の場合には、その選択は「閉じた曲線」でな
ければならず、従ってフォアグラウンド領域はバックグ
ラウンド領域から自動的に区別することが可能である。
閉じた曲線は円形のトポロジィを有するもの及びイメー
ジの端部によって閉じられているものを包含している。
より高い族のトポロジィは２つの可能な態様（ユーザの
選択によって決定され）で取扱われる。

【００３４】（１）一度に単一のオブジェクトを抽出
し、輪郭内のギャップはバックグラウンド領域であると
仮定される。これは、毛を有する人又は毛を有する動物
の輪郭を描く場合の自然な動作モードである。毛の中の
ギャップは当然にバックグラウンドとして解釈される。
このモードの場合には、ユーザは抽出されるべきオブジ
ェクト上のフォアグラウンドの点を指定する。その点か
ら、ハイライトした領域によって取囲まれる接続されて
いるイメージ領域の全てがフォアグラウンドであると仮
定され、ハイライトされている領域を除いて該イメージ
の残部はバックグラウンドであると仮定される。

【００３５】（２）単一の操作で複数個のオブジェクト
を抽出。このことは、各オブジェクトの周りを閉じた曲
線でハイライトすることによって行われる。ハイライト
させた領域におけるギャップは未だにバックグラウンド
として取扱われるが、ギャップ内のギャップはフォアグ
ラウンドとして取扱われる。このモードの場合には、輪
郭領域を横断する度に解釈はフォアグラウンドとバック
グラウンドとの間で交互に変化する。別の具体例では、
複数回のマウスクリックによってユーザがオブジェクト
の各々における（又は、より一般的には、閉じたフォア
グラウンド領域の各々における）単一の点を指定するこ
とを可能とさせる。各点から、その輪郭によって取囲ま
れている全ての接続されているイメージ領域はフォアグ
ラウンドであると仮定される。そのようにしてフォアグ
ラウンドとして指定されることがなく且つハイライトさ
れた領域によって指定されることのない全てのイメージ
領域はバックグラウンドであると仮定される。

【００３６】（Ｂ）該ハイライトされた領域は全体的な
フォアグラウンド領域及び境界領域を表す。２つの可能
性が存在している。

【００３７】（１）フォアグラウンドの色がユーザによ
って手動的に選択される（このことは、例えば、噴水、
樹の大きな塊を抽出するのに良好である）。このオプシ
ョンの場合には、選択は「閉じた曲線」である必要性は
ない。

【００３８】（２）この選択は内側に成長させることに
よって輪郭へ変換される。この選択は「閉じた曲線」で
なければならない。

【００３９】（Ｃ）フォアグラウンドとバックグラウン
ドの役割を交換させた「Ｂ」と同じ。

【００４０】ユーザがハイライトすることによりオブジ
ェクトを選択５４図３において、フォアグラウンド２２（乳児の頭）がユ
ーザによってハイライトされている写真２０が示されて
いる。ユーザがシーンからオブジェクトを除去すること
を所望する場合には、彼又は彼女はブラシツール又はそ
の他の選択ツールを使用して輪郭２４（境界領域）をマ
ーク付けすることによりそのオブジェクトの境界をハイ
ライトさせる。表示されているイメージは下側に存在す
るイメージを完全に隠すことなしにペイントを示すため
に部分的に透明な色調で着色することが可能である。該
ハイライトはその不透明度及び色が不確定であるイメー
ジの領域を指定する。該イメージの残部（乳児の頭を包
含するフォアグラウンド領域２５及びバックグラウンド
領域２６）は、該イメージのこれらの領域におけるピク
セルの実際の色値によって正確に表現されているものと
仮定する。不確定なピクセル（輪郭領域内に存在するピ
クセル）は、潜在的に、新たな不透明度及び色を有する
ように修正される。該ハイライトは全ての不確かなピク
セルを取囲むことが意図されている。ハイライトされた
領域と境界を接する領域は不確かなものであることが意
図されておらず、それらはバックグラウンドであるか又
はフォアグラウンドのいずれかのピクセルのみを包含し
ており、且つ顕著な色変化を有することが可能である。
ハイライトした領域は、又、バックグラウンド又はフォ
アグラウンドのピクセルを包囲する場合がある。従っ
て、全領域が幾分不注意な態様でペイントすることが可
能である。ユーザは乳児の頭の全ての輪郭を慎重に追い
かけることは必要ではない。

【００４１】図４を参照すると、ユーザインターフェー
スダイアログボックス３００がハイライトを行うための
助けとなるツールをユーザへ提供する。これらのツール
は、ハイライト領域を画定するためのエッジハイライタ
３９０、ハイライト領域を編集するためのイレイザ３７
０、ズームツール３５０、画面上でイメージをパニング
するためのハンドツール３４０を包含している。ユーザ
は、又、別のツールオプション３１０として、ブラシ直
径３１１、ハイライト色３１２、フォアグラウンド塗り
潰し色３１３を選択することが可能である。又、インタ
ーフェース３０２はユーザが、オリジナルのイメージ又
は抽出した結果３３１、バックグラウンドイメージ３３
２、ハイライト領域３３３、フォアグラウンド塗り潰し
色３３４を見ることを可能とするプレビューオプション
３３０が包含されている。

【００４２】ユーザがフォアグラウンド又はバックグラ
ウンドと関連しているサンプル色を選択５６図４におけるスクリーンショットによって示されるよう
に、ユーザインターフェースダイアログボックス３００
は、ユーザがフォアグラウンド、バックグラウンド、又
は両方に関連する３２０個のサンプル色を選択すること
を可能とする。フォアグラウンド及びバックグラウンド
色は、又、インターフェース３００ないに位置されてい
るスポイトツール３６０をして選択することも可能であ
る。本発明は幾つかの色選択モードで動作することが可
能である。

【００４３】（ａ）ユーザはフォアグラウンドの色を選
択することが可能である。このことはしばしば明るい白
色が支配的である噴水等の小さな範囲の色変化を有する
フォアグラウンドオブジェクトに対して有用である。そ
れは、又、以下に説明する対話的ブラシで抽出をタッチ
アップする場合にも有用である。

【００４４】（ｂ）ユーザはバックグラウンドの色を選
択することが可能である。このことは、ある領域の外側
及び近くの色によってバックグラウンドの色が適切に表
現されていない状況において対話的なブラシで抽出をタ
ッチアップする場合に有用である。

【００４５】（ｃ）ユーザはフォアグラウンドに対して
の色及びバックグラウンドに対して別の色を選択するこ
とが可能である。このことは一様に着色されているバッ
クグラウンド及びフォアグラウンドの特別の場合又はフ
ォアグランド及びバックグラウンドが比較的少ない数の
色を有する特別の場合に対する抽出を高速化するために
有用である。

【００４６】（ｄ）ユーザは色を選択しないことが可能
である。アルゴリズムが自動的に全ての色を選択する。
このことは複雑なバックグラウンド内にある複雑なオブ
ジェクトに対する通常の動作モードである。

【００４７】ユーザがイメージ内のフォアグランド又は
バックグラウンドの点を指定５８図５に示したように、ユーザはイメージ内の単一のピク
セル４０を選択してその位置がフォアグランドオブジェ
クトに属するものとして指定するか、又は複数個のピク
セルを選択して該オブジェクトの又は複数個のオブジェ
クトのフォアグランド部分の複数個の位置を指定する。
一方（ユーザの好みにより設定され）、その位置はバッ
クグラウンド領域を指定することが可能である。図４を
参照すると、この指定はユーザインターフェース３００
において提供される塗り潰しツール３８０を使用するこ
とによって達成することが可能である。次いで、該アル
ゴリズムは全体的なイメージ又は該選択を取囲む該イメ
ージの一部を３つの別々の領域、即ちフォアグランド、
不確定、バックグラウンドへセグメント化する。

【００４８】プログラムがバックグラウンドシーンから
自動的にフォアグランドオブジェクトを抽出６０図６に示したように、次のステップはオリジナルのイメ
ージにおけるバックグラウンドシーンからフォアグラン
ドオブジェクトの自動的抽出である。不確定領域におけ
る各ピクセルに対して、結合型サーチ及びエラー最小化
プロセスが２つのピクセル、即ちフォアグランド領域に
おける１つとバックグラウンド領域における１つ、の色
を決定する。これらはエラー基準（後述）を最小化させ
るか、又は確率又は見込み基準を最大とさせるために選
択される。これら２つの最適なピクセルを探し出し、そ
れらの色を使用して混合用モデル（多くの混合用モデル
を受付けることが可能）を適用することによって問題の
ピクセルの不透明度及び色を見つけ出す。

【００４９】ユーザはブラシツールを使用してイメージ
を「タッチアップ」することが可能６２図７に示したように、色外挿を完了した後に、該抽出を
局所的に（ブラシ半径内であって、それはオプションと
してユーザによって制御することが可能）実施するため
に対話的ブラシツールを使用することが可能である。図
６における完全なイメージの抽出の後に実施される場合
には、これは抽出結果を局所的に改善するための手段を
提供する。１つの使用例では、フォアグランドの色の選
択を手作業によって行い、次いで、そのフォアグランド
がその色を有するものと思われるイメージの部分にわた
ってブラシを動作させる。固有のフォアグランドの色の
推定が不適切なものであるために図６における抽出が不
完全な結果を与えるものである場合には、このタッチア
ップ即ち補修作業は該抽出を改善する。自動的抽出の前
に実施される場合には、このタッチアップは局所的に色
を抽出する手段を提供し、それによりイメージから全体
的なオブジェクトを抽出する必要性を回避する。該ツー
ルは色のみ、色と不透明度、又は両者を抽出することが
可能である。

【００５０】該ブラシは、図６に対して説明した方法を
使用することによって動作するが、ブラシ形状内に存在
するピクセルに対してのみである。ブラシの端部におけ
るピクセルはオリジナルのイメージのピクセルと混合さ
れ、修正されたピクセルと修正されてないピクセルとの
間により滑らかな遷移を発生する場合がある。

【００５１】図８は本発明のマスキング及び抽出方法が
適用される前のオリジナルの写真の一例を示している。
図９はそのオリジナルの写真に対して本発明技術が適用
された結果を示している。フォアグランドオブジェクト
はオリジナルのバックグラウンドから完全に抽出されて
おり且つ新たなバックグラウンド上へ合成されている。

【００５２】図１０は以前の抽出方法の一例を示してお
り、その場合には、バックグラウンドの一部も抽出する
ことなしにフォアグランドオブジェクトを完全に抽出す
ることは不可能である。

【００５３】図１１は本発明を実施するために使用され
る方法及びアルゴリズムに従った計算用のフローチャー
トである。各ステップについて以下に説明する。

【００５４】イメージ領域のセグメント化７０図１２に示したように、イメージ１０４上にペイントさ
れたアウトライン即ち輪郭１０２が与えられると、その
イメージは３つの部分、即ちフォアグランド１０６、不
確定部１０８、バックグラウンド１１０へセグメント化
される。フォアグランド１０６とバックグラウンド１１
０との境界領域は顕著な色変化を有する場合がある。該
輪郭は、例えば、各ピクセルが夫々輪郭の外側であるか
又は内側であるかに従って、０又は１の値を有するイメ
ージマスク１１２として与えられる。該マスク値は適用
したペイントの強度を表す複数個の値を有するマスクを
スレッシュホールド処理することによって得ることが可
能である。二進アウトラインマスク１１２を得且つフォ
アグランド１０６（又はバックグラウンド１１０領域）
内側に存在するものとして単一のピクセル１１４をユー
ザが指定すると、該セグメント化を実施することが可能
である。

【００５５】１つのセグメント化の具体例は指定された
フォアグランドピクセル１１４の位置において開始し且
つその輪郭マスクに対して同一の値（０）を有するもの
である場合に全ての隣接するピクセル１１６，１１８を
フォアグランドとしてマーク付けするフラッド（ｆｌｏ
ｏｄ）塗り潰しアルゴリズムを実施する。従って、輪郭
ではなく且つフォアグランドではない全てのピクセルは
バックグラウンドとしてマーク付けされる。

【００５６】別のセグメント化具体例は、フォアグラン
ド、輪郭、バックグラウンドマスクの間で交代しなが
ら、反復される一連のフラッド塗り潰しを実施すること
によって複数個の領域をセグメント化することが可能で
ある。このアプローチは、より高い族（例えば、より沢
山の孔）のマスクトポロジィを受付けることが可能であ
る。更に別の方法においては、ユーザがオブジェクトの
又は複数個のオブジェクトのフォアグランド部分の複数
個の位置を指定するために複数個のピクセルを選択す
る。バックグラウンドピクセル又はフォアグランドピク
セルが開始位置として使用されるかに依存して異なる決
定がなされる。この選択は、ユーザオプションとして行
うことが可能である。一方、１つのオプションをデフォ
ルト動作モードとして選択することが可能であり、且つ
ユーザはその解釈を変更することを所望する領域を手作
業によって選択することが可能である。

【００５７】与えられた不確定なピクセルに近接したあ
るピクセルのサーチ：近接ピクセル変換７２図１３に示したように、抽出アルゴリズムの１つの具体
例では、各不確定なピクセル１２０に対して、フォアグ
ランド領域１０６内のその最も近い隣りのもの１２２及
びバックグラウンド領域１０８内のその最も近い隣りの
もの１２４を探し出す。このことは、スパイラルサーチ
手順によって実施することが可能であり、それは不確定
なピクセルから徐々に増加する半径の隣りのピクセルを
チェックし、それがフォアグランドに属するか又はバッ
クグラウンドに属するかをテストする。フォアグランド
基準を満足する最初のピクセル１２８（即ち、２５５の
不透明度値を有する最初のピクセル）がフォアグランド
を代表するものとして選択され、且つバックグラウンド
基準を満足する最初のピクセル１３０（即ち、０の不透
明度値を有する最初のピクセル）がバックグラウンド用
に選択される。このスパイラル手順は大きなイメージ領
域に対してのスケーリングはあまり良くない。それはイ
メージ面積と共に二次方程式に従って増加する多数の数
学的演算を必要とする場合がある。

【００５８】より効率的な方法はイメージ内の各ピクセ
ルに対して最も近い隣りの距離を見つけ出すために使用
される動的プログラミングアルゴリズムに関する変形例
である（即ち、ユークリッド距離変換；Ｐｅｒ−Ｅｒｉ
ｋＤａｎｉｅｌｓｓｏｎ、「ユークリッド距離マッピ
ング（ＥｕｃｌｉｄｅａｎＤｉｓｔａｎｃｅＭａｐ
ｐｉｎｇ）」、コンピュータ・グラフィックス・アンド
・イメージ・プロセシング、１４、２２７−２４８、１
９８０参照）。この方法は最も近いピクセルの距離及び
座標を計算する。この方法はオブジェクト認識及びテン
プレートマッチングに適用されている（Ｇ．Ｗｉｌｅ
ｎｓｋｙ及びＲ．Ｃｒａｗｆｏｒｄ、「イメージ比較
のための変換不変距離の展開（Ｄｅｖｅｌｏｐｍｅｎｔ
ｏｆｔｈｅＴｒａｎｓｆｏｒｍａｔｉｏｎｉｎｖ
ａｒｉａｎｔｄｉｓｔａｎｃｅｆｏｒｉｍａｇｅ
ｃｏｍｐａｒｉｓｏｎ）」、文書解析及び認識に関す
る第四回国際会議において発表、１９９７年８月）。そ
れは、ここにおいては、不確定な領域における色を予測
するために使用される。それはイメージ寸法に関して線
形的にのみスケーリングする技術を提供するためにユー
クリッド幾何学の三角不等式を使用する。該アルゴリズ
ムの要旨は、小さなウインドウ１２０（例えば、３×３
ピクセルであるが、より大きなウインドウはより正確な
結果を発生する）でイメージにわたり二度通過させる。
該ウインドウは左側から右側へ通過してイメージをスキ
ャニングする。このことはイメージの上部から底部へ繰
返される。この処理は情報へスキャニングするために繰
返されるが、その方向はスイッチされ、即ち右側から左
側である。スキャニングが進行するに従い、該ウインド
ウの中央のピクセル１２２が修正される（干渉を回避す
るためにバッファ内において）。各ピクセルに３つの値
が割り当てられ、即ち最も近いマスクピクセルに対する
Ｘ及びＹ座標及び距離（Ｄ）である。スキャニングウイ
ンドウ１２０内の中央のピクセル１２２を修正するため
に、そのＤの値がＤの最小値によって置換され、且つ該
ウインドウ内の９個の隣りのピクセルの各々に対するＤ
の値は中央のピクセルから隣りのものの距離によってオ
フセットされ、即ち、式１：新たなＤ＝Ｄ′＝ｍｉｎ（Ｄ，Ｄ００＋１．
４，Ｄ０１＋１，Ｄ０２＋１．４，Ｄ１０＋１，
Ｄ１２＋１，Ｄ２０＋１．４，Ｄ２１＋１，Ｄ２
２＋１．４）。

【００５９】我々は、２の平方根の粗い近似値として
１．４を使用する。各ピクセル（ｘ，ｙ）は、又、その
最も近いマスクピクセルのＸ及びＹ座標をもたらす（即
ち、それに対する値のアレイが存在している）。該ウイ
ンドウ内の中央ピクセルとその隣りのもの（オフセット
有り）との間の距離が比較されると、中央のピクセルの
座標が勝ち残りの隣りのもの（Ｄの最も低い値＋、存在
する場合には、オフセットを有する隣りのもの）のもの
でアップデートされ、中央のピクセルが勝ち残る場合に
は、修正されることはなく、式２：Ｘ（ｘ，ｙ）がｘ（ｘｎ，ｙｎ）によって置換
され、尚、ｘｎ及びｙｎは勝ち残りの隣りのものの座標
である。

【００６０】３×３ウインドウの場合には、ｘｎはｘ，
ｘ＋１又はｘ−１のいずれかに等しく、且つｙｎに対し
ても同様である。該アルゴリズムの別の具体例において
は、外挿した色及び距離が各ピクセル位置に格納され
る。この具体例においては、ｘ及びｙ座標は必要ではな
い。距離値がアップデートされる度に、色値もアップデ
ートされる。このように、イメージが外挿した色から得
られる。この具体例は本方法に関連する端部のアーチフ
ァクト即ち人工的効果を取除くために例えばガウスぼか
し又は拡散に基づくぼかし等のこの外挿した画像の更な
る修正を行うことを可能とする。

【００６１】この２パス（通過）アルゴリズムの結果は
該イメージ内の各ピクセルに対する最も近い（隣接す
る）マスクピクセルの座標である。フォアグランドマス
ク及びバックグラウンドマスクの両方に別々に適用した
場合には、この２パスアルゴリズムは以下のステップに
対する入力として作用する（Ｄに対する値は更に必要と
されることなく且つこの点において廃棄することが可能
である）。

【００６２】本発明の別の側面は、二重タイル方法を使
用する色外挿アルゴリズムのタイル型のものの実施化即
ち、具体例である。このアプローチにおいては、一度に
２つのタイルがアクセスされる。アクセスは、通常、タ
イルデータをメモリ格納部から読取るか又はメモリ格納
部へ書込むことが関与する。これら２つのタイルはイメ
ージ内の連続するタイル位置を占有する。例えば、タイ
ル１はイメージ位置（ｘ，ｙ）＝（０，０）［左上角
部］乃至（２５６，２５６）［右下角部］を占有するこ
とが可能である。タイル２は、通常、（２５６，０）乃
至（５１２，２５６）を占有する。これら２つのタイル
は色外挿アルゴリズムの前方及び後方スイープ（掃引）
に対してイメージを処理するために使用される１つのデ
ータバッファとして取扱われる。該アルゴリズムの第一
の点即ち初期化フェーズは、より一般的な単一タイル処
理方法で処理することが可能である。

【００６３】該アルゴリズムの前方スイープフェーズは
左側から右側、上から下へ該タイルにわたって３×３ピ
クセルウインドウをスライド即ち摺動させ、且つ前方ス
イープ処理を実施する。これら２つのタイルに関して前
方パスを完了すると、タイル１が取除かれ且つ右側にお
いてタイル１と連結する新たなタイルが付加される。上
の例においては、この新たなタイルは（５１２，０）乃
至（７６８，２５６）に位置される。タイル２がタイル
１として指定され且つ該新たなタイル２として指定され
るようにこれらのタイルのラベルが付け直されると、２
つの並置したタイルを有する元の状態に復帰し且つこの
処理が繰返される。このように、前方スイープはイメー
ジ全体に対して実施される。

【００６４】イメージ全体にわたって前方パス即ち二重
タイル×二重タイルを完了すると、次のステップは後方
スイープを処理することである。このことは、イメージ
の右下角部にあるタイルから開始し且つ二重タイル毎に
イメージをカバーするために逆の方向に進行し、該基本
アルゴリズムの後方スイープフェーズで各対を処理する
ことによって行われる。このことは前方スイープと鏡像
関係にあるが、垂直及び水平方向の両方が反映される。
このタイル処理プロセスを考える別の方法は、２つの隣
り合うタイルが単一のドミノを形成するものと創造する
ことである。与えられた「ドミノ」を処理した後に、新
たな「ドミノ」を処理し、それはドミノ幅の半分だけ前
のドミノとオーバーラップ即ち重畳している。これらの
「ドミノ」即ち二重タイルを使用する理由は、それがタ
イル境界を横断して情報を伝搬することを可能とするか
らである。該アルゴリズムは水平のラインに沿って前方
へ且つ垂直方向に対して４５度の角度で後方へ情報を伝
搬する。１つの行内の２つの正方形のタイルを処理する
ことによって、最初の正方形（前方処理の場合には最も
左側の正方形、後方処理の場合には最も右側）が２番目
の正方形からそれへ伝搬した情報を有していることを確
保する。このことは、及び前方スイープの後に後方スイ
ープが続く特定の順番が、例え伝搬がタイル境界を横断
して発生する場合であっても、適宜の距離及び／又は色
情報がイメージ内の各ピクセルへ伝搬されることを確保
している。

【００６５】本発明は、バックグラウンドの青色スクリ
ーンに対し色における小さな変化（好適には変化なし）
を必要とする従来技術の青色スクリーン艶消しアルゴリ
ズムと対比して、フォアグランド及びバックグラウンド
領域の両方に対して色における大きな変化を有するイメ
ージを抽出することが可能である。本発明の場合には、
色は使用可能な色の全スペクトル（イメージの特定の色
モードに対する色域によって決定される）にわたって変
化することが可能である。例えば、ＲＧＢイメージの場
合には、赤、緑、青の値は、各々、０乃至２５５の範囲
にわたることが可能である。更に、これらの値における
空間的変化は顕著なものとなる場合がある。特に、これ
らの値は空間的スケール（ここでは、イメージ座標を参
照する空間）にわたって全体的な値の範囲（ＲＧＢの場
合には０乃至２５５）の場合にはかなりの部分を変化さ
せることが可能であり、該スケールは特性境界領域長さ
スケールと同じ程度のものか又はより小さいものであ
る。後者は境界領域の最小厚さに取ることが可能であ
る。

【００６６】混合用モデル及びデータに対する当て嵌め
の可能性を最大とするピクセルのサーチ７４不確定領域における各ピクセルに対する隣接した即ち基
部に近いフォアグランド及び隣接した即ち基部に近いバ
ックグラウンドの座標で開始し、局所的なサーチを色空
間及びイメージ領域、座標空間の両方において実施す
る。このサーチの目的は、２つの量、即ち固有のフォア
グランドの色ｃｆ及び固有のバックグラウンドの色ｃｂ
の最良の推定値を決定することである。これらが与えら
れると、不確定なピクセルの不透明度αを仮定した色混
合用モデルから決定することが可能である。ヒューリス
ティックな即ち実践的なサーチ手法について以下に概略
する。不確定な領域内の与えられたピクセルがｒ＝
（ｘ，ｙ）によって与えられる空間座標（ピクセル位
置）を有しているものとする（座標又は色空間のいずれ
かにおいてベクトルを示すために太字の文字を使用す
る）。各ｒに対し、上述した隣接ピクセル変換は、フォ
アグランドマスクにおける最も近いピクセルである座標
ｒｆ＝（Ｘ，Ｙ）Ｆ及びバックグラウンドマスク内の最
も近いピクセルであるｒｂを与える。これらのピクセル
における色が、夫々、ｃ，ｃｆ，ｃｂとして指定される
ものとする。たとえば、ＲＧＢ色空間においては、これ
らのベクトルは３個の成分の値（赤、緑、青）を有して
いる。ＣＭＹＫ色空間においては、それらは四次元（シ
アン、マゼンタ、イエロー、ブラック）である。グレイ
スケール（中間調）イメージの場合には、次元は１であ
り、単一の強度値が存在するに過ぎない。サーチは、ｒ
ｆに近い点の近傍及びｒｂ近くの同様の近傍を考慮する
ことによって開始する。これら２つの組の点から、対、
即ちＦ（フォアグランドの組）から１つとＢ（バックグ
ラウンドの組）から１つとを選択する。各対に対して、
２つの関連する色、即ちｃｆ及びｃｂを有しており、そ
れは、ｃと共に、以下の線形混合用モデルの適用によっ
てピクセル不透明度αを決定する。

【００６７】式３：ｃ＝αｃｆ＋（１‐α）ｃｂその他の混合用モデルを使用することが可能である。そ
の解の詳細はモデル毎に異なる。別のモデルの１つの例
は、以下のように、チャンネル０乃至ｎの各チャンネル
に対して別々の不透明度が存在するものである。

【００６８】式４：ｃ０，ｃ１，．．．ｃｎに対しｃ
０＝ｃｆ０＋（１‐α０）ｃｂ０，ｃ１＝ｃｆ１＋（１
‐α１）ｃｂ１等式４のモデルは簡単化したモデルであり、それは反射さ
れた光を有する透明なオブジェクトをバックグラウンド
内に混合させる。この代替的モデルにおけるフォアグラ
ンドチャンネルに関してはα係数は存在しない。アドビ
トランスペアレンシィ（透明度）モデルは別の例を提供
する。１つの解決方法はモデルに関しての当て嵌めのズ
レを最小とすることである。即ち、エラー関数Ｅを最小
とすることが所望され、それは、線形混合用モデルの場
合には、以下のように書くことが可能である。

【００６９】式５：Ｅ＝１／２［ｃ−αｃｆ−（１‐α）ｃｂ］² 全ての内積は適宜の色空間におけるユークリッド内積で
ある（成分の積の和）。このエラーはフォアグランドの
色とバックグラウンドの色とを分離するラインからの不
確定ピクセル色の色空間内における二乗偏差の大きさで
ある。不透明度に対する解は、式６： α＝（ｃ−ｃｂ）²／（ｃｆ−ｃｂ）² αに対するこの値が与えられると、その結果得られるエ
ラーは、式７：Ｅ＝１／２｛［ｃ−ｃｂ］²−α²｝として表すことが可能である。尚、αは上述した関数で
あると考えることが可能である。今やｃ，ｃｆ，ｃｂの
みに依存するこのモデルエラーに対する式を使用してそ
の値を最小とする対（ｃｆ，ｃｂ）を選択することが可
能である。このような対が見つかると、不透明度は式６
から決定される。２つの組Ｆ及びＢ内の点の全ての対を
介しての網羅的なサーチが所望の色の対を与える。然し
ながら、より高速の貪欲サーチ手法がより少ない計算で
妥当に良好な解を与えることが可能である。

【００７０】例えば、該サーチを、フォアグランドサー
チとバックグラウンドサーチとの間で数回行き来しなが
ら反復することによって実施することが可能である。バ
ックグラウンドの色は与えられたピクセルｒに対してバ
ックグラウンドマスクへ適用された隣接サーチアルゴリ
ズムの結果と関連するものに初期化される。この値ｃｂ
は、次いで、不確定領域内の位置ｒにおける値であるｃ
と共にエラー方程式において使用される。次いで、該サ
ーチはＥを最小とする色に対して設定されたフォアグラ
ンド近傍にわたって実施される。この色ｃｆが見つかる
と、それをエラー方程式において使用することが可能で
あり、且つ該サーチはエラーの大きさを減少させる新た
な色ｃｂを見つけ出すためにバックグラウンドピクセル
の間で継続して行われる。この手順は数回反復すること
が可能である。実際に、僅かな回数反復することにより
良好な結果が得られている。例えば、この手順を４回繰
返すことにより、各繰返しにおいてＢ及びＦの両方に対
する９個からなる可能な近傍の組から３個のピクセルを
選択することによって、良好な結果が得られる。このモ
デルの変形例においては、Ｅを相対的なエラーＥ′で置
換し、それはフォアグランド色とバックグラウンド色と
の間の距離に対してエラーを正規化させる。

【００７１】式８：Ｅ′＝Ｅ／｜ｃｆ−ｃｂ｜² このことはフォアグランドの色とバックグラウンドの色
とがかけ離れている場合においてより小さな重みを与え
る。それは幾つかの場合においては改良した色抽出とな
る場合がある。

【００７２】色決定に対する向上型統計的アプローチ７
６上述したように、本方法は不確定領域における各ピクセ
ルに対して不透明度及び固有のフォアグランドの色を決
定する。然しながら、それはイメージ内において使用可
能な全ての情報を完全に利用するものではない。特に、
フォアグランド領域及びバックグラウンド領域の両方に
おいて統計的色情報が使用可能であり、それは結果を向
上させることが可能である。１つのアプローチは、フォ
アグランド領域における色の分布を特性づけるために色
ヒストグラム、即ち色ビニング（ｂｉｎｎｉｎｇ）即ち
振り分け技術を使用し、且つバックグラウンドに対して
も同様にすることである。色空間を複数個のビンへ分割
する。フォアグランド内の各色がサンプルされる毎に、
それを適宜のビン即ち収容器内に配置する。１つのアプ
ローチにおいては、不確定領域の境界に近接しているフ
ォアグランドの領域からのみ色をサンプルする。サンプ
リングは与えられた不確定ピクセルに対しての隣接ピク
セルの近傍においてのみ行われる。このことは局所的な
サンプリングを与えるものであるが、小さなサンプル寸
法となる。別の具体例ではフォアグランド領域と不確定
領域との間の境界の周辺全体にわたってサンプリングを
行う。このことは、通常、より大きなサンプルを提供す
るが、イメージの離れた部分から干渉が発生する可能性
がある。各アプローチはメリットを有している。後者は
色ビン即ち色収容器の回収を一度必要とするに過ぎず、
一方前者は不確定領域における各ピクセルに対する繰返
しを必要とする。いずれのアプローチの場合にも、結果
的に得られる色ヒストグラムは、サンプル点の総数に対
して正規化した場合に、条件付き確率の推定値を表し、
ｐｆ（ｃ）がその確率であり、フォアグランド領域Ｆか
ら選択したピクセルが与えられると、その色は値ｃを有
している。

【００７３】式９：ｐｆ（ｃ）＝ｐ（ｃ｜Ｆ）上の式は右から左へ読まれ、即ちフォアグランドから選
択したピクセルであるＦが与えられると、ｐはその色が
ｃである確率である。同様に、バックグラウンドの場合
には、次式が得られる。

【００７４】式１０：ｐｂ（ｃ）＝ｐ（ｃ｜Ｂ）色ヒストグラムは興味のある色空間のものと等しいか又
はそれより低い次元のものとすることが可能である。例
えば、ＨＳＶ色空間の場合には、三次元ヒストグラムを
収集することが可能である。その色モデルがＨＳＶでな
い場合には、標準の公式を使用して、その色をＨＳＶ色
空間へ変換し色相、飽和度及び値を得ることが可能であ
る。一方、より簡単であるがしばしば正確性がより低い
計算上のアプローチは、各色面が他のものと独立なもの
として近似することであり、そのことは一次元確率の積
である確率を発生する。

【００７５】式１１：ｐｆ（ｃ）＝ｐｆ（色相）ｐｆ
（飽和度）ｐｆ（値）この荒っぽいアプローチは驚くほど良好な結果を与え
る。色ヒストグラム、又は条件付き確率が得られると、
それらを統計的なモデルにおいて使用して抽出した色及
び不透明度の向上させた推定値を得ることが可能であ
る。このことは空間的情報が無視される人工的イメージ
発生モデルに対するアピールによって動機付けさせるこ
とが可能である。その目標は、色確率分布ｐｆ（ｃ），
ｐｄ（ｃ）及び混合用モデルのみが与えられた場合に、
不確定領域においてピクセルを発生することである。

【００７６】上に採用した混合用モデルを使用すると、
エラー関数Ｅ又はＥ′は混合用モデルからの色点の偏差
を測定すべく作用する。一般的な統計的アプローチは、
モデル化処理において付加的なランダムガウスノイズが
存在することを仮定することである。このことが該モデ
ルに対する当て嵌めが欠如する唯一（且つ、多分、支配
的なものでもある）原因ではなく、それは解決に対する
有用なヒューリスティック即ち実践的なアプローチを発
生することに貢献する。

【００７７】従って、不透明度、フォアグランド及びバ
ックグラウンドの色が与えられた場合に、与えられた色
ｃを混合された色として見つけ出す条件付き確率につい
て説明する。

【００７８】式１２：ｐ（ｃ｜ｃｆ，ｃｂ，α）＝ｅ
ｘｐ［−βＥ］常に、Ｅを相対的エラーの大きさであるＥ′と置換する
可能性に注意する。βはこの処理におけるノイズの量を
制御する（反比例して）パラメータである。

【００７９】混合用モデルの統計を特性づけると、不確
定領域に対する色の統計的な発生は、その確率分布関数
に従ってランダムに不透明度を選択することにより進行
する。簡単化のために、このことは１であると仮定する
（何等付加的な知識を仮定しない場合の最善の推定
値）。次いで、確率ｐｆ（ｃｆ）を有するフォアグラン
ドの固有の色ｃｆ及び確率ｐｂ（ｃｂ）を有するバック
グラウンドの色ｃｂを選択する。次いで、ｐ（ｃ｜ｃ
ｆ，ｃｂ，α）に等しい確率を有する混合された色ｃを
選択する。このことは、次式で表される色ｃを得る場合
の全体的な確率となる。

【００８０】式１３：Ｐ（ｃ｜Ｆ，Ｂ，混合モデル）
＝ｅｘｐ［−βＥ］ｐｆ（ｃｆ）ｐｂ（ｃｂ）この確率の最も簡単な使用は、色選択アルゴリズムに対
して適用するための向上させたエラーの大きさを発生さ
せることである。この最大尤推定法アプローチにおいて
は、この確率を最大とさせるｃｆ，ｃｂ，αに対して値
が選択される。このことは、Ｐの対数を最大化させるこ
とと等価である。従って、この対数の負数は最小化させ
るべきエラーの大きさとして作用する。

【００８１】式１４：Ｅ″＝−ｌｏｇＰ＝βＥ−ｌｏ
ｇｐｆ（ｃｆ）−ｌｏｇｐｂ（ｃｂ）その結果はフォアグランド及びバックグラウンドの条件
付き色確率の２つの対数の和からなる前に派生したエラ
ー測定値Ｅ（又はＥ′）に対する付加である。従って、
この色分布は、混合用モデルからの偏差と共に、上述し
た手順がこの新たなエラー測定値でもって実施される場
合に最適な当て嵌めを決定する場合に貢献する。エラー
測定値Ｅ及びＥ′が関与するこれらの方法は、以下の態
様で実施速度を増加させるために結合させることが可能
である。第一に、エラー測定値Ｅは、上述したように、
最良の候補色ｃｆ及びｃｂを見つけ出すために使用され
る。その結果得られるＥの値は小さいか又は大きいかで
ある。それが大き過ぎる場合には、そのサンプル色は、
例えば、固有のフォアグランドの色を有するものでない
場合がある。従って、３つの色を強制的に混合用モデル
と整合させ且つそれに適合させようとするよりも、色の
統計的情報により依存すべきである。ヒューリスティッ
ク即ち実践的なものとして、Ｅが何等かのスレッシュホ
ールド値（ＲＧＢ空間における３０の値は妥当な結果を
発生する）よりも大きいものであることが判明した場合
には、該方法はエラー測定値Ｅ″（αは０にセットす
る）を使用することにスイッチする。この変化は付加的
な計算を行うものであるが、より正確な不透明度及び固
有の色の決定を与える。

【００８２】色決定に対する別のニューラルネットワー
クアプローチ７８前述した部分では、不確定領域内のピクセルの固有の色
及び不透明度をサーチし且つ抽出するために必要なエラ
ー関数を測定する改良した方法について説明している。
その場合の改良は、フォアグランド領域及びバックグラ
ウンド領域の両方における色分布に関する統計的情報を
使用している。然しながら、空間的分布と色分布との間
の相関は無視されている。殆どの興味のあるイメージ
は、それらが結合された空間−色相関を有しているため
に認識可能なものである。換言すると、未知の領域（こ
の場合においては不確定領域）に対して色の塗り潰しを
行う場合に、色分布からのランダムなサンプリングは最
良のアプローチではない。これらの色は近くのピクセル
の色のより大きな予測性を可能とするパターンを形成す
る。

【００８３】この情報を使用するための１つのアプロー
チは、より高い次数の相関を特性づけるより高い次数の
統計的測定値を組込むことである。このアプローチの１
つの例について以下に説明する。より高い次数の統計量
を使用する能力は、実際には、より高い次数の情報を使
用とする場合に過剰に増加する大きな計算条件によって
制限される。且つ、非常に制御された適用例の場合を除
いて、イメージは、通常、解析的なモデリングに対して
従順なものではない。

【００８４】ニューラルネットワークは任意のイメージ
内に存在するより高い次数の相関した空間−色情報を取
扱う手段を提供する。本発明のこの側面における１つの
実施化即ち具体例においては、スタンダードのバックプ
ロパゲ−ションのトレーニングをしたフィードフォワー
ドのニューラルネットワーク（例えば、Ｄ．Ｅ．Ｒｕ
ｍｅｌｈａｒｔ及びＪ．Ｌ．ＭｃＣｌｅｌｌａｎｄ
「並列分布処理：認識の微細構造における探求（Ｐａｒ
ａｌｌｅｌｄｉｓｔｒｉｂｕｔｅｄｐｒｏｃｅｓｓ
ｉｎｇ：Ｅｘｐｌｏｒａｔｉｏｎｓｉｎｔｈｅ
ｍｉｃｒｏｓｔｒｕｃｔｕｒｅｏｆｃｏｇｎｉｔｉ
ｏｎ）」、ｖ１２、ケンブリッジ、マサチュセッツ、Ｍ
ＩＴプレス、１９８６等に記載されているもの）を使用
する。

【００８５】この方法の最も簡単な形態は、不確定領域
内のピクセルｒ（色ｃを有している）に関連する不透明
度を学習するためにトレーニングされているニューラル
ネットワークを考察することである。座標及び色が該ネ
ットワークヘ入力され、一方不透明度は単一出力値であ
り、即ち入力はｒ，ｃであり、出力はαである。入力か
ら出力への任意のマッピング（それが境界づけられてお
り且つ滑らかなものである限り）を学ぶために、処理用
ノードの１つ又は２つの「隠れたレイヤー」を有するニ
ューラルネットワークで充分である。単一の「隠れたレ
イヤー」を有するネットワークに対する特定の式は以下
の通りである。

【００８６】式１５： α（ｒ，ｃ）＝ｓ（各隠れたノ
ードからの貢献分の重み付けした和＋オフセット）尚、ｓ（ｘ）は、通常、Ｓ字状関数と呼称され、それ
は、ｘが負の無限大である場合にゼロからｘが正の無限
大である場合に１へ滑らかに且つ単調的に成長する任意
の関数である。この関数は０と１との間で滑らかな遷移
を与え、且つ、通常、以下の関数に取られる。

【００８７】式１６：ｓ（ｘ）＝１／［１＋ｅｘｐ（−ｘ）］単一の隠れたノードからの貢献は入力からの貢献分の重
み付けした和のＳ字状関数として表すことが可能であ
る。

【００８８】式１７： 1つの隠れたノード（ｊのラベ
ルが付けられている）からの貢献＝ｓ（ｗｊ．．．ｒ＋
ｗ′ｊ．．．ｃ＋オフセット）尚、重みｗｊ及びｗ′ｊは入力及び出力の両方に対する
既知の値が提供された場合に勾配下降アルゴリズムによ
ってトレーニングされるネットワークのパラメータであ
る。このトレーニングデータはフォアグランド領域及び
バックグラウンド領域におけるピクセルから得られる。
これらのピクセルは夫々１及び０の不透明度値が割り当
てられる。トレーニングがなされると、該ネットワーク
はフォアグランド領域の内側において１でありバックグ
ラウンドの内側において０の不透明度に対する値を有す
る関数に対する近似を形成する。Ｓ字状関数の滑らか特
性のために、適宜のトレーニングが行われると、該ネッ
トワークは、これらの２つの領域の間の内挿を形成し、
不確定領域に対して値を充填させることを可能とする。
０と１との間を内挿するために二乗平均エラー方法を使
用してトレーニングした場合に任意の関数が条件付き確
率に近づく。この場合には、色ｃを有する座標ｒが与え
られると、この組合せがフォアグランド領域に属する確
率である。１−この確率はバックグラウンドに対する対
応する確率である。従って、不透明度αを予測するよう
にトレーニングされたニューラルネットワークは条件付
き確率関数としてこの不透明度を与える。

【００８９】式１８： α（ｒ，ｃ）＝ｐ（フォアグラ
ンド｜ｒ、ｃ）この結果は空間的及び色情報の両方及びそれら２つの間
の可能な相関を包含している。

【００９０】この関係によって喚起される別のアプロー
チにおいては、不透明度は、ｒを包含しない式１８の暗
示的条件付き確率を反転することによって色統計情報を
使用するだけで決定される。空間的条件が無視される場
合には、その関係は次式の通りである。

【００９１】式１９： α（ｃ）＝ｐ（フォアグランド｜ｃ）ベイズ（Ｂａｙｅｓ）の統計的規則（それは簡単な係数
用引数から得られる）が、このことを、前に与えたフォ
アグランド及びバックグラウンド色確率から計算するこ
とを可能とする。

【００９２】式２０：Ｐ（Ｆ｜ｃ）＝［ｐ（ｃ｜Ｆ）
ｐＦ］／［ｐ（ｃ｜Ｆ）ｐＦ＋ｐ（ｃ｜Ｂ）ｐＢ］尚、ｐＦ及びｐＢは、任意の色のフォアグランドピクセ
ル又はバックグラウンドピクセルを見つける場合の確率
を与え且つ本発明のこの具体例においては簡単化のため
に１として取られる定数である。別法は、各領域におい
てサンプル即ち採取されるピクセル数に比例してそれら
を設定する。正味の結果は、空間的情報を無視し且つ色
ヒストグラムから得られる色分布情報のみを使用する不
透明度の決定である。

【００９３】式２１： α（ｃ）＝ｐＦ（ｃ）／［ｐｆ
（ｃ）＋ｐｂ（ｃ）］該ニューラルネットワークアプローチは、この純粋に統
計的な結果を空間情報及び空間−色相関を組込むことに
よって向上させることを可能とする。

【００９４】上の説明において、該ニューラルネットワ
ークはピクセルの不透明度を決定するために使用してい
る。不透明度が与えられると、固有のフォアグランドの
色は、式１４において与えたエラーを最小とするために
前述したようにフォアグランド及びバックグラウンドの
色分布をサンプリングすることによって見つけることが
可能である。一方、該ニューラルネットワークアプロー
チは、色混合用モデルを拘束条件として組込むことによ
って色情報を抽出すべく修正することが可能である。こ
のアプローチは前述したニューラルネットワークと同様
の修正したニューラルネットワークを使用するものであ
るが、不透明度に加えてフォアグランド及びバックグラ
ウンドの色に対して出力ノードも使用する。更に、３つ
の全ての出力は、観察された色ｃに対する値を発生する
混合用モデルによって拘束される。その結果は入力とし
てｒ及びｃの両方を取り且つ出力として不透明度及びｃ
自身を発生するニューラルネットワークである。これは
一般的なクラスのニューラルネットワークに関する変形
例であり、それは、入力を再生する出力を与えるために
トレーニングされると、内部ノードにおける有用な情報
を学習する。この場合に、不透明度を学習し且つ観察さ
れた色を再生するためにトレーニングすることによっ
て、該ネットワークは固有の色であるｃｆ及びｃｂに対
する近似も発生する。

【００９５】色決定に対する代替的ウエーブフロントア
プローチ８０上に説明した方法は不確定領域内の各ピクセルに最も近
いフォアグランド又はバックグラウンドマスク内のピク
セルをサーチすることに依存している。向上した結果を
与えるために色の統計が使用されている。更なる向上の
ためにより高い次数の統計的情報を使用することの困難
性について説明した。ここでは、これらのより高い次数
の色・空間相関を使用するためにより大きな自由度を提
供する方法について説明する。図１４に示したように、
このアプローチは不確定領域２０２における色情報の本
発明の推定値を利用し、且つ与えられたピクセルに近い
境界領域２０４，２０６が妥当な推定値を与える。この
ことは、該境界から不確定領域内に色を流し込み、それ
によってフォアグランド又はバックグラウンドの色（ど
の境界が使用されているかに依存する）の推定値でそれ
を塗り潰すことによって達成することが可能である。こ
のウエーブフロント具体例においては、境界は不確定領
域が充填即ち塗り潰されるまで一度に１つのステップ成
長される。該アルゴリズムはフォアグランドの色を決定
するため、次いで、別個にバックグラウンドの色を決定
するために一度適用される。該アルゴリズムはフォアグ
ランドの場合についてのみ例示する。バックグラウンド
の場合にも類似したステップが取られる。

【００９６】各ステップにおいて、成長するウエーブプ
ロント（波面）２１０に沿って色が修正される。ウエー
ブフロントに追従するために、イメージ内の各ピクセル
の状態を表示するためにマスク２１２が作成される。１
つのピクセルは３つの可能な状態のうちの１つに存在す
ることが可能であり、即ち、固定した状態（その色は変
化することはない）２１４、変化した状態（その色は変
化されている）２１６、変化しなかった状態（その色は
変化することが可能であるが未だに変化していない）２
１８である。マスクは固定した状態に設定されている全
てのフォアグランドピクセル２２０で初期化される。こ
れらのフォアグランドピクセルは、フォアグランドマス
クの真の値を有しており且つ不確定領域境界の小さな隣
りの部分２２２（例えば、３又は５個のピクセル）内に
存在するピクセルに取られる。不確定領域内の全てのピ
クセル２２４は変化しなかったものとしてラベルが付け
られる。不確定領域において色が修正されると、対応す
るピクセルは変化したものとしてラベルが付けられる。

【００９７】現在のウエーブフロントに沿って全てのピ
クセルにわたり描画したウインドウ２２６をスライドさ
せることにより各ステップにおいて該アルゴリズムが動
作する。該ウインドウは変化していないが固定されてい
るピクセル又は変化したピクセルと境界を接するピクセ
ル２２８を包含している。該ウインドウ内の中央のピク
セルは、隣りのウインドウピクセルにおける色に依存し
て、その色を新たな色で置換している。該中央のピクセ
ルは変化したものとしてラベルが付けられ且つウエーブ
フロントに沿って処理が継続して行われる。ウエーブフ
ロントに沿っての１つの完全なるパス即ち通過が完了す
るまで、該新たな色の割り当ては新たなイメージ又はそ
の他の格納区域内にバッファされる。中央のピクセルの
新たな色を決定する幾つかの方法が存在している。

【００９８】最初のものは、簡単な一次統計アプローチ
であって、その場合には、その色は、変化されているか
又は固定されているイメージ内の隣りのピクセルからラ
ンダムに選択される。この変化されているか又は固定さ
れているピクセルに対する制限は、色が境界領域から不
確定領域内に流れ込むことを確保する。変化されている
か又は固定されている各隣りのピクセルは選択される等
しい確率が与えられる。

【００９９】上に説明した方法は、空間−色相関を考慮
に入れて改善することが可能である。１つのアプローチ
は、２つの異なる位置において２つの色を見つけ出す同
時確率を考慮に入れる二次統計を利用することである。
二次統計の幾つかを捕らえるものであるか実現するのに
高速であるヒューリスティックな即ち実践的な具体例
は、変化されていないか又は固定されている隣りのもの
からのランダムな選択で開始する。

【０１００】中央のピクセルをｒ０で示し且つ固定され
ているか又は変化されていない色が最も近く一致する隣
りのものをｒ１で示すものとする。これらのピクセルは
以下の分離ベクトルによって決定されて互いに空間的関
係でもって存在する。

【０１０１】式２２：ｒ０１＝ｒ０−ｒ１次いで、ピクセルｒ１における色であるｃ１に色が最も
近いピクセルを変化していないか又は固定されているウ
インドウの隣りのものから探し出す。このピクセル位置
はｒ２として示される。次いで、中央のピクセルの色を
位置ｒ２＋ｒ０１における色で置換する。この方法はピ
クセル間の二次相関によって包含されるパターンのウエ
ーブフロントに沿って伝搬することを可能とさせる。同
様の態様でより高い次数の相関を取扱うことが可能であ
る。

【０１０２】別の具体例は潜在的により長い範囲の色−
空間情報を使用する。このアプローチにおいては端部強
度及び方向の大きさは各中央のピクセルにおいて計算さ
れる。標準的なゾーベル（Ｓｏｂｅｌ）フィルタ又は端
部強度及び方向のより洗練された長距離手段を使用する
ことが可能である。その目的は端部方向に沿ってバイア
スされるように、点のサンプリングに重み付けすること
である。このことは端部に沿っての色の流れをバイアス
させる。バイアスの程度は、端部からの距離に従って確
率に重み付けすることにより制御することが可能であ
る。その重み付け関数は端部強度の大きさに依存するこ
とが可能である。より強い端部は色の流れがより拘束さ
れるようにより高度に重み付けすることが可能である。
１つの具体例においては、ピクセルをライン上に中心位
置決めした端部ライン（端部方向に沿って存在する中央
ピクセルからのライン）に対しての距離の関数であるガ
ウス分布でサンプルする。

【０１０３】前に選択したオブジェクトからの色抽出８
２本発明によるか又は他の手段のいずれかによってマスク
されているが未だに色汚染を有するオブジェクトを包含
するイメージが与えられると、不透明度の決定とは独立
的に色抽出を実施することによりこの汚染を除去するた
めのメカニズムが必要とされる。このことは、前に使用
した方法の変形例によって行うことが可能である。各ピ
クセルにおいて色及び不透明度が与えられると、０又は
１に等しくない不透明度を有するピクセルに対して固有
のフォアグランドの色を見つけ出すことが所望される。
１つの方法は、上側及び下側の限界における不透明度を
スレッシュホールド処理することである。ある値α１よ
り高い不透明度を有する全てのピクセルはフォアグラン
ドに指定され且つα０より低い不透明度を有する全ての
ピクセルはバックグラウンドに指定される（例示的な値
は、夫々、０．８及び０．２である）。次いで、このア
ルゴリズムは、問題のピクセルに近いフォアグランド及
びバックグラウンドのサンプルからｃｆ及びｃｂをサー
チし且つ式７又は８又は１４において与えられたエラー
測定値を最小とすることによって前述したように進行す
ることが可能であり、αは観察された値によって固定さ
れる。その他の具体例も特許請求の範囲内のものであ
る。

【図面の簡単な説明】

その他の利点及び特徴は以下の説明及び特許請求の範囲
から明らかとなる。

【図１】フローチャート。

【図２】写真イメージ。

【図３】写真イメージ。

【図４】写真イメージ。

【図５】写真イメージ。

【図６】写真イメージ。

【図７】写真イメージ。

【図８】写真イメージ。

【図９】写真イメージ。

【図１０】写真イメージ。

【図１１】フローチャート。

【図１２】フローチャート。

【図１３】フローチャート

【図１４】フローチャート。

───────────────────────────────────────────────────── フロントページの続き (72)発明者マーチンイー．ニューエルアメリカ合衆国，カリフォルニア 94306，パロアルト，アドビプレイス 410

Claims

【特許請求の範囲】

【請求項１】第一及び第二領域を有するデジタルイメ
ージを処理する場合に使用する機械を基礎とした方法に
おいて、前記第一及び第二領域のうちの少なくとも１つに隣接し
ている興味のある区域内に位置している与えられたピク
セルの固有の色を推定し、該推定を行う場合に前記第一
及び第二領域のうちの１つにおける複数個のピクセル及
び前記２つの領域のうちの他方における複数個のピクセ
ルの色から外挿を行い、且つ後に使用するために前記ピ
クセルの固有の色を格納する、ことを有している方法。
【請求項２】請求項１において、前記与えられたピク
セルが前記第一及び第二領域の両方におけるピクセルの
オリジナルの色に関連するオリジナルの色を有してお
り、且つ前記与えられたピクセルの推定された固有の色
が前記第一及び第二領域のうちの一方又は他方のみにお
けるオリジナルの色に関連している方法。
【請求項３】請求項１において、前記興味のある区域
が前記第一及び第二領域のうちの１つを包含している方
法。
【請求項４】請求項１において、前記興味のある区域
が前記第一及び第二領域の両方に隣接している方法。
【請求項５】請求項１において、前記第一領域がフォ
アグラウンドオブジェクトを有しており且つ前記第二領
域がバックグラウンドを有している方法。
【請求項６】請求項１において、前記第一及び第二領
域が前記興味のある区域の最小スパンと同一の程度又は
より小さい空間的スケールにわたって可視光スペクトル
において任意の程度の色変化を有することが可能である
方法。
【請求項７】請求項１において、前記推定を行う場合
に、前記第一及び第二領域におけるピクセルの色及び空
間的に近接度の両方を解析する方法。
【請求項８】請求項１において、前記推定を行う場合
に、前記第一及び第二領域における最も近いピクセルか
ら外挿を行う方法。
【請求項９】請求項１において、前記推定を行う場合
に、前記第一及び第二領域のうちの一方又は両方から前
記興味のある区域内へ色を流し込む方法。
【請求項１０】請求項９において、前記色を流し込む
場合に、前記第一領域における１組のピクセルと前記第
二領域における１組のピクセルの各々に対し色値の平均
化を行う方法。
【請求項１１】請求項１において、前記デジタルイメ
ージがピクセル情報のレイヤーを有しており且つ前記推
定を行う場合に前記レイヤーのうちの１つのみにおける
ピクセル情報に基づいて行われる方法。
【請求項１２】請求項１において、前記デジタルイメ
ージがピクセル情報のレイヤーを有しており、且つ前記
推定を行う場合に全てのレイヤーの合成におけるピクセ
ル情報に基づいて行われる方法。
【請求項１３】請求項１において、更に、前記固有の
色の推定の結果に基づいて、前記与えられたピクセルの
固有の色が前記第一及び第二領域におけるオリジナルの
色に関連する範囲を表す前記与えられたピクセルに対す
る不透明度値を決定することを包含している方法。
【請求項１４】請求項１３において、前記与えられた
ピクセルがオリジナルの不透明度情報を有しており、且
つ前記不透明度値も前記オリジナルの不透明度情報に基
づいている方法。
【請求項１５】請求項１３において、更に、前記第一
及び第二領域におけるオリジナルの色に関連する固有の
色を有している他のピクセルに対する不透明度値を決定
することを包含している方法。
【請求項１６】請求項１３において、前記不透明度を
決定する場合に、前記イメージのオリジナルの色及び推
定された固有の色に関してトレーニングされたニューラ
ルネットワークを使用することを包含している方法。
【請求項１７】請求項１３において、更に、前記第一
及び第二領域のうちの１つを別のデジタルイメージと合
成するために前記不透明度値を使用することを包含して
いる方法。
【請求項１８】請求項１において、前記推定を行う場
合に、色空間及び画像座標空間におけるサーチを使用し
て前記第一及び第二領域の固有の色の推定値を外挿する
ことも包含している方法。
【請求項１９】請求項１において、前記推定を行う場
合に線形混合モデルを仮定する方法。
【請求項２０】請求項１において、前記推定を行う場
合に、前記第一及び第二領域の色の推定値で前記興味の
ある区域を塗り潰すために前記興味のある区域の端部か
ら色を流し込むことを包含している方法。
【請求項２１】請求項１において、更に、前記与えられたピクセルの及び前記第一領域又は第二領
域におけるオリジナルの色に関連する固有の色を有して
いる他のピクセルの固有の色を前記デジタルイメージか
ら抽出する、ことを包含している方法。
【請求項２２】請求項２１において、更に、前記第一
領域又は前記第二領域を別のデジタルイメージと合成す
るために前記抽出した固有の色を使用することを包含し
ている方法。
【請求項２３】請求項１において、更に、前記興味のある区域を識別する情報を対話的ユーザイン
ターフェースから受取る、ことを包含している方法。
【請求項２４】請求項１において、前記固有の色を推
定する場合に、前記与えられたピクセルに対して２つの色サンプルの組
を決定し、前記色サンプルの組の各々は前記第一及び第
二領域のうちの１つと関連しており、前記２つの色サンプルの組に基づいて固有の色を推定す
る、ことを包含している方法。
【請求項２５】請求項２４において、前記固有の色を
推定する場合に、前記与えられたピクセルのオリジナル
の色を前記色サンプルの組における色と比較することを
包含している方法。
【請求項２６】請求項２４において、更に、前記与えられたピクセルの固有の色が前記第一及び第二
領域の両方におけるオリジナルの色と関連する範囲を表
す前記与えられたピクセルに対する不透明度を決定し、
尚前記不透明度の決定が前記与えられたピクセルのオリ
ジナルの色を前記色サンプルの組における色と比較する
ことを包含している、ことを包含している方法。
【請求項２７】請求項２６において、前記与えられた
ピクセルがオリジナルの不透明度情報を有しており、且
つ前記不透明度の決定も前記オリジナルの不透明度情報
に基づいている方法。
【請求項２８】請求項２４において、前記色サンプル
の組が前記第一及び第二領域におけるピクセルの色から
派生される方法。
【請求項２９】請求項２４において、エラー最小化技
術に基づいて前記色サンプルの組の各々から単一の色を
選択する方法。
【請求項３０】請求項１において、前記興味のある区
域内の全てのピクセルの固有の色が自動的に決定される
方法。
【請求項３１】デジタルイメージを処理する場合に使
用する機械を基礎にした方法において、第一領域及び第二領域のうちの少なくとも１つに隣接す
る少なくとも興味のある区域を識別するためにユーザが
前記デジタルイメージの１つの区域をペイントすること
を可能とさせ、ユーザが前記興味のある区域を画定した後に、前記第一
領域及び前記第二領域におけるピクセルに対する色情報
に基づいて前記興味のある区域内のピクセルの固有の色
を自動的に推定する、ことを包含している方法。
【請求項３２】請求項３１において、前記ペイント動
作がユーザによって形態を特定することが可能なブラシ
ツールで行われる方法。
【請求項３３】請求項３１において、前記ペイントし
た区域を繰返しのペイントステップによって増加させる
ことが可能であり、且つ前記ペイントした区域の一部を
ユーザによって対話的に消去することが可能である方
法。
【請求項３４】請求項３１において、ユーザが前記興
味のある区域をペイントし且つ前記第一及び第二領域の
うちの１つにおける位置を別個に識別する方法。
【請求項３５】請求項３１において、ユーザが前記第
一及び第二領域のうちの少なくとも１つ及び前記興味の
ある区域をペイントし且つ前記第一及び第二領域のうち
の１つと関連する色を別個に識別する方法。
【請求項３６】請求項３１において、ユーザがその領
域内のピクセル位置を識別することによって前記第一及
び第二領域のうちの１つを指定する方法。
【請求項３７】請求項３５において、ユーザが該１つ
の領域における１個のピクセル又は１組のピクセルに対
してスポイトツールを適用することによって色を識別す
る方法。
【請求項３８】請求項３１において、更に、その領域
をフォアグラウンドとして指定するために前記識別した
ピクセル位置に基づいて前記領域のうちの１つの塗り潰
しを行うことを包含している方法。
【請求項３９】請求項３１において、前記第一及び第
二領域のうちの１つが前記デジタルイメージ内にフォア
グラウンドを有しており、前記領域の他方が前記デジタ
ルイメージのバックグラウンドを有しており、且つ前記
興味のある区域が前記フォアグラウンドとバックグラン
ドとの間にある方法。
【請求項４０】請求項３１において、前記第一及び第
二領域のうちの１つが前記デジタルイメージ内にフォア
グラウンドを有しており、他方の領域が前記デジタルイ
メージのバックグラウンドを有しており、且つ前記興味
のある区域が前記領域のうちの１つに隣接しており且つ
前記他方の領域の少なくとも一部を包含している方法。
【請求項４１】請求項３１において、前記ペイントし
た区域がユーザによって対話的に且つ繰返し修正するこ
とが可能である方法。
【請求項４２】請求項３１において、ユーザが他の対
の第一及び第二領域の間の付加的な興味のある区域をペ
イントすることを可能とさせる方法。
【請求項４３】デジタルイメージを処理する場合に使
用する方法において、前記デジタルイメージ内の興味のある区域と関連するマ
スクを受取り、前記マスクは別の隣接する興味のある領
域に関し前記興味のある領域内のピクセルの不透明度を
表す値を有しており、且つ前記マスクに基づいて、前記
ピクセルに対する固有の色を推定する、ことを包含して
いる方法。
【請求項４４】イメージのバックグラウンド領域から
フォアグラウンド領域を抽出する場合に使用する機械を
基礎とした方法において、前記イメージの表示上においてブラシを操作することに
よりユーザがオリジナルの抽出を制御することを可能と
させ、前記オリジナルの抽出に続いてユーザがタッチアップ抽
出を制御することを可能とさせ、且つそのピクセルが前
記オリジナルの抽出における不確定な色のものであった
場合にのみタッチアップ抽出に対して識別されたピクセ
ルを考慮する、ことを包含している方法。
【請求項４５】請求項４４において、強制させたフォ
アグラウンド又はバックグラウンドの色に基づいて不確
定な色であったピクセルの各々に対して固有の色を決定
する方法。
【請求項４６】請求項４４において、前記強制させた
色がユーザによって選択される方法。
【請求項４７】請求項４４において、前記強制させた
色が前記バックグラウンド領域内のオリジナルの色から
自動的に決定される方法。
【請求項４８】デジタルイメージにおける興味のある
区域内の各ピクセルに対して、前記興味のある区域に隣
接する前記イメージの第一領域内の最も近いピクセル及
び前記興味のある区域に隣接する前記イメージの第二領
域内の最も近いピクセルを決定する場合に使用する方法
において、前記イメージより小さな処理区域を画定し、前記画定した処理区域より小さなピクセルウインドウを
画定し、共に前記イメージにわたる一連のオーバーラップする位
置に対して前記処理区域をスキャニングし、前記処理区域の各オーバーラップした位置において、前
記処理区域を横断して前記ピクセルウインドウをスキャ
ニングし、且つ前記ピクセルウインドウのスキャニング
の各位置において、前記ウインドウ内のピクセルに対し
て格納されている情報をアップデートし、前記格納され
ている情報が前記第一及び第二領域内の最も近いピクセ
ルに関連している、ことを包含している方法。
【請求項４９】請求項４８において、前記処理区域が
長さが高さの２倍の矩形を有しており、且つ前記一連の
位置の各々において、前記処理区域が前記矩形の長さの
半分だけ前の位置からオフセットされる方法。
【請求項５０】請求項４８において、前記ピクセルウ
インドウが正方形を有している方法。
【請求項５１】請求項４８において、前記処理区域の
スキャニング及び前記ピクセルウインドウのスキャニン
グが前記イメージにわたる前方及び後方の両方の通過に
おいて発生する方法。
【請求項５２】請求項４８において、更に、前記最も
近いピクセルからの色の外挿を行うことを包含している
方法。
【請求項５３】請求項４８において、前記第一領域が
フォアグラウンドオブジェクトを有しており、前記第二
領域がバックグラウンドを有しており、且つ前記興味の
ある区域内の少なくとも幾つかのピクセルが不確定な色
を有している方法。
【請求項５４】ユーザがイメージ内のバックグラウン
ドからオブジェクトを抽出するための機械を基礎とした
方法において、前記イメージを表示し、ペイントツール
を選択し且つその特性を調節し、前記ペイントツールを
使用して前記オブジェクトの周りの帯状帯をペイント
し、前記帯状帯は前記オブジェクト又は前記バックグラ
ウンドにおけるその帰属関係が不確定であるピクセルを
包含しており且つ前記オブジェクト及び前記バックグラ
ウンドに画定的に帰属するピクセルを包含しており、前
記オブジェクト又は前記バックグラウンドに帰属するこ
とが既知である少なくとも１個のピクセルを指し示し、
前記抽出を実施するためのプログラムを喚起し、前記抽
出の品質を観察し、且つ前記観察に依存して、ペイント
ツールを使用してタッチアップ抽出を制御する、ことを
包含している方法。
【請求項５５】第一及び第二領域を包含するデジタル
イメージを処理するためにコンピュータを制御すること
の可能なコンピュータプログラムを担持している媒体に
おいて、前記第一及び第二領域のうちの少なくとも１つに隣接し
ている興味のある区域内に位置している与えられたピク
セルの固有の色を推定し、前記推定を行う場合に前記第一及び第二領域のうちの一
方における複数個のピクセル及び前記２つの領域のうち
の他方における複数個のピクセルの色から外挿を行うこ
とを包含しており、且つ後で使用するために前記ピクセ
ルの固有の色を格納する、ことによってコンピュータを
制御することが可能なコンピュータプログラムを担持し
ている媒体。
【請求項５６】デジタルイメージを処理するためにコ
ンピュータを制御することが可能なコンピュータプログ
ラムを担持している媒体において、第一領域及び第二領域のうちの少なくとも１つに隣接し
ている少なくとも１つの興味のある区域を識別するため
に前記デジタルイメージの１つの区域をユーザがペイン
トすることを可能とさせ、ユーザが前記興味のある区域を画定した後に、前記第一
領域及び前記第二領域におけるピクセルに対する色情報
に基づいて前記興味のある区域内のピクセルの固有の色
を自動的に推定する、ことによってコンピュータを制御
することを可能とするコンピュータプログラムを担持し
ている媒体。
【請求項５７】イメージのバックグラウンド領域から
フォアグラウンド領域を抽出するためにコンピュータを
制御することが可能なコンピュータプログラムを担持し
ている媒体において、前記イメージの表示上においてブラシを操作することに
よってオリジナル抽出をユーザが制御することを可能と
させ、前記オリジナル抽出に続いてタッチアップ抽出をユーザ
が制御することを可能とさせ、且つそのピクセルが前記
オリジナル抽出における不確定な色のものであった場合
にのみタッチアップ抽出に対して識別されたピクセルを
考慮する、ことによってコンピュータを制御することが可能なコン
ピュータプログラムを担持している媒体。
【請求項５８】第一及び第二領域を包含しているデジ
タルイメージを処理する場合に使用するシステムにおい
て、前記第一及び第二領域のうちの少なくとも１つに隣接し
ている興味のある区域内に位置している与えられたピク
セルの固有の色を推定する手段であって、前記推定する
場合に前記第一及び第二領域のうちの一方における複数
個のピクセル及び前記２つの領域のうちの他方における
複数個のピクセルの色からの外挿を行うことを包含して
いる推定する手段、後に使用するために前記ピクセルの固有の色を格納する
手段、を有しているシステム。
【請求項５９】デジタルイメージを処理する場合に使
用するシステムにおいて、第一領域及び第二領域のうちの少なくとも１つに隣接し
ている少なくとも１つの興味のある区域を識別するため
に前記デジタルイメージの１つの区域をユーザがペイン
トすることを可能とさせる手段、ユーザが前記興味のある区域を画定した後に前記第一領
域及び第二領域におけるピクセルに対する色情報に基づ
いて前記興味のある区域内のピクセルの固有の色を自動
的に推定する手段、を有しているシステム。
【請求項６０】イメージのバックグラウンド領域から
フォアグラウンド領域を抽出する場合に使用するシステ
ムにおいて、前記イメージの表示上でブラシを操作することによって
ユーザがオリジナル抽出を制御することを可能とさせる
手段、前記オリジナル抽出に続いてユーザがタッチアップ抽出
を制御することを可能とさせる手段、そのピクセルが前記オリジナル抽出における不確定な色
のものであった場合にのみタッチアップ抽出に対して識
別されたピクセルを考慮する手段、を有しているシステ
ム。