JPH1155686A

JPH1155686A - 画像処理装置及び方法、並びにキー信号生成装置及び方法、並びに画像合成装置、並びに記録媒体

Info

Publication number: JPH1155686A
Application number: JP20820597A
Authority: JP
Inventors: Tomoo Mitsunaga; 知生光永; Migaku Yokoyama; 琢横山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-08-01
Filing date: 1997-08-01
Publication date: 1999-02-26
Anticipated expiration: 2017-08-01
Also published as: JP3728884B2

Abstract

(57)【要約】【課題】第１の画像の背景に複数の色が含まれている
場合には、第１の画像から抜き出したい前景の境界付近
において、オペレータが背景色の均一である領域毎に背
景色を指定してやる必要があったので、大変な作業量と
なっていた。【解決手段】背景色算出部６は、画像１入力を構成す
る前景と背景の境界に関する情報と、上記画像１入力を
用いて前景と背景の境界付近の画素における局所的な背
景色を算出する。また、背景色除去部７は、この背景色
算出部６で算出した背景色に基づいて画像から背景色の
影響を除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像から背景
色の影響を除去する画像処理装置及び方法、並びに前景
と背景からなる画像からキー信号を生成するキー信号生
成装置及び方法、並びに第１の画像の前景と第２の画像
の背景とを合成する画像合成装置、並びに記録媒体に関
する。

【０００２】

【従来の技術】従来から、例えば第１の画像ａの前景
と、背景からなる第２の画像ｂとを合成する処理が映画
製作や、他の映像ファイルを作成する際に行われてい
た。

【０００３】例えば、図１２に示すように、前景と背景
からなる第１の画像ａと、背景からのみなる第２の画像
ｂのうち、第１の画像ａの前景と第２の画像ｂの背景と
を合成する際には、第１の画像ａから前景を抜き出すた
めのマスク画像ｃを生成しなければならなかった。

【０００４】画素において前景が寄与する割合をキー信
号と呼ぶが、マスク画像ｃはキー信号を算出すれば用意
に生成することが出来る。例えばキー信号の値は、前景
において１、背景において０で、前景と背景が混合する
領域では０以上１以下の値になる。マスク画像ｃは、例
えばキー信号の値を用いて、０から２５５までの値を取
るモノクロ画像として容易に作成できる。

【０００５】ところで、キー信号を用いて第１の画像ａ
から前景の画像を単純に抜き出す場合には問題がある。
前景の境界付近は前景色と背景色が混合しているので、
抜き出した前景画像と第２の画像ｂ（背景）をキー信号
を用いて合成してしまうと、合成画像の前景の境界付近
では、境界付近に残ってしまっている第１の画像ａの背
景色と、第２の画像ｂの新しい背景色が混ざってしまう
からである。

【０００６】そのため、上記二つの画像ａ，ｂを混合す
る際には第１の画像ａから予め第１の画像の背景色の影
響を削除することが望ましい。

【０００７】一方、画像からキー信号を算出するための
従来の技術としてクロマキー法がある。クロマキーは色
空間（例えばＲＧＢ空間）上でキーの値ｋの等値面を決
定し、注目画素の色を色空間にマッピングして、マッピ
ング後の点を通る等値面のキーの値ｋを算出して、これ
をキー信号とする方法である。

【０００８】クロマキーを用いた特許には、特開平１−
１５５４７６号公報に開示されている「絵柄のマスク作
成方法」、特開平４−６８７６３号公報に開示されてい
る「切き抜マスク作成方法」、特開平３−５１１６号公
報に開示されている「ディジタルラインクロマキー装
置」、Ｖｌａｈｏｓ．Ｐ，”Ｃｏｍｐｏｓｉｔｉｎｇｓ
ｙｓｔｅｍｆｏｒｒｅｃｏｒｄｅｄｓｉｇｎａｌ
ｃｏｌｏｒ”，ＵＳ−Ｐａｔｅｎｔ、がある。また、
クロマキーを用いた論文としては、三島，”多面体スラ
イスを用いたクロマキーのソフトウェア，”ＮＩＣＯＧ
ＲＡＰＨ論文集Ｖｏ．８ｐｐ−４４−５２（１９９
２）、を始めとして多数の応用例があるが、ここでは良
く知られている基本的な方法について説明する。

【０００９】クロマキーは、例えば青一色で塗り潰され
た部屋において人や車を撮影し、出来上がった画像から
背景色となる青色を図１３に示すように色空間で削除す
る方法である。

【００１０】例えば、図１３の右上図における画像の注
目画素のキー信号を算出したい場合は、注目画素の色を
ＲＧＢ空間にマッピングする。ただし、背景色は青一色
であるとする。ＲＧＢ空間では図１３の左図に示すよう
に、背景の色を点（０，０，１）とする。また、前景だ
けの領域と前景と背景の混合した領域の境界を、切片ｂ
と傾きｍをオペレータが指定して生成される正４角錐の
４個の側面とする。ここで、キーの値ｋが０から１まで
の等値面は、キーの値ｋが０の点とキーの値ｋが１の等
値面を内挿するようにして得られるような、正４角錐の
４個の側面とする。

【００１１】この場合、図１３においてキーの値が１の
等値面の下側で、かつ０≦Ｒ≦１，０≦Ｇ≦１，０≦Ｂ
≦１で表される立方体の内側の領域に含まれる点は、全
てキーの値ｋが１の点である。そして、画面上の各画素
毎に算出されたキーの値ｋを、画素において前景の影響
の占める割合を示すキー信号αとして、（１−α）と背
景の青色を掛け合わせて画素の色から引くことにより、
背景色の影響を削除した前景色のみの画像を得ることが
できる。

【００１２】この方法では、オペレータは切片ｂと傾き
ｍを調節しながら、例えば生成されたキーを用いて背景
色の影響を削除した画像を見て、適当なキーの等値面を
作成することが出来る。切片ｂと傾きｍを調節すること
は、キーの値ｋが１の領域の境界を決定することなの
で、オペレータがＲＧＢ空間内の前景領域を決定する意
味を持つ。

【００１３】

【発明が解決しようとする課題】しかし、上記図１２で
説明したように、第１の画像ａの背景に複数の色が含ま
れている場合には、第１の画像ａから抜き出したい前景
の境界付近において、例えばオペレータが背景色の均一
である領域毎に背景色を指定してやる必要があったの
で、大変な作業量となっていた。

【００１４】また、上記図１３を用いて説明したよう
に、画像からキー信号を算出する際の、従来の技術であ
るクロマキーに代表される方法には問題があった。例え
ばクロマキーの様に背景色を予め指定してしまう方法で
は、前景と背景の境界付近において背景の中に多くの色
が含まれている場合に、対応できないからである。ま
た、キー作成の過程において、前景の中に指定した背景
色(例えば青色)が混ざっている場合に、本当は前景の中
の領域なのに背景と勘違いしてキーを作成してしまう。

【００１５】これらの問題は、前景と背景の境界付近に
おいて局所的な領域毎にキーを作成することで解決する
が、例えばオペレータが前景と背景の境界付近におい
て、局所的な領域毎に前景色(前景の領域)と背景色(背
景の領域)を決定することは、前景と背景の境界付近に
多数の背景色が存在する場合に、オペレータの作業が膨
大になってしまう。

【００１６】そこで、本発明は、上記実情に鑑みてなさ
れたものであり、局所的な領域の背景色を自動的に算出
し、画像から除去するための画像処理装置及び方法の提
供を目的とする。

【００１７】また、本発明は、上記実情に鑑みてなされ
たものであり、前景と背景の境界付近において局所的な
前景色と背景色とを自動的に算出し、キー信号再生時に
オペレータの作業量を低減できるキー信号生成装置及び
方法の提供を目的とする。

【００１８】また、本発明は、上記実情に鑑みてされた
ものであり、上記画像処理装置及び方法、或いは上記キ
ー信号生成装置及び方法を用いて、画像合成時にオペレ
ータの作業量を低減させることのできる画像合成装置の
提供を目的とする。

【００１９】また、本発明は、上記画像処理方法、或い
は上記キー信号生成方法に関するプログラムを記録した
記録媒体を提供することで、オペレータの作業量を低減
することを目的とする。

【００２０】

【課題を解決するための手段】本発明に係る画像処理装
置は、上記課題を解決するために、背景色算出手段が、
画像を構成する前景と背景の境界に関する情報と、上記
入力画像を用いて、前景と背景の境界付近の画素におけ
る局所的な背景色を算出し、背景色除去手段が、上記背
景色算出手段で算出した背景色に基づいて画像から背景
色の影響を除去する。

【００２１】ここで、上記背景色算出手段は、前景と背
景の境界に関する情報、例えば、前景だけの領域と、背
景だけの領域と、前景と背景が混合した領域に分割する
ための情報や、または、パラメータで制御される曲面で
表されるキーに関する情報を用いて、前景と背景が混合
した領域に含まれる画素について、注目する画素の近傍
に存在して、かつ、背景だけの領域に含まれる画素から
自動的に背景色を算出する。

【００２２】また、上記背景色除去手段は、算出された
背景色とキー信号を用い、自動的に画像から背景色の影
響を削除する。

【００２３】また、本発明に係る画像処理方法は、上記
課題を解決するために、画像を構成する前景と背景の境
界に関する情報と上記画像を用いて、前景と背景の境界
付近の画素における局所的な背景色を算出し、この背景
色に基づいて画像から背景色の影響を除去する。

【００２４】また、本発明に係るキー信号生成装置は、
上記課題を解決するために、境界情報算出手段で前景と
上記背景の境界情報を算出し、前景色算出手段で上記境
界情報算出手段で算出した上記境界情報と上記画像とを
用いて上記前景と上記背景の境界付近における局所的な
前景色を算出し、背景色算出手段で境界情報算出手段で
算出した上記境界情報と上記画像とを用いて上記前景と
上記背景の境界付近における局所的な背景色を算出し、
キー信号生成装置で上記前景色算出手段で算出した上記
前景色と上記背景色算出手段で算出した上記背景色とを
用いてキー信号を生成する。

【００２５】ここで、上記前景色算出手段と上記背景色
算出手段は、前景と背景の境界に関する情報、例えば、
前景だけの領域と、背景だけの領域と、前景と背景が混
合した領域に分割するための情報や、または、パラメー
タで制御される曲面で表されるキーに関する情報を用い
て、前景と背景が混合した領域に含まれる画素について
は、注目する画素の近傍に存在して、前景だけの領域に
含まれる画素から前景色を算出し、同様に、背景だけの
領域に含まれる画素から背景色を算出する。

【００２６】また、キー信号生成手段は、算出された前
景色と背景色を用いてキー信号を算出する。

【００２７】また、本発明に係るキー信号生成方法は、
上記課題を解決するために、前景と上記背景の境界情報
を算出し、この境界情報と上記画像とを用いて、上記前
景と上記背景の境界付近における局所的な前景色と背景
色とを算出し、これら前景色と背景色とを用いて、上記
キー信号を生成する。

【００２８】また、本発明に係る画像合成装置は、上記
課題を解決するために、画像を構成する前景と背景の境
界に関する情報と上記画像を用いて、前景と背景の境界
付近の画素における局所的な背景色を算出する背景色算
出手段と、上記背景色算出手段で算出した背景色に基づ
いて画像から背景色の影響を除去する背景色除去手段と
を備える。

【００２９】ここで、上記背景色算出手段は、前景と背
景の境界に関する情報、例えば、前景だけの領域と、背
景だけの領域と、前景と背景が混合した領域に分割する
ための情報や、または、パラメータで制御される曲面で
表されるキーに関する情報を用いて、前景と背景が混合
した領域に含まれる画素について、注目する画素の近傍
に存在して、かつ、背景だけの領域に含まれる画素から
自動的に背景色を算出する。

【００３０】また、上記背景色除去手段は、算出された
背景色とキー信号を用い、自動的に画像から背景色の影
響を削除する。

【００３１】また、本発明に係る画像合成装置は、上記
課題を解決するために、前景と上記背景の境界情報を算
出する境界情報算出手段と、上記境界情報算出手段で算
出した上記境界情報と上記画像とを用いて、上記前景と
上記背景の境界付近における局所的な前景色を算出する
前景色算出手段と、上記境界情報算出手段で算出した上
記境界情報と上記画像とを用いて、上記前景と上記背景
の境界付近における局所的な背景色を算出する背景色算
出手段と、上記前景色算出手段で算出した上記前景色と
上記背景色算出手段で算出した上記背景色とを用いて、
上記キー信号を生成するキー信号生成手段と、上記キー
信号生成手段により生成された上記キー信号を用いて、
上記第１の画像の前景と、上記第２の画像の背景とを合
成する合成手段とを備える。

【００３２】ここで、上記前景色算出手段と上記背景色
算出手段は、前景と背景の境界に関する情報、例えば、
前景だけの領域と、背景だけの領域と、前景と背景が混
合した領域に分割するための情報や、または、パラメー
タで制御される曲面で表されるキーに関する情報を用い
て、前景と背景が混合した領域に含まれる画素について
は、注目する画素の近傍に存在して、前景だけの領域に
含まれる画素から前景色を算出し、同様に、背景だけの
領域に含まれる画素から背景色を算出する。

【００３３】また、キー信号生成手段は、算出された前
景色と背景色を用いてキー信号を算出する。

【００３４】また、本発明に係る記録媒体は、画像を構
成する前景と背景の境界に関する情報と上記入力画像を
用いて、前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出工程と、上記背景色算出手
段で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去工程とを備える処理手順を記録して
なる。

【００３５】また、本発明に係る記録媒体は、前景と上
記背景の境界情報を算出する境界情報算出工程と、上記
境界情報算出工程で算出した上記境界情報と上記画像と
を用いて、上記前景と上記背景の境界付近における局所
的な前景色を算出する前景色算出工程と、上記境界情報
算出工程で算出した上記境界情報と上記画像とを用い
て、上記前景と上記背景の境界付近における局所的な背
景色を算出する背景色算出工程と、上記前景色算出工程
で算出した上記前景色と上記背景色算出工程で算出した
上記背景色とを用いて、上記キー信号を生成するキー信
号生成工程とを備える処理手順を記録してなる。

【００３６】

【発明の実施の形態】以下、本発明に係る画像処理装置
及び方法、並びにキー信号生成装置及び方法、並びに画
像合成装置、並びに記録媒体に関する実施の形態につい
て説明する。

【００３７】先ず、図１〜図４を用いて、上記画像処理
装置及び方法の実施の形態となる背景色除去装置につい
て説明する。

【００３８】この背景色除去装置は、図１に示すよう
に、画像入力端子１からの入力画像から背景色の影響を
除去する背景色除去処理を行うため、画像１入力を構成
する前景と背景の境界に関する情報と、上記画像１入力
を用いて前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出部６と、この背景色算出部
６で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去部７とを備えてなる。

【００３９】また、この背景色除去装置は、入力端子２
から供給されるキー信号α、すなわち上記前景と背景の
境界に関する情報、に応じて前景だけの領域Ｒ₁と、背
景だけの領域Ｒ₃と、前景と背景が混合した領域Ｒ₂を形
成する領域分割部３と、背景色を除去する対象となる注
目画素ｐを決定する注目画素決定部４と、この注目画素
決定部４で決定された注目画素ｐに最も近い、上記領域
Ｒ₃上での画素ｑを算出する最近画素算出部５も備えて
なる。

【００４０】そして、上記背景色算出部６は、上記最近
画素算出部５で算出された最近画素ｑに所定の条件下で
近傍であるいくつかの画素を算出し、これらのいくつか
の画素の色の平均値を算出して背景色ｂとする。

【００４１】この背景色ｂは、背景色除去部７に供給さ
れる。背景色除去部７は、上記背景色を含んだ注目画素
ｐの色Ｃ１と、キー信号αと、上記背景色ｂを用いて、
背景色の影響を除去した画素の色Ｃ２を算出し、出力端
子８に供給する。

【００４２】この図１に示した各部での演算処理は、図
２に示す中央演算部（ＣＰＵ）１０内部の論理演算部
（ＡＬＵ）１１で行われる。

【００４３】ＣＰＵ１０は、ＡＬＵ１１の他、レジスタ
１２と、コントローラ１３を有してなる。このＣＰＵ１
０は、インターフェース（Ｉ／Ｆ）１５を介して供給さ
れる入力データを、一旦ＲＡＭ１８に記憶させた後、Ａ
ＬＵ１１による演算後に、ＲＡＭ１８またはＲＯＭ１９
を介して、出力データとして出力する。

【００４４】レジスタ１２は、ＡＬＵ１１における計算
に使用されるデータや計算結果などを、一時的に記憶す
る。ＡＬＵ１１は、レジスタ１２が保持するデータを読
み込み、そのデータに対して所定の演算を行ない、その
演算結果をレジスタ１２に出力する。コントローラ１３
は、ＲＯＭ１９に記憶されているプログラムに従って、
レジスタ１２およびＡＬＵ１１を制御し、プログラムに
記憶された計算などを行なわせる。

【００４５】ＲＡＭ１８は、ＣＰＵ１０を制御するプロ
グラムを記憶する他に、ＣＰＵ１０から供給されるデー
タを保管してＩ／Ｆ１５に出力するようになされてい
る。ＲＯＭ１９は、ＣＰＵ１０において使用されるデー
タやプログラムを、一時的に記憶するようになされてい
る。

【００４６】以下、図３のフローチャートと図４を用い
て、図１及び図２に示した背景色除去装置の動作を説明
する。

【００４７】ここで、レジスタ１２とコントローラ１３
における動作説明は省略するが、これらの各部は各ステ
ップにおいて必要に応じて上述した範囲で動作する。

【００４８】また、最初に、画像とキー信号がＩ／Ｆ１
５を通じて入力され、ＲＯＭ１９に確保された２個の画
像用の記憶領域にそれぞれ記憶されているとする。ま
た、図４に示した画像１の境界線Ｌ₀，Ｌ₁の２曲線を表
すパラメータはＲＯＭ１９に記憶される。

【００４９】図３のフローチャートの各ステップで用い
られる変数は、ＲＡＭ１８からレジスタ１２に送られ、
上記図１に詳細な構成を示したＡＬＵ１１によって必要
な演算を施された後に、再びレジスタ１２を介してＲＡ
Ｍ１８に送られる。また、フローチャートにおける一連
の処理を行なうプログラムがＩ／Ｆ１５から入力されＲ
ＡＭ１８に記憶されている。

【００５０】なお、この背景色除去装置に入力されるキ
ー信号αは、本件出願人が特開平９−３７１５３号公報
にて開示した「キー信号生成装置及び方法」の技術によ
り生成できる。この技術は、前景と背景の混合比である
キー信号の曲面を近似して算出し、複数個のパラメータ
で制御する方法による。この方法を用いると図４に示す
ように、前景と背景の混合した領域の前景側の境界線Ｌ
₁と背景側の境界線Ｌ₀を算出できるため、画像全体を前
景のみの領域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、
背景のみの領域Ｒ₃に分割することが出来る。

【００５１】上記背景除去装置では、ＡＬＵ１１を構成
している領域分割部３が上記キー信号αに基づいて上記
境界線Ｌ₁と上記境界線Ｌ₀を算出し、画像全体を前景の
みの領域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、背景
のみの領域Ｒ₃に分割している。

【００５２】先ず、ステップＳ１で、ＡＬＵ１１を構成
する注目画素決定部４は、画像中の画素を順に画素
（1）,画素（2）,...,画素（n）として、画素の番号ｉ
をｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに
１を代入する。

【００５３】ステップＳ２で、注目画素決定部４は、画
素ｉが前景のみの領域Ｒ₁、前景と背景の混合した領域
Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べる。具
体的には、番号ｉの画素に対応した領域をＲＡＭ１８に
記憶されている領域判定用のマップから算出する。ここ
で、領域Ｒ₂に含まれると判定すればステップＳ３〜ス
テップＳ６を処理する。また、領域Ｒ₁に含まれると判
定すればステップＳ８に進み、領域Ｒ₃に含まれると判
定すればステップＳ９に進む。

【００５４】ここで、ステップＳ２で画像ｉが領域Ｒ₂
に含まれると判定すると、ＡＬＵ１１を構成する最近画
素算出部５は、ステップＳ３で、領域Ｒ₃に含まれる画
素で、画素ｉに最も距離が近い画素ｑを求める。具体的
には、ＲＡＭ１８に記録されている領域判定用のマップ
から領域Ｒ₃に含まれる画素を探して画素ｉとの距離を
最近画素算出部５で算出し、画素の座標と算出した距離
を一時的な変数に格納し、格納した距離より短い距離が
得られた場合には、一時的な画素の座標と算出した距離
を更新し、最終的に画素ｉに最も近い画素ｑを算出し
て、画素ｑの座標をＲＡＭ１８に記憶する。

【００５５】次ぎに、ステップＳ４で、ＡＬＵ１１を構
成する背景色算出部６は、領域Ｒ₃に含まれる画素で、
画素ｑから距離２以下、境界線Ｌ₀から距離２以下とい
う条件下での画素ｑ₁，ｑ₂,...を算出する。具体的に
は、ＲＡＭ１８に確保されている領域判定用のマップを
用いて、領域Ｒ₃に含まれる画素ｑ_iを探して画素ｑとの
距離を算出する。また、ＲＡＭ１８に記憶されている境
界線Ｌ₀のパラメータから曲線の方程式を算出して、画
素ｑ_iと境界線Ｌ₀の距離を算出する。そして、画素ｑか
ら距離２以下で、かつ境界線Ｌ₀から距離２以下の画素
を次々と算出して、ＲＡＭ１８に用意された画素用の配
列に色を書き込む。

【００５６】そして、ステップＳ５で背景色算出部６
は、画素ｑ₁，ｑ₂,...の色の平均値ｂを算出する。具体
的には、ＲＡＭ１８に確保された画素用の配列に記憶さ
れている全ての色の平均値を算出し、ＲＡＭ１８に確保
された背景色用の変数ｂに書き込む。

【００５７】そして、ステップＳ６で、ＡＬＵ１１を構
成している背景色除去部７は、画素ｉにおけるキー信号
αを入力して、色Ｃ２を、Ｃ２＝Ｃ１−（１−α）＊ｂから求める。具体的には、ＲＡＭ１８に確保された変数
Ｃ１，ｂと、ＲＯＭ１９に確保された画像用の記憶領域
に記憶されたキー信号のマップを参照して、ここから得
られる画素ｉのキー信号αを用いて、画素ｉから背景色
の影響を除去した色Ｃ２を上記式のように算出し、ＲＡ
Ｍ１８に確保された画像用の記憶領域の画素ｉに対応す
る場所に書き込む。

【００５８】上記ステップＳ２で画素ｉが領域Ｒ₁に含
まれると判定し、ステップＳ８に進むと、背景色除去部
７は、Ｃ２＝Ｃ１とする。すなわち、ＲＡＭ１８から取
り出した変数Ｃ２に画素ｉの値Ｃ１を代入する。

【００５９】また、上記ステップＳ２で画素ｉが領域Ｒ
₃に含まれると判定し、ステップＳ９に進むと、背景色
除去部７は、Ｃ２＝０とする。すなわち、ＲＡＭ１８か
ら取り出した変数Ｃ２に画素ｉの値０を代入する。

【００６０】そして、ステップＳ７では、ＲＡＭ１８に
記憶されている変数ｉに１だけ加算する。また、ステッ
プＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステッ
プＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保
された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモ
ニタ１７に表示される。

【００６１】このように、図１及び図２に示した背景色
除去装置は、従来と比較して、前景と背景の境界付近に
おいて、局所的に背景色が自動的に決定でき、背景色に
複数の色が含まれている場合にも、画像から背景色の影
響を高い精度で取り除くことが出来る。このため、オペ
レータが局所的な領域毎に背景色を指定する場合に比べ
て、作業量が大幅に削減できる。

【００６２】次ぎに、図５〜図８を用いて、上記キー信
号生成装置及び方法の実施の形態について説明する。

【００６３】この実施の形態は、前景と背景からなる画
像からキー信号を生成するキー信号生成装置であり、図
５に示すように、画像入力端子２０から入力された画像
の前景と背景の境界情報を算出する境界情報算出部２１
と、この境界情報算出部２１で算出した上記境界情報と
上記画像とを用いて、上記前景と背景の境界付近におけ
る局所的な前景色を算出する前景色算出部２５と、境界
情報算出部２１で算出した上記境界情報と上記画像とを
用いて、上記前景と上記背景の境界付近における局所的
な背景色を算出する背景色算出部２７と、前景色算出部
２５で算出した上記前景色と背景色算出部２７で算出し
た上記背景色とを用いて、上記キー信号を生成するキー
信号生成部２８とを備えてなる。

【００６４】また、このキー信号生成装置は、境界情報
算出部２１で算出した境界情報に基づいて入力画像を前
景だけの領域Ｒ₁、背景だけの領域Ｒ₃、前景と背景が混
合した領域Ｒ₂に分割する領域分割部２２と、キー信号
を生成する対象となる注目画素を決定する注目画素決定
部２３と、この注目画素決定部２３で決定された注目画
素ｐに最も近い、上記領域Ｒ₁上での画素ｒを算出する
最近画素算出部２４と、上記注目画素ｐに最も近い、上
記領域Ｒ₃上での画素ｑを算出する最近画素算出部２６
も備えてなる。

【００６５】そして、上記前景色算出部２５は、上記最
近画素算出部２４で算出された最近画素ｒに所定の条件
下で近傍であるいくつかの画素を算出し、これらのいく
つかの画素の色の平均値を算出して前景色ｆとする。

【００６６】また、上記背景色算出部２７は、上記最近
画素算出部２６で算出された最近画素ｑに所定の条件下
で近傍であるいくつかの画素を算出し、これらのいくつ
かの画素の色の平均値を算出して背景色ｂとする。

【００６７】キー信号生成部２８は、上記前景色ｆと背
景色ｂに基づいて画素ｐにおけるキー信号αを生成して
出力端子２９に供給する。

【００６８】この図５に示した各部での演算処理も、上
記図２に示したＣＰＵ１０内部のＡＬＵ１１で行われ
る。ここで、ＣＰＵ１０、ＡＬＵ１１、レジスタ１２、
コントローラ１３、Ｉ／Ｆ１５、ＲＡＭ１８、ＲＯＭ１
９における基本的な動作は、既に上述した通りである。

【００６９】以下、図６のフローチャートと図７及び図
８を用いて、図５及び図２に示したキー信号生成装置の
動作を説明する。

【００７０】ここでも、レジスタ１２とコントローラ１
３における動作説明は省略するが、これらの各部は各ス
テップにおいて必要に応じて上述した範囲で動作する。

【００７１】最初に、入力画像がＲＯＭ１９に確保され
た画像用の記憶領域に記憶されているとする。また、図
６のフローチャートにおける一連の処理を行なうプログ
ラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されて
いるとする。

【００７２】そして、図６のフローチャートの各ステッ
プで用いられる変数は、ＲＡＭ１８からレジスタ１２に
送られ、ＡＬＵ１１によって必要な演算を施された後
に、再びレジスタ１２を介してＲＡＭ１８に送られる。

【００７３】なお、境界情報算出部２１は、本件出願人
が特開平９−３７１５３号公報で開示した「キー信号生
成装置及び方法」の技術を用いて、図７に示すように、
画像１におけるキー信号の中間データとして、キーの値
が０の境界線Ｌ₀と、キーの値が１の境界線Ｌ₁を算出す
る。

【００７４】そして、領域分割部２２は、境界線Ｌ₀、
Ｌ₁により図７に示すように、画像全体を前景のみの領
域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、背景のみの
領域Ｒ₃に分割する。

【００７５】先ず、ステップＳ１１で、ＡＬＵ１１を構
成する注目画素決定部２３は、画像中の画素を順に画素
（1）,画素（2）,...,画素（n）として、画素の番号ｉ
をｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに
１を代入する。

【００７６】ステップＳ１２で、注目画素決定部２３
は、画素ｉが前景のみの領域Ｒ₁、前景と背景の混合し
た領域Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べ
る。具体的には、番号ｉの画素に対応した領域をＲＡＭ
１８に記憶されている領域判定用のマップから算出す
る。ここで、領域Ｒ₂に含まれると判定すればステップ
Ｓ１３〜ステップＳ１６を処理する。また、領域Ｒ₁に
含まれると判定すればステップＳ１８に進み、領域Ｒ₃
に含まれると判定すればステップＳ１９に進む。

【００７７】ここで、ステップＳ１２で画像ｉが領域Ｒ
₂に含まれると判定すると、ＡＬＵ１１を構成する最近
画素算出部２４は、ステップＳ１３で、領域Ｒ₁に含ま
れる画素で、画素ｉに最も距離が近い画素ｒを求める。
具体的には、ＲＡＭ１８に記録されている領域判定用の
マップから領域Ｒ₁に含まれる画素を探して画素ｉとの
距離を算出し、画素の座標と算出した距離を一時的な変
数に格納し、格納した距離より短い距離が得られた場合
には、一時的な画素の座標と算出した距離を更新し、最
終的に画素ｉに最も近い画素ｒを算出して、画素ｒの座
標をＲＡＭ１８に記憶する。同様に、このステップＳ１
３で、ＡＬＵ１１を構成する最近画素算出部２６は、領
域Ｒ₃に含まれる画素で、画素ｉに最も距離が近い画素
ｑを求める。

【００７８】次ぎに、ステップＳ１４で、ＡＬＵ１１を
構成する前景色算出部２５は、領域Ｒ₁に含まれる画素
で、画素ｒから距離２以下、境界線Ｌ₁から距離２以下
の画素ｒ₁，ｒ₂,...を算出する。具体的には、ＲＡＭ１
８に確保されている領域判定用のマップを用いて、領域
Ｒ₁に含まれる画素ｒ_iを探して画素ｒとの距離を算出す
る。また、ＲＡＭ１８に記憶されている境界線Ｌ₁のパ
ラメータから曲線の方程式を算出して、画素ｒ_iと境界
線Ｌ₁の距離を算出する。そして、画素ｒから距離２以
下で、かつ境界線Ｌ₁から距離２以下の画素を次々と算
出して、ＲＡＭ１８に用意された画素用の配列に色を書
き込む。同様に、背景色算出部２７は、領域Ｒ₃に含ま
れる画素で、画素ｑから距離２以下、境界線Ｌ₀から距
離２以下の画素ｑ₁，ｑ₂,...を算出する。

【００７９】そして、ステップＳ１５で前景色算出部２
５は、画素ｒ₁，ｒ₂,...の色の平均値ｆを算出する。具
体的には、ＲＡＭ１８に確保された画素用の配列に記憶
されている全ての色の平均値を算出し、ＲＡＭ１８に確
保された背景色用の変数ｆに書き込む。同様に、背景色
算出部２７は、画素ｑ₁，ｑ₂,...の色の平均値ｂを算出
する。

【００８０】そして、ステップＳ１６で、ＡＬＵ１１を
構成しているキー信号生成部２８は、画素ｉにおけるキ
ー信号αを算出する。

【００８１】このキー信号生成部２８は、図８に示すよ
うに、画素ｐの色Ｃ１、前景色ｆ、背景色ｂをＲＧＢ空
間にマッピングして、点ｆと点ｂを結ぶ半直線に対して
点Ｃ１の垂線の足である点ｇを求め、以下の式により画
素ｐのキー信号αを算出する。

【００８２】α＝｜ｇ−ｂ｜／｜ｆ−ｂ｜上記ステップＳ１２で画素ｉが領域Ｒ₁に含まれると判
定し、ステップＳ１８に進むと、キー信号生成部２８
は、α＝１とする。

【００８３】また、上記ステップＳ１２で画素ｉが領域
Ｒ₃に含まれると判定し、ステップＳ１９に進むと、キ
ー信号生成部２８は、α＝０とする。

【００８４】そして、ステップＳ１７では、ＲＡＭ１８
に記憶されている変数ｉに１だけ加算する。また、ステ
ップＳ２０では、画素ｉ≦ｎか調べて、ｙｅｓならステ
ップＳ１２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に
確保されたキー信号αがＩ／Ｆ１５を経てモニタ１７に
表示される。

【００８５】このように、図５及び図２に示したキー信
号生成装置は、従来と比較して、前景と背景の境界付近
において、局所的に前景色と背景色を自動的に決定でき
るので、局所的な領域毎に正確なキー信号を算出でき
る。このため、オペレータが局所的な領域毎に前景色と
背景色を指定する場合に比べて、作業量が大幅に削減で
きる。

【００８６】次ぎに、上記画像処理装置及び方法の他の
実施の形態について図９及び図１０を参照しながら説明
する。

【００８７】この実施の形態は、画像から背景色の影響
を削除するために、局所的な背景色を自動的に算出し、
画像から除去する背景色除去装置である。

【００８８】この背景色除去装置の構成は、上記図１及
び図２に示した構成と基本的に同様である。異なるのは
最近画素算出部５での最近画素Ｂの算出処理であり、図
９に示すフローチャートではステップＳ３の処理が異な
る。

【００８９】先ず、ステップＳ１で、ＡＬＵ１１を構成
する注目画素決定部４は、上述したように画素の番号ｉ
をｉ＝１で初期化する。

【００９０】ステップＳ２で、注目画素決定部４は、画
素ｉが前景のみの領域Ｒ₁、前景と背景の混合した領域
Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べる。具
体的には、本件出願人が特開平９−３７１５３号公報で
開示した「キー信号生成装置及び方法」の技術を用い、
前景のキーが３次元のモデル、即ち、３次−１次のベジ
ェ曲面が３次のパラメータの方向に連続して輪の形に繋
がっている形状で生成されたとき、これをｘｙ＝０の平
面に射影して、前景のみの領域Ｒ₁、前景と背景の混合
した領域Ｒ₂、背景のみの領域Ｒ₃に分類して、画素ｉが
領域Ｒ₁，Ｒ₂，Ｒ₃のどれに含まれるかを調べる。

【００９１】図１０は、ｎ個のベジェ曲面Ｑ_k（１≦ｋ
≦ｎ）が連続して繋がることで前景のキーを表したと
き、この曲面の高さを平面にマッピングした図である。

【００９２】ここで、ベジェ曲面Ｑ_k（１≦ｋ≦ｎ）
は、前景と背景の混合した領域のキーを３次元の曲面で
表したもので、前景のキーの高さ方向（ｘｙｚ座標系の
ｚ方向）はキーの値ｋを表し、前景のキーの縦横方向
（ｘｙｚ座標系のｘｙ方向）は画像上の座標（ｘ，ｙ）
を表している。

【００９３】そして、ベジェ曲面Ｑ_k（１≦ｋ≦ｎ）で
は、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）を
パラメータｓ（０≦ｓ≦１）で、前景のキーの縦横方向
（ｘｙｚ座標系のｘｙ方向）をパラメータｔ（０≦ｔ≦
１）で制御している。

【００９４】ステップＳ２で画像ｉが領域Ｒ₂に含まれ
ると判定すると、最近画素算出部５は、ステップＳ３
で、領域Ｒ₃に含まれる画素で、画素ｉに最も距離が近
い画素Ｂを求める。具体的には、画素ｉの中心点Ｐにお
いて、画素ｉが含まれる曲面Ｑ_k（１≦ｋ≦ｎ）の３次
方向の曲線に対して法線を算出し、この法線上の画素で
あって、領域Ｒ₃に含まれる画素で、画素ｉに最も距離
が近い画素Ｂを求める。

【００９５】そして、ステップＳ４で背景色検出部６
は、領域Ｒ₃に含まれる画素で、画素Ｂから距離２以
下、曲線Ｌ₀から距離２以下の画素Ｂ₁，Ｂ₂,...を算出
し、ステップＳ５で画素Ｂ₁，Ｂ₂,...の色の平均値ｂを
算出する。

【００９６】すなわち、ステップＳ３〜ステップＳ５で
は、注目する画素ｉの中心点Ｐにおいて、図１０に示す
ようにパラメータｓ方向の曲線に対する法線を算出し、
この法線が図１０におけるキー信号の値が０の曲線Ｌ₀
を通過した直後の画素をＢとして、画素Ｂから距離２以
内の範囲で、曲線Ｌ₀から距離２以内の範囲で曲面Ｑ
_k（１≦ｋ≦ｎ）の外側に含まれる画素の平均値を背景
色ｂとして算出する。

【００９７】そして、ステップＳ６で、ＡＬＵ１１を構
成している背景色除去部７は、画素ｉにおけるキー信号
αを入力して、色Ｃ２を、Ｃ２＝Ｃ１−（１−α）＊ｂから求める。

【００９８】上記ステップＳ２で画素ｉが領域Ｒ₁に含
まれると判定し、ステップＳ８に進むと、背景色除去部
７は、Ｃ２＝Ｃ１とする。

【００９９】また、上記ステップＳ２で画素ｉが領域Ｒ
₃に含まれると判定し、ステップＳ９に進むと、背景色
除去部７は、Ｃ２＝０とする。

【０１００】そして、ステップＳ７では、ＲＡＭ１８に
記憶されている変数ｉに１だけ加算する。また、ステッ
プＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステッ
プＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保
された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモ
ニタ１７に表示される。

【０１０１】このように、図９に動作を示した背景色除
去装置は、従来と比較して、前景と背景の境界付近にお
いて、局所的に背景色が自動的、かつ正確に決定でき、
背景色に複数の色が含まれている場合にも、画像から背
景色の影響を高い精度で取り除くことが出来る。このた
め、オペレータが局所的な領域毎に背景色を指定する場
合に比べて、作業量が大幅に削減できる。

【０１０２】次ぎに、本発明に係る画像合成装置の実施
の形態について図１１を参照しながら説明する。

【０１０３】図１１において、画像提供装置６１及び６
２は、例えばビデオテーププレーヤ、或いはハードディ
スク装置などのディスクプレーヤなどで、所定の画像を
再生して出力するようになされている。なお、ここで
は、画像提供装置６１が再生する前景又は背景をそれぞ
れＦ又はＢとする画像Ｔ１（第１の画像）が、キー信号
生成装置６４及びミキサ６５に供給されるようになされ
ており、この画像Ｔ１が、キー信号を生成する対象とさ
れている。また、画像提供装置６２が再生する画像Ｔ２
（第２の画像）は、ミキサ６５に供給されるようになさ
れており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合
成されるようになされている。

【０１０４】キー信号生成装置６４は、上記図５に示し
たキー信号生成装置と同様に構成されており、上述した
ようにしてキー信号αを生成し、ミキサ６５に出力す
る。ミキサ６５は、キー信号生成装置６４からのキー信
号αを用いて、そこに入力される画像Ｔ１とＴ２とを合
成する。

【０１０５】ここで、ミキサ６５は、上記図１に示した
背景除去装置の機能を備えており、画像Ｔ１から前景Ｆ
を抜き出す際に、背景色の影響を排除している。そし
て、その前景Ｆを、画像Ｔ２に合成（はめ込む）するよ
うになされている。

【０１０６】次ぎに、その動作について説明する。画像
提供装置６１及び６２では、画像Ｔ１及びＴ２がそれぞ
れ再生され、ミキサ６５に供給される。さらに、画像提
供装置６１が再生する画像Ｔ１は、キー信号生成装置６
４にも供給される。

【０１０７】キー信号生成装置６４では、上述したよう
にして、キー信号αを生成し、ミキサ６５に出力する。
ミキサ６５では、上記背景色除去装置の機能を用い、キ
ー信号αを用いて、そこに入力される画像Ｔ１から前景
Ｆを抜き出す際に、背景色を削除し、その前景Ｆを、画
像Ｔ２に合成する。これにより、画像Ｔ２に前景Ｆを合
成した画像（合成画像）Ｔ４が生成される。

【０１０８】このように、上記画像合成装置は、画像合
成時に、上記キー信号生成方法を用いたキー信号生成装
置と、上記画像処理方法を用いたミキサを使って、画像
を合成しているので、オペレータの作業量を低減させる
ことができる。

【０１０９】なお、ここでは、キー信号生成装置６４に
本発明のキー信号生成方法、及びミキサ６５に本発明の
画像処理方法を適用していたが、いずれか一方のみ、す
なわちキー信号生成装置６４には他のキー信号生成方法
を適用し、ミキサ６５にのみ本発明の画像処理方法を適
用してもよい。また、キー信号生成装置６４に本発明の
キー信号生成方法を適用し、ミキサ６５では特に背景色
を除去する機能を持たせなくてもよい。

【０１１０】尚、以上の実施の形態においては、前景と
背景の境界に関する情報は、前景だけの領域と、背景だ
けの領域と、前景と背景が混合した領域に分割するため
の情報であったが、この情報は、例えばオペレータがペ
イントツール等を用いて作成した画像の輪郭を、前景と
背景が混合した領域とし、この輪郭の内側を前景だけの
領域、この輪郭の外側を背景だけの領域とすることもで
きる。

【０１１１】また、以上の実施の形態においては、画像
の局所的な領域における前景色や背景色を算出する際
に、前景と背景の混合した領域に含まれる画素から、前
景だけの領域、または背景だけの領域に含まれる画素の
内で注目する画素に最も近い画素を算出し、算出した画
素から一定距離の範囲に存在し、かつ、前景と背景が混
合した領域と前景だけの領域との境界線から一定距離の
範囲に存在する画素の平均値を算出して注目する画素の
前景色とし、また、前景と背景が混合した領域と背景だ
けの領域との境界線から一定距離の範囲に存在する画素
の平均値を算出して注目する画素の背景色とする方法を
示したが、これ以外の方法で局所的な領域における前景
色と背景色を算出する場合、即ち、注目する画素の近傍
となる画素を、前景だけの領域または背景だけの領域か
ら算出するために別の方法を用いる場合や、算出された
注目する画素の近傍となる画素から、注目する画素の前
景色や背景色を算出するために別の方法を用いる場合に
も、本発明の方法は適用可能であることは勿論である。

【０１１２】また、本発明に係る画像処理方法、すなわ
ち、画像を構成する前景と背景の境界に関する情報と上
記画像を用いて、前景と背景の境界付近の画素における
局所的な背景色を算出し、この背景色に基づいて画像か
ら背景色の影響を除去するという方法を用いた、処理手
順（プログラム）を記録媒体に記録し、このプログラム
を適宜読み出すことにより、容易に、注目画素における
背景色の影響を排除することができる。

【０１１３】この処理手順は、詳細に示すと、画像を構
成する前景と背景の境界に関する情報と上記入力画像を
用いて、前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出工程と、上記背景色算出手
段で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去工程とからなる。

【０１１４】また、本発明に係るキー信号生成方法、す
なわち、前景と上記背景の境界情報を算出し、この境界
情報と上記画像とを用いて、上記前景と上記背景の境界
付近における局所的な前景色と背景色とを算出し、これ
ら前景色と背景色とを用いて、上記キー信号を生成する
という方法を用いた処理手順（プログラム）を記録した
記録媒体から該プログラムを読み出して実行することに
より、容易に、注目画素のキー信号を生成することがで
きる。

【０１１５】この処理手順は、詳細に示すと、前景と上
記背景の境界情報を算出する境界情報算出工程と、上記
境界情報算出工程で算出した上記境界情報と上記画像と
を用いて、上記前景と上記背景の境界付近における局所
的な前景色を算出する前景色算出工程と、上記境界情報
算出工程で算出した上記境界情報と上記画像とを用い
て、上記前景と上記背景の境界付近における局所的な背
景色を算出する背景色算出工程と、上記前景色算出工程
で算出した上記前景色と上記背景色算出工程で算出した
上記背景色とを用いて、上記キー信号を生成するキー信
号生成工程とからなる。

【０１１６】

【発明の効果】本発明に係る画像処理装置及び方法は、
局所的な領域の背景色を自動的に算出し、画像から除去
するので、背景色に複数の色が含まれている場合にも、
画像から背景色の影響を高い精度で取り除くことが出来
る。また、オペレータが局所的な領域毎に背景色を指定
する場合に比べて、作業量が大幅に削減できる。

【０１１７】また、本発明に係るキー信号生成装置及び
方法は、前景と背景の境界付近において局所的な前景色
と背景色とを自動的に算出してキー信号を生成するの
で、局所的な領域毎に正確なキー信号を算出できる効果
がある。また、オペレータが局所的な領域毎に前景色と
背景色を指定する場合に比べて、作業量が大幅に削減で
きる。

【０１１８】また、本発明に係る画像合成装置は、上記
画像処理装置及び方法、或いは上記キー信号生成装置及
び方法を用いるので、画像合成時にオペレータの作業量
を低減させることができる。

【０１１９】また、本発明に係る記録媒体は、背景色除
去時、又はキー信号生成時にオペレータの作業量を低減
させるという効果を広く提供することができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置及び方法の実施の形
態となる背景色除去装置の機能ブロック図である。

【図２】上記図１の機能ブロック図を動作させる論理演
算部（ＡＬＵ）を含む全体構成を示す上記背景色除去装
置のブロック図である。

【図３】上記背景色除去装置の動作を説明するためのフ
ローチャートである。

【図４】上記背景色除去装置の動作を説明するための図
である。

【図５】本発明に係るキー信号生成装置及び方法の実施
の形態となるキー信号生成装置の機能ブロック図であ
る。

【図６】上記キー信号生成装置の動作を説明するための
フローチャートである。

【図７】上記キー信号生成装置の動作を説明するための
図である。

【図８】上記キー信号生成装置の要部の動作を説明する
ための特性図である。

【図９】上記背景除去装置及び方法の他の実施の形態の
動作を説明するためのフローチャートである。

【図１０】上記図９に示した他の実施の形態の動作を説
明するための図である。

【図１１】本発明に係る画像合成装置の実施の形態の構
成を示すブロック図である。

【図１２】画像合成処理を説明するための図である。

【図１３】クロマキー生成処理を説明するための図であ
る。

【符号の説明】

５最近（最も近い）画素算出部、６背景色算出部、
７背景色除去部、２４最近画素算出部、２５前景
色算出部、２６最近画素算出部、２７背景色算出
部、２８キー信号生成部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年４月２７日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正内容】

【図３】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正内容】

【図８】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

Claims

【特許請求の範囲】

【請求項１】入力画像から背景色の影響を除去する背
景色除去処理を行う画像処理装置において、上記画像を構成する前景と背景の境界に関する情報と、
上記入力画像を用いて、前景と背景の境界付近の画素に
おける局所的な背景色を算出する背景色算出手段と、上記背景色算出手段で算出した背景色に基づいて画像か
ら背景色の影響を除去する背景色除去手段とを備えるこ
とを特徴とする画像処理装置。
【請求項２】上記境界に関する情報は、前景だけの領
域と、背景だけの領域と、前景と背景が混合した領域を
形成するための情報であることを特徴とする請求項１記
載の画像処理装置。
【請求項３】上記境界情報は、パラメータで制御され
る曲面で表されるキーに関する情報であることを特徴と
する請求項１記載の画像処理装置。
【請求項４】上記境界情報を用いて上記前景と背景の
境界付近の画素に対して前景の輪郭と垂直な方向を算出
し、この方向に沿って上記背景色算出手段が上記背景色
を算出することを特徴とする請求項３記載の画像処理装
置。
【請求項５】入力画像から背景色の影響を除去する
ための画像処理方法において、上記画像を構成する前景と背景の境界に関する情報と上
記画像を用いて、前景と背景の境界付近の画素における
局所的な背景色を算出し、この背景色に基づいて画像か
ら背景色の影響を除去することを特徴とする画像処理方
法。
【請求項６】上記境界に関する情報は、前景だけの領
域と、背景だけの領域と、前景と背景が混合した領域を
形成するための情報であることを特徴とする請求項５記
載の画像処理方法。
【請求項７】上記境界情報は、パラメータで制御され
る曲面で表されるキーに関する情報であることを特徴と
する請求項５記載の画像処理方法。
【請求項８】上記境界情報を用いて上記前景と背景の
境界付近の画素に対して、前景の輪郭と垂直な方向を算
出し、この方向に沿って背景色を算出することを特徴と
する請求項７記載の画像処理方法。
【請求項９】前景と背景からなる画像からキー信号
を生成するキー信号生成装置において、上記前景と上記背景の境界情報を算出する境界情報算出
手段と、上記境界情報算出手段で算出した上記境界情報と上記画
像とを用いて上記前景と上記背景の境界付近における局
所的な前景色を算出する前景色算出手段と、上記境界情報算出手段で算出した上記境界情報と上記画
像とを用いて上記前景と上記背景の境界付近における局
所的な背景色を算出する背景色算出手段と、上記前景色算出手段で算出した上記前景色と上記背景色
算出手段で算出した上記背景色とを用いて上記キー信号
を生成するキー信号生成手段とを備えることを特徴とす
るキー信号生成装置。
【請求項１０】上記境界情報算出手段が算出した境界
情報は、前景だけの領域と、背景だけの領域と、前景と
背景が混合した領域を形成するための情報であることを
特徴とする請求項９記載のキー信号生成装置。
【請求項１１】上記境界情報算出手段が算出した境界
情報は、パラメータで制御される曲面で表されるキーに
関する情報であることを特徴とする請求項９記載のキー
信号生成装置。
【請求項１２】上記境界情報を用いて上記前景と背景
の境界付近の画素に対して前景の輪郭と垂直な方向を算
出し、この方向に沿って上記前景色算出手段及び上記背
景色算出手段が前景色及び背景色を算出することを特徴
とする請求項１１記載のキー信号生成装置。
【請求項１３】前景と背景からなる画像から前景の
キー信号を生成するキー信号生成方法において、上記前景と上記背景の境界情報を算出し、この境界情報
と上記画像とを用いて、上記前景と上記背景の境界付近
における局所的な前景色と背景色とを算出し、これら前
景色と背景色とを用いて上記キー信号を生成することを
特徴とするキー信号生成方法。
【請求項１４】上記境界情報は、前景だけの領域
と、背景だけの領域と、前景と背景が混合した領域を形
成するための情報であることを特徴とする請求項１３記
載のキー信号生成方法。
【請求項１５】上記境界情報は、パラメータで制御さ
れる曲面で表されるキーに関する情報であることを特徴
とする請求項１３記載のキー信号生成方法。
【請求項１６】上記境界情報を用いて上記前景と背景
の境界付近の画素に対して、前景の輪郭と垂直な方向を
算出し、この方向に沿って前景色及び背景色を算出する
ことを特徴とする請求項１５記載のキー信号生成方法。
【請求項１７】少なくとも前景及び背景からなる第１
の画像と、少なくとも背景からなる第２の画像とを受信
し、上記第１の画像の前景と上記第２の画像の背景とを
合成する画像合成装置において、上記画像を構成する前景と背景の境界に関する情報と上
記画像を用いて、前景と背景の境界付近の画素における
局所的な背景色を算出する背景色算出手段と、上記背景色算出手段で算出した背景色に基づいて画像か
ら背景色の影響を除去する背景色除去手段とを備えるこ
とを特徴とする画像合成装置。
【請求項１８】少なくとも前景及び背景からなる第１
の画像と、少なくとも背景からなる第２の画像とを受信
し、上記第１の画像の前景と上記第２の画像の背景とを
合成する画像合成装置において、上記前景と上記背景の境界情報を算出する境界情報算出
手段と、上記境界情報算出手段で算出した上記境界情報と上記画
像とを用いて、上記前景と上記背景の境界付近における
局所的な前景色を算出する前景色算出手段と、上記境界情報算出手段で算出した上記境界情報と上記画
像とを用いて、上記前景と上記背景の境界付近における
局所的な背景色を算出する背景色算出手段と、上記前景色算出手段で算出した上記前景色と上記背景色
算出手段で算出した上記背景色とを用いて、上記キー信
号を生成するキー信号生成手段と、上記キー信号生成手段により生成された上記キー信号を
用いて、上記第１の画像の前景と、上記第２の画像の背
景とを合成する合成手段とを備えることを特徴とする画
像合成装置。
【請求項１９】上記キー信号生成手段で生成したキー
信号と上記背景色算出手段で算出した背景色に基づい
て、上記画像から背景色の影響を除去する背景色除去手
段を備えてなり、上記合成手段では上記背景色除去手段
により背景色の影響が除去された第１の画像の前景と、
上記第２の画像の背景とを合成することを特徴とする請
求項１８記載の画像合成装置。
【請求項２０】入力画像から背景色の影響を除去する
処理手順を記録している記録媒体において、上記画像を構成する前景と背景の境界に関する情報と上
記入力画像を用いて、前景と背景の境界付近の画素にお
ける局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像か
ら背景色の影響を除去する背景色除去工程とを備える処
理手順を記録してなることを特徴とする記録媒体。
【請求項２１】前景と背景からなる画像から前景のキ
ー信号を生成する処理手順を記録している記録媒体にお
いて、上記前景と上記背景の境界情報を算出する境界情報算出
工程と、上記境界情報算出工程で算出した上記境界情報と上記画
像とを用いて、上記前景と上記背景の境界付近における
局所的な前景色を算出する前景色算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画
像とを用いて、上記前景と上記背景の境界付近における
局所的な背景色を算出する背景色算出工程と、上記前景色算出工程で算出した上記前景色と上記背景色
算出工程で算出した上記背景色とを用いて、上記キー信
号を生成するキー信号生成工程とを備える処理手順を記
録してなることを特徴とする記録媒体。