JPH0937153A - キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 正確なキー信号を得ることができるようにす
る。 【解決手段】 画像のうち、キー信号αを生成する対象
とする部分を前景Ｆとし、それ以外の部分を背景Ｂとす
るとともに、その画像を構成する画素の画素値をＣとす
るとき、式Ｃ’＝（Ｆ−Ｂ）α’を満足するように、キ
ー信号αが生成される（但し、’は微分を表す）。即
ち、変化検出部１では、画像を構成する画素間の画素値
の変化Ｃ’が算出され、Ｆ−Ｂ検出部３では、前景と背
景との差分Ｆ−Ｂが算出される。積分値計算部４では、
Ｃ’がＦ−Ｂで除算され、その除算結果が積分されるこ
とにより、キー信号αが求められる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キー信号生成装置
および画像合成装置、並びにキー信号生成方法および画
像合成方法に関する。特に、画像を構成する画素間の画
素値の変化を検出し、その画素値の変化に基づいて、キ
ー信号を生成することにより、正確なキー信号を得るこ
とができるようにしたキー信号生成装置および画像合成
装置、並びにキー信号生成方法および画像合成方法に関
する。

【０００２】

【従来の技術】例えば、映画その他の映像制作におい
て、画像（映像）の各種シミュレーションを行ったり、
あるいは画像に特殊効果を与えたりする場合には、画像
から、注目する部分（物体）を抜き出したり、その抜き
出した部分を、他の画像に合成することが行われる。こ
のような画像からの抜き出し、合成は、キー信号を用い
て行われる。

【０００３】キー信号には、ハードキーと呼ばれるもの
とソフトキーと呼ばれるものとがある。例えば、いま、
キー信号を生成するのに用いる画像のうちの注目する部
分を前景（前景画像）とするとともに、それ以外の部分
を背景（背景画像）とする場合、図３８（ａ）に示すよ
うに、画像における前景の範囲を１とするとともに、背
景の範囲を０とした２値のキー信号（マスク画像）が、
ハードキーと呼ばれる。これに対し、画像には、後述す
るエイリアスやモーションブラーが生じるが、これらを
考慮して、０および１の２値だけではなく、図３８
（ｂ）に示すように、０乃至１の範囲の連続した実数値
をとることのできるキー信号が、ソフトキーと呼ばれ
る。ここで、以下、適宜、キー信号が０から１までの間
の値をとる領域を、グレー領域という。

【０００４】従って、ハードキーは、急峻な境目を有す
る信号（キー信号が０（または１）から１（または０）
に変わる境目の傾斜が急峻になっている信号）であり、
またソフトキーは、滑らかな境目を有する信号（キー信
号が０（または１）から１（または０）に変わる境目の
傾斜が滑らかな信号）ということができる。

【０００５】ここで、図３８に図示してあるα（アルフ
ァ値）は、連続したキー信号の値を表すが、ここでは、
同時に、画素単位のキー信号の値も表すものとする。実
際には、画素単位のキー信号としては、例えば、連続し
たキー信号を、画素の範囲などでフィルタリングし、そ
の画素の中心におけるフィルタリング結果などが用いら
れる。なお、画像において、前景と背景との境界部分の
画素の画素値は、前景および背景の信号成分どうしを重
畳したものとなるが、このことから、αは、各画素につ
いて、前景がどれだけ寄与しているかを示す寄与率を表
しているということができる。

【０００６】

【発明が解決しようとする課題】ところで、前景および
背景のいずれも静止している場合において、その画像を
構成している画素の境目に、前景と背景との境界が位置
していることは稀で、通常は、図３９（ａ）に示すよう
に、前景と背景との境界は、有限の大きさを有する画素
の内部に存在する。しかしながら、画素は、画像を構成
する最小単位であるから、その内部に、上述のような前
景と背景との境界が存在しても、その画素は、図３９
（ｂ）に示すように、前景または背景のうちのいずれか
一方の色（画素値）とされる。このため、前景と背景と
の境界は、図３９（ｃ）に示すように、画素の境目に沿
って引かれ、このような画像全体を見た場合には、その
前景と背景との境界（画素の境目）部分に、不自然なち
らつき、即ちエイリアスが生じる。

【０００７】従って、キー信号として、前景と背景との
境界線を滑らかに表すものが得られたとしても、そのキ
ー信号を用いて画像合成を行った結果得られる合成画像
には、エイリアスが生じる。

【０００８】そこで、合成画像に生じるエイリアスを防
止する方法として、例えば特開昭６０−２３２７８７号
公報や特開平４−３４０６７１号公報に開示されている
ものがある。特開昭６０−２３２７８７号公報に開示さ
れている方法では、ハードキーを用いて、前景と背景と
の境界部分だけにＬＰＦをかけ、その境界部分をぼかし
て、見た目に滑らかにするようになされている。この方
法においては、ハードキーが用いられるが、前景と背景
との境界部分にＬＰＦをかけるので、キー信号に傾斜を
つけたもの、即ち、実質的には、ソフトキーを用いて、
画像合成が行われているということができる。

【０００９】また、特開平４−３４０６７１号公報に開
示されている方法では、前景と背景との境界上の注目画
素を中心とするブロックを設定し、そのブロック内の前
景および背景を構成する画素パターンから、キー信号
（ソフトキー）を算出し、これを用いて、前景の抜き出
し、合成を行うことで、エイリアスを低減するようにな
されている。

【００１０】しかしながら、以上の方法で用いられるソ
フトキーは、その傾斜部分（図３８（ｂ）において、０
＜α＜１の部分）、即ち、グレー領域における値が一様
なものであるため、例えば前景が動いている場合に生じ
るモーションブラーに対処することが困難な課題があっ
た。

【００１１】ここで、モーションブラー（動きボケ）に
ついて、簡単に説明する。動画像は、画像（静止画像）
が、例えばフレーム単位などで連続して表示されること
で実現される。例えば、いま、画像の中を、左から右方
向へ動く円形状の物体があったとして、その物体の移動
速度に対し、フレーム周期が無限小とみなすことのでき
るほど短い時間であるとした場合には、その物体は、図
４０（ａ）に示すように、各フレームにおいて円形状の
物体として表示される。しかしながら、円形状の物体の
移動速度に対し、フレーム周期が無限小とみなすことの
できるほど短い時間ではない場合、ある時刻ｔ２におけ
るフレームの画像は、図４０（ｂ）に示すように、その
１つ前のフレームの時刻ｔ１から、時刻ｔ２までの物体
の動きを反映した画像となる。即ち、時刻ｔ２における
フレームの画像の中の物体は、円形状のものではなく、
その動きの方向に薄く伸びた、輪郭のぼやけたものとな
る。このような現象がモーションブラーと呼ばれる。

【００１２】なお、モーションブラーは、前景または背
景のいずれか一方だけが動いている場合の他、両者が独
立に動いている場合も生じるが、背景だけが動いている
場合および両者が独立に動いている場合は、背景を基準
とすれば、いずれも前景だけが動いている場合と同様に
考えることができる。また、モーションブラーが生じて
いる場合には、前景と背景との明確な境界は存在しな
い。

【００１３】以上のようなモーションブラーを考慮した
キー信号を生成する方法としては、例えば特開平５−１
５３４９３号公報や特開平５−２３６３４７号公報に開
示されているものがある。特開平５−１５３４９３号公
報に開示されている方法では、現在のフレームと、その
１つ前のフレームとを比較することにより、現在のフレ
ーム（またはその１つ前のフレーム）の前景を構成する
画素の画素値と、その画素の、１つ前のフレーム（また
は現在のフレーム）の画素値との変化量（大きさ）のフ
レーム全体についての総和を求め、その総和値から、ソ
フトキーのグレー領域を決定するようになされている。
しかしながら、この方法においては、ソフトキーが、上
述した画素値の変化量（同一の画素の画素値の差分）に
依存して求められるため、前景の動きの方向が考慮され
ておらず、その動きに対応した、正確なソフトキーが得
られるのかどうかが不明であった。

【００１４】一方、特開平５−２３６３４７号公報に開
示されている方法では、まずハードキーを生成し、前景
と背景との境界上の各点において、そのハードキーの側
面（図３８（ａ）に示したα＝１の部分を底面とする円
柱の側面）を楕円錘で削り取ることで、ソフトキーを生
成するようになされており、この場合において、楕円錘
の底面を構成する楕円の長軸および短軸は、注目してい
る部分の動きベクトルとエッジ強度の大きさとから決定
されるようになされている。しかしながら、この方法に
おいては、エッジ強度の方向が正しく考量されておら
ず、やはり、前景の動きに対応した、正確なソフトキー
が得られるかどうかが不明であった。

【００１５】本発明は、このような状況に鑑みてなされ
たものであり、モーションブラーを正確に反映し、さら
に、エイリアスの影響を低減するキー信号を生成するこ
とができるようにするものである。

【００１６】

【課題を解決するための手段】請求項１に記載のキー信
号生成装置は、画像を構成する画素間の画素値の変化を
検出する変化検出手段と、変化検出手段より出力される
画素値の変化に基づいて、キー信号を生成するキー信号
生成手段とを有することを特徴とする。

【００１７】請求項１３に記載の画像合成装置は、第１
の画像を構成する画素間の画素値の変化を検出する変化
検出手段と、変化検出手段より出力される画素値の変化
に基づいて、キー信号を生成するキー信号生成手段と、
キー信号生成手段により生成されたキー信号を用いて、
第１の画像の前景画像と、第２の画像の背景画像とを合
成する合成手段とを有することを特徴とする。

【００１８】請求項１６に記載のキー信号生成方法は、
画像を構成する画素間の画素値の変化を検出し、画素値
の変化に基づいて、キー信号を生成することを特徴とす
る。

【００１９】請求項２８に記載の画像合成方法は、第１
の画像を構成する画素間の画素値の変化を検出し、画素
値の変化に基づいて、キー信号を生成し、そのキー信号
を用いて、第１の画像の前景画像と、第２の画像の背景
画像とを合成することを特徴とする。

【００２０】請求項１に記載のキー信号生成装置におい
ては、変化検出手段は、画像を構成する画素間の画素値
の変化を検出し、キー信号生成手段は、変化検出手段よ
り出力される画素値の変化に基づいて、キー信号を生成
するようになされている。

【００２１】請求項１３に記載の画像合成装置において
は、変化検出手段は、第１の画像を構成する画素間の画
素値の変化を検出し、キー信号生成手段は、変化検出手
段より出力される画素値の変化に基づいて、キー信号を
生成するようになされている。合成手段は、キー信号生
成手段により生成されたキー信号を用いて、第１の画像
の前景画像と、第２の画像の背景画像とを合成するよう
になされている。

【００２２】請求項１６に記載のキー信号生成方法にお
いては、画像を構成する画素間の画素値の変化を検出
し、画素値の変化に基づいて、キー信号を生成するよう
になされている。

【００２３】請求項２８に記載の画像合成方法において
は、第１の画像を構成する画素間の画素値の変化を検出
し、画素値の変化に基づいて、キー信号を生成し、その
キー信号を用いて、第１の画像の前景画像と、第２の画
像の背景画像とを合成するようになされている。

【００２４】

【発明の実施の形態】以下に、本発明の実施例を説明す
るが、その前に、特許請求の範囲に記載の発明の各手段
と以下の実施例との対応関係を明らかにするために、各
手段の後の括弧内に、対応する実施例（但し、一例）を
付加して、本発明の特徴を記述すると、次のようにな
る。

【００２５】即ち、請求項１に記載のキー信号生成装置
は、画像からキー信号を生成するキー信号生成装置にお
いて、画像を構成する画素間の画素値の変化を検出する
変化検出手段（例えば、図７や、図２７、図３０に示す
変化検出部１など）と、変化検出手段より出力される画
素値の変化に基づいて、キー信号を生成するキー信号生
成手段（例えば、図７や図２７に示す積分値計算部４
や、図３０に示す積分値計算部２１、およびキー信号生
成部５など）とを有することを特徴とする。

【００２６】請求項４に記載のキー信号生成装置は、画
像が、前景画像と背景画像とからなり、前景画像と背景
画像との差分を検出し、その差分を示す差分情報を出力
する差分検出手段（例えば、図７や図２７に示すＦ−Ｂ
検出部３など）をさらに有し、変化検出手段が、画素値
の変化を示す変化情報を出力し、キー信号生成手段が、
差分情報および変化情報に基づいて、キー信号を生成す
ることを特徴とする。

【００２７】請求項６に記載のキー信号生成装置は、キ
ー信号生成手段が、差分情報により、変化情報を規格化
し、その結果得られる規格化情報を出力する規格化手段
（例えば、図２１に示す規格化実行部４−２など）と、
所定の積分経路に沿って、規格化情報を積分する積分実
行手段（例えば、図２１に示す積分実行部４−３など）
とを備えることを特徴とする。

【００２８】請求項１１に記載のキー信号生成装置は、
キー信号生成手段が、積分範囲を検出する範囲検出手段
（例えば、図３３に示す積分経路決定部２１−１など）
と、積分範囲において、変化情報を所定の積分経路に沿
って積分し、その積分範囲における変化情報の定積分情
報を生成する定積分情報生成手段（例えば、図３３に示
す定積分値算出部２１−２など）と、定積分情報によ
り、変化情報を規格化し、その結果得られる規格化情報
を出力する規格化手段（例えば、図３３に示す規格化実
行部２１−３など）と、規格化情報を積分することによ
り、キー信号を生成する積分実行手段（例えば、図３３
に示す積分実行部２１−４など）とを備えることを特徴
とする。

【００２９】請求項１３に記載の画像合成装置は、少な
くとも前景画像および背景画像からなる第１の画像と、
少なくとも背景画像からなる第２の画像とを受信し、第
１の画像の前景画像と、第２の画像の背景画像とを合成
する画像合成装置において、第１の画像を構成する画素
間の画素値の変化を検出する変化検出手段（例えば、図
７や、図２７、図３０に示す変化検出部１など）と、変
化検出手段より出力される画素値の変化に基づいて、キ
ー信号を生成するキー信号生成手段（例えば、図７や図
２７に示す積分値計算部４や、図３０に示す積分値計算
部２１など）と、キー信号生成手段により生成されたキ
ー信号を用いて、第１の画像の前景画像と、第２の画像
の背景画像とを合成する合成手段（例えば、図３５に示
すミキサ６５や、図３６に示すミキサ７２など）とを有
することを特徴とする。

【００３０】請求項１４に記載の画像合成装置は、第１
の画像の前景画像と背景画像との差分を検出し、その差
分を示す差分情報を出力する差分検出手段（例えば、図
７や図２７に示すＦ−Ｂ検出部３など）をさらに有し、
変化検出手段が、画素値の変化を示す変化情報を出力
し、キー信号生成手段が、差分情報および変化情報に基
づいて、キー信号を生成することを特徴とする。

【００３１】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００３２】次に、本発明の理論的根拠（原理）につい
て説明する。なお、説明を簡単にするために、ここで
は、画像は１次元の画像であるとする。

【００３３】いま、１次元の画像Ｃを構成する、位置
（座標）ｘにおける画素の画素値をＣ（ｘ）とする。そ
して、画像Ｃが、前景（前景画像）Ｆおよび背景（背景
画像）Ｂで構成されるとし、前景Ｆまたは背景Ｂを構成
する、位置ｘの画素の画素値を、それぞれＦ（ｘ）また
はＢ（ｘ）とする。さらに、画像Ｃから前景Ｆを抜き出
すためのキー信号の位置ｘにおける値（位置ｘにおける
前景Ｆの寄与率）を、α（ｘ）とする。但し、α（ｘ）
は、０以上１以下の範囲をとり、完全に、前景Ｆまたは
背景Ｂを構成する画素の位置では、それぞれ１または０
となるものとする。そして、前景Ｆと背景Ｂとが混じり
合っている画素の位置では、前景Ｆの画素値の寄与の程
度に応じた値となるものとする。

【００３４】この場合、画像Ｃを構成する画素の画素値
Ｃ（ｘ）は、前景Ｆを構成する画素の画素値Ｆ（ｘ）と
背景Ｂを構成する画素の画素値Ｂ（ｘ）とが、キー信号
α（ｘ）に対応した割合で合成されたものと考えること
ができ、従って、画素値Ｃ（ｘ）は、次式で表すことが
できる。

【００３５】 Ｃ（ｘ）＝α（ｘ）Ｆ（ｘ）＋（１−α（ｘ））Ｂ（ｘ） ・・・（１）

【００３６】ここで、前述したエイリアスは、画素が有
限の大きさを有するために生じ、また、モーションブラ
ーは、前景Ｆまたは背景Ｂのうちのいずれか一方が動い
ている場合、およびその両方が独立して動いている場合
に生じる。そこで、以下では、［１］前景Ｆおよび背景
Ｂが静止していて、画素が無限小とみなせる場合、
［２］前景Ｆまたは背景Ｂが動いていて、画素が無限小
とみなせる場合、［３］前景Ｆおよび背景Ｂが静止して
いて、画素が有限の大きさを有する場合、および［４］
前景Ｆまたは背景Ｂが動いていて、画素が有限の大きさ
を有する場合の４つの場合に分けて説明を行う。

【００３７】［１］前景Ｆおよび背景Ｂが静止してい
て、画素が無限小とみなせる場合 この場合は、前景Ｆおよび背景Ｂが静止しているので、
モーションブラーは生じず、また画素が無限小とみなせ
るので、エイリアスも生じない。従って、キー信号α
（ｘ）は、０または１のいずれかの値をとり、その値が
１となる位置ｘは、前景Ｆの存在範囲と一致する。

【００３８】ここで、式（１）を、ｘで微分すると、式
（２）が得られる。なお、以下では、適宜、関数の引数
（ｘ）の記載は省略する。

【００３９】 Ｃ’＝（Ｆ−Ｂ）α’＋（Ｆ’−Ｂ’）α＋Ｂ’ ・・・（２） 但し、’は微分を表す。

【００４０】通常の画像を考えた場合、前景Ｆおよび背
景Ｂのテクスチャ（画素値）は一様ではなく、図１に示
すように変化している。しかしながら、前景Ｆおよび背
景Ｂを、例えば画素単位などで局所的に見た場合には、
同図に示すように、そのテクスチャは一様であると考え
ることができる。従って、局所的には、ＦおよびＢは定
数とみなすことができ、その結果、Ｆ’およびＢ’は、
いずれも０と考えることができる。このことから、式
（２）は、次のように書き直すことができる。

【００４１】 Ｃ’＝（Ｆ−Ｂ）α’ ・・・（３）

【００４２】式（３）の左辺Ｃ’は、画像Ｃを構成する
画素値Ｃ（ｘ）を、ｘで微分したものであるから、画像
Ｃを構成する画素間の画素値の変化を表している。式
（３）から、画像Ｃの画素間の画素値の変化Ｃ（ｘ）’
と、キー信号の微分値α（ｘ）’とは、前景Ｆと背景Ｂ
との差分Ｆ（ｘ）−Ｂ（ｘ）を比例定数とする比例関係
にあることが分かる。

【００４３】［２］前景Ｆまたは背景Ｂが動いていて、
画素が無限小とみなせる場合 いま、物体が動いている画像を考えた場合、図４０で説
明したように、現フレームの画像にはモーションブラー
が生じる。即ち、現フレームの画像は、現フレームの１
つ前のフレームから現フレームまでの間の物体の動きを
反映したものとなる。従って、現フレームまたはその１
つ前のフレームの時刻をそれぞれｔ２またはｔ１とし、
画像Ｃの、ある位置ｘの画素の、時刻ｔにおける画素値
をＣt（ｘ）とした場合、時刻ｔ２における位置ｘの画
素の画素値Ｃt2（ｘ）は、図２（ａ）に示すように、時
刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓ
x（ｔ）の時間積分で表すことができる。即ち、画素値
Ｃt2（ｘ）は、次式で表すことができる。

【００４４】

【数１】 ・・・（４）

【００４５】しかしながら、時刻ｔ１乃至ｔ２の間に、
位置ｘの画素を通過した画像Ｓx（ｔ）は、現フレーム
の画像またはその１つ前のフレームの画像からは知りよ
うがない。そこで、いま、現フレームの時刻ｔ２におい
て、位置ｘにある画像をＳt2（ｘ）とすると、位置ｘ１
乃至ｘ２の範囲にある画像それぞれは、Ｓt2（ｘ１）乃
至Ｓt2（ｘ２）となる。この場合において、時刻ｔ１乃
至ｔ２の間に、画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）が、
位置ｘにある画素を通過し、これにより、時刻ｔ２にお
ける位置ｘの画像の画素値Ｃt2（ｘ）が、画像Ｓt2（ｘ
１）乃至Ｓt2（ｘ２）の影響を受けたとすると、図２
（ｂ）に示すように、画素値Ｃt2（ｘ）は、時刻ｔ１乃
至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）
の時間積分に等しい、時刻ｔ２において位置ｘ１乃至ｘ
２の範囲にある画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）の空
間積分で表すことができる。即ち、画素値Ｃt2（ｘ）
は、次式で表すことができる。

【００４６】

【数２】 ・・・（５）

【００４７】ところで、時刻ｔ２における静止画像（モ
ーションブラーが生じていない画像）をＳ（ｘ）とし、
静止画像に対し、モーションブラーの効果を与えるフィ
ルタをＲ（ｘ）とすると、式（５）の右辺は、図３に示
すように、Ｓ（ｘ）とＲ（ｘ）との畳み込み積分に等し
い。従って、式（５）は、式（６）のように書き直すこ
とができる。

【００４８】 Ｃt2（ｘ）＝Ｓ（ｘ）＊Ｒ（ｘ） ・・・（６） 但し、＊は、畳み込み積分を表す。

【００４９】そこで、前景Ｆまたは背景Ｂにモーション
ブラーの効果を与えるフィルタを、それぞれＲｆ（ｘ）
またはＲｂ（ｘ）とする。そして、本実施例において
は、キー信号α（ｘ）は、前景Ｆとともに動くので、図
４（ａ）に示すように、前景Ｆに対し、フィルタＲｆ
（ｘ）によりモーションブラーの効果を与える場合に
は、図４（ｂ）に示すように、キー信号α（ｘ）にも、
同一のフィルタＲｆ（ｘ）によりモーションブラーの効
果を与える必要があることを考慮して、前景Ｆ、背景
Ｂ、キー信号αに、モーションブラーの効果を与えて、
式（１）を書き直すと、次のようになる。

【００５０】 Ｃ＝（α＊Ｒｆ）（Ｆ＊Ｒｆ）＋（１−α＊Ｒｆ）（Ｂ＊Ｒｂ） ・・・（７）

【００５１】そして、式（７）をｘで微分すると、式
（８）のようになる。

【００５２】 Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α’＊Ｒｆ） ＋（Ｆ’＊Ｒｆ−Ｂ’＊Ｒｂ）（α＊Ｒｆ）＋Ｂ’＊Ｒｂ ・・・（８）

【００５３】ここで、例えば図５に示すように、モーシ
ョンブラーの効果を与えた前景Ｆ、即ち前景Ｆをフィル
タＲｆでフィルタリングして得られる画像のテクスチャ
は、局所的に見れば、図１における場合と同様に、やは
り一様とみなすことができる。そして、このことは、背
景Ｂについても同様のことがいえる。

【００５４】従って、局所的には、Ｆ＊ＲｆおよびＢ＊
Ｒｂは定数とみなすことができ、その結果、（Ｆ＊Ｒ
ｆ）’および（Ｂ＊Ｒｂ）’は、いずれも０と考えるこ
とができる。このことから、式（８）は、次のように書
き直すことができる。

【００５５】 Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ）’ ・・・（９）

【００５６】式（９）から、画像Ｃの画素間の画素値の
変化Ｃ’と、モーションブラーの効果を考慮したキー信
号の微分値（α＊Ｒｆ）’とは、同じくモーションブラ
ーの効果を考慮した前景Ｆ＊Ｒｆと背景Ｂ＊Ｒｂとの差
分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比例定数とする比例関係にある
ことが分かる。

【００５７】［３］前景Ｆおよび背景Ｂが静止してい
て、画素が有限の大きさを有する場合 画素の大きさが無限小とみなせる場合には、図６（ａ）
に示すように、画素値は、位置ｘに対して滑らかに変化
するが、画素が有限の大きさを有する場合には、画素値
は、図６（ｂ）に示すように、位置ｘに対してステップ
状に変化するため、図６（ａ）に示す信号を単にサンプ
リングしただけでは、前景Ｆと背景Ｂとの境界では、前
述したようにエイリアスを生じる。このエイリアスを低
減するには、同図（ａ）に示すように、画素値を算出す
るためにローパスフィルタＧ（ｘ）でフィルタリングし
た後にサンプリングする方法、即ち画素位置において、
ローパスフィルタＧ（ｘ）との畳み込み積分の結果得ら
れる値を、新たな画素値とする方法がある。そこで、こ
のようにローパスフィルタＧ（ｘ）によってエイリアス
を低減した画像を考えた場合、その画素値（新たな画素
値）Ｃ（ｘ）は、式（１）から、次式で表すことができ
る。

【００５８】 Ｃ（ｘ）＝（α（ｘ）Ｆ（ｘ）＋（１−α（ｘ））Ｂ（ｘ））＊Ｇ（ｘ） ・・・（１０）

【００５９】そして、式（１０）をｘで微分すると、次
のようになる。

【００６０】 Ｃ’＝（（Ｆ−Ｂ）α’＋（Ｆ’−Ｂ’）α＋Ｂ’）＊Ｇ ＝（（Ｆ−Ｂ）α’）＊Ｇ＋（（Ｆ＊Ｇ）’−（Ｂ＊Ｇ）’）α ＋（Ｂ＊Ｇ）’ ・・・（１１）

【００６１】ここで、前景Ｆおよび背景Ｂをローパスフ
ィルタＲでフィルタリングした結果得られる画像のテク
スチャは、いずれも局所的に見れば、図１における場合
と同様に、やはり一様とみなすことができる。

【００６２】従って、局所的には、Ｆ＊ＧおよびＢ＊Ｇ
はいずれも定数とみなすことができ、その結果、（Ｆ＊
Ｇ）’および（Ｂ＊Ｇ）’は、いずれも０と考えること
ができる。このことから、式（１１）は、次のように書
き直すことができる。

【００６３】 Ｃ’＝（（Ｆ−Ｂ）α’）＊Ｇ ・・・（１２）

【００６４】また、図１で説明したように、局所的に見
れば、ＦおよびＢはいずれも定数とみなすことができる
ので、式（１２）は、さらに、次のように書き直すこと
ができる。

【００６５】 Ｃ’＝（Ｆ−Ｂ）（α＊Ｇ）’ ・・・（１３）

【００６６】式（１３）から、画像Ｃの画素間の画素値
の変化Ｃ’と、エイリアスを低減するキー信号の微分値
（α＊Ｇ）’とは、前景Ｆと背景Ｂとの差分Ｆ−Ｂを比
例定数とする比例関係にあることが分かる。

【００６７】［４］前景Ｆまたは背景Ｂが動いていて、
画素が有限の大きさを有する場合 この場合は、上述した式（１），（７）、および（１
０）から、画素値Ｃは、次式で表すことができる。

【００６８】 Ｃ＝（（α＊Ｒｆ）（Ｆ＊Ｒｆ）＋（１−α＊Ｒｆ）（Ｂ＊Ｒｆ））＊Ｇ ・・・（１４）

【００６９】式（１４）をｘで微分すると、次のように
なる。 Ｃ’＝（（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α’＊Ｒｆ） ＋（Ｆ’＊Ｒｆ−Ｂ’＊Ｒｂ）（α＊Ｒｆ）＋Ｂ’＊Ｒｂ）＊Ｇ ・・・（１５）

【００７０】ここで、前景ＦをフィルタＲｆでフィルタ
リングし、さらにそれをローパスフィルタＧでフィルタ
リングして得られる画像のテクスチャは、局所的に見れ
ば、図１における場合と同様に、やはり一様とみなすこ
とができる。そして、このことは、背景Ｂについても同
様のことがいえる。

【００７１】従って、局所的には、Ｆ＊Ｒｆ＊Ｇおよび
Ｂ＊Ｒｂ＊Ｇは定数とみなすことができ、その結果、
（Ｆ＊Ｒｆ＊Ｇ）’および（Ｂ＊Ｒｂ＊Ｇ）’は、いず
れも０と考えることができる。さらに、図１で説明した
ように、局所的に見れば、ＦおよびＢはいずれも定数と
みなすことができる。このことから、式（１５）は、次
のように書き直すことができる。

【００７２】 Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ＊Ｇ）’ ・・・（１６）

【００７３】式（１６）から、画像Ｃの画素間の画素値
の変化Ｃ’と、モーションブラーの効果を考慮し、かつ
エイリアスを低減するキー信号の微分値（α＊Ｒｆ＊
Ｇ）’とは、モーションブラーの効果を考慮した前景Ｆ
＊Ｒｆと背景Ｂ＊Ｒｂとの差分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比
例定数とする比例関係にあることが分かる。

【００７４】以上の式（３），（９），（１３）、およ
び（１６）から、上述の［１］乃至［４］のいずれの場
合も、画像Ｃの画素間の画素値の変化Ｃ’と、キー信号
の微分値α’との間には比例関係があり、その比例定数
は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂである
ことが分かる。即ち、画像Ｃにモーションブラーやエイ
リアスが生じていなくても、Ｃ’とα’との比例関係は
成立し、また、画像Ｃにモーションブラーまたはエイリ
アスが生じている場合には、そのモーションブラーの影
響を考慮したキー信号αまたはエイリアスを低減するキ
ー信号αと画素値Ｃとの間についても、Ｃ’とα’との
比例関係は成立する。そして、いずれの場合も、比例定
数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂとな
る。

【００７５】従って、この比例関係を成立させるような
キー信号αは、画像Ｃにモーションブラーが生じている
場合には、そのモーションブラーの影響を考慮したもの
となり、また、画像Ｃにエイリアスが生じている場合に
は、そのエイリアスを低減するものとなることになる。
本発明は、以上の理論的根拠（原理）に基づくものであ
る。

【００７６】図７は、以上の原理に基づいて、キー信号
を生成するキー信号生成装置の一実施例の構成を示して
いる。変化検出部１には、キー信号を生成するための画
像Ｃが入力されるようになされている。そして、変化検
出部１は、画像Ｃの画素間の画素値の変化Ｃ’（変化情
報）を算出（検出）し、特徴点検出部２および積分値計
算部４に出力するようになされている。

【００７７】特徴点検出部２は、変化検出部１からの画
素値の変化Ｃ’に基づいて、後述する経路決定用閉曲線
および特徴点を検出し、Ｆ−Ｂ検出部３および積分値計
算部４に供給するようになされている。

【００７８】Ｆ−Ｂ検出部３には、変化検出部１から画
素値の変化Ｃ’が、特徴点検出部２から経路決定用閉曲
線および特徴点が、それぞれ供給される他、変化検出部
１に入力される画像と同一の画像Ｃが入力されるように
なされている。そして、Ｆ−Ｂ検出部３は、画像Ｃの前
景Ｆと背景Ｂとの差分Ｆ−Ｂ（差分情報）を演算（検
出）し、積分値計算部４に出力するようになされてい
る。

【００７９】積分値計算部４は、変化検出部１からの画
素値の変化Ｃ’、特徴点検出部２からの経路決定用閉曲
線および特徴点、並びにＦ−Ｂ検出部３からの差分Ｆ−
Ｂに基づいて、画像Ｃ全体に対応するキー信号αのうち
の、後述する骨組み部分を算出し、キー信号生成部５に
出力するようになされている。

【００８０】キー信号生成部５は、積分値計算部４の出
力を用いて、画像Ｃから前景Ｆを抜き出し、また、その
抜き出した前景Ｆを、他の画像に合成するためのキー信
号を生成するようになされている。即ち、積分値計算部
４が出力するキー信号は、画像Ｃ全体に対応するキー信
号αのうちの骨組み部分だけであり、キー信号生成部５
は、キー信号の骨組み部分以外の部分を補間し、これに
より、画像Ｃ全体に対応するキー信号αを生成するよう
になされている。

【００８１】次に、図８のフローチャートを参照して、
その動作について説明する。なお、以下では、画像Ｃ
は、ｘｙ平面上の画像、即ち２次元の画像であるものと
する。

【００８２】キー信号を生成するための画像Ｃが入力さ
れると、その画像Ｃは、変化検出部１およびＦ−Ｂ検出
部３に供給される。変化検出部１では、画像Ｃが入力さ
れると、ステップＳ１において、その画像Ｃの画素間の
画素値の変化Ｃ’が算出される。即ち、ステップＳ１で
は、画像Ｃを構成する各画素について、その隣接画素と
の、例えば色空間上の距離が算出され、これが画像Ｃの
画素間の画素値の変化（この場合は、色変化）Ｃ’とし
て出力される。

【００８３】即ち、図９は、図７の変化検出部１の構成
例を示している。画像Ｃは、ＲＧＢ分解部１−１に供給
されるようになされており、ＲＧＢ分解部１−１は、画
像Ｃを、例えばＲＧＢ（Red, Green, Blue）空間の各軸
方向の成分、つまり、Ｒ，Ｇ，Ｂ成分に分解するように
なされている。Ｒ，Ｇ，Ｂ成分は、１次微分値計算部１
−２Ｒ，１−２Ｇ，１−２Ｂにそれぞれ供給されるよう
になされている。

【００８４】１次微分値計算部１−２Ｒ，１−２Ｇ，１
−２Ｂは、Ｒ，Ｇ，Ｂ成分それぞれの１次微分値Ｒ’，
Ｇ’，Ｂ’を計算し、これにより、各成分の変化（勾
配）（画像Ｃが存在するｘｙ平面に、これに垂直な画素
値を表す軸を加えた空間上において、画像Ｃの画素値
（各成分）で構成される曲面を考えた場合の、その曲面
の勾配（gradient））の方向および大きさを算出するよ
うになされている。

【００８５】Ｒ，Ｇ，Ｂ成分それぞれの変化の方向と大
きさは、ベクトル合成部１−３に供給されるようになさ
れており、ベクトル合成部１−３は、１次微分値計算部
１−２Ｒ，１−２Ｇ，１−２ＢからのＲ，Ｇ，Ｂ成分そ
れぞれの変化の方向を合成するとともに、それぞれの大
きさを合成し、これにより、画像Ｃの画素間の画素値の
変化（色変化）Ｃ’（従って、Ｃ’はベクトルである）
を算出するようになされている。

【００８６】次に、図１０のフローチャートを参照し
て、その動作について説明する。変化検出部１では、ま
ず最初に、ステップＳ１−１において、ＲＧＢ分解部１
−１によって、画像Ｃが、ＲＧＢ空間の各軸方向の成
分、即ち、Ｒ，Ｇ，Ｂ成分に分解される。なお、画像Ｃ
は、ＲＧＢ以外の色空間である、例えば、ＹＵＶ空間に
おけるＹ，Ｕ，Ｖ成分などに分解するようにしても良
い。即ち、用いる色空間は、特に限定されるものではな
い。また、画像Ｃは、色空間の各軸方向の成分に分解す
る他、そこから、輝度成分のみを抽出し、この輝度成分
だけを対象に、後段の処理を行うようにしても良い。

【００８７】ステップＳ１−１において得られたＲ，
Ｇ，Ｂ成分は、ＲＧＢ分解部１−１から１次微分計算部
１−２Ｒ，１−２Ｇ，１−２Ｂそれぞれに出力される。
１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂは、Ｒ，
Ｇ，Ｂ成分を受信すると、ステップＳ１−２において、
そのＲ，Ｇ，Ｂ成分の１次微分値Ｒ’，Ｇ’，Ｂ’を計
算する。

【００８８】なお、本実施例では、各成分の１次微分値
は、例えば各成分とソーベルオペレータなどとの畳み込
みを行うことによって求められるようになされている。
即ち、１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂで
は、Ｒ，Ｇ，Ｂ成分それぞれのｘまたはｙ方向成分と、
図１１に示すソーベルオペレータＳＯｘまたはＳＯｙと
の畳み込みを行うことにより得られる値ｆｘ，ｆｙが、
ｘまたはｙ方向の１次微分値とされる。

【００８９】以上のようにして求められるＲ，Ｇ，Ｂ成
分の１次微分値、即ち、Ｒ，Ｇ，Ｂ成分の変化は、その
大きさ（勾配）が、各画素において最大となるものであ
り、従って、各成分の変化の方向は、エッジ強度が最大
となる方向に一致する。つまり、ステップＳ１−２で
は、図１２に示すように、注目画素（同図において、斜
線を付してある部分）に対して３６０°のうちのいずれ
かの方向のうち、エッジ強度が最大となる方向に一致す
る方向についてのＲ，Ｇ，Ｂ成分の変化が求められる。

【００９０】１次微分計算部１−２Ｒ，１−２Ｇ，１−
２Ｂそれぞれで求められたＲ，Ｇ，Ｂ成分の１次微分値
Ｒ’，Ｇ’，Ｂ’（これらは、上述したように、大きさ
と方向を有するからベクトルである）は、いずれもベク
トル合成部１−３に供給される。ベクトル合成部１−３
では、ステップＳ１−３において、１次微分値Ｒ’，
Ｇ’，Ｂ’が合成され、これにより、画像Ｃの画素間の
画素値の変化（色変化）Ｃ’が算出される。即ち、１次
微分値Ｒ’，Ｇ’，Ｂ’を、それぞれ（ｒｘ，ｒｙ），
（ｇｘ，ｇｙ），（ｂｘ，ｂｙ）と表すとともに、Ｃ’
を（ｃｘ，ｃｙ）と表すとすれば（（ａ，ｂ）のａまた
はｂは、それぞれｘまたはｙ成分を表す）、ステップＳ
１−３では、画素値の変化Ｃ’のｘ成分ｃｘ、またはｙ
成分ｃｙが、式ｒｘ＋ｇｘ＋ｂｘ、またはｒｙ＋ｇｙ＋
ｂｙそれぞれによって与えられ、処理を終了する。

【００９１】変化検出部１において、以上のようにして
求められた画素値の変化Ｃ’は、特徴点検出部２および
積分値計算部４に供給される。特徴点検出部２は、変化
検出部１から画素値の変化Ｃ’を受信すると、ステップ
Ｓ２（図８）において、その画素値の変化Ｃ’から、経
路決定用閉曲線および特徴点を検出する。

【００９２】即ち、図１３は、特徴点検出部２の構成例
を示している。境界検出部２−１には、変化検出部１か
らの画素値の変化Ｃ’が供給されるようになされてい
る。そして、境界検出部２−１は、画素値の変化Ｃ’か
ら、画像Ｃを構成する前景（物体）Ｆと背景Ｂとの境界
を検出するようになされている。即ち、境界検出部２１
は、例えば、画素値の変化Ｃ’が大きい点（画素）を検
出し、そのような点を接続することにより構成される、
例えば、図１４（ａ）に示すような閉曲線（この閉曲線
は、後述する積分経路を決定するために用いられるの
で、以下、適宜、経路決定用閉曲線という）を、前景Ｆ
と背景Ｂとの境界（画像Ｃにおける物体の境界）として
検出するようになされている。

【００９３】境界検出部２−１で検出された経路決定用
閉曲線は、特徴点決定部２−２に供給されるようになさ
れており、特徴点決定部２−２は、図１４（ｂ）に示す
ように、境界検出部２−１からの経路決定用閉曲線上の
所定の点を、特徴点として決定するようになされてい
る。即ち、特徴点決定部２−２は、例えば、経路決定用
閉曲線を構成する点のうち、その曲率が高い点を検出
し、その点を、特徴点として決定する。

【００９４】あるいは、また、特徴点決定部２−２は、
例えば、図１４（ｃ）に示すように、経路決定用閉曲線
を囲む閉曲線（同図（ｃ）において点線で示す部分）を
考え、その閉曲線と、経路決定用閉曲線とで囲まれる背
景Ｂの領域を、その画素値の変化Ｃ’が比較的一定な、
幾つかの領域（以下、適宜、背景一定領域という）に分
割する。さらに、特徴点決定部２−２は、経路決定用閉
曲線を、背景一定領域単位に区切り、これにより微小区
間に分割する。そして、特徴点決定部２−２は、各微小
区間における中点を検出し、その点を、特徴点として決
定する。

【００９５】なお、特徴点の検出方法については、本件
出願人が先に出願した、例えば特願平７−１４０９３２
号などに、その詳細が開示されている。

【００９６】次に、図１５のフローチャートを参照し
て、その動作について説明する。境界検出部２−１は、
変化検出部１から画素値の変化Ｃ’を受信すると、ステ
ップＳ２−１において、その画素値の変化Ｃ’が大きい
点（画素）を検出し、そのような点を接続することで、
経路決定用閉曲線を構成する。この経路決定用閉曲線
は、特徴点決定部２−２に供給され、特徴点決定部２−
２は、経路決定用閉曲線を受信すると、ステップＳ２−
２において、上述したように、その経路決定用閉曲線上
の所定の点を、特徴点として決定し、処理を終了する。

【００９７】なお、境界検出部２−１または特徴点決定
部２−２においてそれぞれ得られた経路決定用閉曲線ま
たは特徴点は、Ｆ−Ｂ検出部３および積分値計算部４に
供給される。

【００９８】図８に戻り、ステップＳ２において、以上
のようにして経路決定用閉曲線および特徴点が検出され
ると、ステップＳ３に進み、Ｆ−Ｂ検出部３において、
画像Ｃを構成する前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景
Ｆと背景Ｂとの画素値の差分）が演算（検出）される。

【００９９】即ち、図１６は、図７のＦ−Ｂ検出部３の
構成例を示している。微小領域検出部３−１には、画像
Ｃ（画像値）の他、特徴点検出部２が出力する特徴点お
よび経路決定用閉曲線が供給されるようになされてお
り、微小領域検出部３−１は、例えば、図１７（ａ）に
示すように、特徴点を含む微小領域を検出するようにな
されている。即ち、微小領域検出部３−１は、図１７
（ａ）の一部を拡大した図１７（ｂ）に示すように、例
えば、特徴点から等距離にある点で、経路決定用閉曲線
を微小な線分に分割し、その線分から、前景Ｆまたは背
景Ｂ側に所定の距離（例えば、４画素分の距離など）に
ある範囲を、微小領域（図１７（ｂ）において斜線を付
してある部分）として検出する。

【０１００】そして、微小領域検出部３−１は、各微小
領域について、その領域に含まれる前景Ｆを構成する画
素（経路決定用閉曲線より前景Ｆ側にある画素）（同図
（ｂ）において左下がりの斜線を付してある部分）を抽
出し、その画素の画素値（以下、適宜、Ｆ境界画素値と
いう）を色分布形成部３−２Ｆに供給するとともに、背
景Ｂを構成する画素（経路決定用閉曲線より背景Ｂ側に
ある画素）（同図（ｂ）において右下がりの斜線を付し
てある部分）を抽出し、その画素の画素値（以下、適
宜、Ｂ境界画素値という）を色分布形成部３−２Ｂに供
給するようになされている。

【０１０１】色分布形成部３−２Ｆまたは３−２Ｂは、
微小領域検出部３−１から供給される各微小領域ごとの
Ｆ境界画素値またはＢ境界画素値の、例えばＲＧＢ空間
などの色空間上における色分布を求め、重心検出部３−
３Ｆまたは３−３Ｂにそれぞれ供給するようになされて
いる。重心検出部３−３Ｆまたは３−３Ｂは、色分布形
成部３−２Ｆまたは３−２ＢからのＦ境界画素値または
Ｂ境界画素値の色分布の重心を求め、それぞれを、グレ
ー領域における画素の、前景Ｆまたは背景Ｂの画素値と
して（擬制して）、差分演算部３−４に供給するように
なされている。差分演算部３−４は、図１８に示すよう
に、重心検出部３−３Ｆより供給されるＦ境界画素値の
色分布の重心から、重心検出部３−３Ｂより供給される
Ｂ境界画素値の色分布の重心を減算し、これを、微小領
域（あるいは、その微小領域に含まれる特徴点）におけ
る前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景Ｆと背景Ｂとの
画素値の差分）（従って、これもＣ’と同様、ベクトル
である）として出力するようになされている。

【０１０２】次に、その動作について、図１９のフロー
チャートを参照して説明する。まず最初に、ステップＳ
３−１では、微小領域検出部３−１において、特徴点お
よび経路決定用閉曲線に基づいて、図１７で説明した微
小領域が検出され、さらに、その微小領域におけるＦ境
界画素値およびＢ境界画素値が抽出され、それぞれが、
色分布形成部３−２Ｆまたは３−２Ｂに供給される。

【０１０３】色分布形成部３−２Ｆまたは３−２Ｂで
は、ステップＳ３−２において、ある微小領域における
Ｆ境界画素値またはＢ境界画素値のＲＧＢ空間上におけ
る色分布が求められ、重心検出部３−３Ｆまたは３−３
Ｂにそれぞれ供給され、ステップＳ３−３に進む。ステ
ップＳ３−３では、重心検出部３−３Ｆまたは３−３Ｂ
それぞれにおいて、Ｆ境界画素値またはＢ境界画素値の
色分布の重心が算出（検出）され、差分演算部３−４に
供給される。差分演算部３−４では、ステップＳ３−４
において、Ｆ境界画素値の色分布の重心と、Ｂ境界画素
値の色分布の重心との差分値が求められ、これが、微小
領域に含まれる特徴点における前景Ｆと背景Ｂとの差分
Ｆ−Ｂとして出力される。

【０１０４】以上のようにして、ある微小領域に含まれ
る特徴点における前景Ｆと背景Ｂとの差分Ｆ−Ｂが得ら
れた後は、ステップＳ３−５に進み、微小領域検出部３
−１において検出されたすべての微小領域（特徴点検出
部２で検出されたすべての特徴点）について、差分Ｆ−
Ｂが求められたかどうかが判定される。ステップＳ３−
５において、差分Ｆ−Ｂが、まだ、すべての微小領域に
ついて求められていないと判定された場合、ステップＳ
３−２に戻り、差分Ｆ−Ｂが求められていない微小領域
を対象に、ステップＳ３−２以下の処理が行われる。一
方、ステップＳ３−５において、差分Ｆ−Ｂが、すべて
の微小領域について求められたと判定された場合、処理
を終了する。

【０１０５】なお、以上のようにして得られる前景Ｆと
背景Ｂとの差分（ベクトル）Ｆ−Ｂの方向は、エッジ強
度が最大となる方向に一致（ほぼ一致）し、従って、Ｆ
−Ｂの方向とＣ’の方向とは一致（ほぼ一致）する。

【０１０６】さらに、図１６の実施例では、画素値の変
化Ｃ’から得られた経路決定用閉曲線（前景Ｆと背景Ｂ
との境界）から、微小領域を求め、この微小領域から、
差分Ｆ−Ｂを求めるようにしたが、Ｆ−Ｂ検出部３に
は、差分Ｆ−Ｂを、その他、例えば次のようにして求め
させるようにすることも可能である。即ち、例えば、Ｆ
−Ｂ検出部３に対しては、画像Ｃのフレームだけではな
く、その前後の、動画像を構成するフレームも時系列に
入力するようにし、Ｆ−Ｂ検出部３には、いま入力され
たフレームを、次のフレームが入力されるまで記憶させ
るようにする。さらに、Ｆ−Ｂ検出部３には、キー信号
を生成するための画像Ｃが入力された場合に、その画像
Ｃのフレームと、記憶していた、その１つ前のフレーム
とを、いわゆるブロックマッチングさせ、その結果およ
び必要ならばそれ以前のブロックマッチングの結果に基
づいて、前景Ｆと背景Ｂとの境界を検出させる。そし
て、その境界から推測される経路決定用閉曲線上の特徴
点を決定させ、図１９のステップＳ３−１，Ｓ３−２に
おける場合と同様にして各特徴点を含む微小領域を検出
させる。その後、この検出した各微小領域ごとに、画像
Ｃを構成する前景Ｆまたは背景Ｂそれぞれの色分布を認
識させ、以下、図１９のステップＳ３−３，Ｓ３−４に
おける場合と同様に、前景Ｆまたは背景Ｂそれぞれの色
分布の重心を求めさせ、さらに、背景Ｂの色分布の重心
の位置に対する背景Ｆの色分布の重心の位置の方向、お
よび両者の色空間上での距離、即ち、前景Ｆと背景Ｂと
の差分Ｆ−Ｂを求めさせる。

【０１０７】この場合、特徴点検出部２からＦ−Ｂ検出
部３に対しては、経路決定用閉曲線および特徴点を供給
する必要がない。

【０１０８】なお、上述のようなブロックマッチングを
用いて、前景Ｆと背景Ｂとの境界を検出する方法につい
ては、例えば特願平７−１６４７９２号などに、その詳
細が開示されている。

【０１０９】また、前景Ｆと背景Ｂとの境界を検出する
方法は、上述したような、画素値の変化Ｃ’を用いる方
法や、ブロックマッチングを用いる方法に限定されるも
のではなく、前景Ｆと背景Ｂとの境界の検出は、例えば
図２７において後述するように、ユーザにより指示して
もらうことによって行うようにすることなども可能であ
る。さらに、前景Ｆと背景Ｂとの境界は、例えば、ユー
ザにより指示してもらう方法と、画素値の変化Ｃ’を用
いる方法とを併用して検出することも可能である。ま
た、前景Ｆと背景Ｂとの境界は、例えば、ユーザにより
指示してもらう方法と、ブロックマッチングを用いる方
法とを併用して検出するようにすることも可能である。
即ち、例えば、最初のフレームについては、前景Ｆと背
景Ｂとの境界を、ユーザに指示してもらい、その後のフ
レームについては、ブロックマッチングにより、前景Ｆ
と背景Ｂとの境界を検出するようにすることができる。

【０１１０】さらに、差分Ｆ−Ｂを検出する方法は、上
述した方法に限定されるものではなく、その他の方法を
用いることも可能である。

【０１１１】また、図８では、ステップＳ２の処理後、
ステップＳ３の処理を行うようにしたが、特徴点検出部
２からＦ−Ｂ検出部３に対して、経路決定用閉曲線およ
び特徴点を供給する必要がない場合には、ステップＳ２
とＳ３の処理は、その逆の順序で行うようにすることも
できるし、同時に行うようにすることもできる。

【０１１２】図８に戻り、ステップＳ３において、以上
のようにして求められた差分Ｆ−Ｂは、Ｆ−Ｂ検出部３
から積分値計算部４に供給される。積分値計算部４で
は、ステップＳ４において、変化検出部１からの画素値
の変化Ｃ’が、Ｆ−Ｂ検出部３からの差分Ｆ−Ｂの絶対
値｜Ｆ−Ｂ｜により規格化され、ステップＳ５に進み、
その規格値Ｃ’／｜Ｆ−Ｂ｜が、例えば、画素値の変化
Ｃ’を算出（検出）した方向などに沿って積分されるこ
とにより、キー信号αの骨組み部分が算出される。

【０１１３】即ち、上述したように、画像Ｃの画素間の
画素値の変化Ｃ’と、キー信号の微分値α’との間には
比例関係があり、その比例定数は、画像Ｃを構成する前
景と背景との差分Ｆ−Ｂであること、即ち、式Ｃ’＝
（Ｆ−Ｂ）α’が成立することから、キー信号は、次式
によって求めることができる。

【０１１４】

【数３】 ・・・（１７） 但し、α（ｐ）は、画像Ｃを構成する、位置（点）ｐ
（ｘ，ｙ）における画素に対するキー信号を意味し、Ｆ
（ｐ）またはＢ（ｐ）それぞれは、画像Ｃを構成する前
景Ｆまたは背景Ｂの、位置ｐ（ｘ，ｙ）における画素の
画素値を意味する。さらに、Ｃ（ｐ）は、画像Ｃを構成
する、位置ｐ（ｘ，ｙ）における画素の画素値を意味す
る。なお、以下、適宜、関数の引数（ｐ）の記載は省略
する。

【０１１５】従って、ステップＳ４では、式（１７）の
右辺を構成するＣ’／｜Ｆ−Ｂ｜、即ちＣ’を｜Ｆ−Ｂ
｜で規格化した規格値が求められ、ステップＳ５では、
式（１７）の右辺における積分、即ち、例えば、画素値
の変化Ｃ’を検出した方向に沿っての、規格値Ｃ’／｜
Ｆ−Ｂ｜の積分が行われる。Ｃ’をそのまま積分せず、
これを｜Ｆ−Ｂ｜で規格化したものを積分することで、
その結果得られる値、即ちαは、０乃至１の範囲の値を
とることになる。

【０１１６】ここで、ステップＳ５で行われる積分につ
いて、さらに説明する。いま、図２０に示すように、画
像Ｃが存在するｘｙ平面に、それと垂直なｚ軸を設けた
空間を考え、ｚ軸方向に画素値をとると、その空間に
は、画素値でなる平面（曲面）Ｖが形成される。なお、
画像Ｃがカラーの画像であれば、画素値には、上述した
ようにＲＧＢやＹＵＶなどの３成分があるが、ここで
は、説明を簡単にするために、画素値が１成分でなると
する。

【０１１７】この場合、画像Ｃ上のある点ｐを通り、ｘ
ｙ平面と垂直な直線と、平面Ｖとの交点における勾配、
即ち、位置ｐにある画素の画素値Ｃ（ｐ）の変化は、そ
の点Ｃ（ｐ）から平面Ｖを見た場合の最大傾斜方向のベ
クトル（点Ｃ（ｐ）における平面Ｖのgradientを計算す
ることにより得られるベクトル）として表すことができ
る。

【０１１８】ここで、最大傾斜方向とは、点Ｃ（ｐ）に
無限小の大きさのボールを置いた場合に、そのボールが
転がっていく方向である。

【０１１９】いま、点Ｃ（ｐ）にボールを置いて、その
ボールが、点Ｃ（ｐ０）まで落下した（転がった）とし
た場合に、そのボールが、平面Ｖ上に描いた軌跡（経
路）をＵとすると、式（１７）の積分は、この経路（以
下、適宜、最大傾斜方向経路という）Ｕに沿っての積分
を意味し、また、式（１７）は、この積分を行うこと
で、位置ｐにある画素に対するキー信号α（ｐ）が求め
られることを意味している。

【０１２０】従って、位置ｐ０にある画素に対するキー
信号α（ｐ０）が分かれば、式（１７）から、次式にし
たがって、位置ｐにある画素に対するキー信号α（ｐ）
を求めることができる。

【０１２１】

【数４】 ・・・（１８） 但し、右上にＵを付した積分記号は、最大傾斜方向経路
Ｕに沿っての積分を意味する。

【０１２２】ステップＳ５では、例えば、式（１８）の
右辺の計算が行われることなどによって、キー信号（キ
ー信号の骨組み部分）が求められる。

【０１２３】なお、式（１８）の右辺の積分は、必ずし
も最大傾斜方向経路Ｕに沿って行う必要はない。即ち、
点Ｃ（ｐ）から点Ｃ（ｐ０）までの経路として、最大傾
斜方向経路Ｕでない経路Ｕ１（図２０）に沿って積分を
行うことも可能である。即ち、式（１８）の右辺の積分
は、最大傾斜方向経路Ｕ上の各点の勾配を積分すること
を意味するから、その他の経路Ｕ１に沿って積分してい
く場合には、その経路Ｕ１上の各点の勾配のうちの、最
大傾斜方向経路Ｕの方向の成分を積分（従って、この積
分も、結局は、最大傾斜方向経路Ｕに沿っての積分と同
一であるということができる）していくことで、最大傾
斜方向経路Ｕに沿って積分を行った場合と同一のキー信
号を求めることができる。

【０１２４】但し、最大傾斜方向経路Ｕ以外の経路に沿
って積分を行う場合は、最大傾斜方向経路Ｕに沿って積
分を行う場合に比較して演算量が増加するので、積分
は、最大傾斜方向経路Ｕに、できるだけ沿って行うのが
好ましい。

【０１２５】図２１は、以上のような処理を行う、図７
の積分値計算部４の構成例を示している。特徴点検出部
２からの経路決定用閉曲線および特徴点は、積分経路決
定部４−１に供給されるようになされており、また、変
化検出部１からの画素値の変化Ｃ’およびＦ−Ｂ検出部
３からの差分Ｆ−Ｂは、規格化実行部４−２に供給され
るようになされている。

【０１２６】積分経路決定部４−１は、特徴点検出部２
からの経路決定用閉曲線および特徴点に基づいて、式
（１８）の積分を行うための積分経路を決定するように
なされている。即ち、積分経路決定部４−１は、図２２
（ａ）に示すように、経路決定用閉曲線の法線方向の直
線であって、特徴点を通るものを、その特徴点について
の積分経路として決定する。以上のようにして求められ
た特徴点についての積分経路は、規格化実行部４−２お
よび積分実行部４−３に供給されるようになされてい
る。

【０１２７】なお、このようにして決定された積分経路
は、ほぼ、最大傾斜方向経路Ｕに沿ったものとなる。

【０１２８】規格化実行部４−２は、積分経路決定部４
−１から供給される積分経路上にある画素の画素値の変
化Ｃ’を、差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜で規格化した
規格値Ｃ’／｜Ｆ−Ｂ｜（規格化情報）を求め、積分実
行部４−３に供給するようになされている。積分実行部
４−３は、式（１８）にしたがい、規格値Ｃ’／｜Ｆ−
Ｂ｜の積分を、積分経路決定部４−１からの積分経路に
沿って行い、これにより、その積分経路上のキー信号を
求めるようになされている。この積分経路上のキー信号
は、閉曲線生成部４−４に供給されるようになされてお
り、閉曲線生成部４−４は、積分実行部４−３より供給
されるキー信号から、後述するｐ１閉曲線およびｐ２閉
曲線を生成するようになされている。

【０１２９】即ち、積分実行部４−３において、図２２
（ａ）に示した積分経路に沿って、式（１８）にしたが
った積分が行われることにより、その積分経路上のキー
信号αが得られるが、そのキー信号は、グレー領域と背
景Ｂとの境界で０となり、また、グレー領域と前景Ｆと
の境界で１となる。閉曲線生成部４−４では、図２２
（ａ）に示すように、各積分経路上のキー信号が０とな
る点（α＝０となる点）（以下、適宜、点ｐ１という）
が求められるとともに、キー信号が１となる点（α＝１
となる点）（以下、適宜、点ｐ２という）が求められ、
各積分経路上の点ｐ１またはｐ２どうしがそれぞれ接続
される。そして、図２２（ｂ）に示すように、点ｐ１ど
うしを接続して得られる閉曲線がｐ１閉曲線として、ま
た、点ｐ２どうしを接続して得られる閉曲線がｐ２閉曲
線として、それぞれ出力される。

【０１３０】積分実行部４−３で得られたキー信号、並
びに閉曲線生成部４−４で得られたｐ１曲線およびｐ２
曲線は、キー信号生成部５（図７）に供給されるように
なされている。

【０１３１】次に、その動作について、図２３のフロー
チャートを参照して説明する。まず最初に、ステップＳ
４−１において、積分経路決定部４−１は、特徴点検出
部２から受信した特徴点のうちのいずれかを注目特徴点
とし、その注目特徴点を通る直線であって、特徴点検出
部２からの経路決定用閉曲線の法線方向のものを、その
注目特徴点についての積分経路として決定する。この注
目特徴点についての積分経路は、規格化実行部４−２お
よび積分実行部４−３に供給される。

【０１３２】そして、ステップＳ４−２に進み、規格化
実行部４−２において、積分経路決定部４−１からの積
分経路上にある画素の画素値の変化Ｃ’が、Ｆ−Ｂ検出
部３から供給される差分Ｆ−Ｂであって、注目特徴点を
含む微小領域（図１７）から求められたものの絶対値｜
Ｆ−Ｂ｜で除算され、その結果得られる規格値Ｃ’／｜
Ｆ−Ｂ｜が、積分実行部４−３に供給される。積分実行
部４−３は、積分経路およびその積分経路上にある画素
についての規格値Ｃ’／｜Ｆ−Ｂ｜を受信すると、ステ
ップＳ４−３において、式（１８）にしたがい、規格値
Ｃ’／｜Ｆ−Ｂ｜を、積分経路決定部４−１からの積分
経路に沿って積分し、これにより、その積分経路上のキ
ー信号αを算出する。このキー信号は、閉曲線生成部４
−４に供給される。

【０１３３】ここで、積分実行部４−３では、例えば、
注目特徴点が、α＝０．５となる点とみなされ、この注
目特徴点を始点として、式（１８）の積分が行われる。
従って、ここでは、式（１８）の積分は、α（ｐ０）を
０．５として行われる。

【０１３４】その後、ステップＳ４−４に進み、積分経
路決定部４−１は、特徴点検出部２からの特徴点すべて
を、注目特徴点としたかどうかを判定する。ステップＳ
４−４において、特徴点検出部２からの特徴点すべて
を、まだ、注目特徴点としていないと判定された場合、
ステップＳ４−１に戻り、積分経路決定部４−１におい
て、まだ注目特徴点とされていない特徴点が、新たに注
目特徴点とされ、以下、上述した処理が繰り返される。

【０１３５】一方、ステップＳ４−４において、特徴点
すべてを、注目特徴点としたと判定された場合、即ち、
特徴点検出部２から供給された各特徴点を通る積分経路
すべてに沿っての、式（１８）の積分が行われ、これに
より、それらの積分経路上のキー信号（以下、適宜、キ
ー信号の骨組み部分という）が求められた場合、ステッ
プＳ４−５に進み、閉曲線生成部４−４において、ｐ１
閉曲線およびｐ２閉曲線が生成され、処理を終了する。

【０１３６】即ち、閉曲線生成部４−４は、積分実行部
４−３からの各積分経路上のキー信号から、点ｐ１（α
＝０の点）およびｐ２（α＝１の点）を検出し、点ｐ１
どうし、または点ｐ２どうしを接続することで、ｐ１閉
曲線またはｐ２閉曲線をそれぞれ生成する。

【０１３７】なお、積分実行部４−３では、積分経路決
定部４−１から供給される積分経路に沿っての積分は、
例えば、その積分経路のうち、キー信号αが０となる点
（点ｐ１）と、１となる点（点ｐ２）との間の線分（以
下、適宜、経路線分という）、即ち、グレー領域内にあ
る積分経路を対象に行われるようになされている（これ
は、グレー領域以外の領域におけるキー信号αは、０ま
たは１のうちのいずれかの値をとるから、そのような領
域についてのαは、式（１８）にしたがって求める必要
がないからである）。従って、積分実行部４−３では、
経路線分上におけるキー信号αだけが算出されるように
なされており、上述の骨組み部分とは、積分経路決定部
４−１から供給される積分経路すべてにおける経路線分
を意味する。

【０１３８】図８に戻り、以上のようにして積分値計算
部４において得られたキー信号の骨組み部分、並びにｐ
１閉曲線およびｐ２閉曲線は、キー信号生成部５に供給
される。

【０１３９】キー信号生成部５では、ステップＳ６にお
いて、キー信号の骨組み部分に対して補間が行われ、こ
れにより、画像Ｃ全体に対応するキー信号が生成され、
処理を終了する。

【０１４０】即ち、図２４は、キー信号生成部５の構成
例を示している。グレー領域内補間部５−１には、積分
値計算部４からキー信号の骨組み部分が、後述する０／
１割当部５−２からｐ１閉曲線およびｐ２閉曲線上のキ
ー信号が、それぞれ供給されるようになされており、グ
レー領域内補間部５−１は、図２５（ａ）に斜線を付し
て示す、グレー領域のうちの、骨組み部分、ｐ１閉曲
線、およびｐ２閉曲線を除く領域（骨組み部分、ｐ１閉
曲線、およびｐ２閉曲線で囲まれる領域）におけるキー
信号の補間を行うようになされている。

【０１４１】即ち、図２５（ａ）は、画像Ｃをｘｙ平面
上に配置し、そのｘｙ平面に垂直な軸（α軸）をとった
ｘｙα空間を示している。いま、このｘｙα空間におい
て、そのα軸方向に、画像Ｃ上の各点におけるキー信号
をプロットするものとすると、グレー領域内補間部５−
１に供給されるキー信号は、キー信号の骨組み部分（経
路線分上のキー信号）、並びにｐ１閉曲線上のキー信号
（ｐ１閉曲線は、α＝０の点である点ｐ１が接続された
ものであるから、そこにおけるキー信号の値は０）およ
びｐ２閉曲線上のキー信号（ｐ２閉曲線は、α＝１の点
である点ｐ２が接続されたものであるから、そこにおけ
るキー信号の値は１）であるから、経路線分上に、キー
信号の骨組み部分に対応する点がプロットされるととも
に、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝
１の点がそれぞれプロットされ、これにより、ｘｙα空
間上に、同図（ａ）に太線で示すような枠（以下、適
宜、骨組み枠というが形成される。

【０１４２】そして、グレー領域内補間部５−１は、骨
組み枠の内部を補間する曲面Ｑを生成し、この曲面Ｑが
与えるαを、曲面Ｑをｘｙ平面に射影したときに形成さ
れる領域（図２５（ａ）において斜線を付してある部
分）（以下、適宜、パッチ領域という）内の各点におけ
るキー信号とするようになされている。

【０１４３】なお、グレー領域内補間部５−１は、図２
５（ｂ）に示すように、ｐ１閉曲線およびｐ２閉曲線、
並びに経路線分によって囲まれる領域、即ち、パッチ領
域すべてについて、上述したようなキー信号の補間を行
うようになされている。

【０１４４】キー信号の骨組み部分、ｐ１閉曲線上のキ
ー信号（α＝０）、ｐ２閉曲線上のキー信号（α＝
１）、および補間により得られたパッチ領域のキー信号
は、グレー領域内補間部５−１から合成部５−４に供給
されるようになされている。

【０１４５】０／１割当部５−２には、積分値計算部４
からｐ１閉曲線およびｐ２閉曲線が供給されるようにな
されており、０／１割当部５−２は、ｐ１閉曲線または
ｐ２閉曲線上のキー信号αとして、それぞれ０または１
を割り当て、グレー領域内補間部５−１に供給するよう
になされている。グレー領域外補間部５−３には、ｐ１
閉曲線およびｐ２閉曲線が供給されるようになされてお
り、グレー領域外補間部５−３は、図２５（ｂ）に示す
ように、画像Ｃの画枠とｐ１閉曲線とに挟まれる領域
（完全に、背景Ｂである領域）（以下、適宜、α０領域
という）内の各点におけるキー信号として０を補間する
とともに、ｐ２閉曲線に囲まれる領域（完全に、前景Ｆ
である領域）（以下、適宜、α１領域という）内の各点
におけるキー信号として１を補間し、合成部５−４に供
給するようになされている。

【０１４６】合成部５−４は、グレー領域内補間部５−
１からのキー信号の骨組み部分、ｐ１閉曲線上のキー信
号、ｐ２閉曲線上のキー信号、および補間により得られ
たパッチ領域のキー信号、並びにグレー領域外補間部５
−３からのα０領域のキー信号、およびα１領域のキー
信号を合成し（画像Ｃの画枠内の、対応する位置に配置
し）、これにより、画像Ｃ全体に対応するキー信号を生
成するようになされている。

【０１４７】次に、図２６のフローチャートを参照し
て、その動作について説明する。まず最初にステップＳ
５−１では、０／１割当部５−２において、ｐ１閉曲線
またはｐ２閉曲線に０または１がそれぞれ割り当てら
れ、これにより、ｐ１閉曲線上のキー信号とｐ２閉曲線
上のキー信号とが生成される。このｐ１閉曲線上のキー
信号およびｐ２閉曲線上のキー信号は、グレー領域内補
間部５−１に供給される。グレー領域内補間部５−１
は、０／１割当部５−２からｐ１閉曲線上のキー信号お
よびｐ２閉曲線上のキー信号を受信すると、ステップＳ
５−２において、図２５（ａ）で説明したように、骨組
み枠を形成し、さらに、その骨組み枠内を補間する曲面
（補間曲面）Ｑを生成する。そして、グレー領域内補間
部５−１は、ステップＳ５−３に進み、その曲面Ｑに基
づいて、パッチ領域のキー信号を生成し、合成部５−４
に出力する。

【０１４８】その後、ステップＳ５−４において、グレ
ー領域外補間部５−３は、α０領域内の各点におけるキ
ー信号として０を補間するとともに、α１領域内の各点
におけるキー信号として１を補間し、合成部５−４に供
給する。そして、合成部５−４では、ステップＳ５−５
において、グレー領域内補間部５−１からのキー信号の
骨組み部分、ｐ１閉曲線上のキー信号、ｐ２閉曲線上の
キー信号、および補間により得られたパッチ領域のキー
信号、並びにグレー領域外補間部５−３からのα０領域
のキー信号、およびα１領域のキー信号が合成され、こ
れにより、画像Ｃ全体に対応するキー信号が生成され
る。そして、合成部５−４は、このキー信号（連続した
キー信号）を、例えば、前述したようにフィルタリング
することなどによって、画素単位のキー信号に変換し、
これを、画像Ｃから前景Ｆを抜き出し、また、その抜き
出した前景Ｆを他の画像に合成（キーイング）するため
のキー信号として出力し、処理を終了する。

【０１４９】なお、ステップＳ５−４の処理は、ステッ
プＳ５−１乃至Ｓ５−３の処理より先行して行うように
することもできるし、また、同時に行うようにすること
もできる。

【０１５０】さらに、上述の場合においては、パッチ領
域のキー信号を、骨組み枠を補間する曲面Ｑから得るよ
うにしたが、パッチ領域のキー信号は、その他、例えば
次のようにして求めるようにすることも可能である。即
ち、まず、グレー領域であって、経路線分、ｐ１閉曲
線、またはｐ１閉曲線それぞれに隣接する点のキー信号
を、既に得られているキー信号の骨組み部分、ｐ１閉曲
線上のキー信号、およびｐ２閉曲線上のキー信号に基づ
いて求め、以下、キー信号を求めた点に隣接する点のキ
ー信号を、既に求められているキー信号に基づいて求め
ていくようにすることが可能である。

【０１５１】また、上述の場合では、経路線分上に、キ
ー信号の骨組み部分に対応する点をプロットすととも
に、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝
１の点をそれぞれプロットすることにより形成される骨
組み枠を補間する曲面Ｑから、パッチ領域のキー信号を
求めるようにしたが、パッチ領域のキー信号は、その
他、例えば、さらに、経路決定用閉曲線上に、α＝０．
５の点をもプロットすることにより得られる枠を補間す
る曲面から求めるようにすることも可能である。

【０１５２】次に、図７の実施例では、経路決定用閉曲
線、即ち、前景Ｆと背景Ｂとの境界を、画素値の変化
Ｃ’から求めるようにしたが、経路決定用閉曲線は、装
置の使用者（ユーザ）からの指示に基づいて求めるよう
にすることも可能である。

【０１５３】即ち、図２７は、ユーザからの指示に基づ
いて、経路決定用閉曲線を算出するキー信号生成装置の
構成例を示している。なお、図中、図７における場合と
対応する部分については、同一の符号を付してあり、以
下では、その説明は、適宜省略する。即ち、このキー信
号生成装置は、特徴点検出部２に代えて特徴点検出部１
２が設けられ、さらに、操作部１１が新たに設けられて
いる他は、図７のキー信号生成装置と同様に構成されて
いる。

【０１５４】操作部１１は、例えば、タブレットおよび
ペンや、マウスなどでなり、図示せぬディスプレイに表
示された画像Ｃを見ながら、その前景Ｆと背景Ｂとの境
界を指示するときに操作されるようになされており、そ
の操作に対応する操作信号は、特徴点検出部１２に供給
されるようになされている。

【０１５５】特徴点検出部１２は、操作部１１からの操
作信号に基づいて、経路決定用閉曲線および特徴点を検
出するようになされている。即ち、図２８は、特徴点検
出部１２の構成例を示している。なお、図中、図１３に
おける特徴点検出部２における場合と対応する部分につ
いては、同一の符号を付してあり、以下では、その説明
は、適宜省略する。即ち、特徴点検出部１２は、境界検
出部２−１に代えて、細線化部１２−１が設けられてい
る他は、特徴点検出部２と同様に構成されている。

【０１５６】細線化部１２−１は、操作部１１から供給
される操作信号に基づいて、前景Ｆと背景Ｂとの境界に
対応する、ユーザにより指示された線（以下、適宜、指
示線という）を認識し、その細線化を行うことで、経路
決定用閉曲線を検出するようになされている。即ち、指
示線は、例えば、画像Ｃが表示されたディスプレイに、
その画像Ｃに重ねて表示されるようになされており、従
って、図２９（ａ）に示すように、１画素以上の幅を有
する線となる。そこで、細線化部１２−１は、このよう
な幅を有する指示線から、幅のない理想的な線としての
経路決定用閉曲線を求めるため、例えば図２９（ｂ）に
示すように、指示線を構成する画素の中心（同図（ｂ）
において、×印で示す部分）からの距離の２乗誤差を最
小にする線（曲線）が、最小２乗法により求められ、こ
れが、経路決定用閉曲線とされる。

【０１５７】この経路決定用閉曲線は、細線化部１２−
１から特徴点決定部２−２に供給されるようになされて
いる。

【０１５８】なお、指示線の細線化の方法は、上述の手
法に限定されるものではなく、その他の方法を用いるこ
とも可能である。即ち、例えば、指示線を構成する画素
を、外側のものから取り除いていくことで、幅が１画素
でなる細線を生成し、さらに、その細線を構成する画素
の中心を通る線を最も良く近似する線を求め、これを、
経路決定用閉曲線とするようにすることなどが可能であ
る。

【０１５９】以上のように構成されるキー信号生成装置
では、ユーザによって操作部１１が操作されることによ
り、前景Ｆと背景Ｂとの境界（境界を構成する画素）に
対応する指示線が指示されると、特徴点検出部１２の細
線化部１２−１において、その指示線の細線化が行われ
ることにより、経路決定用閉曲線が求められ、特徴点決
定部２−２に供給される。以下、図７における場合と同
様の処理が行われ、画像Ｃ全体に対応するキー信号αが
求められる。

【０１６０】従って、この場合、経路決定用閉曲線が、
ユーザの指示（指示線）に基づいて求められるので、そ
れを求めるのに、画素値の変化Ｃ’は必要なくなる。即
ち、この場合、変化検出部１から特徴点検出部１２に対
し、画素値の変化Ｃ’を供給する必要はない。

【０１６１】次に、図７においては、Ｆ−Ｂ検出部３
で、差分Ｆ−Ｂを求め、これにより画素値の変化Ｃ’を
規格化した後に、キー信号を求めるようにしたが、キー
信号生成装置は、Ｆ−Ｂ検出部３を設けずに構成するこ
とが可能である。

【０１６２】即ち、図３０は、本発明を適用したキー信
号生成装置の他の実施例の構成を示している。なお、図
中、図７における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。即ち、このキー信号生成装置は、Ｆ−Ｂ検出部３
が削除され、積分値計算部４に代えて、積分値計算部２
１が設けられている他は、図７のキー信号生成装置と同
様に構成されている。

【０１６３】積分値計算部２１は、画素値の変化Ｃ’の
量（大きさ）が所定の閾値Ｋ以上となる範囲（以下、適
宜、積分範囲という）において、その変化量を、例え
ば、画素値Ｃ’の変化を検出した方向などに沿って積分
し、その積分値に基づいて、キー信号（キー信号の骨組
み部分）を算出するようになされている。

【０１６４】即ち、積分値計算部２１は、まず、例えば
最大傾斜方向経路Ｕ（但し、上述したように、経路自体
は、最大傾斜方向経路Ｕ以外の経路であっても良い）上
の点ｐのうち、グレー領域の境界上の点、即ち、キー信
号αが０または１となる点である点ｐ１またはｐ２を求
める。具体的には、積分値計算部２１は、例えば、図３
１（ａ）に示すように、変化検出部１より供給される画
素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる２つの
点を求め、それぞれを点ｐ１またはｐ２とする（例え
ば、背景Ｂ側から前景Ｆ側に、画素値の変化Ｃ’を見て
いった場合には、最初に、画素値の変化Ｃ’が閾値Ｋと
なる点が、点ｐ１とされ、その後、画素値の変化Ｃ’が
閾値Ｋとなる点が、点ｐ２とされる）。

【０１６５】さらに、積分値計算部２１は、例えば、最
大傾斜方向経路Ｕに沿って、点ｐ１乃至ｐ２の範囲（積
分範囲）の画素値Ｃ’の変化の積分値（定積分値）Ｄ
（定積分情報）を次式にしたがって算出する。

【０１６６】

【数５】 ・・・（１９）

【０１６７】そして、積分値計算部２１は、画素値の変
化Ｃ’を定積分値Ｄで規格化することにより、規格値
Ｃ’／Ｄを求め、この規格値Ｃ’／Ｄを、例えば、式
（２０）にしたがって積分することで、点（位置）ｐの
画素に対するキー信号αを求める。

【０１６８】

【数６】 ・・・（２０）

【０１６９】定積分値Ｄは、図７の実施例における場合
の差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜に相当し、従って、こ
の定積分値Ｄにより、画素値の変化Ｃ’の規格化し、式
（２０）による積分を行うようにすることで、図３１
（ｂ）に示すように、０乃至１の範囲の値をとるキー信
号αを、容易に得ることができる。なお、この場合、点
（位置）ｐ１乃至ｐ２の範囲（同図（ｂ）において「有
効な幅」と記載してある部分）におけるキー信号αが得
られるが、その他の範囲、即ち、図中、点ｐ１より左側
の範囲または点ｐ２より右側の範囲におけるキー信号α
の値は、それぞれ０または１とされる（この０および１
の補間は、上述したように、キー信号生成部５において
行われる）。

【０１７０】従って、このキー信号生成装置には、Ｆ−
Ｂ検出部３を設ける必要がないので、図７の場合に比較
して、装置を小型に構成することができる。

【０１７１】次に、図３２を参照して、図３０のキー信
号生成装置の動作について説明する。まず最初に、ステ
ップＳ２１では、変化検出部１において、図８のステッ
プＳ１における場合と同様にして、画像（入力画像）Ｃ
の画素間の画素値の変化Ｃ’が算出され、特徴点検出部
２および積分値計算部２１に供給される。

【０１７２】特徴点検出部２は、変化検出部１より画素
値の変化Ｃ’を受信すると、ステップＳ２２において、
図８のステップＳ２における場合と同様にして、経路決
定用閉曲線および特徴点を検出し、積分値計算部２１に
出力する。

【０１７３】積分値計算部２１は、変化検出部１より画
素値の変化Ｃ’を、特徴点検出部２より経路決定用閉曲
線および特徴点を、それぞれ受信すると、ステップＳ２
３において、例えば、図７の積分値計算部４における場
合と同様に積分経路を決定し、さらに、その積分経路上
において、図３１（ａ）で説明したように、画素値の変
化Ｃ’の大きさが、所定の閾値Ｋとなる点ｐ１およびｐ
２を求める。そして、積分値計算部２１は、式（１９）
にしたがって、点ｐ１乃至ｐ２の間にある、積分経路上
の点の画素値Ｃ’の変化量の積分値Ｄを算出し、ステッ
プＳ２４に進む。ステップＳ２４では、積分値計算部２
１は、その積分値Ｄで、画素値の変化Ｃ’を規格化し、
規格値Ｃ’／Ｄを算出する。その後、積分値計算部２１
は、ステップＳ２５において、積分経路（経路線分）を
構成する点ｐに対するキー信号、即ち、キー信号の骨組
み部分を、式（２０）にしたがって求め、キー信号生成
部５に出力する。さらに、積分値計算部２１は、図７の
積分値計算部４と同様に、ｐ１閉曲線およびｐ２閉曲線
を生成し、キー信号生成部５に出力する。

【０１７４】キー信号生成部５では、ステップＳ２６に
おいて、図８のステップＳ６における場合と同様の処理
が行われ、これにより、画像Ｃ全体に対応するキー信号
αが生成されて、処理を終了する。

【０１７５】次に、図３３は、図３０の積分値計算部２
１の構成例を示している。

【０１７６】特徴点検出部２からの経路決定用閉曲線お
よび特徴点は、積分経路決定部２１−１に、変化検出部
１からの画素値の変化Ｃ’は、積分経路決定部２１、定
積分値算出部２１−２、および規格化実行部２１−３に
供給されるようになされている。なお、積分経路決定部
２１−１には、さらに、図示せぬ回路より所定の閾値Ｋ
も供給されるようになされている。

【０１７７】積分経路決定部２１−１は、特徴点および
経路決定用閉曲線に基づいて、図２１の積分経路決定部
４−１における場合と同様にして、各特徴点を通る積分
経路を決定し、定積分値算出部２１−２、規格化実行部
２１−３、および積分実行部２１−４に供給するように
なされている。さらに、積分経路決定部２１−１は、各
特徴点を通る積分経路上の点ｐのうち、画素値の変化
Ｃ’の大きさが、所定の閾値Ｋとなる点、即ち、点ｐ１
およびｐ２を求め、定積分値算出部２１−２、積分実行
部２１−４、および閉曲線生成部２１−５に供給するよ
うにもなされている。

【０１７８】定積分値算出部２１−２は、式（１９）に
したがった演算を行うようになされている。即ち、定積
分値算出部２１−２は、積分経路決定部２１−１から供
給される各特徴点を通る積分経路に沿って、同じく積分
経路決定部２１−１から供給される点ｐ１からｐ２まで
の、画素値の変化Ｃ’の定積分を行い、その結果得られ
る、各積分経路ごとの積分値（定積分値）Ｄを、規格化
実行部２１−３に供給するようになされている。

【０１７９】規格化実行部２１−３は、積分経路決定部
２１−１からの各積分経路上の画素値の変化Ｃ’を、定
積分値算出部２１−１から供給される、各積分経路につ
いて定積分値Ｄで規格化し、その結果得られる規格値
Ｃ’／Ｄを、積分実行部２１−４に供給するようになさ
れている。

【０１８０】積分実行部２１−４は、式（２０）にした
がった演算を行うようになされている。即ち、積分実行
部２１−４は、積分経路決定部３２からの各積分経路に
沿っての、規格化実行部２１−３から供給される規格値
Ｃ’／Ｄの積分を行うようになされており、その結果得
られる各積分経路（経路線分）上の積分値としてのキー
信号の骨組み部分を出力するようになされている。な
お、積分実行部２１−４において、各積分経路に沿って
積分は、式（２０）によれば、積分経路決定部２１−１
から供給される各積分経路上の点ｐ１を始点として行わ
れるようになされているが、この積分は、点ｐ２を始点
として行うことも可能である。

【０１８１】閉曲線生成部２１−５は、積分経路決定部
２１−１より、すべての積分経路上の点ｐ１およびｐ２
を受信すると、その点ｐ１どうし、またはｐ２どうしを
接続することにより、それぞれｐ１閉曲線、またはｐ２
閉曲線を生成するようになされている。

【０１８２】次に、図３４のフローチャートを参照し
て、その動作について説明する。積分値計算部２１で
は、ステップＳ２１−１において、積分経路決定部２１
−１により、図２３のステップＳ４−１における場合と
同様の処理が行われ、注目特徴点を通る積分経路が決定
され、定積分値算出部２１−２、規格化実行部２１−
３、および積分実行部２１−４に供給される。さらに、
積分経路決定部２１−１は、ステップＳ２１−２におい
て、注目特徴点を通る積分経路上の点のうち、変化検出
部１より供給される画素値の変化Ｃ’の大きさが、所定
の閾値Ｋとなる点ｐ１およびｐ２を検出し、定積分値算
出部２１−２、積分実行部２１−４、および閉曲線生成
部２１−５に供給する。

【０１８３】定積分値算出部２１−２は、積分経路決定
部２１−１より注目特徴点についての積分経路およびそ
の積分経路上の点ｐ１およびｐ２を受信すると、ステッ
プＳ２１−３において、式（１９）にしたがい、その積
分経路に沿った、点ｐ１からｐ２までの、画素値の変化
Ｃ’の積分を行い、その結果得られる定積分値Ｄを、規
格化実行部２１−３に出力する。規格化実行部２１−３
では、ステップＳ２１−４において、注目特徴点につい
ての積分経路上の画素の画素値の変化Ｃ’が、定積分値
算出部２１−２からの定積分値Ｄで規格化され、その結
果得られる規格値Ｃ’／Ｄが、積分実行部２１−４に供
給される。

【０１８４】積分実行部２１−４では、ステップＳ２１
−５において、式（２０）にしたがい、規格化実行部２
１−３からの規格値Ｃ’／Ｄが、例えば、積分経路決定
部２１−１からの点ｐ１を始点として、同じく積分経路
決定部４−１からの積分経路に沿って積分され、これに
より、その積分経路上のキー信号、即ち、キー信号の骨
組み部分が算出される。

【０１８５】その後、ステップＳ２１−６に進み、積分
経路決定部２１−１は、特徴点検出部２からの特徴点す
べてを、注目特徴点としたかどうかを判定する。ステッ
プＳ２１−６において、特徴点検出部２からの特徴点す
べてを、まだ、注目特徴点としていないと判定された場
合、ステップＳ２１−１に戻り、積分経路決定部２１−
１において、まだ注目特徴点とされていない特徴点が、
新たに注目特徴点とされ、以下、上述した処理が繰り返
される。

【０１８６】一方、ステップＳ２１−６において、特徴
点すべてを、注目特徴点としたと判定された場合、即
ち、特徴点検出部２から供給された各特徴点を通る積分
経路すべてに沿っての、式（２０）の積分が行われ、こ
れにより、それらの積分経路上のキー信号（キー信号の
骨組み部分）が求められた場合、ステップＳ２１−７に
進み、閉曲線生成部２１−５において、ｐ１閉曲線およ
びｐ２閉曲線が生成され、処理を終了する。

【０１８７】即ち、閉曲線生成部２１−５は、積分経路
決定部２１−１より供給されたすべての積分経路上の点
ｐ１どうし、またはｐ２どうしを接続することにより、
それぞれｐ１閉曲線、またはｐ２閉曲線を生成する。

【０１８８】なお、積分実行部２１−４における積分
は、図２１における積分実行部４−３における場合と同
様に、積分経路のうちの経路線分のみを対象に行われる
ようになされている。

【０１８９】次に、図３５は、本発明を適用した画像合
成装置の一実施例の構成を示している。

【０１９０】画像提供装置６１乃至６３は、例えばビデ
オテーププレーヤ、あるいはハードディスク装置などの
ディスクプレーヤなどで、所定の画像を再生して出力す
るようになされている。なお、ここでは、画像提供装置
６１が再生する、前景または背景をそれぞれＦまたはＢ
とする画像Ｔ１（第１の画像）が、キー信号生成装置６
４およびミキサ６５に供給されるようになされており、
この画像Ｔ１が、キー信号を生成する対象とされてい
る。また、画像提供装置６２が再生する画像Ｔ２（第２
の画像）は、ミキサ６５に供給されるようになされてお
り、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成され
るようになされている。さらに、画像提供装置６３から
は、画像提供装置６１が再生する画像Ｔ１の背景Ｂだけ
を撮影した画像Ｔ３が再生されるようになされている。
即ち、例えば、画像Ｔ１が、ある風景の中を、人物が歩
いている状態のものだとすると、その人物（前景Ｆ）を
排除した状態で、その風景（背景Ｂ）を撮影した画像Ｔ
３が、画像提供装置６３からは再生されるようになされ
ている。この画像提供装置６３が再生する画像Ｔ３は、
ミキサ６５に供給されるようになされている。

【０１９１】キー信号生成装置６４は、図７、図２７、
または図３０のキー信号生成装置と同様に構成されてお
り、上述したようにしてキー信号αを生成し、ミキサ６
５に出力するようになされている。ミキサ６５は、キー
信号生成装置６４からのキー信号αを用いて、そこに入
力される画像Ｔ１とＴ２とを合成するようになされてい
る。即ち、ミキサ６５は、画像Ｔ１から前景Ｆを抜き出
し、その前景Ｆを、画像Ｔ２に合成（はめ込む）するよ
うになされている。

【０１９２】次に、その動作について説明する。画像提
供装置６１乃至６３では、画像Ｔ１乃至Ｔ３がそれぞれ
再生され、ミキサ６５に供給される。さらに、画像提供
装置６１が再生する画像Ｔ１は、キー信号生成装置６４
にも供給される。キー信号生成装置６４では、上述した
ようにしてキー信号αが生成され、ミキサ６５に出力さ
れる。ミキサ６５では、キー信号αを用いて、そこに入
力される画像Ｔ１から前景Ｆが抜き出され、さらにその
前景Ｆが、画像Ｔ２に合成され、これにより、画像Ｔ２
に前景Ｆを合成した画像（合成画像）Ｔ４が生成され
る。

【０１９３】即ち、いま、画像Ｔ１またはＴ２を構成す
る各位値ｐの画素の画素値を、それぞれＰ（ｐ）または
Ｑ（ｐ）と表すとするとともに、画像Ｔ１の前景または
背景を構成する各位置ｐの画素の画素値それぞれＦ
（ｐ）またはＢ（ｐ）とし、合成画像Ｔ４を構成する各
位置ｐの画素の画素値をＲ（ｐ）とすると、次式が成立
する。 Ｐ（ｐ）＝αＦ（ｐ）＋（１−α）Ｂ（ｐ） ・・・（２１） Ｒ（ｐ）＝αＦ（ｐ）＋（１−α）Ｑ（ｐ） ・・・（２２）

【０１９４】ここで、式（２２）の右辺のαＦ（ｐ）
を、式（２１）により除去すると、式（２２）は、次の
ようになる。 Ｒ（ｐ）＝Ｐ（ｐ）−（１−α）Ｂ（ｐ）＋（１−α）Ｑ（ｐ） ・・・（２３）

【０１９５】ミキサ６５では、式（２３）にしたがっ
て、合成画像Ｔ４が生成される。即ち、画素値Ｐ
（ｐ），Ｑ（ｐ），Ｂ（ｐ）は、画像提供装置６１乃至
６３それぞれからミキサ６５に供給され、キー信号α
（ｐ）も、キー信号生成装置６４からミキサ６５に供給
される。ミキサ６５では、これらの各画素値およびキー
信号を用いて、式（２３）の演算が行われ、これによ
り、画素値Ｒ（ｐ）でなる画像Ｔ４、即ち、画像Ｔ２に
前景Ｆを合成した画像Ｔ４が生成される。

【０１９６】この画像Ｔ４は、例えば、図示せぬ記録装
置（例えば、ビデオテープレコーダ、あるいはハードデ
ィスク装置などの書き込み可能なディスクレコーダな
ど）に供給されて記録される。

【０１９７】キー信号生成装置６４からは、上述したよ
うに、正確なキー信号、即ちモーションブラーの影響を
考慮し、かつエイリアスを低減するキー信号が出力され
るので、これを用いて画像の合成を行った場合には、正
確な合成画像（見た目に違和感のない画像）を得ること
ができる。

【０１９８】なお、図３５の実施例では、画像提供装置
６３によって背景Ｂが提供されるから、キー信号生成装
置６４が、Ｆ−Ｂ検出部３を有する図７または図２７に
示したようなキー信号生成装置で構成される場合には、
同図において点線で示すように、背景Ｂを、キー信号生
成装置６４に供給するようにし、キー信号生成装置６４
には、この背景Ｂから、差分Ｆ−Ｂを求めさせるように
することが可能である。

【０１９９】ところで、画素値Ｑ（ｐ）でなる画像Ｔ２
は、画像提供装置６２から得られ、キー信号αは、キー
信号生成装置６４から得られるから、前景Ｆの画素値Ｆ
（ｐ）がわかれば（画素値Ｆ（ｐ）を推定することがで
きれば）、式（２２）によっても、画像Ｔ２に前景Ｆを
合成した画像Ｔ４を生成することができる。

【０２００】そこで、図３６は、式（２２）にしたがっ
て、画像Ｔ４を生成する画像合成装置の一実施例の構成
を示している。なお、図中、図３５における場合と対応
する部分については、同一の符号を付してあり、以下で
は、その説明は、適宜省略する。即ち、この画像合成装
置は、画像提供装置６３またはミキサ６５に代えて、情
報生成装置７１またはミキサ７２がそれぞれ設けられて
いる他は、図３５の画像合成装置と同様に構成されてい
る。

【０２０１】情報生成装置７１には、画像提供装置６１
が出力する画像Ｔ１が供給されるようになされている。
情報生成装置７１は、画像Ｔ１から、その前景Ｆの画素
値Ｆ（ｐ）を推定し（生成し）、ミキサ７２に供給する
ようになされている。ミキサ７２は、画像情報提供装置
６１または６２がそれぞれ出力する画像Ｔ１またはＴ２
（画素値Ｐ（ｐ）またはＱ（ｐ））、キー信号生成装置
６４が出力するキー信号α（ｐ）、情報生成装置７１が
出力する前景Ｆ（画素値Ｆ（ｐ））を用い、式（２２）
にしたがった演算を行うことにより、画像Ｔ２に前景Ｆ
を合成した画像Ｔ４を生成するようになされている。

【０２０２】以上のように構成される画像合成装置で
は、画像提供装置６１または６２において、画像Ｔ１ま
たはＴ２がそれぞれ再生され、ミキサ７２に供給され
る。さらに、画像提供装置６１が再生する画像Ｔ１は、
情報生成装置７１およびキー信号生成装置６４にも供給
される。キー信号生成装置６４では、上述したようにし
てキー信号αが生成され、ミキサ７２に出力される。

【０２０３】一方、情報生成装置７１では、画像Ｔ１か
ら、その前景Ｆの画素値Ｆ（ｐ）が求められる。

【０２０４】即ち、図３７は、情報生成装置７１の構成
例を示している。この情報生成装置７１は、変化検出部
７１−１、境界検出部７１−２、境界分割部７１−３、
色分布形成部７１−４、重心検出部７１−５から構成さ
れている。変化検出部７１−１は、図７（図２７または
図３０）の変化検出部１と同様に構成されおり、境界検
出部７１−２は、図１３の境界検出部２−１と同様に構
成されている。また、微小領域検出部７１−３、色分布
形成部７１−４、または重心検出部７１−５は、図１６
の微小領域検出部３−１、色分布形成部３−２Ｆ、また
は重心検出部３−３Ｆとそれぞれ同様に構成されてい
る。但し、微小領域検出部７１−３は、各微小領域につ
いての前景Ｆを構成する画素のみを抽出し、その画素の
画素値、即ち、Ｆ境界画素値のみを色分布形成部７１−
４に供給するようになされている。

【０２０５】従って、情報生成装置７１では、変化検出
部７１−１において、画像Ｔ１の画素値Ｐの変化Ｐ’が
求められ、境界検出部７１−２において、その変化Ｐ’
に基づいて、経路決定用閉曲線および特徴点が求められ
る。さらに、微小領域検出部７１−３において、各特徴
点を含む微小領域が検出され、その各微小領域につい
て、Ｆ境界画素値が抽出される。そして、色分布形成部
７１−４において、各微小領域におけるＦ境界画素値
の、色空間上における色分布が求められ、さらに、重心
検出部７１−５において、その色分布の重心が求めら
れ、それが、グレー領域における、各特徴点周辺にある
画素の、前景Ｆの画素値Ｆ（ｐ）として出力される。

【０２０６】なお、情報生成装置７１においては、前景
Ｆのうちの、グレー領域以外の部分（完全に、前景Ｆの
部分）については、その前景Ｆの画素値Ｆ（ｐ）が、そ
のまま出力される。

【０２０７】図３６に戻り、ミキサ７２では、画像情報
提供装置６１または６２がそれぞれ出力する画素値Ｐ
（ｐ）またはＱ（ｐ）、キー信号生成装置６４が出力す
るキー信号α（ｐ）、情報生成装置７１が出力する画素
値Ｆ（ｐ）を用い、式（２２）にしたがって、画像Ｔ２
に前景Ｆを合成した画像Ｔ４の画素値Ｒ（ｐ）が求めら
れる。

【０２０８】従って、この場合も、正確な合成画像を得
ることができる。

【０２０９】ここで、情報生成装置７１には、前景Ｆを
生成させるのではなく、背景Ｂを生成させるようにする
ことも可能である。この場合、ミキサ７２には、情報生
成装置７１によって生成される背景Ｂを用い、式（２
３）にしたがって、合成画像Ｔ４の画素値Ｒ（ｐ）を求
めさせるようにすることが可能である。

【０２１０】なお、ミキサ６５（および７２）における
画像の合成方法は、上述した方法に限定されるものでは
なく、他の合成方法を用いることも可能である。

【０２１１】また、本実施例では、積分値計算部４（お
よび２１）において積分を行うようにしたが、この積分
に代えて、積分と等価な演算、即ち、積分を行う経路に
サンプル点を設定し、各サンプル点におけるサンプル値
を加算するようにすることも可能である。

【０２１２】さらに、本実施例では、グレー領域におけ
るキー信号のうち、その骨組み部分以外については、補
間により求めるようにしたが、キー信号の骨組み部分以
外も、補間ではなく、例えば、式（１８）や（２０）に
よる積分を行うことで求めるようにすることが可能であ
る。

【０２１３】

【発明の効果】請求項１に記載のキー信号生成装置およ
び請求項１６に記載のキー信号生成方法によれば、画像
を構成する画素間の画素値の変化が検出され、その画素
値の変化に基づいて、キー信号が生成される。従って、
正確なキー信号を得ることが可能となる。

【０２１４】請求項１３に記載の画像合成装置および請
求項２８に記載の画像合成方法によれば、第１の画像を
構成する画素間の画素値の変化が検出され、その画素値
の変化に基づいて、キー信号が生成される。そして、そ
のキー信号を用いて、第１の画像の前景画像と、第２の
画像の背景画像とが合成される。従って、正確な合成画
像を得ることが可能となる。

【図面の簡単な説明】

【図１】画像の局所的なテクスチャが一様であると考え
られることを示す図である。

【図２】モーションブラーが生じている画像の算出方法
を説明するための図である。

【図３】モーションブラーの効果を与えるフィルタ処理
を示す図である。

【図４】モーションブラーの効果を考慮した前景Ｆとキ
ー信号αを示す図である。

【図５】モーションブラーの効果を与えた前景Ｆの局所
的なテクスチャが一様であると考えられることを示す図
である。

【図６】画素が有限の大きさを有する場合にエイリアス
が生じることを示す図である。

【図７】本発明を適用したキー信号生成装置の第１実施
例の構成を示すブロック図である。

【図８】図７のキー信号生成装置の動作を説明するため
のフローチャートである。

【図９】図７の変化検出部１の構成例を示すブロック図
である。

【図１０】図９の変化検出部１の動作を説明するための
フローチャートである。

【図１１】ソーベルオペレータを示す図である。

【図１２】図１０のステップＳ１−２の処理を説明する
ための図である。

【図１３】図７の特徴点検出部２の構成例を示すブロッ
ク図である。

【図１４】図１３の特徴点検出部２の処理を説明するた
めの図である。

【図１５】図１３の特徴点検出部２の動作を説明するた
めのフローチャートである。

【図１６】図７のＦ−Ｂ検出部３の構成例を示すブロッ
ク図である。

【図１７】図１６の微小領域検出部３−１の処理を説明
するための図である。

【図１８】図１６の差分演算部３−４の処理を説明する
ための図である。

【図１９】図１６のＦ−Ｂ検出部３の動作を説明するた
めのフローチャートである。

【図２０】図８のステップＳ５の処理を説明するための
図である。

【図２１】図７の積分値計算部４の構成例を示すブロッ
ク図である。

【図２２】図２１の積分値計算部４の処理を説明するた
めの図である。

【図２３】図２１の積分値計算部４の動作を説明するた
めのフローチャートである。

【図２４】図７のキー信号生成部５の構成例を示すブロ
ック図である。

【図２５】図２４のキー信号生成部５の処理を説明する
ための図である。

【図２６】図２４のキー信号生成部５の動作を説明する
ためのフローチャートである。

【図２７】本発明を適用したキー信号生成装置の第２実
施例の構成を示すブロック図である。

【図２８】図２７の特徴点検出部１２の構成例を示すブ
ロック図である。

【図２９】図２８の細線化部１２−１の処理を説明する
ための図である。

【図３０】本発明を適用したキー信号生成装置の第３実
施例の構成を示すブロック図である。

【図３１】図３０の積分値計算部２１の処理を説明する
ための図である。

【図３２】図３０のキー信号生成装置の動作を説明する
ためのフローチャートである。

【図３３】図３０の積分値計算部２１の構成例を示すブ
ロック図である。

【図３４】図３３の積分値計算部２１の動作を説明する
ためのフローチャートである。

【図３５】本発明を適用した画像合成装置の第１実施例
の構成を示す図である。

【図３６】本発明を適用した画像合成装置の第２実施例
の構成を示す図である。

【図３７】図３６の情報生成装置７１の構成例を示すブ
ロック図である。

【図３８】ハードキーおよびソフトキーを説明するため
の図である。

【図３９】エイリアスを説明するための図である。

【図４０】モーションブラーを説明するための図であ
る。

【符号の説明】

１ 変化検出部， １−１ ＲＧＢ分解部， １−２
Ｒ，１−２Ｇ，１−２Ｂ１次微分値計算部， １−３
ベクトル合成部， ２ 境界検出部， ２−２特徴点決
定部， ３ Ｆ−Ｂ検出部， ３−１ 微小領域検出
部， ３−２Ｆ，３−２Ｂ 色分布形成部， ３−３
Ｆ，３−３Ｂ 重心検出部， ３−４ 差分演算部，
４ 積分値計算部， ４−１ 積分経路決定部， ４−
２ 規格化実行部， ４−３ 積分実行部， ４−４
閉曲線生成部， ５ キー信号生成部， ５−１ グレ
ー領域内補間部， ５−２ ０／１割当部， ５−３
グレー領域外補間部， ５−４ 合成部， １１ 操作
部， １２ 特徴点検出部，１２−１ 細線化部， ２
１ 積分値計算部， ２１−１ 積分経路決定部，２１
−２ 定積分値算出部， ２１−３ 規格化実行部，
２１−４ 積分実行部， ２１−５ 閉曲線生成部，
６１乃至６３ 情報提供装置， ６４ キー信号生成装
置， ６５ ミキサ， ７１ 情報生成装置， ７２
ミキサ，７１−１ 変化検出部， ７１−２ 境界検出
部， ７１−３ 微小領域検出部， ７１−４ 色分布
形成部， ７１−５ 重心検出部

Claims (30)

【特許請求の範囲】
1. 【請求項１】 画像からキー信号を生成するキー信号生
   成装置において、 上記画像を構成する画素間の画素値の変化を検出する変
   化検出手段と、 上記変化検出手段より出力される上記画素値の変化に基
   づいて、上記キー信号を生成するキー信号生成手段とを
   有することを特徴とするキー信号生成装置。
2. 【請求項２】 請求項１に記載のキー信号生成装置にお
   いて、 上記キー信号生成手段は、上記画像にモーションブラー
   が生じている場合に、そのモーションブラーを反映した
   上記キー信号を生成することを特徴とするキー信号生成
   装置。
3. 【請求項３】 請求項１に記載のキー信号生成装置にお
   いて、 上記キー信号生成手段は、上記画像にエイリアスが生じ
   ている場合に、そのエイリアスの影響を低減する上記キ
   ー信号を生成することを特徴とするキー信号生成装置。
4. 【請求項４】 請求項１に記載のキー信号生成装置にお
   いて、 上記画像は、前景画像と背景画像とからなり、 上記前景画像と背景画像との差分を検出し、その差分を
   示す差分情報を出力する差分検出手段をさらに有し、 上記変化検出手段は、上記画素値の変化を示す変化情報
   を出力し、 上記キー信号生成手段は、上記差分情報および変化情報
   に基づいて、上記キー信号を生成することを特徴とする
   キー信号生成装置。
5. 【請求項５】 請求項１に記載のキー信号生成装置にお
   いて、 上記キー信号生成手段は、上記画素値の変化を示す変化
   情報を積分することにより、上記キー信号を生成するこ
   とを特徴とするキー信号生成装置。
6. 【請求項６】 請求項４に記載のキー信号生成装置にお
   いて、 上記キー信号生成手段は、 上記差分情報により、上記変化情報を規格化し、その結
   果得られる規格化情報を出力する規格化手段と、 所定の積分経路に沿って、上記規格化情報を積分する積
   分実行手段とを備えることを特徴とするキー信号生成装
   置。
7. 【請求項７】 請求項６に記載のキー信号生成装置にお
   いて、 上記所定の積分経路は、上記変化検出手段により上記画
   素値の変化が検出された方向に沿った経路であることを
   特徴とするキー信号生成装置。
8. 【請求項８】 請求項１に記載のキー信号生成装置にお
   いて、 上記変化検出手段は、上記画素値の変化を示す変化情報
   を出力し、 上記キー信号生成手段は、上記変化情報が所定の閾値以
   上となる範囲である積分範囲において、その変化情報を
   積分することにより、上記キー信号を生成することを特
   徴とするキー信号生成装置。
9. 【請求項９】 請求項８に記載のキー信号生成装置にお
   いて、 上記キー信号生成手段は、所定の積分経路に沿って上記
   変化情報を積分することを特徴とするキー信号生成装
   置。
10. 【請求項１０】 請求項９に記載のキー信号生成装置に
    おいて、 上記所定の積分経路は、上記変化検出手段により上記画
    素値の変化が検出された方向に沿った経路であることを
    特徴とするキー信号生成装置。
11. 【請求項１１】 請求項８に記載のキー信号生成装置に
    おいて、 上記キー信号生成手段は、 上記積分範囲を検出する範囲検出手段と、 上記積分範囲において、上記変化情報を所定の積分経路
    に沿って積分し、その積分範囲における上記変化情報の
    定積分情報を生成する定積分情報生成手段と、 上記定積分情報により、上記変化情報を規格化し、その
    結果得られる規格化情報を出力する規格化手段と、 上記規格化情報を積分することにより、上記キー信号を
    生成する積分実行手段とを備えることを特徴とするキー
    信号生成装置。
12. 【請求項１２】 請求項１１に記載のキー信号生成装置
    において、 上記所定の積分経路は、上記変化検出手段により上記画
    素値の変化が検出された方向に沿った経路であることを
    特徴とするキー信号生成装置。
13. 【請求項１３】 少なくとも前景画像および背景画像か
    らなる第１の画像と、少なくとも背景画像からなる第２
    の画像とを受信し、上記第１の画像の前景画像と、上記
    第２の画像の背景画像とを合成する画像合成装置におい
    て、 上記第１の画像を構成する画素間の画素値の変化を検出
    する変化検出手段と、 上記変化検出手段より出力される上記画素値の変化に基
    づいて、キー信号を生成するキー信号生成手段と、 上記キー信号生成手段により生成された上記キー信号を
    用いて、上記第１の画像の前景画像と、上記第２の画像
    の背景画像とを合成する合成手段とを有することを特徴
    とする画像合成装置。
14. 【請求項１４】 請求項１３に記載の画像合成装置にお
    いて、 上記第１の画像の前景画像と背景画像との差分を検出
    し、その差分を示す差分情報を出力する差分検出手段を
    さらに有し、 上記変化検出手段は、上記画素値の変化を示す変化情報
    を出力し、 上記キー信号生成手段は、上記差分情報および変化情報
    に基づいて、上記キー信号を生成することを特徴とする
    画像合成装置。
15. 【請求項１５】 請求項１３に記載の画像合成装置にお
    いて、 上記変化検出手段は、上記画素値の変化を示す変化情報
    を出力し、 上記キー信号生成手段は、上記変化情報が所定の閾値以
    上となる範囲である積分範囲において、その変化情報を
    積分することにより、上記キー信号を生成することを特
    徴とする画像合成装置。
16. 【請求項１６】 画像からキー信号を生成するキー信号
    生成方法において、 上記画像を構成する画素間の画素値の変化を検出し、 上記画素値の変化に基づいて、上記キー信号を生成する
    ことを特徴とするキー信号生成方法。
17. 【請求項１７】 請求項１６に記載のキー信号生成方法
    において、 上記画像にモーションブラーが生じている場合に、その
    モーションブラーを反映した上記キー信号を生成するこ
    とを特徴とするキー信号生成方法。
18. 【請求項１８】 請求項１６に記載のキー信号生成方法
    において、 上記画像にエイリアスが生じている場合に、そのエイリ
    アスの影響を低減する上記キー信号を生成することを特
    徴とするキー信号生成方法。
19. 【請求項１９】 請求項１６に記載のキー信号生成方法
    において、 上記画像は、前景画像と背景画像とからなり、 上記前景画像と背景画像との差分を検出して、その差分
    を示す差分情報を出力し、 上記画素値の変化を示す変化情報と、上記差分情報とに
    基づいて、上記キー信号を生成することを特徴とするキ
    ー信号生成方法。
20. 【請求項２０】 請求項１６に記載のキー信号生成方法
    において、 上記画素値の変化を示す変化情報を積分することによ
    り、上記キー信号を生成することを特徴とするキー信号
    生成方法。
21. 【請求項２１】 請求項１９に記載のキー信号生成方法
    において、 上記差分情報により、上記変化情報を規格化し、その結
    果得られる規格化情報を出力し、 所定の積分経路に沿って、上記規格化情報を積分するこ
    とにより、上記キー信号を生成することを特徴とするキ
    ー信号生成方法。
22. 【請求項２２】 請求項２１に記載のキー信号生成方法
    において、 上記所定の積分経路は、上記画素値の変化が検出された
    方向に沿った経路であることを特徴とするキー信号生成
    方法。
23. 【請求項２３】 請求項１６に記載のキー信号生成方法
    において、 上記画素値の変化を示す変化情報が所定の閾値以上とな
    る範囲である積分範囲において、その変化情報を積分す
    ることにより、上記キー信号を生成することを特徴とす
    るキー信号生成方法。
24. 【請求項２４】 請求項２３に記載のキー信号生成方法
    において、 所定の積分経路に沿って上記変化情報を積分することに
    より、上記キー信号を生成することを特徴とするキー信
    号生成方法。
25. 【請求項２５】 請求項２４に記載のキー信号生成方法
    において、 上記所定の積分経路は、上記画素値の変化が検出された
    方向に沿った経路であることを特徴とするキー信号生成
    方法。
26. 【請求項２６】 請求項２３に記載のキー信号生成方法
    において、 上記積分範囲を検出し、 上記積分範囲において、上記変化情報を所定の積分経路
    に沿って積分して、その積分範囲における上記変化情報
    の定積分情報を生成し、 上記定積分情報により、上記変化情報を規格化し、その
    結果得られる規格化情報を出力し、 上記規格化情報を積分することにより、上記キー信号を
    生成することを特徴とするキー信号生成方法。
27. 【請求項２７】 請求項２６に記載のキー信号生成方法
    において、 上記所定の積分経路は、上記画素値の変化が検出された
    方向に沿った経路であることを特徴とするキー信号生成
    方法。
28. 【請求項２８】 少なくとも前景画像および背景画像か
    らなる第１の画像と、少なくとも背景画像からなる第２
    の画像とを受信し、上記第１の画像の前景画像と、上記
    第２の画像の背景画像とを合成する画像合成方法におい
    て、 上記第１の画像を構成する画素間の画素値の変化を検出
    し、 上記画素値の変化に基づいて、キー信号を生成し、 そのキー信号を用いて、上記第１の画像の前景画像と、
    上記第２の画像の背景画像とを合成することを特徴とす
    る画像合成方法。
29. 【請求項２９】 請求項２８に記載の画像合成方法にお
    いて、 上記第１の画像の前景画像と背景画像との差分を検出
    し、 その差分を示す差分情報、および上記画素値の変化を示
    す変化情報に基づいて、上記キー信号を生成することを
    特徴とする画像合成方法。
30. 【請求項３０】 請求項２８に記載の画像合成方法にお
    いて、 上記画素値の変化を示す変化情報が所定の閾値以上とな
    る範囲である積分範囲において、その変化情報を積分す
    ることにより、上記キー信号を生成することを特徴とす
    る画像合成方法。