JP3201764B2 - 自動適応式カラービデオ画像はめ込み方法及び装置 - Google Patents

自動適応式カラービデオ画像はめ込み方法及び装置

Info

Publication number
JP3201764B2
JP3201764B2 JP51362990A JP51362990A JP3201764B2 JP 3201764 B2 JP3201764 B2 JP 3201764B2 JP 51362990 A JP51362990 A JP 51362990A JP 51362990 A JP51362990 A JP 51362990A JP 3201764 B2 JP3201764 B2 JP 3201764B2
Authority
JP
Japan
Prior art keywords
background
signal
key
value
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51362990A
Other languages
English (en)
Other versions
JPH04502095A (ja
Inventor
グリマルディ，ジャン―リュック
ガリシェ，シルヴィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Broadcast SAS
Original Assignee
Thomson Broadcast SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Broadcast SAS filed Critical Thomson Broadcast SAS
Publication of JPH04502095A publication Critical patent/JPH04502095A/ja
Application granted granted Critical
Publication of JP3201764B2 publication Critical patent/JP3201764B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 本発明は、自動適応式カラービデオ画像はめ込み方法
及び装置に関するものである。
カラービデオ画像のはめ込みは、ソース画像から人物
または物体等の主体を抽出して、均質な色背景の前方に
移して、新しい背景の前方に置くことからなる。
四辺形によって構成された閉領域によって、平面CRCB
（CR＝Ｒ−Ｙ、CB＝Ｂ−Ｙ、但し、これらの式におい
て、Ｂ、Ｒ、Ｙは、各々、青色信号、赤色信号及び輝度
を示す）内に均一な色背景を画成することが知られてい
る。ソース画像を一線ずつ及び一点ずつ分析している過
程において、点の成分CRCBが四辺形の内側にあるなら
ば、その点は背景に属しているとみなされる。そうでな
い場合には、その点は、はめ込まれる区画に属している
とみなされる。従って、ソース画像の各腺には、「キ
ー」すなわちスイッチング信号が対応している。この信
号は、例えば、はめ込み部分では値１、背景部分では値
０を有するか、又は、はめ込み部分で値０、背景部分で
値１を有する。しかし、背景／物体の変わり目すなわち
遷移部が極めて鋭く、そしてはめ込まれた主体の輪郭が
ぎざぎざなので、この「キー」信号によって、はめ込み
された画像を自然な形で描き出すことはできない。はめ
込まれた画像の描出は、背景／主体の遷移部を滑らかに
して、分割キー信号に利得関数を導入することによって
ぎざぎざの輪郭にマスクをかけることによって、改良さ
れる。しかし、この場合、微細部や透明部や陰影部を再
現することは不可能であり、主体の輪郭上に背景と同じ
色（通常、青色）の縁が現れる。
画像をはめ込む別の方法は、本出願人の名で出願され
たフランス国特許第79/20,820号に記載されている。こ
の方法は、色の曖昧さのない画像の部分を明確に分割す
ることのできる高い固定利得のチャネルと、透明効果を
復元し且つ主体の周囲の微細部に続く明暗を形成するこ
とのできる可変利得チャネルとを使用して、はめ込むべ
き主体を線形分割することからなる。陰影効果は、低レ
ベル輝度を検出して、新しい背景の輝度を対応して低下
させることによって得られる。しかしながら、たとえ陰
影効果が良好に描出されても、微細部は薄くなり、透明
部は、前の背景の色を示す。また、遷移部がゆるやかで
あるので、背景と同色、すなわち、青みがかった縁がな
お存在する。
線形混合の方法とは原理が異なる、画像をはめ込むま
た別の方法によって、極めて純度の高い青、緑（及び場
合によっては赤）の背景の前方に主体を移すために、
赤、緑、青（Ｒ、Ｇ、Ｂ）ソース画像をはめ込むことが
できる。この方法は、まず、減算によってソース画像中
の背景の色を除去し、それによって、残すべき主体を黒
色背景の前方に置いたとようにする。次に、ソース画
像、すなわち、以前は有色背景によって占められていた
領域に、その背景の視感度と可視度に応じて新しい背景
を導入する。従って、ガラス、煙または霧等の透明部ま
たは半透明部は、完全に保持される。また、ソース画像
は決して置換されないので、微細部は、はめ込み画像に
おいて完全に再現されている。青（緑、または、赤）の
クランプモジュールによって、はめ込まれた画像中の主
体上の有色背景の反射を除去することができる。この方
法は、高品質なはめ込み画像を得るためには極めて多数
の調節を必要とするということに加えて、均一及び純粋
な背景が必要である。そのため、背景の非均一性は、い
かなるものでも、はめ込まれた画像中に現れ、従って、
新しい背景を汚す。ソース画像の有色背景を連続的且つ
瞬間的に零にすることによってこの新しい画像の汚れを
回避することはできるが、この場合、透明部や陰影部を
再現することが不可能になる。また、主体の背景の反射
を除去すると、使用した背景の色に応じて、ある色の劣
化が起こる（例えば、背景が青の場合は深紅色、背景が
緑色の場合は黄色及び肌色）。
本発明の目的は、実施の際あまり多数の調節を必要と
せずに、上記した欠点を解消または少なくとも減少させ
ることのできるカラービデオ画像のはめ込み方法を提供
することである。この目的は、１つには、はめ込まれた
主体の輪郭に働きかけることによって、そのダイナミッ
クな探知を実施して、それによって、問題の背景／主体
の遷移部にだけ関係する分割利得を得ることによって達
成される。この方法によって、背景／主体の遷移部が広
いか狭いかによって異なり、主体のまわりの背景色の縁
（青色背景の場合は青）の除去に寄与する利得の自動調
節が可能になる。また、原理的には線形であるが、得ら
れた分割キーに従って適用される主体と新しい背景との
間の混合において、遷移部に属する点の値を考慮するこ
とはもはや必要なく、遷移部の始点と終点で決定された
主体と新しい背景の一定の値を考慮する。従って、主体
と新しい背景との間の線形混合は、有色背景から生じた
青を含むソース画像の値を使用せず、それ故、はめ込ま
れた主体の周りの青色の縁を除去することができる。さ
らに、微細部や陰影部や透明部は、ソース輝度画像内で
検出され、２つの閾値を有する線形方法によってそれら
の輝度に応じてはめ込まれた画像に再導入される。その
２つの閾値とは、有色背景へのノイズの再導入を防ぐこ
とのできる低い閾値と、はめ込まれた画像に写されるべ
きソース画像の細部、陰影部及び透明部の割合を決定す
ることのできる高い閾値である。背景より暗い部分及び
背景より明るい部分に関しては、異なる調節を行うこと
ができる。また、場合によっては再着色の可能性がある
要素がはめ込まれる部分では、同じ原理によって、新し
い背景の減色（desaturation）が実施される。
本発明によるならば、スイッチング信号すなわち分割
キー信号を生成し、該信号に利得を適用し、ソース画像
から均一な色の背景の前方に配置する主体を抽出し、ソ
ース画像と新しい背景画像の混合を実施することからな
る、カラービデオ画像のはめ込み方法において、 背景／主体及び主体／背景の遷移部（Ｔ）は、ソース
画像の点の色と背景の点の色の距離値（DIST）の変化に
応じてソース画像内で動的に探索され、遷移部の型によ
って幅の異なる主体の輪郭を画成し、 主体の輪郭に属するものとして画成されたソース画像
の点だけに、問題の点の色と背景の色との間の距離値
（DIST）に比例した利得を適用する ことからなることを特徴とする方法が提供される。
本発明によるならば、更に、上記した方法を実施する
ための装置が提供される。
本発明の他の特徴及び利点は、添付図面を参照して行
う以下の実施例の説明によってより明らかになろう。
図１は、本発明による方法を実施するための装置のブ
ロック図であり、 図２は、本発明による分割キー信号を得るためのブロ
ック図であり、 図３は、二進分割キー信号の実施例を図示したもので
あり、 図４は、遷移部Ｔの近傍での距離のグラフの一例であ
り、 図５は、本発明による幅の異なる輪郭の一例であり、 図６は、本発明による輪郭上での距離の間隔の減少を
図示したものであり、 図７は、本発明による利得を有する分割キーの計算を
実行するフローチャートの一例であり、 図８は、本発明による輝度微細部のはめ込みの一例で
あり、 図９は、本発明による色微細部のはめ込みの一例を図
示したものである。
均一な色の背景の前方に配置されるはめ込まれる主体
を含むソースビデオ画像は、輝度信号Ｙ、赤色差信号
CR、及び青色差信号CBによって構成されており、その結
果、CB＝Ｒ−Ｙ及びCB＝Ｂ−Ｙである。これらの信号
Ｙ、CR、CRのサンプリングしデジタル化した。信号のサ
ンプリングは、例えば、国際規格に対応する周波数で実
施できる。その国際規格は、輝度信号の場合は13.5MHz
であり、これは１ラインにつき720点に対応する。各色
差信号の場合は6.75MHzであり、これは１線につき360点
に対応する。
同様に、信号をデジタル化するためのコード化は、例
えば、国際規格、すなわち、輝度信号Ｙと色差信号CR及
びCBの各々についてサンプルごとに８ビットを使用する
コード化を選択することができる。８ビットコード化
は、３つのコード化された成分Ｙ、CR、CBの変化の最大
振幅を28＝256レベルに分けて識別する。
図１は、本発明による方法を実施するための装置のブ
ロック図である。この方法の実施には、色差信号と輝度
信号について同数のサンプルを得るためのソースビデオ
画像１から来る色差信号CR、CBの内挿手段３と、内挿さ
れた色差信号から輝度において主体をはめ込むことので
きる分割キーを計算する手段４と、輝度分割キー信号Ｙ
を受けて、色差信号のはめ込みを許可する分割キー信号
CR/CBを出力する低域フィルタを形成する手段５と、ソ
ースビデオ画像１から来るソース色差信号CR、CB、新し
い背景ビデオ画像２から来る背景色差信号CR、CB及び分
割キー信号CR/CBを受けて、色差信号のはめ込みを実施
する手段６と、ソース輝度信号Ｙ及び背景輝度信号Ｙ及
び分割キー信号Ｙを受けて、輝度信号のはめ込みを実施
する手段７と、はめ込み後のソースビデオ信号及び新し
い背景ビデオ画像の輝度信号Ｙ及び色差信号CR、CB及び
分割キー信号Ｙを受け、細部、陰影部及び透明部のはめ
込みを実施して、最終的なはめ込まれた画像９を得るこ
とのできる手段８とを必要とする。
図２は、本発明による分割キー信号を得る装置のブロ
ック図である。輝度Ｙを処理することのできる分割キー
信号は、色差信号CR及びCBから得られる。色差信号CR、
CBは輝度信号Ｙの周波数の半分の周波数でサンプリング
されているので、各２つの情報から１つの情報だけが使
用することができる。そこで、サンプルの数を２倍にす
るために、内挿手段３は、例えば、使用する内挿フィル
タに応じたデジタルフィルタリング方程式を使用して、
行方不明のサンプルCRi、CBi（添字は奇数）を計算す
る。そのように内挿された信号CR、CBは、分割キー計算
装置４で使用される。まず第１に、問題の点の色と背景
の特徴的な色との間の差DISTを、画像の各画素につい
て、以下のように、距離計算装置40で計算する； DIST＝〔（CR−CR BACKGROUND）２ ＋（CB−CB BACKGROUND）２〕1/2 背景パラメータCR BACKGROUND及びCB BACKGROUNDは、自
動的に獲得されるかユーザによって供給される。この目
的のため、ユーザは、有色背景に、背景を代表するもの
としてみなされる長方形の窓すなわらウィンドーを開け
る。次に、開口されたウィンドーに属する全部画素の
CR、CBの平均をとることによって、CR BACKGROUND及びC
B BACKGROUNDの値が得られる。ウィンドーが大きければ
大きいほど、その平均値が背景ノイズに影響されにくく
なり、背景の特徴がより特徴づけられる。背景／主体識
別は、例えば、中心（CR BACKGROUND、CB BACKGROUND）
で、平面（CR、CB）内の半径Ｒ閾値の円で背景を特徴づ
けることによって行うことができる。この円内の画素は
背景に属し、他の画素は主体に属するとみなされる。
各画素ごとに、（CR−CR BACKGROUND）及び（CB−CB
BACKGROUND）の値を自乗して、合計し、更に、平方根を
求めて、色平面（CR、CB）における、ソース画像内のい
ずれかの点の色と背景の色との間のユークリッド距離DI
STを得る。次に、比較装置41において、半径Ｒの閾値の
点に対応する閾値距離値と距離信号DISTを比較して、主
体の２進数分割キーを得る。その距離は、この閾値より
小さい点は、背景（キー＝０）に属するとみなされ、他
の点は主体と属するとみなされる。閾値の値の調節によ
って、背景／主体識別を最適化することができる。主体
と背景との間のユークリッド距離と閾値との比較をする
とき、得られる分割キーは２進数キーである。このキー
をはめ込むべき主体のスイッチングに使用すると、前記
のように、ぎざぎさの青みがかった輪郭が生じる。従っ
て、分割キーに利得関数を導入する必要がある。遷移部
の型式は、輪郭の検出された幅によって決定される。狭
い輪郭は、鋭い遷移部に、広い輪郭は緩慢な遷移部に対
応する。背景／主体の遷移部に属する点は全部、輪郭点
とみなされる。従来技術と異なり、利得は、ソース画像
の背景／主体遷移部にだけ適用され、輪郭の幅によって
変化させて、はめ込まれた画像に同型の遷移部を保持
し、輪郭の青い縁部やぎざぎざの輪郭の印象を排除す
る。従って、背景／主体遷移部を検出し、それらの型式
を特徴づける必要がある。
例えば、図３に図示したような２進数分割キー信号に
基づいて、各画像線について、抽出装置42によって可変
幅輪郭の抽出を実施する。その２進数分割キー信号によ
って、背景／主体遷移部または主体／背景遷移部を検出
することができる。各画像線では、遷移部Ｔが検出され
ると、遷移部の両側に配置された点を検査して、遷移部
の幅を決定する。このため、遷移部Ｔの近傍で、画素ご
とに、距離のグラフの監視を実施する。
図４は、遷移部Ｔの近傍に位置する画素の距離のグラ
フの一例を図示したものである。背景／主体遷移部の場
合、遷移部Ｔの後（及び前）に位置する画素の距離値
が、先行する点（あるいは後続する点）の距離値に対し
て十分に大きくなる（及び小さくなる）ならば、その画
素は、輪郭点とみなされる。主体／背景遷移部の場合、
遷移部の幅は同様に決定されるが、距離値は遷移部後に
小さくなり、遷移部前に大きくなる。輪郭点の画像は、
画像の線をすべて調べられた後に得られる。
図５は、値１を輪郭に属する点に割り当て、値０を輪
郭に属していない点に割り当てた可変幅輪郭の一例を図
示したものである。ユーザはこの輪郭の最大幅を調節し
て、遷移部の幅を制限し、任意でそれら（例えば、20
点）を鋭くすることができる。
次に、遷移部に属する各画素について、その距離値を
関数として、計算装置43によって利得を計算し、他の点
については２進数キーによって決定されたそれらの値を
保持する。この目的のため、画像の各線について及び各
遷移部について、遷移部の始点及び終点に対応する最小
距離Dmin及び最大距離Dmaxの距離を決定する。最小距離
と最大距離の差Dmax−Dminを計算して、減少して、内挿
フィルタリングの間に導入された遷移部の両側での振動
による距離値を含まないようにする。
差Dmax−Dminの減少は、例えば、以下のように実施さ
れる。
減少Dmin＝Dmin＋20％（Dmax−Dmin） 減少Dmax＝Dmax−５％（Dmax−Dmin） 振動を避けるためのDminに対する注意のすべてがはめ
込まれた画像に問題（背景レベルへの変化が速すぎる）
を引き起こすわけではなくとも、Dmaxに同様の注意を払
った場合、主体の周りの部分を残し、その部分がしばし
ば大きくなることがあり、従って、はめ込まれた画像の
周りに青い縁を発生させる危険性があるので、距離の制
限は対称的ではない。この場合、主体の周りに青い縁を
つくるよりむしろ振動をいくらか残した方が好ましい。
従って、減少されたDminと減少されたDmaxの新しい数値
の間にその距離が含まれる輪郭点で利得を計算する。こ
れは、問題の点の距離値に比例するように実施され、そ
れによって、はめ込まれた画像に同一の遷移部を再現す
る。
図７は、問題の点の距離値に比例した利得を有する分
割キーを計算することのできるフローチャートの一例を
図示したものである。減少された差〔減少Dmax−減少Dm
in〕が０以下であるような輪郭点では、分割キーは二進
数キーである。減少された差が０より大きく、問題の点
の距離値が減少Dminと減少Dmaxとの間に含まれている場
合、分割キーは、以下の式によって得られる： キー＝（DIST−減少Dmin）／（減少Dmax−減少Dmin）
差が０より大きく、その問題の点の距離値が減少Dminよ
り小さい（または、減少Dmaxより大きい）時、分割キー
の数値は０に等しい（または、１に等しい）。
このようにして得られた分割キーによって、新しい背
景にソース画像をはめ込むことができるが、満足のいく
方法で使用することができるようにするには、特殊な処
理が必要である。第１の特殊な処理とは、処置44による
キーに残存している分離点、即ち、分割キーの数値が隣
接する点の数値と完全に異なる点の排除に関するもので
ある。各々キー値０（または１）を有する２つの点によ
って垂直方向にまたは水平方向に挟まれた点は、そのキ
ー値を０（または１）に設定（変更）される。通常、ソ
ース画像の有色背景によるこれらの異常な点を除くこと
によって、これらの点が２つの連続した線上に再現され
ない限り、最適閾値の選択の際これらの点を無視するこ
とができる。
分離点の排除した後、分割キーを選択的水平フィルタ
リング45にかける。事実、輪郭が実際に水平である時、
輪郭の抽出がライン（水平線）ごとに行われるので、そ
の輪郭に属する点は検出されず、垂直または斜めの遷移
部だけが検出できる。選択的水平フィルタリングによっ
て、分割キー中のこれらの水平遷移部を検出することが
でき、人工的にそれらを緩やかにして、はめ込まれた画
像に破線として現れるのを防止することができる。
また、分割キーがラインごとの処理によって得られる
ので、２つの連続した線の間のずれによって水平遷移部
上のはめ込まれた画像に大きなぶれが生じることがあ
る。従って、分割キー上で垂直フィルタリング46を実施
して、種々の線を互いに再補正することが必要であるよ
うに思われる。例えば、３つの点の垂直平均を与えるフ
ィルタリングは良好な結果をもたらす。
この処理の終点で得られた利得を有する分割キー信号
は、輝度のはめ込みに直接使用される。同様なキーを計
算して、色差信号をはめ込むが、その時、その輝度信号
の半分である周波数でサンプルをとった信号を必要とす
る。従って、分割キーＹは、低域サブサンプリングフィ
ルタを通過して、分割キーCR/CBを得る。
２つの分割キー信号Ｙ及びCR/CBを使用して、ソース
ビデオ画像及び背景ビデオとの間の混合を実施すること
ができる。その周波数の差によって２つの別々のものを
構成するとしても、輝度及び色差のはめ込みは同様に実
施できる。従って、以下の説明は、輝度信号を参照して
行うが、色差信号にも直接当てはまるものである。
従来の線形混合は、いくつかの欠点がある。従来の位
置混合では、はめ込まれた点の値は、対応するソース画
像の画素の値及び以下の式による分割信号のレベルによ
って変化する： Yinl（ｐ）＝key（ｐ）＊Ys（ｐ） ＋（１−key（ｐ））＊YnBACKGROUND（ｐ） （但し、Yinl（ｐ）、Ys（ｐ）及びYnBACKGROUND（ｐ）
は、各々、画像のある点ｐのはめ込み後のソース画像及
び新しい背景の値を示す）。
この型の混合は、遷移部上のYs（ｐ）及びYn
BACKGROUND（ｐ）の値に固有の輝度の低下または過剰を
遷移部上に出現させることがある。
従って、大部分の遷移点で、数値Ys（ｐ）は、背景の
青（またはその他の色）の輝度部分を含み、従って、背
景の青の部分が、はめ込まれた画像に再び導入されて、
主体の輪郭に明るいまたは暗い縁部を出現させる。色差
成分CR、CBについても、同様な欠点が、この縁部の着色
を引き起こすことである。提供される改良は、Ys（ｐ）
及びYnBACKGROUND（ｐ）の値を遷移部上において一定値
に固定して、この主体と新しい背景の輝度値を効果的に
示すことからなる。
それ故、この偽線形混合は、以下の式によって実施さ
れる： Yinl（ｐ）＝key（ｐ）＊VALsource ＋（１−key（ｐ））＊VALBACKGROUND） VALsource及びVALBACKGROUNDの値は、各遷移部で決定
される。背景／主体遷移部の場合、VALBACKGROUNDは、
分割キー値が０の時の遷移の前の最後の点でのY
BACKGROUNDの値である。一方、VALsourceは、分割キー
値が遷移部上に最大値である点のYsの値である。主体／
背景遷移部の場合は、逆の論理を適用する。
一方では、主体の可変幅の輪郭上の遷移部を制御する
ことによって、また他方では偽線形混合によってもたら
された改良によって、主体／新しい背景の遷移部が実際
に完全なはめ込まれた画像を得ることができる。しか
し、透明効果や微細部や陰影部は、その画像には再現さ
れない。最終的なはめ込み画像９を得るためには、その
はめ込み画像にそれらの部分を導入する必要がある。
微細部、透明部及び陰影は、同様な方法で処理され
る。唯一の注意すべき点は、前の背景より明るい部分の
場合、または、前の背景より暗い部分の場合では、調節
が異なるということである。以下の説明では、「細部」
という語は、透明効果（霧、ガラス、煙）、陰影及び微
細部を示す。
細部に関する第１の処理は、その細部を検出すること
にある。
図８は、本発明による輝度細部はめ込みの実施例を示
したものである。
ソース画像の輝度成分の場合、分割キーが１ではない
画像の各点（背景遷移部）でYs（ｐ）−Y0の値を計算す
る。パラメータY0は、背景上の輝度の平均値を示し、CR
BACKGROUND及びCB BACKGROUNDの測定の際にユーザが利
用するウィンドーの輝度レベルの平均を測定することに
よって計算される。背景より明るい細部の場合は、Ys
（ｐ）−Y0の値は、より暗い細部の場合にその絶対値を
とる必要があるように考えられる。
以下の説明では、簡単にするために、意図的に絶対値
を無視して、従って、明るい細部の場合のみ考慮した。
しかし、使用した根拠は、より暗い細部の場合、Ys
（ｐ）−Y0を|Ys（ｐ）−Y0|に置換しても、全く同じで
ある。
Ys（ｐ）−Y0がユーザによって固定された低閾値SBよ
り小さいと、対応する点は、細部ではないとみなされ
る。
Ys（ｐ）−Y0がユーザによって固定された高閾値SHよ
り大きいと、対応する点は、細部の必須部分とみなされ
る。２つの閾値SB、SHの間では、対応する点は、Ys
（ｐ）−Y0の値に応じて「多かれ少なかれ」細部であ
る。すなわち、光輝度細部のはめ込みの可能にする等式
は、以下の通りである： （ａ） Ys（ｐ）−Y0＜SBの場合は、Ynil（ｐ）は不変
化。
（ｂ） Ys（ｐ）−Y0＞SHの場合は、 Ynil（ｐ）＝Ys（ｐ）＋param （ｃ） SB＜Ys（ｐ）−Y0＜SHの場合、 Ynil(p)=〔YnBACKGROUND(p)-Y０-SH-param)*(Ys(p)-
Y０) +SB(Y０+SH+param)-YnBACKGROUND(p)*SH〕/(SB-SH) パラメータparamによって、ソース画像の輝度レベル
にたいして細部の輝度レベルの調節を行うことができ
る。
高閾値SHと低閾値SBとの間では、細部は、Ys（ｐ）−
Y0の値に比例して再はめ込みされる。式（ｃ）の係数
は、Ys（ｐ）−Y0＝SBという限定条件下での式（ａ）及
び（ｂ）がYnil（ｐ）の同じ値を与え、同様に、Ys
（ｐ）−Y0＝SHの場合に式（ｂ）及び（ｃ）がYnil
（ｐ）の同一の値を与えるように決定される。
従って、細部の輝度はめ込みは、３つのパラメータ、
すなわち、SB、SH、paramの調節を必要とする。
低閾値SBによって、点が細部とするレベルを調節する
ことができる。SB＝０の場合、前の有色背景の非均一な
点を全部はめ込み画像に再移動させる。従って、低閾値
の調節によって、前の背景のノイズによる新しい背景の
汚れと殆ど目に見えない細部の正確な再現との間の妥協
を可能にする。
高閾値SH、より正確には、高閾値SHと低閾値SBとの間
の差によって、細部の再現の比例部の範囲を決定をし、
従って、比例“直線”（均一な新しい背景の場合は直
線）の勾配を決定することができる。「直線」の勾配が
小さい（差SH−SBが大きい）ほど、再描出される細部の
比例は小さくなり、「直線」の勾配が大きいほど細部の
比例は大きくなる。「直線」の勾配は、高閾値SHと低閾
値SBとの間の差によるだけではなく、また、新しい背景
の輝度とソース画像の輝度との間の差によって決定され
る。一般的な法則としては、新しい画像とソース画像と
の間の輝度の差が大きいほど、正確な結果を得るために
は、高閾値SHと低閾値SBとの間の差が大きくする必要が
ある。
また、パラメータparamによって、ソース画像に対し
て細部の輝度を大きくしたり、小さくすることができ
る。多くの場合、特に、頻繁に見られるように細部が主
体に接している場合、paramは０（欠陥値）に設定され
る。次に、paramの非零値は主体の輝度と細部の輝度と
の間にオフセットを引き起こし、はめ込まれた画像に不
連続性を引き起こす。
図９は、本発明による、色差のような細部のはめこみ
の実施例を示したものである。
色差信号のはめ込みは、上記と同じ原理によって実施
されるが、但し、高閾値SHより高い場合、再描出される
再部は元のものではなく、グレーレベル（CR＝128、CB
＝128）であり、新しい背景の比例の区域は減色され
る。
従って、 ・Ys（ｐ）−Y0＜SBの場合、CRinl（ｐ）は不変化 ・Ys（ｐ）−Y0＞SHの場合、 CRinl（ｐ）＝128＋param CR ・SB＜Ys（ｐ）−Y0＜SHの場合、 CＲinl(p)=〔(CＲnBACKGROUND(p)-128 -param CＲ)*(Ys(p)-Y０)+SB(128+param CＲ) -CＲnBACKGROUND(p)*SH〕/(SB-SH) SB及びSHは同一なので、同じ関係式は、CRをCBに置き
換えたCBinl（ｐ）にも適用される。同様に、param CR
及びparam CBはparamの数値（一般に０）の欠陥によっ
て一定することができるが、また、互いに無関係に変化
できるようにして、はめ込み画像の細部に着色すること
ができる。
本発明による方法によって、大多数の場合、ほとんど
調節を必要とせずに十分なはめ込み画像が得られる。細
部のない画像の場合は、１つの閾値だけを調節すればよ
く、細部が背景より明るいか暗い画像の場合には３つの
調節（閾値、SH、SB）を必要として、明るい細部と暗い
細部を有する画像の場合は５つの調節（閾値、明るい細
部のSHとSB、暗い細部のSHとSB）を必要とするだけであ
り、CR BACKGROUND、CB BACKGROUND、Y0、背景を示すウ
ィンドーの幅、閾値距離等の上記の他のパラメータは、
通常、はめ込みの品質を劣化させない欠陥によって固定
された値であると仮定される。
本発明は、上記の実施例に限定されるものではない。
本発明の範囲内で様々な変更を行うことができる。特
に、円による背景の特徴付けは、楕円形特徴付けに変え
ることができる。背景にすべきソース画像の点からの距
離値DISTは、以下のように示される： DIST＝〔ｋ（CR−CR BACKGROUND）２ ＋k0（CB−CB BACKGROUND）２〕1/2 （但し、ｋは、k0とは異なる） また、楕円の軸を変えて、再度、色平面（CR、CB）にお
いて背景を特徴付ける閉区域を画成することができる。
同様に、輪郭をラインごとに検出することによって、
垂直または少なくともそのまま処理される背景／主体遷
移部の検出だけを可能にし、遷移部の方向を画成するこ
とのできる輪郭検出を実施して、その決定された方向に
垂直に遷移部に作用することができる。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−212090（ＪＰ，Ａ) 特開 昭58−9476（ＪＰ，Ａ) 特開 昭58−9475（ＪＰ，Ａ) 特開 昭59−25479（ＪＰ，Ａ) 特表 昭60−501680（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 9/75

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】スイッチング信号すなわち分割キー信号を
    生成し、それに対して利得を適用して、ソース画像から
    均一な色背景の前方に配置する主体を抽出し、上記ソー
    ス画像と新しい背景画像の混合を実施することからなる
    カラーテレビ画像はめ込み方法であって、 背景／主体及び主体／背景の遷移部（Ｔ）は、ソース画
    像の点の色と背景の点の色の距離値（DIST）の変化に応
    じてソース画像内で動的に探索され、遷移部の型によっ
    て幅の異なる主体の輪郭を画成し、 主体の輪郭に属するものとして画成されたソース画像の
    点だけに、問題の点の色と背景の色との間の距離値（DI
    ST）に比例した利得を適用し、 細部、陰影部及び透明部に対応する上記ソース画像の点
    は、該ソース画像と前の背景との間の輝度差（Ys−Yo）
    を２つの閾値、すなわち、高閾値（SH）及び低閾値（S
    B）と比較することによって検出し、新しい背景と上記
    ソースとの間の線形混合は、上記輝度差がその２つの閾
    値（SB,SH）の間に含まれている時、この輝度差（Ys−Y
    o）の値に従って実施することを特徴とする方法。
  2. 【請求項２】上記画像の各点での混合は、その問題の点
    での上記分割キー信号の値の関数しておこない、そのソ
    ース信号及び新しい背景信号の値は、輪郭の幅にわたっ
    で一定値に固定することを特徴とする請求項１に記載の
    方法。
  3. 【請求項３】上記主体の輪郭の幅は、上記主体／背景ま
    たは背景／主体の遷移部（Ｔ）を求め、上記ソース画像
    の各点ごとにその距離値（DIST）と閾値を比較して、更
    に、各遷移部（Ｔ）ごとに、該遷移部の始点または終点
    に対応し且つ遷移部（Ｔ）の輪郭の幅を画成する最小距
    離（Dmin）又は最大距離（Dmax）が得られるまで、該遷
    移部（Ｔ）の両側に位置している点を探索することによ
    って、決定されることを特徴とする請求項１に記載の方
    法。
  4. 【請求項４】上記遷移部（Ｔ）に対応する輪郭の幅は、
    上記最大距離値（Dmax）と上記最小距離値（Dmin）によ
    って決定された幅より小さいことを特徴とする請求項３
    に記載の方法。
  5. 【請求項５】上記輪郭の幅は、ユーザによって、最大値
    に制限されることを特徴とする請求項１〜４のいずれか
    １項に記載の方法。
  6. 【請求項６】そのキーの値が隣接する点と全く異なるよ
    うな分離した点が検出して排除することを特徴とする請
    求項１〜５のいずれか１項に記載の方法。
  7. 【請求項７】上記水平遷移部を検出して滑らかにするこ
    とを特徴とする請求項１〜６のいずれか１項に記載の方
    法。
  8. 【請求項８】垂直フィルタリングを、上記分割キー信号
    に対して実施することを特徴とする請求項１〜７のいず
    れか１項に記載の方法。
  9. 【請求項９】色差信号（CR,CB）の内挿手段（３）と、
    分割キー（key Ｙ）を計算する手段（４）と、上記輝
    度分割キー信号（key Ｙ）を受け、上記色差信号のは
    め込みを許可する分割キー信号（key CR/CB）を出力す
    る低域フィルタを形成する手段（５）と、ソース色差信
    号（CR,CB）、背景色差信号（CR,CB）及び分割キー信号
    （key CR/CB）を受けて、上記色差信号のはめ込みを実
    施する手段（６）と、ソース輝度信号（Ｙ）及び背景輝
    度信号及び分割キー信号（key Ｙ）を受けて、上記輝
    度信号のはめ込みを実施する手段（７）と、ソースビデ
    オ信号及びはめ込み後のソースビデオ信号の輝度信号
    （Ｙ）、色差信号（CR,CB）及び分割キー信号（key CR
    /CB）を受け、細部、陰影部及び透明部のはめ込みを実
    施して、最終的にはめ込まれた画像（９）を得ることの
    できる手段（８）とを備えることを特徴とする請求項１
    〜８のいずれか１項に記載の方法を実施する装置。
  10. 【請求項１０】上記分割キーを計算する手段（４）は、
    距離計算手段（40）、その距離と閾値との比較手段（4
    1）、可変幅輪郭の抽出手段（42）、上記輪郭に属する
    点の利得を計算する手段（43）、分離点を排除する手段
    （44）、選択的水平フィルタリング（45）手段、及び垂
    直フィルタリング手段（46）を備えることを特徴とする
    請求項９に記載の装置。
JP51362990A 1989-10-06 1990-09-28 自動適応式カラービデオ画像はめ込み方法及び装置 Expired - Fee Related JP3201764B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR8913085 1989-10-06
FR8913085A FR2652972B1 (fr) 1989-10-06 1989-10-06 Procede et dispositif d'incrustation d'images video couleur auto-adaptatif.

Publications (2)

Publication Number Publication Date
JPH04502095A JPH04502095A (ja) 1992-04-09
JP3201764B2 true JP3201764B2 (ja) 2001-08-27

Family

ID=9386160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51362990A Expired - Fee Related JP3201764B2 (ja) 1989-10-06 1990-09-28 自動適応式カラービデオ画像はめ込み方法及び装置

Country Status (6)

Country Link
US (1) US5194941A (ja)
EP (1) EP0542744B1 (ja)
JP (1) JP3201764B2 (ja)
DE (1) DE69029403T2 (ja)
FR (1) FR2652972B1 (ja)
WO (1) WO1991005443A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3038051B2 (ja) * 1991-06-28 2000-05-08 日本放送協会 動画像領域抽出装置
EP0540313B1 (en) * 1991-10-30 1996-12-27 Fujitsu Limited Color adjustment for smoothing a boundary between color images
US5249039A (en) * 1991-11-18 1993-09-28 The Grass Valley Group, Inc. Chroma key method and apparatus
DE4143180A1 (de) * 1991-12-30 1993-07-01 Broadcast Television Syst Verfahren und anordnung zur einblendung eines hintergrundsignals in durch eine vorgegebene stanzfarbe festgelegte teile eines vordergrundsignals
DE4229377B4 (de) * 1992-09-03 2006-03-23 Bts Holding International Bv Farbstanzverfahren für Bildsignale
JP3679114B2 (ja) * 1993-04-15 2005-08-03 アルティマット・コーポレーション ビデオ信号を合成するためのシステムおよび方法
EP0624974B1 (en) * 1993-05-14 1999-03-24 Matsushita Electric Industrial Co., Ltd. Method and system of mixing video signals
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US5589874A (en) * 1993-06-09 1996-12-31 Origin Medsystems, Inc. Video imaging system with external area processing optimized for small-diameter endoscopes
US5475420A (en) * 1993-06-09 1995-12-12 Origin Medsystems, Inc. Video imaging system with image processing optimized for small-diameter endoscopes
US6418556B1 (en) 1993-09-09 2002-07-09 United Video Properties, Inc. Electronic television program guide schedule system and method
US6661468B2 (en) * 1994-05-20 2003-12-09 United Video Properties, Inc. Electronic television program guide schedule system and method
US6769128B1 (en) 1995-06-07 2004-07-27 United Video Properties, Inc. Electronic television program guide schedule system and method with data feed access
FR2741769B1 (fr) * 1995-11-23 1997-12-19 Thomson Broadcast Systems Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
FR2741770B1 (fr) * 1995-11-23 1998-01-02 Thomson Broadcast Systems Procede de calcul d'une cle de decoupe d'un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
JP3706189B2 (ja) * 1996-03-15 2005-10-12 富士写真フイルム株式会社 画像データの補間処理方法およびその方法を使用した装置
DE19619090A1 (de) * 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US5940073A (en) * 1996-05-03 1999-08-17 Starsight Telecast Inc. Method and system for displaying other information in a TV program guide
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US8635649B2 (en) 1996-12-19 2014-01-21 Gemstar Development Corporation System and method for modifying advertisement responsive to EPG information
US5974172A (en) * 1997-02-14 1999-10-26 At&T Corp Method and apparatus for coding segmented regions which may be transparent in video sequences for content-based scalability
US6618444B1 (en) * 1997-02-14 2003-09-09 At&T Corp. Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6035060A (en) * 1997-02-14 2000-03-07 At&T Corp Method and apparatus for removing color artifacts in region-based coding
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
JP3870422B2 (ja) * 1997-02-20 2007-01-17 ソニー株式会社 映像信号処理装置及び方法、画像合成装置、並びに編集装置
JPH10341374A (ja) * 1997-04-07 1998-12-22 Sony Corp 画像処理方法及び画像処理装置
US6141433A (en) * 1997-06-19 2000-10-31 Ncr Corporation System and method for segmenting image regions from a scene likely to represent particular objects in the scene
EP1036466B1 (en) 1997-07-21 2003-03-26 E Guide, Inc. Method for navigating within a television program guide having advertisements
US20020095676A1 (en) 1998-05-15 2002-07-18 Robert A. Knee Interactive television program guide system for determining user values for demographic categories
US6898762B2 (en) 1998-08-21 2005-05-24 United Video Properties, Inc. Client-server electronic program guide
US6934906B1 (en) 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US8133115B2 (en) * 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US20050251597A1 (en) * 2004-05-10 2005-11-10 Guobiao Zhang Wireless Smart Hard-Disk Drive
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US8640166B1 (en) 2005-05-06 2014-01-28 Rovi Guides, Inc. Systems and methods for content surfing
US8095951B1 (en) 2005-05-06 2012-01-10 Rovi Guides, Inc. Systems and methods for providing a scan
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US8380726B2 (en) 2006-03-06 2013-02-19 Veveo, Inc. Methods and systems for selecting and presenting content based on a comparison of preference signatures from multiple users
US8316394B2 (en) 2006-03-24 2012-11-20 United Video Properties, Inc. Interactive media guidance application with intelligent navigation and display features
US7880746B2 (en) * 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
US8799954B1 (en) 2006-07-31 2014-08-05 Rovi Guides, Inc. Systems and methods for providing custom media content flipping
US8832742B2 (en) 2006-10-06 2014-09-09 United Video Properties, Inc. Systems and methods for acquiring, categorizing and delivering media in interactive media guidance applications
US7801888B2 (en) 2007-03-09 2010-09-21 Microsoft Corporation Media content search results ranked by popularity
US8407737B1 (en) 2007-07-11 2013-03-26 Rovi Guides, Inc. Systems and methods for providing a scan transport bar
JP2009145568A (ja) * 2007-12-13 2009-07-02 Canon Inc 加熱体、及びその加熱体を有する像加熱装置
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US9736524B2 (en) 2011-01-06 2017-08-15 Veveo, Inc. Methods of and systems for content search based on environment sampling
JP2012191250A (ja) * 2011-03-08 2012-10-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2464001A1 (fr) * 1979-08-17 1981-02-27 Thomson Csf Generateur de signaux de commutation pour effet d'incrustation en television et dispositif de commande d'effets speciaux comportant un tel generateur
FR2495858A1 (fr) * 1980-12-05 1982-06-11 Thomson Csf Procede de transcodage parallele serie d'un train numerique parallele et dispositif de transmission de signaux video numerises mettant en oeuvre un tel procede
CA1187166A (en) * 1981-07-09 1985-05-14 Kaichi Yamamoto Digital chromakey apparatus
JPS5846783A (ja) * 1981-09-12 1983-03-18 Sony Corp クロマキ−装置
US4574172A (en) * 1981-11-25 1986-03-04 Westinghouse Electric Corp. Brazing wand with fiber optic temperature sensor
FR2527033A1 (fr) * 1982-05-17 1983-11-18 Telediffusion Fse Systeme d'incrustation d'images en television en couleurs
JPS5925479A (ja) * 1982-08-03 1984-02-09 Toshiba Corp ディジタルエッヂス−パ−発生装置
JPH0634517B2 (ja) * 1983-05-18 1994-05-02 ソニー株式会社 クロマキ−装置
US4589013A (en) * 1983-06-13 1986-05-13 501 Ultimatte Corporation Automated encoded signal color image compositing
FR2620287B1 (fr) * 1987-09-04 1994-04-22 Thomson Video Equip Dispositif optique d'analyse d'images fixes en television et analyseur comportant un tel dispositif
FR2632470B1 (fr) * 1988-06-07 1990-08-03 Thomson Video Equip Dispositif de traitement numerique d'images pour l'obtention d'effets speciaux geometriques
GB8822161D0 (en) * 1988-09-21 1988-10-26 Abekas Video Systems Video signal processing

Also Published As

Publication number Publication date
EP0542744B1 (fr) 1996-12-11
DE69029403D1 (de) 1997-01-23
JPH04502095A (ja) 1992-04-09
WO1991005443A1 (fr) 1991-04-18
EP0542744A1 (fr) 1993-05-26
US5194941A (en) 1993-03-16
FR2652972B1 (fr) 1996-11-29
FR2652972A1 (fr) 1991-04-12
DE69029403T2 (de) 1997-05-28

Similar Documents

Publication Publication Date Title
JP3201764B2 (ja) 自動適応式カラービデオ画像はめ込み方法及び装置
KR930009186B1 (ko) 부호화 비디오복호기
US8805114B2 (en) Content adaptive edge and detail enhancement for image and video processing
JP3975530B2 (ja) 画像処理装置
CN106846270B (zh) 一种图像边缘增强方法及装置
CA2160552C (en) Screen filtering boundary detection for image compositing
EP1313312A2 (en) Method of edge based interpolation
JPH06197216A (ja) 地肌除去方法
CN113034509A (zh) 图像处理方法及装置
EP0114961A2 (en) Nonlinear filtering of gray scale video images
JP3033967B2 (ja) 画像信号を処理する方法と装置
JPH1023267A (ja) 画像のシャープネス処理装置
KR100949403B1 (ko) 화상 노이즈 저감 방법 및 장치
US7239756B2 (en) Method for enhancing the quality of an image
KR0160718B1 (ko) 색신호에 포함된 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
JP3100383B2 (ja) 文字領域分離方法および装置
CN114913099B (zh) 视频文件处理的方法和系统
JP3165225B2 (ja) 画像処理装置および画像処理方法
JPH07131758A (ja) ビデオ信号の雑音低減方法
JPH03185574A (ja) 多値画像フィルタ処理装置
JP3014102B2 (ja) 輪郭補正回路
JPH07111605A (ja) 雑音除去回路
EP0683605B1 (en) Method and device for enhancing the transients of a video signal in component form
GB2370933A (en) Detecting and reducing visibility of scratches in images.
JPS6180964A (ja) 画信号処理方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees