JPH08511409A - ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 - Google Patents

Abstract

(57)【要約】 遮られた領域を見ることの問題を避けるために、イメージセンサーにより撮される場面中の複数の基準領域のうちの幾つかが、場面中のパターンの挿入されるべき目標領域の場所を推定するのに使用される。センサーの設定されたアングルなどにおける変化のため、１つの基準領域から推定した目標領域の場所と、もう１つの基準領域から推定した目標領域の場所では、サイズと位置において僅かな相違が存在する。第１基準領域が遮られることに応じて、目標領域位置を推定するのに用いられる第１基準領域が第２基準領域に代えられるとき、このことがジッターを引き起こす。このジッターは誤差修正成分を求めることにより取り除かれ、この成分は、異なる基準領域から推定された目標領域の場所のサイズと位置における上述の僅かな相違を補償する。

Description

【発明の詳細な説明】 ビデオイメージ中の複数の追跡基準領域から推定された 目標領域の場所の安定的推定法 本発明の技術分野 本発明は、ビデオイメージのような背景イメージ中の目標領域に、外部からの イメージデータであるパターンキーを挿入するのに適した改良技術に関する。 本発明の背景 出願中の米国特許出願第08/115,810号、１９９３年９月３日提出、発明の名称 「パターンキー挿入を用いたビデオマージング（Video Merging Employing Patt ern-Key Insertion）」を参考文献として挙げる。その特許出願によると、パタ ーンキー挿入は、前景と背景のマージングにより合成イメージを作るのに用いら れる。このための用いられる実現技術では、目標領域の場所が、背景イメージ中 の複数の基準領域のうちの幾つかの追跡された場所から推定できる。複数の基準 領域の各々の場所は、目標領域の場所から異なる方向に移動できる。その結果、 目標領域自身が部分的に又は完全にイメージの特定の端を越えて動くようなビデ オ場面ならば、複数の追跡基準領域のうちの少なくとも一つがイメージ内に残る 。そして、たとえ目標領域自身の場所が部分的に又は完全に視野イメージフィー ルドの外にあっても、目標領域自身の推定的追跡は依然として連続して維持でき る。加えて、イメージ中の複数の追跡された基準領域のうちの幾つかは、場面中 の前景物のためにしばしば遮られるので、そのようなときは、目標領域の場所を 推定するのに使用できない。そのような場合には、イメージ中の複数の追跡され た基準領域のうちの他のものが代わりに使用されなければならない。しかしなが ら、目標パターンの場所を推定するために、複数の追跡基準領域のうちの一つか ら他の追跡領域基準領域に切り換えると、モデル誤差が生じ、目標パターンの場 所の推定が不安定となる。 より高次のオーダーのモデルを複数の追跡基準領域の各々に当てはめることに より、上記のようなモデル誤差を小さくでき、その結果、それらの基準領域はよ りよく追跡される。そのようなより高次のオーダーのモデルは、一つのイメージ フレームから推定するには不安定であり、局所的な推定におけるバイアスのかか った誤差が、先験的にモデル化するのが困難な推定誤差を導く。 本発明は、目標パターンの場所を推定するために、複数の追跡された基準領域 のうちの一つが他の追跡基準領域に切り換えられたとき、目標パターンの場所の 安定した推定を導くための改良された技術に関する。 本発明の概略 本発明は、テレビカメラのようなイメージセンサーで撮された場面中の特定の 場所にある目標領域に、与えられたパターンを挿入するためのイメージ処理方法 の改良に関するものである。その場面には、互いに場所が移動させられた少なく とも２つの基準領域が含まれる。本発明は２つの計算工程を含み、一つは、場面 の各連続イメージフレーム内の特定の場所のサイズと位置を、場面の各連続イメ ージフレーム内に表された第１の基準領域のサイズと位置から推定するための計 算工程であり、もう一つは、場面の各連続イメージフレーム内の特定の場所のサ イズと位置を、場面の各連続イメージフレーム内に表された第２の基準領域のサ イズと位置から独立に推定するための計算工程である。このことにより、第１基 準領域のサイズと位置から推定された、場面の各連続フレーム内の特定の場所の サイズと位置に対して、第２基準領域のサイズと位置から推定された、場面の各 連続フレーム内の特定の場所のサイズと位置における相違が発生しがちである。 この方法は改良として、少なくとも一つの連続イメージフレーム内の前記第２ 基準領域のサイズと位置から推定された、特定の場所のサイズと位置を修正する 更なる工程を含む。その結果、第１基準領域のサイズと位置から推定された、場 面中の連続イメージフレームのうちの少なくとも一つのフレーム内の特定の場所 のサイズと位置に実質的に同じものとなる。 図面の簡単な説明 図１は上述の特許出願における図６と同じものであり、基準領域の追跡の例を 示す。 図２ａは、特定の場所に物理的に配置された所与のロゴ(Logo)パターンを有す る実際のテニススタジアムの塀を図示している。図２ｂは、ロゴを配置していな い実際のテニススタジアムの塀を図示している。 図３ａと３ｂは共に、進行中のテニスの試合のイメージ表示に存在する安定化 の問題を図示したものであり、挿入されたロゴパターンの場所を連続的に推定す るために、複数の基準領域が追跡されている。図３ｃは、この安定化の問題の解 決策を図示したものである。 好適実施例の説明 上述の特許出願は、ビデオイメージのようなイメージ内の第１目標パターンを 挿入された第２目標パターンと置き換える種々の方法に広く係るものである。（ この第１目標パターンは広告板に配置され得る。）それによると、場面中の１つ 又は複数の基準の夫々の位置から第１目標パターンの位置を推定することにより 、第１目標パターンの場所は直接的にもしくは間接的に検出できる。図１（上記 特許出願の図６と同じもの。）は、実施可能な一つの間接的方法を示している。 図１を参照すると、背景場面３０４Ａは、テレビカメラのようなイメージセン サー３００Ａの現在の視野フィールドから成っている。示されているように、現 在の視野フィールドは、目標（ロゴパターン「Ａ」を含んだ広告板３０２）並び に基準Ｂ（木）及び基準Ｃ（家）を含み、目標や基準の各々は相互に位置が移動 する。ブロック３３０、現在の視野フィールド、及びワールドマップ３３２によ り示されているように、目標Ａと基準Ｂ及びＣは、基準領域の現在の視野フィー ルド３３０を含めて、記憶された相対的位置の一部のみと、基準領域のワールド マップ３３２のパターンのポーズ(pose)を形成する。これらの記憶されたパター ンはまた、基準ＤおよびＥを含み、これらの基準は基準領域の現在の視野フィー ルドの外側にたまたま存在しているが、遅かれ速かれ基準領域の視野フィールド に含まれ得る。手段３１０Ａ（１）はセンサー３００Ａとブロック３３２の両方 からの入力に応答し、パターンＡが視野フィールドの中に完全に存在するか、又 は部分的に存在するか、又は１つ又は１以上の基準のみが存在するかに関わらず 、目標Ａの場所を示す出力を与えることができる。パターンＢ及び／又はＣを検 出し、ワールドマップ３３２を使ってパターンＡの位置を推定することにより、 手段３１０Ａ（１）はパターンＡを検出する。手段３１０Ａ（１）の出力である パターンＡの場所は、手段３１０Ａ（２）に与えられ、図示されてはないが、上 述した様にポーズを除去する。手段３１０Ａ（２）の出力はそれから（図示され てない）ビデオスイッチに接続される。 目標自身が現在の視野フィールドでたまたま遮られたときには、基準領域を追 跡することもまた有効であり、その目標領域の場所は遮られていない１つまたは １以上の基準の場所から推定しなければならない。 もし目標パターンが視野フィールドから特定の方向に外れるならば、又はフィ ールドに入っていくならば、基準領域追跡が唯一問題を解決するものとなる。図 １に示された例では、基準領域内の基準パターンの各々は目標パターンの右に位 置しており、目標パターンがイメージの左手側を視野フィールドから出て行くな らば、基準パターン追跡が唯一問題を解決する。 複数の基準追跡により、その問題が克服される。一つの基準（又は目標）を検 出する代わりに、目標パターンの位置を推定するのに最も寄与するパターンに依 存して、システムは異なる基準領域内の１又は１以上の基準パターンを検出でき る。例えば、もし目標パターンが視野フィールドを左手側にはみ出ていくならば 、システムは目標パターンの右にある基準パターンを検出するのを選択できる。 一方、もし目標パターンが視野フィールドの右手側にはみ出ていくならば、シス テムは目標パターンの左にある基準パターンを検出するのを選択できる。もし１ より多くの基準パターンが見えているならば、システムは目標パターンの位置を さらに正確に推定するために、いつでも一度に１より多くの基準パターンを検出 することを選択できる。従来技術から分かるように、このシステムは背景シーケ ンス中の前のイメージでのパターン検出の結果を用いてシーケンス中の次のイメ ージでのパターン検出を制御することにより実施できる。特に、システムは前の イメージで検出された基準パターンの位置を用いて、前のイメージ内の他の基準 パターンの近似位置を推定する。これらの位置は、目標パターンの位置が一つの 基準パターンから推定されるのと同じ方法で推定される。それから、システムは 、前のイメージでは目標パターンに最も近く、前のイメージの境界からは十分離 れていた基準パターンを現在のイメージ中に検出することを選択する。その結果 、検出された基準領域が背景場面中の視野フィールドからはみ出すようになると き、システムはイメージ境界からさらに離れた他の基準領域を検出することを選 択する。 上述のタイプのパターン挿入は、テレビ放送されるスポーツ試合の表示された イメージ中に特定の宣伝ロゴパターンを挿入するのに有効であることが分かった 。そのロゴパターンは、テレビ放送されている場面の物理的な一部として現れて いるが、実際はその特定のロゴパターンはそこにはない。説明のため、テニスの 試合がテニススタジアムからテレビ放送されていて、テレビ放送される試合のス ポンサーは第１の宣伝ロゴパターンを有しているが、スポンサーの競争相手が第 ２の宣伝ロゴパターンＬをテレビ放送されている場面中のスタジアムの塀に物理 的に取り付けていると仮定する（図２参照）。この場合、スポンサーは競争相手 の宣伝ロゴパターンを自分の挿入すべき第１の宣伝ロゴパターンに置き換えてテ レビ放送イメージ内に表示することを望む。スタジアムの塀に物理的に取り付け られたロゴパターンが無い場合でも（図２ｂ参照）、スポンサーは自分自身の第 １の宣伝ロゴパターンをテレビ放送されるスタジアムの塀に挿入することをなお 望む。 図２ａと図２ｂは、テニススタジアムの塀２００上のグラフィックデータのタ イプの簡素化された仮定の例を示している。特に、テニススタジアムの塀自身は 、その上に基準領域Ａ、Ｂオフセットを含み、それぞれは挿入されるべきロゴの 位置の左又は右までの特定の測定された距離である。示されているように、基準 領域ＡはラインＡ１，Ａ２，Ａ３のセットにより定められ、それぞれ上部水平ラ イン、上部水平ラインから所与の距離だけ下の下部水平ライン、およびこれらの 水平ラインを接続する垂直ラインからなる。基準領域ＢはラインＢ１，Ｂ２，Ｂ ３のセットにより定められ、それぞれ上部水平ライン、上部水平ラインから所与 の距離だけ下の下部水平ライン、およびこれらの水平ラインを接続する垂直ライ ンからなる。 物理的な塀自身上の基準領域Ａの実際に測定されたラインＡ１，Ａ２，Ａ３の セットから計算された挿入ロゴの位置は、物理的な塀上の基準領域Ｂの実際に測 定されたラインＢ１，Ｂ２，Ｂ３のセットから独立に計算された挿入ロゴの位置 に等しいことは明らかである。しかしながら、物理的な塀自身上のこれらの領域 から挿入ロゴの位置を計算できることよりむしろ、イメージセンサーで撮された 塀の連続するイメージ内の基準領域ＡまたはＢから挿入ロゴの位置を推定する必 要がある。オペレータが塀を撮しているセンサーの方向を僅かに左か右に変える ときは常に、一つのイメージから次のイメージへの相対的位置における変化（平 行移動）を考慮することが必要であり、一つのイメージから次のイメージでの基 準領域の相対的サイズにおけるオペレータに起因する変化（ズーム）を考慮する 必要もある。 図３ａではイメージ３００ａが示され、テニスプレーヤ３０２ａが基準領域Ｂ の画像を遮っている。この場合には、ロゴLAの位置は基準領域Ａから推定される 。図３ｂではイメージ３００ｂが示され、テニスプレーヤ３０２ｂが基準領域Ａ の画像を遮っている。この場合には、ロゴLBの位置は基準領域Ｂから推定される 。しかしながら、図３ｂに示されているように、基準領域Ｂから導かれたロゴLB の推定位置は、基準領域Ａから導かれたロゴLAの推定位置とは合わない。このこ とは、塀を撮像しているセンサーの指向アングルが塀に対して正確には直角でな いとき、基準領域ＡとＢに対する平行移動およびズーム値が互いに幾らか異なっ ていることより起こる。従って、これらの基準領域のうちの一つがイメージ中で 遮られたときはいつでも基準領域ＡとＢのうちの一方と、そのもう一方の基準領 域の間で使用を切り換えてロゴの位置を推定することにより、ロゴの位置の望ま しくないジッターがイメージ表示内に起こるようになる。本発明は図３ｃに示さ れているように適当な誤差修正Δb1、Δb2、Δb3をB1、B2、B3に加えることによ りそのようなジッターを避けるようにし、その結果、テニスプレーヤ３０２ｃが イメージ３００ｃ中の基準領域Ａを遮っているにも関わらず、イメージ３００ｃ 中のロゴLBの推定位置がロゴLAの推定位置と同じになる。 図２ａ、２ｂや図３ａ、３ｂ、３ｃに示された単純化された仮定の例のタイプ でのグラフィックデータでは、ほんの６パラメータ（即ち、線）A1、A2、A3、B1 、B2、B3の全てが２つの基準領域ＡとＢを定めるのに利用されている。しかしな がら、実際には実質的により多くの数の（例えば２０の）パラメータ（例えば、 線やかど点）が利用できる。このことにより、非常に多くの基準領域が定められ るようになり、各基準領域は非常に多くの利用可能パラメータのうちの僅かのも のから成る別々の部分集合により定められる。この場合には、基準領域のうちの どの一つから推定されたロゴの位置でも、以下に説明するように計算可能な適当 な誤差修正を加えることにより、その他の基準領域から推定されたロゴの位置と 合わせることができる。 イメージ中の線や点の位置（Xm,Ym）は、上述の特許出願の方法に従って各線 や点のサブピクセル測定精度で回復できる。一つの線は一つの点では定まらない 。従って、信頼重みWx，Wyが各Xm，Ymと共に考慮される。垂直の端に対しては、 水平位置のみが回復可能なのでWy=0，Wx=1である。水平の端に対しては、垂直位 置のみが回復可能なのでWx=0，Wy=1である。かど（即ち、垂直及び水平の線の交 点）に対しては、その垂直及び水平位置の両方が回復可能なのでWx=1，Wy=1であ る。これらの重みは、線や点の自動修正イメージの第２モーメントを計算するこ とにより回復可能となり、または手動で選択可能である。 モデルイメージ中の各々の線や点の位置を（Xp,Yp）とする。図３ａ、３ｂ、 ３ｃに示された例では、基準領域Ａから推定されたロゴLAはモデルイメージであ る。幾何学的移動での誤差を補償するために、誤差修正項が各（Xp,Yp）に加え られて（Xpp,Ypp）を与える。図３ａ、３ｂ、３ｃに示された例では、基準領域 Ｂから推定されたロゴLB内の各々の線や点の位置はXpp，Yppである。（Xpp,Ypp ）の組はズームや平行移動の幾何学的変形により（Xm,Ym）の組に関係する。ズ ーム誤差K、X方向での平行移動誤差Tx、及びY方向での平行移動誤差Tyは、最小 二乗法を用いて次の誤差関数を最小にするK、Tx、Tyの値を求めることにより回 復できる。 ε=ΣWx(Xm-(KXpp+Tx))²+ΣWy(Ym-(KYpp+Ty))² この誤差関数は、K、Tx、Tyの各々に関してεを微分することにより解くこと ができ、マトリックス形式でα＊Ｓ＝βと表せる３つの式を与える。ここで、 解Ｓはマトリックスαの逆行列により計算でき、Ｓ＝α^-1＊βとなる。 実際には、本発明を行うのに２つの別々の方法がある。第１の方法では、リア ルタイムで発生する連続イメージフレームを用いるダイナミックな方法が使用さ れ、一方第２の方法では、図１に関して上述したのと類似の「ワールドマップ」 方法が使用される。 これらの実行可能な方法の双方において、誤差がセンサー位置に関して滑らか に変化すると仮定されている。このことは適切である。というのは、ａ）同じイ メージ部分からのバイアスのかかった評価誤差は、略同一のセンサー位置でイメ ージフレームからイメージフレームに再生され得、そして、ｂ）モデル誤差は普 通、レンズ歪みやセンサー回転により引き起こされた低周波誤差であり、例えば 、これらの誤差成分はセンサーが動くときに滑らかに変わるからである。 上記ダイナミックな方法では、オペレータが挿入パターンのイメージ内の位置 を推定するのに用いられるときの第１基準領域が遮られようとしていることに気 づく度に、 （１）遮られてない第２の基準領域が選択され、 （２）挿入パターンの位置が遮られてない第２基準領域から推定されモデルイメ ージ位置（Xp,Yp）を与え、 （３）遮られてない第２基準領域から推定された挿入パターンの位置と、遮られ た第１基準領域の間の誤差εが計算され、 （４）計算された誤差εが記憶され、そして （５）その後、挿入パターンの位置が、記憶された誤差εを遮られてない第２基 準領域から推定された挿入パターンの位置に加えることにより求められ、それに より、修正されたモデルイメージ位置（Xpp,Ypp）が与えられる、 一方で、第１基準領域が１または１以上の付加イメージフレームに続けて使用さ れる。 「ワールドマップ」方法では、異なるズームや異なる平行移動位置での幾つか のイメージは各々別々に記録され保存される。それからこれらの記憶されたイメ ージの各々に対して、挿入されたパターンの位置は挿入パターン自身の位置にま たは非常に近くに置かれた基準領域の点（Xm,Ym）から推定され、誤差修正はこ れらの点では必要でなくなる。従って、この場合には、Xpp=Xp，Ypp=Ypであり、 修正された点の位置は実際の点の位置に等しい。このことにより、そのイメージ 中の挿入パターンの基準位置を与える変形解Ｓが与えられる。しかしながら、上 述のように計算された位置修正は、各イメージ中の他の基準領域の点（Xm,Ym） に対して要求される。ここで、各イメージは、Xpp≠Xp，Ypp≠Ypであり、そのイ メージ中の挿入パターン位置に近くない。異なるズームや平行移動位置で記録さ れた各イメージに対する、他の基準領域の各々に対する誤差修正された位置（Xp p,Ypp）が記憶される。このことにより、システムが運転中でも現在のイメージ の測定されたズームや平行移動位置に依存して適当に誤差修正された位置に切り 換えることができる。 ここで示された操作をする装置および方法は本発明を説明するものであること が分かる。本発明の趣旨または範囲を逸脱することなく、修正が当業者により容 易に案出され得る。例えば、場面や他のソースイメージが、フィルム上の一連の イメージとでき、これはテレビカメラなどのイメージセンサーにより撮像される 。

Claims (1)

1. 【特許請求の範囲】 １． イメージセンサーで撮像された場面に関して特定の位置を占める目標領域 に所与のパターンを挿入するためのイメージ処理方法において、前記場面は互い の位置が移動される少なくとも２つの基準領域を含み、前記方法は、 （ａ）連続イメージフレームの各々の内の前記特定の場所のサイズと位置を、前 記場面の連続イメージフレームの各々内に表される前記基準領域のうちの第１の もののサイズと位置から推定する計算工程、及び （ｂ）前記場面の連続イメージフレームの各々の内の前記特定場所のサイズと位 置を、前記場面の前記連続イメージフレームの各々内に表された前記基準領域の うちの第２のもののサイズと位置から独立に推定する計算工程、 を含み、それにより、前記基準領域のうちの前記第１のもののサイズと位置から 推定された、前記場面の連続イメージフレームの各々内の前記特定の場所のサイ ズと位置に対する、前記基準領域の前記第２のもののサイズと位置から推定され た、前記場面の連続イメージフレームの各々の内の前記特定の場所のサイズと位 置における相違が存在し得、改良として、 （ｃ）前記連続イメージフレームのうちの一つ内の前記基準領域の前記第２のも ののサイズと位置から推定された、前記場面の前記連続イメージフレームの少な くとも一つ内の特定の場所のサイズと位置を修正して、前記基準領域の前記第１ のもののサイズと位置から推定された、前記場面の前記連続イメージフレームの その一つ内の特定場所のサイズと位置と実質的に同じとする工程 を含んだ上記イメージ処理方法。 ２． 工程（ｃ）が （ｄ）ズーム、水平位置平行移動、及び垂直位置平行移動の所与の誤差関数の最 小二乗法を用いて、前記場面の前記連続イメージフレームの少なくとも前記一つ 内の前記特定の場所のサイズと位置における前記相違を計算する工程、及び （ｅ）前記場面の前記連続イメージフレームの前記一つ内の前記特定場所のサイ ズと位置における前記計算された相違を、前記基準領域の前記第２のもののサイ ズと位置から推定された、前記場面の前記連続イメージフレームのそのもの内の 特定場所に加え、それにより、前記基準領域の前記第２のもののサイズと位置か ら推定された、前記場面の前記連続イメージフレームのそのもの内の特定場所の サイズと位置を修正して、前記基準領域の前記第１のもののサイズと位置から推 定された、前記場面の前記連続イメージフレームのそのもの内の特定場所のサイ ズと位置に実質的に同一となるようにする工程 を含む、請求の範囲第１項に記載の方法。 ３．（ｅ）工程（ａ）により推定された１又は１以上の連続イメージフレームの 組の各々の所定の場所に前記パターンを初めに挿入する工程、 （ｆ）前記第１の組のイメージフレームが現れる間、工程（ｂ）を用いて所定の 場所を推定し、そして工程（ｄ）を用いて前記相違を計算する工程、 （ｇ）前記相違を記憶する工程、および （ｈ）その後、前記第１の組に続いて起こる少なくとも一つのイメージフレーム の間、前記記憶された相違を工程（ｂ）で推定された所定の場所に加えることに より計算された、前記一つのイメージフレームの修正所定場所に前記パターンを 挿入する工程 を含む、請求の範囲第２項に記載の方法。 ４．（ｅ）異なるズーム及び／又は平行移動位置の各々で前記場所の複数のイメ ージを記録し、前記場面の「ワールドマップ」を導出する工程、 （ｆ）前記複数の記録されたイメージのうちの各々のものに対して、工程（ａ） 、（ｂ）、及び（ｃ）を用いて前記複数の記録されたイメージのうちのそのもの に対する前記相違を個別に導出する工程、 （ｇ）前記複数の記録されたイメージのうちの各々のものに対して、その記録さ れたイメージに対する前記相違を、工程（ｂ）により推定された前記所定の場所 に加えて、前記複数の記録されたイメージのうちのそのものに対する、修正され た所定場所を導出する工程、 （ｈ）前記複数のそれに関連した記録イメージのうちの各々のものに対する修正 された所定場所を記憶する工程、 （ｉ）現在のイメージフレームを前記記録されたイメージと比較して、どの記録 イメージが最もよく現在のイメージフレームに対応しているかを求める工程、及 び （ｊ）最もよく現在のイメージフレームに対応する前記記録イメージの記憶され 修正された所定場所を用いて、前記記憶され修正された所定場所に対応する現在 のイメージフレームの場所に前記パターンを挿入する工程 を含む、請求の範囲第２項に記載の方法。 ５．前記複数の記録イメージのうちの各々内の前記基準領域の前記第１のものが 、前記目標領域の前記所定場所に実質的に配置される、請求の範囲第４項に記載 の方法。