JPH05508048A - 一連の移動影像に属する影像の画素の分類法および前記分類を用いた影像の一時的補間法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 一連の移動影像に属する影像の画素の分類法および前記分類を用いた影像の一時 的補間法この発明は影像の処理、とりわけテレビジョンタイプの影像のようなビ デオの影像の処理に関する。

−Ｍに、ビデオ影像の場合、とりわけテレビジョンの影像の場合最も共通的な一 連の影像は動いている光景の表示である。それ故、画素はもはや簡単な影像エレ メントとは見做されず対象エレメントと見做されるが、この対象エレメントは影 像内で時間にわたり展開、すなわち表出、移動、輝度の変化および／または消失 を行うことができる。それ故この動きを画素のレベルで考慮できることが不可欠 であり、この動きは時間にわたり変化することをしばしば原因としている。それ 故動きを考慮することにより光景内に多くの可能な状況を効果的に置くことかで きる。

光景の分析を可能な限り正確に行うため、画素の動きの展開についての情報をあ たえるタグ（ｔａｇ）を画素に割り当てることにより画素を分類することができ ることは重要なことである。正確な光景の分析を行うタグは、“正常″、′閉塞 ”、“表出”、“消失”と名前のついたクラスのいずれかに属するものから選択 したタグである。実際、“正常”のタグは影像エレメントが対象とする２つの連 続したイメージの中にあることを示しており、４表出”タグは影像エレメントか 現在の影像内にあるが前段階の影像には無いことを示している。“消失”タグは 影像エレメントか現在の影像には無いが、前段階の影像にはあることを示してお り、更に“閉塞”タグは現在の影像が前段階の影像の背景のゾーンを閉塞する前 景を含んでいることを示している。これらの４つの分類は画素のレベルで生ずる 種々の結果に完全に対応している。

影像の画素にタグを割り当てることはそれ故動きを評価すること、更にはビデオ 影像処理の前後の関係に使用されている影像を補間することに対し不可欠な補充 であることを示しているが、この補間は特にトムソングランドパブリック（ＴＨ ＯＭＳＯＮ　ＧＲＡＮＤ　ＰＵＢＬＩＣ）と言う名前で登録されたフランス特許 出願第８７０７８１４号に記載の影像の一時的補間またはトムソンコンシュウマ エレクトロニクスと言う名前で登録されたフランス特許出願第８９０４２５６号 に記載の訂正運動に対する補償を有した影像の一時的補間である。

更に運動に対する補償を有する補間により運動内の画素を正確に再生することが 可能であるが、ある影像から次の影像に表出または消失するレベルで問題が残る 。一般に評価者は他の影像の中でカウンタバートを有しない画素があることによ り混乱を生ずる。更に画素の補間は画素を含む入力影像を基に行われるが、これ は画素が確認されるならば加えられる特別な手順を構成する。

従って、この発明の目的は先ず現在の画素の分類法により生ずるこれらの不都合 を修正することであるが、現在の影像が一連の移動する影像に属する前段階の影 像の運動のフィールドを一時的に投影することにより得られる場合、これらの現 在の画素によりある影像から次の影像にかけて表出し消失する画素または影像エ レメント検出できる。

このように、この発明の目的は一連の移動影像に属する前段階の影像ｔ　ｌの運 動のフィールドを一時的に投影することにより得られる現在の影像の画素ｔ（ｊ ＋１）の分類法であり、この前段階の画素は運動ベクトルすなわちタグを有して おり、このタグは少なくとも３つのクラス、すなわち“正常”、“閉塞”、また は“表出”により定まるクラスに属するが、前記の方法には次の特徴がある： １、投影の前に現在の影像ｔ（ｊ＋１）の全ての画素には“表出パのタグが付い ている； ２、次に一時的な投影が周知の方法で行われている間、このタグ付けは次の方法 で影像ｔ（ｊ）の画素のタグ付けを考慮することにより修正される： （１）、“表出″のタグの付いた画素か運動ベクトルを受けるならば、そのタグ は“正常”になる；（２）、“正常”のタグの付いた画素か運動ベクトルを受け るならば、そのタグは“閉塞”になり、その運動ベクトルに最小ＩＤＥＤ１（位 置を１き換えたフレームの差）が割り当てられる： （３）、“閉塞”のタグの付いた画素が運動ベクトルを受けるならば、そのタグ は“閉塞”のままであり、運動ベクトルに最小Ｉ　ＤＦＤＩが付けられる；（４ ）、′表出”のタグの付いた画素か運動ベクトルを受けなければ、４表出”のタ グのままである。

この場合、現在の影像ｔ　［ｊ＋１）の運動のフィールドはトムソン−ＣＳＦと 言う名前で登録された特許出願第８８１２４６８号に記載された前段階の影像ｔ （ｊ）の運動のフィールドの一時的な投影により得られる。

前段階の影像ｔ（ｊ）のタグのフィールドを考慮することにより一時的な運動予 測フィールドとタグ予測フィールドはそれ故現在の影像ｔ（ｊ＋１）に対し得ら れる。

この発明の目的は更に画素に前述の分類を活用する新奇の影像補間法を与えるこ とである。この補間法は影像間の運動を補償する補間技術に基づいているが、こ の技術は画素を囲む２つのフレームすなわち入力影像に基づき運動の方向に画素 を補間することからなる。

運動の補償により補間するこの種の方法は例えばフランス特許出願第８７０７８ １４号と第８９０４２５６号に記載されている。

従って、この発明の目的は運動の補償で影像を一時的に補間する方法であり、こ の方法には少なくとも２つの周知の影像ｔ　（ｊ）　、　ｔ　（ｊ＋１）から補 間Ｔ（ｊ）される影像のタグのフィールドに対する運動のフィールドを評価する 段階を特に含み、この影像ｔ（ｊ）の各画素の特徴は影像ｔ（ｊ）。

ｔ（ｊ＋１）に関連のある画素の特徴から定まるが、この影像のそれぞれは運動 ベクトルとタグにより定まり、補間Ｔ（ｊ）が行われる影像の運動のフィールド は周知の影像ｔ（ｊ）において運動の評価フィールドに対する一時的な投影によ り定められるが、この周知の影像ｔ（ｊ＋１）は前述の分類の方法を用いて得ら れ、更に次のことを特徴とする： １、投影の前に補間Ｔ（ｊ）か行われる影像の全ての画素は“ホール（ｈｏｌｅ ）”とタグが付けられる：２、その後、一時的な投影の中で影像ｔ（ｊ＋１）の 画素に割り当てられたタグと運動ベクトルか調べられ、更にこのタグと運動ベク トルは影像の画素に与えられ次の表に従い補間Ｔ（ｊ）か行われる： 前述の方法により運動のフィールドと影像のタグのフィールドとが決定されるが 、この影像には周知の影像ｔ（ｊ＋１）において評価された運動のフィールドを 使用することにより補間Ｔ（ｊ）か行われる。これらのエレメントか周知であれ ば、種々の方法を画素の輝度を補間するのに使用てきる。

この発明の目的は更に前述に記載の方法に基づくが次のことを特徴とする一時的 な補間法である；１、周知の影像ｔ（ｊ＋１）の運動のフィールドを補間Ｔ（ｊ ）が行われる影像の上に投影する時、“表出”とタグか付けられた影像ｔ（ｊ＋ １）の画素に対する運動ベクトルは投影されない： ２、次に、影像ｔ（ｊ）の運動のフィールドは補ｆｌｉｌｆｆＴ（ｊ）か行われ る影像の上に投影されるか、これは影像ｔ（ｊ＋１）の投影の場合と同じ方法を 使用することにより行われ、運動ベクトルにより満たされる“ホール”の画素を “消失”させることにタグを付けることにより行われる；３、次に、影像ｔ（ｊ ＋１）の後の影像ｔ（ｊ＋ｚ）の移動のフィールドは補間Ｔ（ｊ）から行われる 影像の上に投影されるが、これは投影ｔ（ｊ＋１）の投影の場合と同じ方法を使 用することにより行われ、′表出”と“消失”の画素を考慮するのと同し方法で 運動ベクトルにより満たされる“ホールパの画素を“表出”することにタグを付 けることにより行われる。

この発明の他の特徴と利点は次に添付の図面に関して以下に与えた種々の実施例 の記載を読むことにより明らかになる： 図１は２つの連続したフレームの間で補間されたダミーフレームを有するいくつ かの連続したフレームの分解図でこの発明で使用された一時的な予測法を説明す るためのものである； 図２と図３は連続したフレーム間の種々のタイプの移動を示す略図である； 図４は適応的な補間を行う方法の種々のステップを与える工程系統図であり、こ の補間はこの方法により画素にタグを付けることを見いたすことと含むことを有 した運動の補償により行われる； 図５はｔ（ｊ）の運動のフィールドの一時的な投影により得られる現在の影像ｔ （ｊ＋１）の画素に対しタグを付けることを説明する図である； 図６は補間された影像の運動のフィールドを与える図であり、この補間は現在の 影像ｔ（ｊ）およびｔ（ｊ＋１）内の“閉塞″タグに基づいている： 図７はｔ　（ｊ＋１）　、　ｔ　（ｊ＋２）　、およびｔ（ｊ）の運動のフィー ルドの投影による補間Ｔ（ｊ）の方法を示す図である。

この発明は現在の影像の画素を分類する方法に関するが、この画素により影像内 で運動している領域を正確に再生でき、更にとりわけある影像から次の影像に対 し゛表出パまたは“消失”する領域を決定できる。この発明は更に画素の分類を 含む運動の補償による補間の方法にも関している。しかし、画素の分類は現在の 影像の画素の上で行われるか、この画素は一連の移動影像に属する前段階の影像 の運動のフィールドを一時的に投影することにより得られる。この場合、運動の 一時的な投影は特許出願第８８１２４６８号およびフランス特許出願第８７０７ ８１４号により行われる。従って、これら２つの特許の目的は完全には再掲しな い、しかし、一時的な投影に関する部分を図１に関し簡単に述べる。この発明で は累進的なフォーマットの影像について述べる。しかし、フランス特許出願第８ ７０７８１４号で説明するようにラインシフトを考慮することにより、この方法 を組み合わせたフォーマットに当てはめることは専門家には明らかである。更に 、用語“フレームパまたは“影像”は以後では取り替え可能なように使用してい る。

図１には直交基準フレームｏｘｙｚを示しているが、この内Ｚ軸は時間に対応し ており、種々のフレームｔ（ｊ−１）。

ｔ（ｊ）、ｔ（ｊ＋１）は一連の移動影像に属しているが、ダミーフレームＴ（ ｊ−１）は２つの影像ｔ（ｊ−１）とｔ（ｊ）の間で補間されたフレームに対応 している。この場合、フレームｔ（ｊ）の画素に対し計算した運動のフィールド から出発する。

この運動のフィールドは影像ｔ（ｊ）の画素にそれぞれ割り当てられた一組の運 動のベクトルからなる。　Ｄ＝（ＤＸ、ＤＹ）としフレームまたは影像ｔ（ｊ） の画素Ｂの運動ベクトルとすると、運動が線形と仮定すれば空間座標（Ｘ、Ｙ） を有した画素Ｂの運動ベクトルは空間座標ｘｉ、ｙｌを有したフレームまたは影 像ｔ（ｊ＋１）のポイントＣにより定まるが、このポイントはＢ：　（ｘｌ、ｙ ｌ）＝（ｘ＋ＤＸ、ｙ＋ｄｙ）により定まる運動ベクトルの影響に対する影像の ポイントである。

しかし、ポイントＣは一般には画素に対応しない。フランス特許出願第８７０７ ８１４号に記載の方法によれば、運動ベクトルＤはポイントＣに最も近い画素り により定まる。それ数次の通りとなる：　Ｄ（（Ｐ、ｔ（ｊ＋１））＝Ｄ（（Ｂ 、ｔ（ｊ））。

Ｐ・（ｘｐ、ｙｐ）で画素はＣに最も近い。

同様に、空間座標（ｘ、ｙ）を有した画素Ｂの運動ベクトルは空間座標（ｘｉｏ 、ｙｌ’）を有したダミーフレームＴ（ｊ−１）のポイントＣ゛により定まるが 、このポイントＣ゛は次のＢにより定まる運動ベクトルの影像の影響に対するポ イントである： （ｘｉｏ、ｙｔｏ）＝（ｘ−ａ、ＤＸ、　Ｙ−ａ、　ＤＹ）ａ＜１はフレームｔ （ｊ）からフレームＴ（ｊ−１）への相対距離を考慮したファクタである。

それ故、ポイントＣ°は一般には画素に対応しないので、次の運動ベクトルＤを ポイントＣ°に最も近い画素Ｐ゛により定めることができる：　Ｄ（Ｐ’、Ｔ（ ｊ−１））＝Ｄ（Ｂ、ｔ（ｊ））更にＰｏ・（ｘｐ”＋ｙｐ’）で画素はＣ゛に 最も近い。

この投影の中でいくつかの運動ベクトルは同じ画素から推測できる。これは２つ の対象が交差する時の影像解析の場合である。従ってフランス特許出願第８８１ ２４６８号の説明のように食違いがある。この特許出願では、この食違いを解決 するためいくつかの解決策が提案されている。採用された解決策の１つはＩＤＦ ＤＩの絶対値を比較することからなる。この解決策はこの発明に使用されている 。

現在の影像ｔ（ｊ＋１）の一時的投影の場合、影像ｔ（ｊ＋１）内に空間座標（ ｘｐ、ｙｐ）を有する画素Ｐと空間座標（ｘＰ−Ｄｘｉ。

ｙＰ−Ｄｙｉ）を有し、最後にはＩＤＦＤＩを与えるベクトルＤｉの影像ｔ（ｊ ）内のポイントＱｉとの間に輝度に差がある。

ダミーフレームＴ（ｊ−１）　の上に一時的な投影を行うと、Ｐｏを通りｌ　Ｄ ＦＤ　ｌ　を１ＤＦＤｉｌとするベクトルＤｉにおいて、ポイントＱ°ｉとＱ” ｉとの間、最後にはイメージまたはフレームｔ（ｊ）とｔ（ｊ−１）との間に輝 度に差がある。

食違いの場合には、選択されたベクトルは１ＤＦＤｉｌの最小値を与えるベクト ルである。いくつかのベクトルが等しい１ＤＦＤｉｌを有するならば、一般に任 意の選択が行われ画素に運動ベクトルが割り当てられる。さらに、−組の運動ベ クトルの投影が終わると、いくつかの画素は運動ベクトルに関係しなくなること ができ更に運動のフィールドが“ホール”を有する場合になる。

この運動の投影フィールドが一時的なプレデクタとして使用されるならば、特に 影像の運動を評価する方法では、例えば特許出願第８８１２４６８号に記載の方 法により、これらの“ホール”はそのまま保持されるか、運動ベクトルの空間補 間により満たされる。

これらの“ホール”にはいくつかの原点がある。ズームが行われと対象物は拡大 され、細部が見える。この場合、ホールは空間補間により満たされる。更に、影 像が連続の場合は、前に隠れたゾーンが新しい影像に現われる、この場合、この ゾーンの画素に割り当てられた運動ベクトルに確実性が無いので、空間補間の正 攻法には影像の可視的な欠点が生ずる。

前述に記載の一時的投影法をフレームｔ（ｊ）の画素の組に適用することにより 、図２と図３に図的に示した運動のフィールドが得られる。これらの図は図１の ｘＺ平面に示した簡略化した２次元の影像系列である６図２と図３に示すように 、フレームｔ（ｊ）にフレームｔ（ｊ−１）内の対応したポイントがあれば、運 動ベクトルは現在の影像ｔ（ｊ）の各画素Ｐｉを前段階の影像ｔ（ｊ−１）のポ イントにリンクさせる。この場合、運動のフィールドはフレームｔ（ｊ）の全て の画素に対して定められる。理想的な場合の一時的投影はフレームｔ（ｊ−１） からフレームｔ（ｊ）へのパイジェクシ日ン（ｂｉｊｅｃｔｉｏｎ）であり、フ レームｔ（ｊ）の各画素はこの場合ｔ（ｊ−１）のフレーム内で１つの対応物を 有している。テレビジョンの一連の運動影像を解析する場合、これは頻度の少な い場合である。実際、対象物は背景に対して動いて観測される。これは図２と図 ３に表される場合である。対象物が背景に対してどこにあるか決定する必要か一 般にある。図２と図３の影像ｔ（ｊ）において、画素Ｐｏは２つの運動ベクトル を受ける。従って食違いが生じ、どの運動ベクトルが残るか決定する必要があり 、更にこの決定は前述の特許出願に述べたｌ　ＤＦＤ　ｌを計算することにより 一般に行われる。これらの画素Ｐｏは実際には背景Ｆを横切る前景の対象物に対 応している。これらの画素ＰＯはそれ故参照符号が０のゾーンを計算することに 対応している。更に、この運動背景Ｆは図２と図３に明らかに示されているよう に簡単な翻訳により影像ｔ（ｊ）とｔ（ｊ−１）の両方の中で発見される。しか し、対象物の境界にある画素に対しては、すなわち影像ｔ（ｊ）内の画素Ｐ１と 影像ｔ（ｊ−１）内の画素Ｐ２に対しては、いくつかの画素に対しては影像ｔ（ ｔｌ内でリカバーされ他の画素はｔ（ｊ−ｉ）とｔ（ｊ）の闇で発見される。こ れらの画素はＡの参照符号の付いた“表出”に、更にＤの参照符号の付いた“消 失”に対応している。更に、補間される影像Ｔ（ｊ−１）が検査されこの影像の 画素の補間が２つの囲み入力フレームｔ（ｊ）とｔ（ｊ−１）により行われれば 、エコータイプの欠点が補間影像内の対象物のエツジで観測される。これらのゾ ーンは一般には“ホール”と呼ばれ、図２と図３でＴの参照符号が付いている。

更に、図３に示すように画素Ｐ３のベクトルのようにいくつかの運動ベクトルは 運動ベクトルを割り当てた画素ＰＯを横切る。これはどの運動ベクトルが画素に 適するか、すなわちどの対象物が前景対象物であるか決定することが難しい、同 じことは“表出”または“消失”ゾーンの画素についても当てはまるが、このゾ ーンの画素は正しい運動ベクトルを割り当てることが難しい画素である。

さて、前述のように、現在の影像ｔ（ｊ）から現在の影像ｔ（ｊ＋１）に、また は現在の影像ｔ（ｊ）からｔ（ｊ−１）に補間された影像に一時的な投影を使用 することにより、これらの投影は１つの影像から次の影像のいわゆる“閉塞”、 “表出”、“消失”のゾーンについての情報を運ぶ。

従って、この発明ではこの情報を使用し特に影像補間を行う。

この発明の方法の動作について図４と図５に関して詳細に記載する。

この発明では、分類は入力影像ｔ（ｊ）の画素の分類に基づきそれぞれの新しい 入力影像ｔ（ｊ＋１）の画素について行われる。実際、入力画素ｔ（ｊ）に対し て、それぞれの画素は運動ベクトルとタグを含み運動の評価フィールドと画素ｔ （ｊ）の組のタグのフィールドを定めるが、このフィールドには゛表示”のタグ の付いた画素を含んでいる。

ｔ（ｊ）の画素の分類は一時的な投影の間にｔ（ｊ）内で評価された運動のフィ ールドのフレームｔ（ｊ＋１）について行われるか、これは前に記載の手順、す なわち特にフランス特許出願第８８１２４６８号に記載の一時的投影手順を用い て行われる。

この方法の一番目の段階によれば、フレームｔ（ｊ＋１）のタグに対する予測フ ィールドは、この一時的投影の間に作られる。投影の前にはこのフィールドは空 であり“表出”に初期化される。この発明によれば、影像ｔ（ｊ）の運動ベクト ルは互いにｔ（ｊ＋１）の上に投影される。４表出”とタグを付けられ初期化さ れた画素Ｐｉかフレームｔ（ｊ）から単一運動のベクトルを受けるならば、その タグは“正常”になる０画素ＰＯのような画素がフレームｔ（ｊ）から投影され る２つの運動ベクトルを受けるならば、食違いが生ずる。この場合２つの不透明 な対象物にはこれらを現在のポイントに運ぶ運動かある。継続している運動ベク トルとタグを識別するため、ＩＤＦＤＩの値が比較され最小ＩＤＦＤＩを有した 運動ベクトルが残りこの場合が終わればこの画素に“閉塞”のタグか付けられる 。更に、ｔ（ｊ）の全てのベクトルが投影されれば、ベクトルを受けない画素が 識別され図５の画素Ｐ１に示すように一時的な投影の後に“表出”のタグが付け られる。

前に記載の手順は次のように要約できる：１、“表出”のタグの付いた画素はベ クトルを受ける；そのタグは“正常”になる； ２、′正常”のタグの付いた画素はベクトルを受ける；そのタグは“閉塞”にな る； ３、“閉塞”のタグの付いた画素はベクトルを受ける：そのタグは“閉塞”を保 持する。

それ故、運動の予測フィールドとｔ（ｊ＋１）にわたりタグのフィールドを受け るが、このタグのフィールドはｔｌのタグのフィールドを考慮していない。

しかし、フレームｔ（ｊ＋１）に対するフレームｔ（ｊ）の一時的な投影の時間 において、フレームｔ（ｊ）の画素のタグを考慮することは重要なことである。

実際、フレームｔ（ｊ）内の新しいゾーンに属する画素、すなわち図５で“表出 ”のタグを付けられた画素は正確な運動ベクトルを有するチャンスが殆どない、 ２つの解決策が想定される。

一番目の解決策によれば、“表出”のタグの付いた画素にはベクトルが規定され ず、または運動ベクトルは規定されるが投影されない、いずれの場合も、フレー ムｔ（ｊ）内で画素を確認できる必要がある。従って、投影の間にフレームｔ（ ｊ）のタグのフィールドは検査され“表出”のタグの付いた画素が捨てられる。

二番目の解決策によれば、運動ベクトルがｔ（ｊ）の全ての画素に対して規定さ れフレームｔ（ｊ＋１）の上に投影される。しかし、フレームｔ（ｊ）内で“表 出”のタグの付いた画素に対し規定された運動ベクトルは不確定なので、この運 動ベクトルは“閉塞”のタグの付いた画素に立ち上がることができないと見なさ れる。従って、フレームｔ（ｊ）をフレームｔ（ｊ＋１）の上に一時的に投影す る間に、運動ベクトルと“正常”または“閉塞”のタグの付いた他の運動ベクト ルとの間に食違いがあれば、′正常”または“閉塞”のタグの付いた運動ベクト ルがタグと共に残る。この場合閉塞現象が無く更に食違いが偶然に起こることが 考えられる。“表示”のタグを有するフレームｔ（ｊ）の全ての運動ベクトルを 投影する目的はフレームｔ（ｊ）内に現われしかもフレームｔ（ｊ＋１）内にあ あるゾーンに満たすことである。

この種の運動ベクトルは“表出”のタグが付いているので、フレームｔ（ｊ）の 他の運動ベクトルから区別できる。他方、フレームｔ（ｊ＋１）内の他の運動ベ クトルから区別するため、例えば図５に示すように“充満°°のように違った形 でタグを付けることができる。このように、一時的な投影とｔ（ｊ＋１）のフレ ームに対するフレームｔ（ｊ）の運動ベクトルの比較とは図５に図示したように 次の種々のケースについて行われる： １、ｔ（ｊ＋１）の画素に“表出”のタグがあるかどうか、さらに ２、ｔ（ｊ）の画素に“正常“または“閉塞”のタグかあれば、この画素の運動 のベクトルはタグが“正常”となるｔ（ｊ＋１）のフレームの画素に関係してい る、３、しかし、ｔ（ｊ）の画素のタグが“表出”であれば、ｔ（ｊ）の運動ベ クトルはタグが“充満”となるｔ（ｊ＋１）の画素に関係している； ４、ｔ（ｊ＋１）の画素のタグが“正常”であれば、さらに５、ｔ　（ｊ）の画 素のタグが“正常”または“閉塞”であれば、食違いが生じしかも運動ベクトル が前述のように比較され、残った運動ベクトルが“閉塞”でありｔ（ｊ＋１）の 画素のタグが“閉塞”となる； ６、ｔ（ｊ＋１）の画素のタグか“表出”であれば、ｔ（ｊ＋１）の画素との関 係がすでにあることより関係が少ないので関連のある運動ベクトルは捨て去られ 、ｔ（ｊ＋１）のタグは“正常”になる； ７、ｔ（ｊ＋１）の画素のタグが“充満”であれば、さらに８、ｔ（ｊ）の画素 のタグが“正常”または“閉塞”であれば、より関係があるのでこの画素の運動 ベクトルは古い運動ベクトルと置き換えられｔ（ｊ＋１）の画素のタグが“正常 ”となる； ９、ｔ（ｊ）の画素のタグか“表出”ならば、２つの運動ベクトルか比較され最 小ｌ　ＤＦＤ　ｌを有した運動ベクトルが選択されさらにｔ（ｊ＋１）のタグが “充満”となる；１Ｏ１ｔ（ｊ＋１）の画素のタグか“閉塞′°であれば、さら に１１、ｔ（ｊ）の画素のタグが“正常”または“閉塞”であれば、２つの運動 ベクトルが比較され最小ｌ　ＤＦＤ　ｌを有した運動ベクトルが選択され更にｔ （ｊ＋１）のタグが“充満”となる、 １２、他方、ｔ（ｊ）のタグが“表出”ならば、フレームｔ（ｊ）から生ずる運 動ベクトルは考慮されておらず、その状況は同じでありさらにｔ（ｊ÷１）のタ グは“閉塞”となる。

それ故、このようにフレームｔ（ｊ＋１）に対する予測フィールドと図４に表示 された“マーク（ｓａｒｑ）−２°゛は一時的な運動予測フィールドと同じ回数 得られる０種々の段階は次の表１に要約しである。

この場合、運動のフィールドが雑音の影響を受けていても、食違いの考えは一番 目の影像から右を考慮していることに注意する必要がある。タグフィールド内の 雑音は運動のフィールド内にある雑音に比例している０例えば特許出願第８８１ ２４６８号に記載の一時的な予測で循環評価器を使用すると、タグフィールドは 少なくなり運動のフィールドに対する雑音の影響は一時的な予測の影響の基で少 なく正確になりよりスムーズになる。

前述の方法を取ることにより、運動の予測フィールドとフレームｔ（ｊ＋１）の タグフィールドを得ると、運動の予測フィールドに“ホール”を満たし、すなわ ち運動のベクトルを“表出”のタグの付いた画素として定め、従ってフレームｔ （ｊ＋１）の全てのポイントで運動を評価し、最後にタグフィールドをフレーム ｔ（ｊ＋１）として定めることか必要である。

種々の解決策か考えられている。“ホール”を満たすため、フレームｔ（ｊ＋１ ）の全ての画素のレベルで運動を評価する目的で、４ホール”はそのまま保たれ る。この場合対応する画素は多くの運動ベクトル、すなわち一時的な予測器に利 用できない、さらに、このホールは運動ベクトルの空間補間により満たされるが 、この運動ベクトルは例えばフランス特許出願第８８１２４６８号に記載の方法 を用いて関連のあるポイントを囲んでいる画素に割り当てられている。

この動作が完了すると、一時的な運動の予測フィールドは影像ｔ（ｊ÷１）に対 して利用できる。それ数次の動作には影像ｔ（ｊ＋１）の画素に対する運動の評 価がある。例えば、フランス特許出願第８８１２４６８号に記載の一時的予測を 有した循環評価器を使用することができる。この評価器には影像ｔ（ｊ＋１）に 対する運動の評価フィールドがある。

運動の評価を行うと、この方法に従い運動の評価フィールドと一時的な投影の間 に得られるタグフィールドを考慮することにより新しいタグフィールドが影像ｔ （ｊ＋１）に定められる。　ｔ（ｊ＋１）の画素に対しこの瞬間に現われる種々 のタグは、“正常パ、“閉塞”、“充満”、および“表出”タグである。画素に 対するこの分類は運動予測フィールドに基づいている。運動の評価フィールドは 原理的に一時的予測フイールドより正確であるが、より正確なタグを得るため２ つの運動のフィールドが各画素に対して比較され、更にベクトルが非常に難しけ れば画素のタフ付けは変更される。実際、この変更は主に“閉塞”とタグを付け た画素に関係している。もし所定の画素の運動ベクトルか運動の評価の間に非常 に変更されるならば、この運動ベクトルは実際は不正確であると見なされ、タグ の付いた“閉塞パは信頼できないと見なされる。正確な情報を得るために絶対値 の差か運動ベクトルの間に観測されるか、この運動ベクトルは一時的な予測と水 平および垂直成分、すなわち予測ベクトルＤｐ＝（ｄｘｐ、　ｄｙｐ）と予測ベ クトルＤｅ＝（ｄｘｅ、　ｄｙｅ）のそれぞれに対する評価運動の間に得られる 。その後次の計算を行う：　ｄｉｆｆ−ｘ＝ｌｄｘｅ−ｄｘｙｌとｄｉｆｆ−ｙ ＝ｌｄｙｅ−ｄｙｐｌ、　２つの差ｄｉｆｆ−ｘとｄｉｆｆ−ｙの一方がシュレ ッショルドＳより大きければ、関連の“閉塞”タグが“正常”になる。

特許第８９０６７３号に記載の評価器が採用されていれば、分類を変更するこの 動作は運動のフィールドの中間フィルタリングの後で補間Ｔ（ｊ）が行われる影 像の上への投影の前に行われる。

他方、充満から生ずる投影された運動ベクトルと他のベクトルとの間の区別に使 用されたタグの付いた“充満″は運動の評価の間または補間Ｔ（ｊ）が行われる 影像の上への一時的な投影の間にもはや使用されない、従って、′充満”のタグ は“正常”のタグに１き換えられる。これにより、ｔ（ｊ＋１）のタグフィール ドに対し次の新しい分類が得られる： １、ｔ（ｊ＋１）のタグが“正常”であれば、′正常”が残る； ２、ｔ（ｊ＋１）のタグが“表出”であれば、１表出”が残る； ３、ｔ（ｊ＋１）のタグが“閉塞”でありｄｉｆｆ−ｘ＜　Ｓでｄｉｆｆ−ｙ〈 Ｓであれば、タグは゛閉塞”となり、さもなければタグは“正常”になる； ４、ｔ（ｊ＋１）のタグが“充満”であれば、“正常”になる。

この動作を行えば運動の評価フィールドはそれ故影像ｔ（ｊ＋１）に対し利用可 能であるが、このフィールドは入力影像ｔ（ｊ）のタイプと同じタイプのｔ（ｊ ＋１）の画素に対して新しいタグフィールド、すなわちクラスを３つ有したタグ フィールドである。これらの２つのフィールドは補間Ｔ（ｊ）が行われる影像の 上への一時的な投影に使用される。これらのフィールドは更に影像ｔ（ｊ＋１） の上への影像ｔ（ｊ）の一時的な投影に対する前述の方法により連続的な入力影 像ｔ（ｊ＋２）に対する一時的な投影に使用される。

他の変更は前述の種々の段階の間に考えられる。一連の移動影像に沿って続く画 素に１より大きいｎの少なくともｎ回“閉塞”のラベルが付けられる時、′閉塞 ”のタグのみを確認することが可能である。これは、“閉塞”のタグの年数がメ モリに記憶されることに必要である。

他の変更によれば、影像ｔ（ｊ＋１）の上への影像ｔ（ｊ）の運動のフィールド の一時的な投影の時にｔ（ｊ）からｔ（ｊ＋１）に“消失”するゾーンを検出こ とが可能ある。影像ｔ（ｊ＋１）への投影の運動ベクトルが他の画素と食違いを 生じ保持されていない影像ｔ（ｊ＋１）の画素は“消失”のタグが付けられる。

この場合、新しいクラスが導入され４つのタイプのタグ、すなわち“正常”、“ 閉塞”、゛表出”、“消失”が影像ｔ（ｊ）に得られる。

前に記載したが、現在の影像の画素を影像Ｔ（ｊ）の一時的な補間に分類する方 法の適用はより詳細には図６に関して記載しである。影像補間は特に周波数変化 を生ずる影像処理、例えば５０Ｈｚから６０Ｈｚへの変換、または最大情報の伝 送に対する高精細テレビジョンにおける変換に使用されている。

一時的な補間の種々の方法は、特にフランス特許出願第８７０７８１４号とフラ ンス特許出願第８９０４２５６号にすでに記載されている。前述の分類を考慮す ると、４表出”、“消失”のゾーンに割り当てられた運動ベクトルを正しく評価 することと、１つの影像から次の影像に背景のゾーンをクロスさせる前景のゾー ンを容易に決定することができるようにすることにより、これらの特許出願に記 載の方法を改善できる。

“表出”、′消失”のゾーンを考慮した補間の場合には、現在の影像ｔ（ｊ）と ｔ　（ｊ＋１）の間にあり補間Ｔ（ｊ）が行われる影像のそれぞれの画素に対し て、運動ベクトルとタグかあり、更に前記の運動ベクトルと前記のタグを考慮す ることにより補間の間に輝度がある。

運動のフィールドとタグフィールドについて前述に記載のようにすでに規定した が、２つの現在の影像ｔ（ｊ）とｔ（ｊ＋１）の間にあり補間Ｔ（ｊ）を行う影 像により、補間Ｔ（ｊ）を行う影像に対する可能なタグは次の通りである：１、 “正常”　：画素は２つの囲む入力影像ｔ（ｊ）とｔ（ｊ＋１）の中にある；こ れは例えばフランス特許出願第８７０７８１４号に記載の方法を用いて影像ｔ（ ｊ）とｔ（ｊ＋１）の中の運動ベクトルの２つの端から補間される；２、“表出 ”：画素は入力影像ｔ（ｊ＋１）の中のみにあリ、その輝度は影像ｔ（ｊ＋１） の中の運動ベクトルの端の輝度に等しく、これにより前述に記載のフランス特許 出願によるパイリニア補間によりこの端の輝度を計算することかできる； ３、“消失″：画素は入力影像ｔ（ｊ）の中のみにあり、その輝度は影像ｔ　（ ｊ）の中の運動ベクトルの端の輝度に等しい；この端の輝度は前述のようにパイ リニア補間により計算できる。

補間Ｔ（ｊ）が行われる影像の運動のフィールドの規定に関して、前述のように ある影像から次の影像に背景にゾーンをクロスさせる前景のゾーンと同じく、“ 表出”と“消失”のゾーンの中でベクトルを正確に評価することに主な困難があ る。補間Ｔ（ｊ）が行われる影像の運動のフィールドを正しく規定するために、 この発明に従って前述に記載のように現在の影像ｔ（ｊ＋１）に対して行われる 画素分類を利用することかできる。補間Ｔ（ｊ）を行う影像に対する運動のフィ ールドとタグフィールドを規定する種々の方法か利用できる。

一番目の方法は現在の影像ｔ（ｊ＋１）に対し運動の評価フィールドを一時的に 投影することと、３つのクラス、すなわち“正常′°、６表出”、′閉塞”によ りタグフィールドを使用することにより、補間Ｔ（ｊ）か行われる影像の運動の フィールドを規定することである。この方法は図６に関してより詳細に記載しで ある。補間Ｔ（ｊ）が行われる影像の画素の分類は、補間Ｔ（ｊ）か行われる影 像の上べの現在の影像ｔ（ｊ＋１）の運動のフィールドを一時的に投影する中で 行われる。最初に、補間Ｔ（ｊ）が行われる影像の全てのポイントが“ホール” のタグを付けられる。その後、現在の影像ｔ（ｊ＋１）の運動ベクトルは既知の 方法で補間Ｔ（ｊ）が行われる影像の上に一つずつ投影される。次に、補間Ｔ（ ｊ）が行われる影像の全ての画素に対するタグと運動ベクトルの割り当てが次の ように行われる： １、補間Ｔ　（ｊ）が行われる影像の画素に“ホール”のタグが付けられるなら ば、更に ２、現在の影像ｔ（ｊ＋１）の画素に“閉塞”のタグが付けられ、更にｌ　ＤＦ ＤＩの値（シュレッショルドならば、Ｔ（ｊ）の画素のタグは“閉塞”になる； ３、ｔ（ｊ＋１）の画素に“正常”または“表出”または“閉塞”のタグが付け られるならば、更に値ＩＤＦＤＩ　＞シュレッショルドであるならば、Ｔ（ｊ） の画素のタグは“正常”になる； ４、Ｔ（ｊ）の画素のタグか“正常”ならば、更に５、ｔ（ｊ＋１）の画素のタ グが“閉塞”であり、更に値ＩＤＦＤＩ　（シュレッショルドであるならば、補 間Ｔ（ｊ）か行われる影像の画素になる運動ベクトルは“閉塞”となる新しいベ クトルに置き換えられ、Ｔ（ｊ）の画素に対する新しいタグが“閉塞”となる； ６、Ｔ（ｊ＋１）の画素に“正常”または“表出”または“閉塞”のタグが付け られるならば、更に値ＩＤＦＤＩ　＞シュレッショルドであるならば、２つの運 動ベクトルはＩＤＦＤＩの値を基に比較され、タグ付けは変更されない、すなわ ちＴ（ｊ）の画素のタグは“正常”のままであるが最小のｌ　ＤＦＤ　ｌを有し た運動ベクトルはこの画素となる；７、Ｔ（ｊ）の画素に“閉塞”のタグが付け られるならば、更に ８、ｔ（ｊ＋１）の画素に“閉塞”のタグが付けられるならば、更に値ＩＤＦＤ Ｉ　＞シュレッショルドであるならば、運動ベクトルはｌ　ＤＦＤ　ｌの値を基 に比較され、タグ付けは変更されない、すなわちＴ（ｊ）の画素のタグは°゛閉 塞のままとなるが、最小のｌ　ＤＦＤ　Ｉを有した運動ベクトルはこの画素とな る； ９、ｔ（ｊ＋１）の画素に“正常”または“表出°′または“閉塞″のタグが付 けられるならば、更に値ＩＤＦＤＩ　＞シュレッショルトであるならば、古い運 動ベクトルは保持されタグ付けは変更されない、すなわちＴ（ｊ）の画素のタグ は“閉塞゛′のままである。

このように、補間Ｔ　ｆｊ）か行われる影像の画素は現在の影像ｔ（ｊ÷１）の ベクトルを受け、それぞれのタグは先ず比較され次に適当に現在の影像ｔ（ｊ＋ １）の投影ベクトルのＩＤＦＤＩの値とこのベクトルを受け補間Ｔ（ｊ）が行わ れた影像の画素の値とが比較される。投影を行うと補間Ｔ（ｊ）か行われた影像 の画素のタグは３つのクラス、′正常”、０閉塞”、゛ホール”のいずれかに属 する。４ホール°。

のタグか付いた画素には関連するベクトルが無い、“正常”と“閉塞”との間の 区別により２つの入力影像の間の対象物の交差による不明瞭さが取りのぞかれる 。この区別は後に無くなる。前述の方法は補間Ｔ（ｊ）が行われる影像の画素の 運動のフィールドを規定することを使用しているが、これらの画素は現在の影像 ｔ（ｊ）とｔ（ｊ＋１）とにあると仮定している。この段階では“表出７と“消 失”のタグはまだ補間Ｔ（ｊ）が行われる影像の中に無い、これらの画素は“ホ ール”とタグを付けられたものの中にあると考えられる。運動の不完全なフィー ルドは補間Ｔ（ｊ）か行われる影像にわたり利用できる。補間Ｔ（ｊ）が行われ る影像の運動のフィールド内のホールはそれ放置たされる必要がある。この充満 は例えばフランス特許出願第８８１２４６８号に基づき空間補間により行われる 。この空間補間を行うと、補間Ｔ（ｊ）が行われる影像の各画素は運動ベクトル を有し更にその端は２つの現在の影像ｔ（ｊ）とｔ（ｊ＋１）の上にある。

この充満を行うと、画素の分類と適応的な補間は現在の影像ｔ（ｊ）とｔ（ｊ＋ １）の中で運動ベクトルの“非閉塞”端のみを考慮することにより行うことがで きる。この特別な方法はより詳細には図６に示しである。ホールが充満された後 補間Ｔ（ｊ）が行われる影像の運動のフィールドは、例えばフランス特許出願第 ８９０４２５６号に記載の方法に基づきフィルタに加えられている。これにより 、“正常”または“閉塞”とタグの付いた補間Ｔ（ｊ）が行われた影像の画素は ２つの現在の影像ｔ（ｊ）とｔ（ｊ＋１）から補間される。補間Ｔ　（ｊ）が行 われる影像内で“ボール”のタグが付けられた画素が関連する限りでは、運動ベ クトルの２つの端が前記の端を囲む４つの画素のタグを調べることにより観測さ れる。これらの画素の少なくとも１つが“閉塞“とタグを付けられていれば、関 連の端は“閉塞”していると呼ばれ、端がこの状態に無いがぎり捨てられ、この 効果がキャンセルされるが、補間Ｔ（ｊ）が行われる影像内で“ホール”とタグ を付けられた画素は“非閉塞”端からのみ補間される。

この場合現在の影像ｔ（ｊ＋１）とｔ（ｊ）の中で端に一番近い画素のタイプは 運動ベクトルのそれぞれに対し次のように観測される： １、影像ｔ（ｊ＋１）にある端でベクトルの端を囲む４つの画素が”閉塞”であ れば、また影像ｔ（ｊ）にある端の領域内でベクトルの端を囲む４つの画素のど れもか“閉塞”でなければ、補間Ｔ（ｊ）か行われる影像の画素の運動ベクトル は現在の影像ｔ（ｊ）から再生される；２、影像ｔ（ｊ）内にある端の領域内で 運動ベクトルの端を囲む４つの画素の１つが“閉塞”であれば、更に影像ｔ（ｊ ＋１）内にある端の領域内で運動ベクトルの端を囲む４つの画素のどれもが“閉 塞”でなければ、補間Ｔ（ｊ）が行われる影像の運動ベクトルはｔ（ｊ＋１）か ら再生される：３、運動ベクトルの２つの端で補間Ｔ（ｊ）が行われる影像から 生ずる運動ベクトルの端を囲む４つの画素の１つが゛閉塞”ならば、再生は従来 の方法で２つの影像を基にして行われる； ４、ベクトルの２つの端で画素を囲む４つのどれもが“閉塞”でなければ、再生 は再び２つの影像を基にして行われる。

この場合、゛表出”画素と“消失”画素の識別は゛ホール”の画素を補間する時 に行われる。影像ｔ（ｊ）とｔ　（ｊ＋１）のタグの付いた“閉塞”は補間Ｔ（ ｊ）が行われる影像の“表出”または“消失”の画素を検出することに基づいて いる。この情報は前述のようにフィルタを通るので最も信頼できる。更に、“閉 塞”画素はいくつかの影像にわたり残るのて、一時的なフィルタを通すことがで きる。

この場合使用することができる他の方法は、タグの付いた“閉塞”に加えて現在 の影像ｔ（ｊ＋１）内では“表出”タグと現在の影像ｔ（ｊ）内では“消失”タ グを考慮することである。この場合衣のタグフィールドが利用できる：現在の影 像ｔ（ｊ＋１）内では“正常”、′閉塞”、“表出”、および“消失”のタグか 、補間Ｔ（ｊ）が行われる影像内では“正常”、′閉塞”、および“ホール”の タグが利用できる。

前のように、“正常”また“閉塞”のタグが付き補間Ｔ（ｊ）が行われる影像の 画素は周知の方法で現在の影像ｔ（ｊ）とｔ（ｊ＋１）から補間される。４ホー ル”のタグの付いた画素に［５ｉｃｌがあれば、次のように補間される：１、現 在の影像ｔ（ｊ）のレベルにおいては運動のベクトルの端を囲む４つの画素の１ つが“閉塞”でありどれもが“消失”でなければ、更に現在の影像ｔ（ｊ＋１） のレベルにおいては運動のベクトルの端を囲む４つの画素の１つが“表出″であ れば、補間Ｔ（ｊ）か行われる影像の画素はｔ（ｊ＋１）から再生される； ２、補間ｔ（ｊ＋１）が行われる影像のレベルにおいては運動ベクトルの端を囲 む４つの画素の１つが″閉塞”のタグを付けられどれもが“表出”でなければ、 更に現在の影像ｔ（ｊ）のレベルにおいては運動ベクトルの端を囲む４つの画素 の１つか“消失”のタグを付けられていれば、補間Ｔ（ｊ）が行われる影像の画 素はｔ（ｊ）のみから再生される； ３、他の全ての場合画素は現在の影像ｔ（ｊ＋１）とｔ（ｊ）内の２つの端から 再生される。

全ての種々のステップについて記載したが、特に図４に関し、現在の影像ｔ　（ ｊ）の画素の分類に基づき現在の影像ｔ（ｊ＋ｌ）について行う画素の分類を取 ることにより、補間Ｔ（ｊ）が行われる影像の上にｔ（ｊ＋１）の運動のフィー ルドを一時的に投影し影像Ｔ（ｊ）の補間を行うことができる。

図４に記載のように、入力として影像ｔ　（ｊ）とｔ（ｊ＋１）をとる。参照番 号１０で示すがｔ（ｊ）における運動の評価フィールドと、参照番号１１で示す がｔ（ｊ）のタグフィールドは周知である。１２で示すように、ｔ（ｊ＋１）の 上の一時的な投影により、運動の予測フィールドは１３で影像ｔ（ｊ＋１）に対 して得られ、１４ではｔ（ｊ＋１）に対するタグフィールドである。１３と１４ て得られた情報は参照番号１５のように影像ｔ（ｊ＋１）の中にホールを満たす のに使用されている。この充満を行うと、運動の予測フィールドは現在の影像ｔ （ｊ＋１）にわたり得られ、これは参照番号１７に示すように入力情報ｔ（ｊ） に対する情報と関連して運動の評価を行うために使用されている。運動に対する 評価を行うと、ｔ（ｊ＋１）にわたる運動の評価フィールドは１８で利用でき、 １８と１６と１４とに含まれているエレメントは２０でｔ（ｊ＋１）のタグフィ ールドを得るように１９の参照番号のようにｔ（ｊ÷１）の画素タグ付けの変更 を行うのに使用されている。このｔ（ｊ÷１）のタグフィールドは、１８におけ るｔ（ｊ＋１）の運動の評価フィールドと同じく、入力影像ｔｌに関するエレメ ントに関連して使用され、参照番号２１に示すように補間Ｔ（ｊ）が行われる影 像の上に一時的な投影が行われる。この一時的な投影が行われると、運動のフィ ールドはそれぞれ参照番号２２と２３のタグフィールドめように補間Ｔ（ｊ）が 行われる影像に対して得られる。補間Ｔ（ｊ）が行われる影像の運動のフィール ドにおいて、ホールの充満が２４で行われ補間Ｔ（ｊ）が行われる影像に対して 運動の新しいフィールドが得られる。２３から生ずるタグフィールドと同じ＜２ ５から生ずる運動のこの新しいフィールド、更に現在の影像ｔ（ｊ＋１）に関し ２０から生ずるタグフィールド、更に現在の影像ｔ（ｊ）に間し１１から生ずる タグフィールドは運動の補償を有した適応型の補間を行うが、この補償は２６と ２７の参照番号に示すように補間Ｔ（ｊ）が行われる影像を与える。

現在の３つの影像ｔ　（ｊ＋１）　、　ｔ　（ｊ＋２）　、　ｔ　ｌの運動のフ ィールドを投影することにより影像Ｔ（ｊ）を補間する他の方法は、より詳細に は図７に関して記載している。この場合、補間Ｔ（ｊ）が行われる影像の“ホー ル”とタグの付いた画素の運動ベクトルは運動ベクトルｔ（ｊ）とｔ（ｊ＋２） の一時的な投影により規定される。′ホール”とタグの付いた画素の新しいクラ スは図７に明確に示すようにこの投影から直接導かれる。この場合この手順は次 の通りである： １、影像の投影に関するが“表出”のタグの付いた運動ベクトルの投影を行わな い前述の方法により補間Ｔ（ｊ）が行われる影像の上に現在に影像ｔ（ｊ＋１） の運動のフィールドを投影すること： ２、“表出”のタグの付いた運動ベクトルは例外としてＴ（ｊ）の上に現在の影 像ｔ（ｊ）の運動のフィールドを投影すること、この投影は図７の画素Ｐ４に示 すように、“ホールパのタグの付いた画素のみに対するものである。従って、影 響のポイントが“ホール”のタグの付いた画素に一番近い運動ベクトルである。

“ホール°°の画素がこのように満たされると、そのタグは“消失″となる。

３、′表出′°のタグの付いた運動ベクトルは例外として補間Ｔ（ｊ）か行われ る影像の上に現在の影像ｔ（ｊ＋２）の運動のフィールドを投影すること。この 投影は前段階のスチップの終わりにまだ“ホール”のタグの付いた画素にアドレ スされる。従って、影響のポイントが“ホール”のタグの付いた画素に一番近い 運動ベクトルは画素Ｐ５のように残る。“ホール”のタグの付いた画素がこのよ うに満たされると、そのタグは“表出”となる。運動ベクトルの空間補間は関連 の運動ベクトルが無く残る画素に対して行われるが、この場合、４ホール”のタ グは“正常”に置き換えられる。その後補間は次のように関連タグを考慮するこ とにより画素の組の中で行われる：１、画素に“正常”のタグが付けられていれ ば、２つの現在の影像ｔ（ｊ）とｔ（ｊ＋１）を　基にすること；２、画素に“ 消失”のタグが付けられていれば、現在の影像ｔ（ｊ）を基にすること； ３、画素に“表出”のタグが付けられていれば現在の影像ｔ（ｊ＋１）を基にす ること。

しかし、補間のこの方法には、誤りが増幅されるので現在の影像ｔ（ｊ）のフィ ールドととりわけ現在の影像ｔ　（ｊ＋２）のフィールドのように運動の遠いフ ィールドを一時的に投影することにより運動に対し良いフィールドが必要になる 。

影像の入力 要　約　書 一連の移動影像に属する影像の画素の分類法および前記分類を用いた影像の一時 的補間法この方法は一連の移動影像に属する影像の画素の分類法および前記の方 法を用いた影像の一時的補間法に関する。

一連の移動影像に属する影像ｔ（ｊ）の運動のフィールドの一時的投影により得 られる影像ｔ（ｊ＋１）の画素の分類法の特徴は次の通りであるが、影像ｔ（ｊ ）の画素は運動ベクトルとタグとにより規定され、更にこのタグは“正常”、“ 閉塞”または“表出”のクラスに属する：（１）、投影の前には、ｔ（ｊ）の全 ての画素には“表出”のタグが付けられる； （２Ｌその後、一時的な投影の間に、タグ付けは３つの同じクラスによるタグ付 けを得るような方法のｔ（ｊ）の画素のタグ付けの間数として変更される。

応用分野はテレビジョン影像の処理の分野である。

図４ 国際調査報告

Claims (1)

1. 【特許請求の範囲】 １、一連の移動影像に属する前段階の影像ｔ（ｊ）の運動フィールドを一時的に 投影することにより得られる現在の影像の画素ｔ（ｊ＋１）の分類法であり、こ の前段階の画素は運動のベクトルとタグとにより規定され、このタグは“正常” 、“閉塞”、または“表出”の名称の少なくとも３つのクラスから定まるクラス に属するが、前記の方法には次の特徴がある： （１）、投影の前に現在の影像ｔ（ｊ＋１）の全ての画素には“表出”のタグが 付いている； （２）、次に、一時的な投影が周知の方法で行われる間、このタグ付けは次の方 法で影像ｔ（ｊ）の画素のタグ付けを考慮することにより変更される： ア、“表出”のタグの付いた画素が運動ベクトルを受けるならば、そのタグは“ 正常”になる；イ、“正常”のタグの付いた画素が運動ベクトルを受けると、そ のタグは“閉塞”になり、その運動ベクトルに最小｜ＤＦＦ｜（位置が変更され たフレーム差）が付けられる； ウ、“閉塞”のタグの付いた画素が運動ベクトルを受けると、そのタグは“閉塞 ”のままであり、運動ベクトルに最小｜ＤＦＤ｜が付けられる； エ、“表出”のタグの付いた画素が運動ベクトルを受けなければ、“表出”のま まである。 ２、一時的な投影の間に、影像ｔ（ｊ）の画素に付けられたタグが調べられ、更 に影像ｔ（ｊ）の画素に“表出”のタグが付けられていればその運動ベクトルは 現在の影像ｔ（ｊ＋１）の画素に割り当てられないことを特徴とする請求項１に 記載の方法。 ３、一時的な投影の間に、影像ｔ（ｊ）の画素に付けられたタグが調べられ、更 に現在の影像ｔ（ｊ＋１）の画素にタグが以下の表により付けられているが、こ の影像ｔ（ｊ＋１）の画素に“表出”、“正常”、“閉塞”および“充満”のク ラスから選択されたタグが付けられていることを特徴とする請求項１に記載の方 法： ▲数式、化学式、表等があります▼ ４、“表出”のタグの付けられた現在の影像ｔ（ｊ＋１）の画素の運動ベクトル が付近の運動ベクトルの空間的補間により得られることを特徴とする請求項２ま たは３のいずれかに記載に方法。 ５、“表出”のタグが付けられた現在の影像ｔ（ｊ＋１）の画素の運動ベクトル が画素の運動ベクトルの平均をとることにより得られ、この平均が“表出”のタ グの付いた画素を考慮することなしにその空間の付近の一部を構成していること を特徴とする請求項４に記載の方法。 ６、影像ｔ（ｊ＋１）の画素に割り当てられたタグを変更する方法で、それぞれ の画素は請求項２から５のいずれか１つによる方法を用いて得られており、影像 ｔ（ｊ＋１）に対しては一時的な運動の予測フィールドが利用でき、更に一番目 のステップでは運動の評価フィールドを得るために運動が影像ｔ（ｊ＋１）の全 てのベクトルに対して評価され、各画素に対しては運動の予測フィールドが運動 の評価フィールドと比較されるが、その方法は次の手順に基づき影像ｔ（ｊ＋１ ）の画素に割り当てられたタグを変更することが可能なことであることを特徴と する：（１）、タグが“正常”ならば、“正常”のままである； （２）、タグが“表出”ならば、“表出”のままである； （３）、タグが“充満”ならば、“正常”になる；（４）、タグが“閉塞”なら ば、予測運動ベクトルと評価運動ベクトルの水平成分と垂直成分のそれぞれに対 し、差が計算され差の１つがシュレッショルドより大きければそのタグは“正常 ”となり、他の場合は“閉塞”のままである。 ７、一連の影像の後続の画素がＮ＞１であり少なくともＮ回“閉塞”のラベルを 付けられる時のみ、“閉塞”タグが規定きれることを特徴とする請求項６に記載 の方法。 ８、現在の影像ｔ（ｊ＋１）の上に前段階の影像ｔ（ｊ）の運動のフィールドを 一時的に投影する間に、前段階の影像ｔ（ｊ）の画素の現在の影像ｔ（ｊ＋１） の上に投影した運動ベクトルが他のベクトルと食違い更に保持されなければ、影 像ｔ（ｊ）の画素に“消失”のタグが付けられることを特徴とする請求項１に記 載の方法。 ９、運動の補償を有する影像の一時的な補間の方法であり、少なくとも２つの既 知の影像ｔ（ｊ），ｔ（ｊ＋１）から補間Ｔ（ｊ）が行われる影像のタグのフィ ールドの運動フィールドを評価する段階を特に含み、影像Ｔ（ｊ）の各画素の特 性が運動ベクトルとタグとによりそれぞれが定まる影像ｔ（ｊ），ｔ（ｊ＋１） の関連画素の特性から定まり、補間Ｔ（ｊ）が行われる影像の運動フィールドが 請求項１から８のいずれか１つに基づく方法を使用することにより既知の影像ｔ （ｊ＋１）にある運動の評価フィールドの一時的投影により規定されるが、更に 次のことを特徴とする：（１）、投影の前に、補間Ｔ（ｊ）が行われる影像の全 ての画素に“ホール”のタグが付けられている；（２）、次に、一時的な投影の 間に、影像ｔ（ｊ＋１）の画素に割り当てられたタグと運動ベクトルが調べられ 、更にタグと運動ベクトルが以下の表に基づき補間Ｔ（ｊ）が行われる影像の画 素に与えられている： ▲数式、化学式、表等があります▼ １０、影像ｔ（ｊ＋１）の運動フィールドの一時的な投影を行い、“ホール”の タグが付けられ補間Ｔ（ｊ）が行われる影像の画素が、既知の方法で空間的な補 間により得られる運動のベクトルを受けることを特徴とする請求項９に記載の方 法。 １１、“正常”または“閉塞”のタグが付けられた影像Ｔ（ｊ）の画素が２つの 影像からｔ（ｊ），ｔ（ｊ＋１）を補間するが、“ホール”のタグが付けられた 影像Ｔ（ｊ）の画素が次の方法で影像ｔ（ｊ）とｔ（ｊ＋１）との中にある運動 ベクトルの２つの端を囲む４つの画素のそれぞれのタグを調べることにより補間 されていることを特徴とする請求項９と１０に記載の方法： （１）、影像ｔ（ｊ＋１）の中で、運動ベクトルの端を囲む４つの画素の少なく とも１つに“閉塞”のタグが付けられており、更に影像ｔ（ｊ）の中で運動ベク トルの端を囲む４つの画素のとれもに“閉塞”のタグが付けられていなければ、 影像Ｔ（ｊ）の画素の輝度は影像ｔ（ｊ）のみから構成される； （２）、影像ｔ（ｊ）の中で、運動ベクトルの端を囲む４つの画素の少なくとも １つに“閉塞”のタグが付けられており、更に影像ｔ（ｊ＋１）の中で運動ベク トルの端を囲む４つの画素のとれもに“閉塞”のタグが付けられていなければ、 影像Ｔ（ｊ）の画素の輝度は影像ｔ（ｊ＋１）のみから再生される； （３）、運動ベクトルの２つの端で、４つの画素の少なくとも１つに“閉塞”の タグが付けられており、またはとの画素にも“閉塞”にタグが付けられていなけ れば、影像Ｔ（Ｊ）の画素の輝度が両方の影像から再生される。 １２、“正常”または“閉塞”のタグが付けられた影像Ｔ（ｊ）の画素が２つの 影像からｔ（ｊ），ｔ（ｊ＋１）を補間するが、“ホール”のタグが付けられた 影像Ｔ（ｊ）の画素が次の方法で影像ｔ（ｊ）とｔ（ｊ＋１）との上にある運動 ベクトルの２つの端を囲む４つの画素のそれぞれのタグを調べることにより補間 されていることを特徴とする請求項９と１０に記載の方法： （１）、影像ｔ（ｊ）の中で、運動ベクトルの端を囲む４つの画素の１つに“閉 塞”のタグが付けられておりどれもが“消失”でなく、更に影像ｔ（ｊ＋１）の 中で運動ベクトルの端を囲む４つの画素の１つに“表出”のタグが付けられてい れば、影像Ｔ（ｊ）の画素の輝度が影像ｔ（ｊ＋１）のみから再生される； （２）、影像ｔ（ｊ＋１）の中で、運動ベクトルの端を囲む４つの画素の１つに “閉塞”のタグが付けられておりとれもが“表出”でなく、更に影像ｔ（ｊ）の 中で運動ベクトルの端を囲む４つの画素の１つに“消失”のタグが付けられてい れば、影像Ｔ（ｊ）の画素の輝度は影像ｔ（ｊ）のみから再生される； （３）、他のケースの場合は、影像Ｔ（ｊ）の画素の輝度が影像ｔ（ｊ＋１）と ｔ（ｊ）とから再生される。 １３、次のことを特徴とする請求項９に記載の一時的な補間の方法： （１）、補間Ｔ（ｊ）が行われる影像の上に既知の影像ｔ（ｊ＋１）の運動のフ ィールドを投影する時、“表出”のタグが付けられた影像ｔ（ｊ＋１）の画素の 運動ベクトルは投影されない； （２）、次に、影像ｔ（ｊ）の運動フィールドが、影像ｔ（ｊ＋１）の投影に対 する方法と同じ方法を使用することにより補間Ｔ（Ｊ）が行われる影像の上に投 影され、運動ベクトルにより満たされる“ホール”の画素に“消失”のタグが付 けられる； （３）、その後、影像ｔ（ｊ＋１）の後続の影像ｔ（ｊ＋２）の運動フィールド が、影像ｔ（ｊ＋１）の投影に対する方法と同じ方法を使用するが、“表出”と “消失”とを考慮するように“表出”の運動ベクトルにより満たされる画素にホ ールのタグを付けることにより、補間Ｔ（ｊ）が行われる影像の上に投影される 。 １４、“ホール”のタグが付けられ補間Ｔ（ｊ）が行われる影像の画素の運動ベ クトルが空間的な補間により計算され、更に画素に“ホール”のタグが割り当て られることを特徴とする請求項１３に記載の方法。 １５、次のことを特徴とする請求項１３または１４のいずれかに記載の方法： （１）、“正常”のタグが付けられた影像Ｔ（ｊ）の画素が２つの影像からｔ（ ｊ）とｔ（ｊ＋１）を補間されること；（２）、“消失”のタグが付けられた影 像Ｔ（ｊ）の画素が影像ｔ（ｊ）から補間される； （３）、“表出”のタグが付けられた影像Ｔ（ｊ）の画素が影像ｔ（ｊ＋１）か ら補間される。