JP3609236B2 - 映像テロップ検出方法および装置 - Google Patents
映像テロップ検出方法および装置 Download PDFInfo
- Publication number
- JP3609236B2 JP3609236B2 JP12735897A JP12735897A JP3609236B2 JP 3609236 B2 JP3609236 B2 JP 3609236B2 JP 12735897 A JP12735897 A JP 12735897A JP 12735897 A JP12735897 A JP 12735897A JP 3609236 B2 JP3609236 B2 JP 3609236B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- image
- creating
- candidate
- difference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像からテロップを検出する映像テロップ検出方法および装置に関する。
【０００２】
【従来の技術】
テレビ放送、デジタル衛星放送、レーザーディスク、ＤＶＤ、Video on Demand 等、映像の流通が活発になるにつれて、映像をより柔軟に扱いたいという需要が増えてきた。そこで、映像に様々な目次や索引情報を付加し、映像の検索やランダムアクセスを可能とする技術が提案されている。映像を特徴づける情報のうち、字幕、記号等のテロップは、映像の意味や内容を反映するものとして重要である。そのため、映像から自動的にテロップを検出する方法が提案されている。
【０００３】
従来の映像テロップ検出装置には次のものがある。
【０００４】
例えば、テロップが静止していて、かつ高精度であるという性質を用い、２枚のフレーム間で動きのない部分を求め、さらに、輝度が所定値以上の領域を字幕部分として検出する装置がある（特開平８−３３１４５６「字幕移動装置」）。
【０００５】
また、テロップはエッジが強く、かつ、高精度であるという性質を用い、フレーム画像のエッジ強度と輝度とが閾値を超えるブロックを字幕の存在する部分として検出する方法もある（例えば、特開平８−２１２２３１「字幕検出方法および動画像の代表画像抽出装置」）。
【０００６】
また、ＭＰＥＧなどフレーム間の相関を用いて符号化された映像では、フレーム間の相関を用い、かつ、動き補償を用いないで符号化された画素がテロップの部分に時間的空間的に集中するという性質がある。この性質を利用し、フレーム間の相関を用い、かつ、動き補償を用いないで符号化された画素の出現頻度を、ある時間区間で計数することによってテロップを検出する装置もある（１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出方法」）。
【０００７】
【発明が解決しようとする課題】
上述した従来技術では、エッジ強度や輝度などのテロップのもつ性質を用いてテロップを検出していたが、テロップの切り替わりの検出能力が低かった。例えば、特開平８−２１２２３１では、フレーム画像をブロックに分割し、ブロックに対応する字幕領域データを用意する。字幕領域データには、テロップの存在するブロックに１、存在しないブロックに０を格納する。そして、２枚のフレーム間で、字幕領域データの値が異なるブロックの数を計数し、この数が一定の割合を超えた場合に、テロップが切り替わったとしている。
【０００８】
しかし、この方法では、テロップが切れ目なく、かつ、面積の変化がなく切り替わったとき、字幕領域データには変化が現れないので、テロップの切り替わりを検出することができない。
【０００９】
本発明の目的は、映像からテロップの切り替わりを検出する映像テロップ検出方法および装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明の映像テロップ検出方法は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、２枚のフレーム画像の差分画像を作成する差分画像作成段階と、差分画像からテロップ候補の存在する部分だけを抽出する抽出段階と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定段階を有する。
【００１１】
また、本発明の映像テロップ検出装置は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、２枚のフレーム画像の差分画像を作成する差分画像作成手段と、差分画像からテロップ候補の存在する部分だけを抽出する抽出手段と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する。
【００１２】
テロップ候補画像作成手段は、フレーム画像からテロップ候補を検出し、テロップ候補画像を作成する。差分画像作成手段は、２枚のフレーム画像を作成する。抽出手段は、テロップ候補の存在する領域の差分画像を抽出する。判定手段は、テロップ候補画像とテロップ候補の存在する領域の差分画像を用いてテロップの存在を判定する。これによって、テロップの存在する領域のフレーム画像の変化に基づいてテロップを検出するので、テロップの切り替わりを検出することができる。
【００１３】
本発明の他の映像テロップ検出方法は、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成段階と、
前記テロップ候補画像と前記差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成段階と、
前記差分画像からマスクの部分だけを抽出する抽出段階と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する段階を有する。
【００１４】
また、本発明の他の映像テロップ検出装置は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、２枚のフレーム画像の差分画像を作成する差分画像作成手段と、テロップ候補画像と差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成手段と、差分画像からマスクの部分だけを抽出する抽出手段と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する。
【００１５】
従来の技術では、基本的にテロップの有無を判定することに留まっていた。そこで、本発明では、さらにテロップの存在する領域についてフレーム画像の変化を調べることによって、テロップの切り替わりを検出する。
【００１６】
マスク作成画像は、テロップ候補画像と差分画像を用いて、マスクを作成する。マスクは、画素値の変化を検出すべき領域を例えば１とし、それ以外の領域を例えば０とする。抽出手段は、マスクが１である領域の差分画像を抽出し、判定手段でテロップ候補画像とマスクが１である領域の差分画像を用いて、テロップの素材を判定する。これによって、フレーム画像の変化を調べる領域を、テロップの存在する領域に限定することができるので、テロップの背景の変化の影響を受けにくくなり、より正確にテロップの切り替わりを検出することができる。
【００１９】
本発明の実施態様によれば、テロップ候補画像作成手段が、符号化された映像データからフレーム間の相関を用いて符号化されたフレームを抽出するフレーム判別手段と、抽出されたフレームのマクロブロックのうち、フレーム間の相関を用い、かつ動き補償を用いないで符号化されたマクロブロックが現われる数を、それぞれのマクロブロックの位置毎に、一定計数区間内で計数する計数手段と、計数結果を与えられた閾値と比較してテロップ領域を表すマトリックスを出力する選択手段と、前記マトリックスの連結領域を求め、それぞれの連結領域をテロップ候補画像として出力する連結領域作成手段を含む。
【００２０】
本発明の実施態様によれば、マスク作成手段が、フレーム間で値の小さい画素である不要画素を検出する不変画素検出手段と、新たに現れたテロップ候補を検出する新規候補画素検出手段と、不変画素か新規候補画素の少なくとも一方が存在する領域を示すマスクを合成するマスク合成手段を有する。
【００２１】
マスク作成手段においては、不変画素検出手段が、画素が不変である領域を検出する。新規候補画素検出手段は、新たに現れたテロップ候補を検出する。合成手段は、不変画素か新規候補画素の少なくとも一方が存在する領域を求めマスクを合成する。これによって、テロップが以前より存在する画素と、テロップ候補が新たに現れた画素を例えば１とし、それ以外の領域を例えば０とするマスクが作成される。
【００２２】
本発明の実施態様によれば、新規候補画素検出手段が、テロップ候補画像を１フレーム分蓄積する第１のバッファと、現フレームのテロップ候補画像と第１のバッファに蓄積されたテロップ候補画像を比較し、テロップ候補画像が現フレームにのみ存在するとき現フレームのテロップ候補画像を出力する第１の比較手段を含み、不変画素検出手段が、差分画像を閾値と比較する第２の比較手段と、差分画像が前記閾値より大きいとき、現フレームのテロップ候補画像を１フレーム分蓄積する第２のバッファと、第１の比較手段または第２のバッファから出力された現フレームのテロップ候補画像をマスク出力として出力するマスク出力手段を含む。
【００２８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２９】
図１は本発明の第１の実施形態の映像テロップ検出装置のブロック図である。
【００３０】
本映像テロップ検出装置は映像入力端子１０１とテロップ候補画像作成部１０２と差分画像作成部１０３とＡＮＤ回路１０４と判定部１０５とテロップ出力端子１０６で構成される。テロップ候補画像作成部１０２は映像入力端子１０１に入力された映像からテロップを検出し、テロップの存在する画素を“１”とし、それ以外の画素を“０”としたテロップ候補画像を作成する。差分画像作成部１０３は、時間的に離れた２枚のフレーム画像間の差の絶対値を画素値とする差分画像を作成する。なお、フレーム間隔は、隣接するフレーム間でもよいし、複数フレーム離れた間隔でもよい。ＡＮＤ回路１０４はテロップ候補画像と差分画像との積を求め、差分画像のうちテロップ候補画像が“０”である部分を“０”とする。判定部１０５は、テロップ候補画像作成部１０２の出力であるテロップ候補画像と、ＡＮＤ回路１０４の出力である差分画像を用いてテロップの存在を判定し、テロップ出力端子１０６に出力する。なお、テロップの存在する画素を“０”、それ以外の画素を“１”としてもよく、また“０”、“１”以外の値をとるようにしてもよい。
【００３１】
本実施形態の利点は、テロップ候補画像の存在する部分に限って差分画像を評価するので、テロップの切り替わりを検出することができるという点である。
【００３２】
なお、テロップ候補画像の検出には、従来技術を利用することができる。例えば、前述の１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方法を用いることができる。
【００３３】
図２はこの方法を示すフローチャートである。符号化された映像データをフレームごとに入力し（ステップ２０１）、フレーム間の相関を用いて符号化されたフレームを対象にしてフレーム間の相関を用い、かつ、動き補償を用いないで符号化されたマクロブロックを一定計数区間内で計数し（ステップ２０１〜２０４）、閾値との比較結果に基づいてテロップ部分を選択している（ステップ２０５）。
【００３４】
図３はこの方法に基づくテロップ候補画像作成部１０２のブロック図である。フレーム判別部３０１は、符号化された映像データからフレーム間の相関を用いて符号化されたフレームを抽出する。計数部３０２はこのフレームのマクロブロックのうち、フレーム間の相関を用い、かつ、動き補償を用いないで符号化されたマクロブロックが現れる数を、それぞれのマクロブロックの位置ごとに、一定計数区間内で計数する。計数結果はマトリックスになって選択部３０３に入力され、選択部３０３は与えられた閾値との比較結果に基づいて、テロップ領域を表すマトリックスを出力する。最後に、連結領域作成部３０４は、テロップ領域マトリックスの連結領域を求め、それぞれの連結領域をテロップ候補画像として出力する。
【００３５】
図４は本発明の第２の実施形態の映像テロップ検出装置のブロック図である。
【００３６】
本実施形態は、第１の実施形態にマスク作成部１０７を追加したものである。マスク作成部１０７はテロップ候補画像と差分画像を用いてマスクを作成する。マスクは、差分画像を評価する領域を“１”とし、それ以外を“０”とした画像である。差分画像を評価する領域を“０”、それ以外を“１”としてもよく、また“０”、“１”以外の値でもよい。
【００３７】
本実施形態の利点は、第１の実施形態に比べて、差分画像を評価する領域をさらに限定することができる。例えば、テロップ候補画像が、実際にテロップが存在する領域よりも幅広い領域をカバーしている場合、マスク作成部１０７によって、実際にテロップが存在する領域だけに判定領域を限定することができる。これによって、テロップの背景の影響を少なくして、より正確なテロップ検出が可能となる。
【００３８】
図５はマスク作成部１０７の一例を表すブロック図である。
【００３９】
新規候補画素検出部４０２はテロップ候補画像入力端子４０１に入力されたテロップ候補画像を前のフレームでのテロップ候補画像と比較し、新たに出現したテロップ候補画素を抽出する。なお、テロップ候補画像の変化を求めるフレーム間隔は、近接するフレーム間でもよいし、数フレーム離れた間隔でもよいが、差分画像を求めるときのフレーム間隔が適当である。一方、不変画素検出部４０４は、差分画像入力端子４０３に入力された差分画像から、画素値がある閾値よりも小さく、かつ対応するテロップ候補画像の値が“１”であるものだけを抽出する。新規候補画素検出部４０２と不変画素検出部４０４の両出力はＯＲ回路４０５において少なくとも一方が“１”である画素を“１”とし、それ以外を“０”としたマスクを合成し、マスク出力端子４０６に出力される。
【００４０】
図６はマスク作成部１０７による処理の様子を示す図である。図６（１）と図６（２）はテロップ候補画像と実際のテロップを構成する画素を表し、時間的に図６（１）から図６（２）に変化したものとする。図で実線枠に囲まれた斜線部はテロップ候補である部分を表し、さらに黒い領域は実際のテロップを構成する画素を表す。図６（１）と図６（２）の間で、新規候補画素検出部４０２によって、右の「Ｃ」を含む周辺のテロップ候補画素が検出されるので、図６（３）のマスクの右部では、矩形領域が１となる。また、図６（１）と図６（２）で、「Ｂ」の背景部の画素の変化が激しいとすると、不変画素検出部４０４によって、実際のテロップを構成する画素だけが検出されるので、図６（３）のマスクの中央部では、テロップを構成する画素に対応する部分が“１”となる。「Ａ」の部分は、図６（２）の時点でテロップが消滅しているため、対応するマスクは“０”となる。このようにして、テロップが変化しない部分では、テロップを構成する画素に対応する部分を“１”とし、また、新たにテロップが出現した部分では、テロップ候補画像が“１”である部分を“１”とするマスクを合成することができる。
【００４１】
図７はマスク作成部１０７の別の例を表すブロック図である。
【００４２】
テロップ候補画像入力端子５０１、バッファ５０２、ＡＮＤ回路５０３は新規候補画素検出部４０２を構成している。テロップ候補画像入力端子５０１に入力されたテロップ候補画像はバッファ５０２に１フレーム分だけ蓄積される。ＡＮＤ回路５０３は、現フレームとバッファ５０２に蓄積された前フレームとでテロップ候補画像を比較する。ここでは、テロップ候補が現フレームにのみ存在し、かつ前フレームには存在しないときに“１”、それ以外は“０”の値が出力される。
【００４３】
差分画像入力端子５０４、閾値入力端子５０５、比較器５０６、ＡＮＤ回路５０７、バッファ５０８は不変画素検出部４０４を構成している。比較器５０６において、差分画像入力端子５０４から入力された差分画像と、閾値入力端子５０５に入力された閾値Ｄとが比較される。差分画像は画素毎に比較され、閾値Ｄの方が大きいときに“１”、それ以外のときは“０”の値が出力される。さらに、ＡＮＤ回路５０７によって、テロップ候補でない画素は“０”とされる。その結果はバッファ５０８に１フレーム分だけ蓄積される。
【００４４】
ＡＮＤ回路５０３の出力とバッファ５０８の出力はＯＲ回路５０９によって統合され、少なくとも一方が“１”の場合“１”、両方が“０”の場合に“０”というマスク出力としてマスク出力端子５１０に出力される。
【００５４】
図１１は本発明のテロップ検出方法の一実施形態を表すフローチャートである。
【００５５】
まず、画像入力段階８０１において画像を入力する。次に、テロップ候補画像作成段階８０２においてテロップ候補画像が検出され、テロップ候補画像の存在する画素を“１”とし、それ以外の画素を“０”としたテロップ候補画像が作成される。また、差分画像作成段階８０３において、時間的に離れた２枚のフレーム画像間の差の絶対値を画素値とする差分画像が作成される。なお、フレーム間隔は、隣接するフレーム間でもよいし、複数フレーム離れた間隔でもよい。また、テロップ候補画像作成段階８０２と差分画像作成段階８０３は、どちらを先に実行してもよい。抽出段階８０４では、差分画像のうちテロップ候補画像が“０”である部分を“０”とする。判定段階８０５ではテロップの存在を判定する。
【００５６】
以降のフローチャートを説明する前に、本実施形態で処理をする画像やバッファについて説明する。
【００５７】
入力された画像はｓｃｒという配列に入っており、個々の画素は、画素番号ｐによって指示されるｓｃｒ［ｐ］で表される。また、１個以上の画素の集合をブロックとし、ブロック番号ｂによって指示されるとする。テロップ候補画像はブロック単位で管理し、ｔｅｌ［ｂ］によって表される。テロップ候補ならｔｅｌ［ｂ］＝１、それ以外ではｔｅｌ［ｂ］＝０となる。また、前の処理段階のフレームのテロップ候補画像は、ｐｒｅｔｅｌ［ｂ］で表される。差分画像は画素単位で管理し、ｄｉｆｆ［ｐ］によって表される。同様に、前の処理段階のフレームの差分画像は、ｐｒｅｄｉｆｆ［ｂ］で表される。
【００５８】
図１２はテロップ候補画像作成段階８０２の例を表すフローチャートである。
【００５９】
まず、ステップ９０１においてブロック番号ｂを０に初期化する。次に、ステップ９０２で、ブロック番号ｂによって指示されるブロックがテロップ候補であるかどうかを調べ、テロップ候補であれば、ステップ９０３でｔｅｌ［ｂ］に１を代入し、そうでなければステップ９０４でｔｅｌ［ｂ］に０を代入する。なお、テロップ候補画像の検出には、従来技術である、例えば、前述の１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方法を用いることができる。続いて、ステップ９０５でｂの値を１増やし、ステップ９０６でブロック番号ｂがブロック数と等しいかを判定し、ブロック番号ｂがブロック数になるまでステップ９０２からの処理を繰り返す。以上の手順により、テロップ候補画像ｔｅｌ［ｂ］が作成される。
【００６０】
図１３は差分画像作成段階８０３の例を表すフローチャートである。
【００６１】
まず、ステップ９１１において画素番号ｐが０に初期化される。次に、ステップ９１２において現フレームの画素値ｓｃｒ［ｐ］と前フレームの画素値ｐｒｅｓｃｒ［ｐ］の差の絶対値が差分画像の画素値ｄｉｆｆ［ｐ］に格納される。続いて、ステップ９１３でｐの値を１ずつ増やし、ステップ９１４で画素番号ｐが全画素数と等しくなるまでステップ９１２からの処理を繰り返す。以上の手順により、差分画像ｄｉｆｆ［ｐ］が作成される。
【００６２】
図１４、図１５は抽出段階８０４の例を表すフローチャートである。
【００６３】
まず、概要を説明すると、本例では、テロップ領域画像のうちの不変画素か、または、新たにテロップ候補となった画素の集合を判定領域とし、判定領域に含まれる差分画像を抽出する。ここで、不変画素はフレーム間で値の変化が小さい画素を表す。そして、判定領域の面積ｃｏｕｎｔと、判定領域内の差分画像の大きい部分、すなわち、フレーム画像が変化した部分の面積ｃｄｉｆｆを計算し、出力とする。判定領域のうち、不変画素は画素ｍ［ｐ］によって表される。なお、ｍ［ｐ］は最初０である。
【００６４】
まず、ステップ９２１でｃｏｕｎｔとｃｄｉｆｆと画素番号ｐを０に初期化する。以下、すべての画素番号ｐについて処理を行う。ステップ９２２では、画素番号ｐに対応するブロック番号ｂを求める。ステップ９２３の条件判断では、不変画素（ｍ［ｐ］＝１）であるか、または、番号ｂのブロックがテロップ候補であり（ｔｅｌ［ｂ］＝１）、かつ、前フレームではテロップ候補でない（ｐｒｅｔｅｌ［ｂ］＝０）かの少なくとも一方が成り立つか判断し、成り立つときステップ９２４に進み、それ以外の場合は、ステップ９２７に進む。この条件判断では、不変画素か、または、新たにテロップ候補となった画素かの少なくとも一方であるかどうかを判断している。ステップ９２４では、ｃｏｕｎｔの値を１増やす。さらに、ステップ９２５で画素番号ｐの差分画像の画素値を調べ、閾値Ｄより大きい場合には、ステップ９２６に進み、ｃｄｉｆｆの値を１増やし、そうでない場合は、ステップ９２７に進む。ステップ９２７では、画素番号ｐの値を１増やし、ステップ９２８で画素番号ｐが全画素数になるまで、ステップ９２２からの処理を繰り返す。以上の手順により、テロップ候補が存在しフレーム画像の変化を調べるべき判定領域の面積ｃｏｕｎｔと、判定領域内でフレーム画像が変化した部分の面積ｃｄｉｆｆを求めることができる。
【００６５】
次に、ステップ９２９から９３５の処理によって不変画素ｍ［ｐ］を求め、ｐｒｅｔｅｌとｐｒｅｓｃｒを作成する。まず、ステップ９２９で画素番号ｐを０に初期化する。ステップ９３０では、ｐに対応するブロック番号ｂを求める。ステップ９３１では、ブロックｂがテロップ候補であり（ｔｅｌ［ｂ］＝１）、かつ、差分画像の番号ｐの画素値が閾値Ｄ以下（ｄｉｆｆ［ｐ］≦Ｄ）であるかどうか判断し、条件が真であればステップ９３２に進んでｍ［ｐ］の値を１にし、そうでない場合に、ステップ９３３に進んでｍ［ｐ］の値を０にする。ステップ９３４でｐの値を１増やし、ステップ９３５でｐが全画素数になるまで、ステップ９３０からの処理を繰り返す。以上の手順により、不変画素ｍ［ｐ］を求めることができる。次に、ステップ９３６で現フレームのｔｅｌとｓｃｒの内容をそれぞれｐｒｅｔｅｌ，ｐｒｅｓｃｒにコピーし、次回の処理段階に備える。最後に、先に計算したｃｏｕｎｔとｃｄｉｆｆをステップ９３７で出力して、本段階を終わる。
【００６６】
図１６は判定段階８０５の例を表すフローチャートである。まず、概要を説明すると、本例は、フレーム画像の変化を調べるべき判定領域の面積ｃｏｕｎｔと、判定領域内でフレーム画像が変化した部分の面積ｃｄｉｆｆを入力とする。変数ｔは整数の値を持ち、テロップの継続時間を表している。ｃｏｕｎｔとｃｄｉｆｆを比較し、テロップが継続的に出現している間は、ｔの値が１ずつ増え、テロップが存在しない場合や、テロップが切り替わった時に、ｔは０にリセットされる。短時間のノイズを除去するために、閾値Ｔ以上存続した場合にテロップと認定する。そこで、Ｔとｔを比較し、テロップの「開始」「継続中」「終了」を判定し、さらに、それぞれに対応する副手順を実行することができる。なお、この例では、各副手順を特に規定しておらず、用途に応じて様々に定義することができる。たとえば、検出状態を画面上に表示するための描画関数を副手順として定義することもできる。
【００６７】
ステップ９４１では、ｔが０より大きいかどうかを調べる。ｔが０以下、すなわち現時点でテロップが存在していないときは、ステップ９４２に進み、ｔが０より大きいとき、すなわちテロップが存在しているときは、ステップ９４４に進む。ステップ９４２では、ｃｏｕｎｔの値を閾値Ａと比較し、Ａ以上の場合にのみステップ９４３に進んでｔの値を１とする。つまり、テロップの開始を表す。
【００６８】
ステップ９４４では、ｃｏｕｎｔを閾値Ａと比較し、さらに、ｃｄｉｆｆをｃｏｕｎｔで割った数を閾値Ｒと比較し、ｃｏｕｎｔ＜Ａとｃｄｉｆｆ／ｃｏｕｎｔ＞Ｒの少なくとも一方が成り立つかどうか判定し、成り立つときステップ９４６に進み、そうでなければステップ９４５に進む。この条件判断は、テロップが存在しないか、または、判定領域内の画像変化が大きい場合を調べている。ステップ９４５では、前記条件が成立しなかったので、テロップは継続中であり、ｔの値を１増やす。
【００６９】
ステップ９４６では、前記条件が成立し、テロップが消滅または切り替わったことを表すので、テロップ継続時間ｔが閾値Ｔ以上であるかを調べる。条件成立の場合は、後述の副手順「テロップ開始」が呼び出されているので、それに対応するように、ステップ９４７の副手順「テロップ終了」を実行する。いずれの場合も、ステップ９４８でｔの値をリセットする。
【００７０】
以上は、ｃｏｕｎｔとｃｄｉｆｆの比較結果に基づきｔの値を変化させる手順であった。続くステップ９４９〜９５２は、ｔと閾値Ｔとを比較し、副手順「テロップ開始」「テロップ継続中」を呼び出す処理である。まず、ステップ９４９で、ｔが閾値Ｔと等しいかどうか調べる。等しい場合は、ステップ９５０の副手順「テロップ開始」を実行する。等しくない場合は、ステップ９５１でｔがＴより大きいか調べ、条件成立の場合は、ステップ９５２の副手順「テロップ継続中」を呼び出す。
【００７１】
なお、本発明は、以上の実施形態に限定されるものではなく、その趣旨を変えない範囲で、様々に実施することができる。たとえば、最終的なテロップの存在判定を用いて、フレーム画像を出力し、テロップの一覧を作成することもできる。
【００７２】
【発明の効果】
以上説明したように、本発明は下記のような効果がある。
（１）請求項１と３の発明は、テロップの存在する領域のフレーム画像の変化に基づいてテロップを検出するので、テロップの切り替わりを検出することができる。
（２）請求項２と４の発明は、フレーム画像の変化を調べる領域を、テロップの存在する領域に限定することができるので、テロップの背景の変化の影響を受けにくくなり、より正確にテロップの切り替わりを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の映像テロップ検出装置を表すブロック図である。
【図２】テロップ候補画像検出方法を表すフローチャートである。
【図３】テロップ候補画像作成部１０２を表すブロック図である。
【図４】本発明の第２の実施形態の映像テロップ検出装置を表すブロック図である。
【図５】マスク作成部１０７の一例を表すブロック図である。
【図６】マスク作成部１０７の処理を説明する説明図である。
【図７】マスク作成部１０７の他の例を表すブロック図である。
【図８】本発明の一実施形態の映像テロップ検出方法を表すフローチャートである。
【図９】テロップ候補画像作成段階８０２を表すフローチャートである。
【図１０】差分画像作成段階８０３を表すフローチャートである。
【図１１】抽出段階８０４を表すフローチャートである。
【図１２】抽出段階８０４を表すフローチャートである。
【図１３】判定段階８０５を表すフローチャートである。
【符号の説明】
１０１ 映像入力端子
１０２ テロップ候補画像作成部
１０３ 差分画像作成部
１０４ ＡＮＤ回路
１０５ 判定部
１０６ テロップ出力端子
１０７ マスク部
２０１〜２０５ ステップ
３０１ フレーム判別部
３０２ 計数部
３０３ 選択部
３０４ 連結領域作成部
４０１ テロップ候補画像入力端子
４０２ 新規候補画素検出部
４０３ 差分画像入力端子
４０４ 不変画素検出部
４０５ ＯＲ回路
４０６ マスク出力端子
５０１ テロップ候補画像入力端子
５０２ バッファ
５０３ ＡＮＤ回路
５０４ 差分画像入力端子
５０５ 閾値入力端子
５０６ 比較器
５０７ ＡＮＤ回路
５０８ バッファ
５０９ ＯＲ回路
５１０ マスク出力端子
８０１ 画像入力段階
８０２ テロップ候補画像作成段階
８０３ 差分画像作成段階
８０４ 抽出段階
８０５ 判定段階
９０１〜９０６，９１１〜９１４，９２１〜９３７，９４１〜９５２ ステップ
【発明の属する技術分野】
本発明は映像からテロップを検出する映像テロップ検出方法および装置に関する。
【０００２】
【従来の技術】
テレビ放送、デジタル衛星放送、レーザーディスク、ＤＶＤ、Video on Demand 等、映像の流通が活発になるにつれて、映像をより柔軟に扱いたいという需要が増えてきた。そこで、映像に様々な目次や索引情報を付加し、映像の検索やランダムアクセスを可能とする技術が提案されている。映像を特徴づける情報のうち、字幕、記号等のテロップは、映像の意味や内容を反映するものとして重要である。そのため、映像から自動的にテロップを検出する方法が提案されている。
【０００３】
従来の映像テロップ検出装置には次のものがある。
【０００４】
例えば、テロップが静止していて、かつ高精度であるという性質を用い、２枚のフレーム間で動きのない部分を求め、さらに、輝度が所定値以上の領域を字幕部分として検出する装置がある（特開平８−３３１４５６「字幕移動装置」）。
【０００５】
また、テロップはエッジが強く、かつ、高精度であるという性質を用い、フレーム画像のエッジ強度と輝度とが閾値を超えるブロックを字幕の存在する部分として検出する方法もある（例えば、特開平８−２１２２３１「字幕検出方法および動画像の代表画像抽出装置」）。
【０００６】
また、ＭＰＥＧなどフレーム間の相関を用いて符号化された映像では、フレーム間の相関を用い、かつ、動き補償を用いないで符号化された画素がテロップの部分に時間的空間的に集中するという性質がある。この性質を利用し、フレーム間の相関を用い、かつ、動き補償を用いないで符号化された画素の出現頻度を、ある時間区間で計数することによってテロップを検出する装置もある（１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出方法」）。
【０００７】
【発明が解決しようとする課題】
上述した従来技術では、エッジ強度や輝度などのテロップのもつ性質を用いてテロップを検出していたが、テロップの切り替わりの検出能力が低かった。例えば、特開平８−２１２２３１では、フレーム画像をブロックに分割し、ブロックに対応する字幕領域データを用意する。字幕領域データには、テロップの存在するブロックに１、存在しないブロックに０を格納する。そして、２枚のフレーム間で、字幕領域データの値が異なるブロックの数を計数し、この数が一定の割合を超えた場合に、テロップが切り替わったとしている。
【０００８】
しかし、この方法では、テロップが切れ目なく、かつ、面積の変化がなく切り替わったとき、字幕領域データには変化が現れないので、テロップの切り替わりを検出することができない。
【０００９】
本発明の目的は、映像からテロップの切り替わりを検出する映像テロップ検出方法および装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明の映像テロップ検出方法は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、２枚のフレーム画像の差分画像を作成する差分画像作成段階と、差分画像からテロップ候補の存在する部分だけを抽出する抽出段階と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定段階を有する。
【００１１】
また、本発明の映像テロップ検出装置は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、２枚のフレーム画像の差分画像を作成する差分画像作成手段と、差分画像からテロップ候補の存在する部分だけを抽出する抽出手段と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する。
【００１２】
テロップ候補画像作成手段は、フレーム画像からテロップ候補を検出し、テロップ候補画像を作成する。差分画像作成手段は、２枚のフレーム画像を作成する。抽出手段は、テロップ候補の存在する領域の差分画像を抽出する。判定手段は、テロップ候補画像とテロップ候補の存在する領域の差分画像を用いてテロップの存在を判定する。これによって、テロップの存在する領域のフレーム画像の変化に基づいてテロップを検出するので、テロップの切り替わりを検出することができる。
【００１３】
本発明の他の映像テロップ検出方法は、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成段階と、
前記テロップ候補画像と前記差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成段階と、
前記差分画像からマスクの部分だけを抽出する抽出段階と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する段階を有する。
【００１４】
また、本発明の他の映像テロップ検出装置は、フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、２枚のフレーム画像の差分画像を作成する差分画像作成手段と、テロップ候補画像と差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成手段と、差分画像からマスクの部分だけを抽出する抽出手段と、テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する。
【００１５】
従来の技術では、基本的にテロップの有無を判定することに留まっていた。そこで、本発明では、さらにテロップの存在する領域についてフレーム画像の変化を調べることによって、テロップの切り替わりを検出する。
【００１６】
マスク作成画像は、テロップ候補画像と差分画像を用いて、マスクを作成する。マスクは、画素値の変化を検出すべき領域を例えば１とし、それ以外の領域を例えば０とする。抽出手段は、マスクが１である領域の差分画像を抽出し、判定手段でテロップ候補画像とマスクが１である領域の差分画像を用いて、テロップの素材を判定する。これによって、フレーム画像の変化を調べる領域を、テロップの存在する領域に限定することができるので、テロップの背景の変化の影響を受けにくくなり、より正確にテロップの切り替わりを検出することができる。
【００１９】
本発明の実施態様によれば、テロップ候補画像作成手段が、符号化された映像データからフレーム間の相関を用いて符号化されたフレームを抽出するフレーム判別手段と、抽出されたフレームのマクロブロックのうち、フレーム間の相関を用い、かつ動き補償を用いないで符号化されたマクロブロックが現われる数を、それぞれのマクロブロックの位置毎に、一定計数区間内で計数する計数手段と、計数結果を与えられた閾値と比較してテロップ領域を表すマトリックスを出力する選択手段と、前記マトリックスの連結領域を求め、それぞれの連結領域をテロップ候補画像として出力する連結領域作成手段を含む。
【００２０】
本発明の実施態様によれば、マスク作成手段が、フレーム間で値の小さい画素である不要画素を検出する不変画素検出手段と、新たに現れたテロップ候補を検出する新規候補画素検出手段と、不変画素か新規候補画素の少なくとも一方が存在する領域を示すマスクを合成するマスク合成手段を有する。
【００２１】
マスク作成手段においては、不変画素検出手段が、画素が不変である領域を検出する。新規候補画素検出手段は、新たに現れたテロップ候補を検出する。合成手段は、不変画素か新規候補画素の少なくとも一方が存在する領域を求めマスクを合成する。これによって、テロップが以前より存在する画素と、テロップ候補が新たに現れた画素を例えば１とし、それ以外の領域を例えば０とするマスクが作成される。
【００２２】
本発明の実施態様によれば、新規候補画素検出手段が、テロップ候補画像を１フレーム分蓄積する第１のバッファと、現フレームのテロップ候補画像と第１のバッファに蓄積されたテロップ候補画像を比較し、テロップ候補画像が現フレームにのみ存在するとき現フレームのテロップ候補画像を出力する第１の比較手段を含み、不変画素検出手段が、差分画像を閾値と比較する第２の比較手段と、差分画像が前記閾値より大きいとき、現フレームのテロップ候補画像を１フレーム分蓄積する第２のバッファと、第１の比較手段または第２のバッファから出力された現フレームのテロップ候補画像をマスク出力として出力するマスク出力手段を含む。
【００２８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２９】
図１は本発明の第１の実施形態の映像テロップ検出装置のブロック図である。
【００３０】
本映像テロップ検出装置は映像入力端子１０１とテロップ候補画像作成部１０２と差分画像作成部１０３とＡＮＤ回路１０４と判定部１０５とテロップ出力端子１０６で構成される。テロップ候補画像作成部１０２は映像入力端子１０１に入力された映像からテロップを検出し、テロップの存在する画素を“１”とし、それ以外の画素を“０”としたテロップ候補画像を作成する。差分画像作成部１０３は、時間的に離れた２枚のフレーム画像間の差の絶対値を画素値とする差分画像を作成する。なお、フレーム間隔は、隣接するフレーム間でもよいし、複数フレーム離れた間隔でもよい。ＡＮＤ回路１０４はテロップ候補画像と差分画像との積を求め、差分画像のうちテロップ候補画像が“０”である部分を“０”とする。判定部１０５は、テロップ候補画像作成部１０２の出力であるテロップ候補画像と、ＡＮＤ回路１０４の出力である差分画像を用いてテロップの存在を判定し、テロップ出力端子１０６に出力する。なお、テロップの存在する画素を“０”、それ以外の画素を“１”としてもよく、また“０”、“１”以外の値をとるようにしてもよい。
【００３１】
本実施形態の利点は、テロップ候補画像の存在する部分に限って差分画像を評価するので、テロップの切り替わりを検出することができるという点である。
【００３２】
なお、テロップ候補画像の検出には、従来技術を利用することができる。例えば、前述の１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方法を用いることができる。
【００３３】
図２はこの方法を示すフローチャートである。符号化された映像データをフレームごとに入力し（ステップ２０１）、フレーム間の相関を用いて符号化されたフレームを対象にしてフレーム間の相関を用い、かつ、動き補償を用いないで符号化されたマクロブロックを一定計数区間内で計数し（ステップ２０１〜２０４）、閾値との比較結果に基づいてテロップ部分を選択している（ステップ２０５）。
【００３４】
図３はこの方法に基づくテロップ候補画像作成部１０２のブロック図である。フレーム判別部３０１は、符号化された映像データからフレーム間の相関を用いて符号化されたフレームを抽出する。計数部３０２はこのフレームのマクロブロックのうち、フレーム間の相関を用い、かつ、動き補償を用いないで符号化されたマクロブロックが現れる数を、それぞれのマクロブロックの位置ごとに、一定計数区間内で計数する。計数結果はマトリックスになって選択部３０３に入力され、選択部３０３は与えられた閾値との比較結果に基づいて、テロップ領域を表すマトリックスを出力する。最後に、連結領域作成部３０４は、テロップ領域マトリックスの連結領域を求め、それぞれの連結領域をテロップ候補画像として出力する。
【００３５】
図４は本発明の第２の実施形態の映像テロップ検出装置のブロック図である。
【００３６】
本実施形態は、第１の実施形態にマスク作成部１０７を追加したものである。マスク作成部１０７はテロップ候補画像と差分画像を用いてマスクを作成する。マスクは、差分画像を評価する領域を“１”とし、それ以外を“０”とした画像である。差分画像を評価する領域を“０”、それ以外を“１”としてもよく、また“０”、“１”以外の値でもよい。
【００３７】
本実施形態の利点は、第１の実施形態に比べて、差分画像を評価する領域をさらに限定することができる。例えば、テロップ候補画像が、実際にテロップが存在する領域よりも幅広い領域をカバーしている場合、マスク作成部１０７によって、実際にテロップが存在する領域だけに判定領域を限定することができる。これによって、テロップの背景の影響を少なくして、より正確なテロップ検出が可能となる。
【００３８】
図５はマスク作成部１０７の一例を表すブロック図である。
【００３９】
新規候補画素検出部４０２はテロップ候補画像入力端子４０１に入力されたテロップ候補画像を前のフレームでのテロップ候補画像と比較し、新たに出現したテロップ候補画素を抽出する。なお、テロップ候補画像の変化を求めるフレーム間隔は、近接するフレーム間でもよいし、数フレーム離れた間隔でもよいが、差分画像を求めるときのフレーム間隔が適当である。一方、不変画素検出部４０４は、差分画像入力端子４０３に入力された差分画像から、画素値がある閾値よりも小さく、かつ対応するテロップ候補画像の値が“１”であるものだけを抽出する。新規候補画素検出部４０２と不変画素検出部４０４の両出力はＯＲ回路４０５において少なくとも一方が“１”である画素を“１”とし、それ以外を“０”としたマスクを合成し、マスク出力端子４０６に出力される。
【００４０】
図６はマスク作成部１０７による処理の様子を示す図である。図６（１）と図６（２）はテロップ候補画像と実際のテロップを構成する画素を表し、時間的に図６（１）から図６（２）に変化したものとする。図で実線枠に囲まれた斜線部はテロップ候補である部分を表し、さらに黒い領域は実際のテロップを構成する画素を表す。図６（１）と図６（２）の間で、新規候補画素検出部４０２によって、右の「Ｃ」を含む周辺のテロップ候補画素が検出されるので、図６（３）のマスクの右部では、矩形領域が１となる。また、図６（１）と図６（２）で、「Ｂ」の背景部の画素の変化が激しいとすると、不変画素検出部４０４によって、実際のテロップを構成する画素だけが検出されるので、図６（３）のマスクの中央部では、テロップを構成する画素に対応する部分が“１”となる。「Ａ」の部分は、図６（２）の時点でテロップが消滅しているため、対応するマスクは“０”となる。このようにして、テロップが変化しない部分では、テロップを構成する画素に対応する部分を“１”とし、また、新たにテロップが出現した部分では、テロップ候補画像が“１”である部分を“１”とするマスクを合成することができる。
【００４１】
図７はマスク作成部１０７の別の例を表すブロック図である。
【００４２】
テロップ候補画像入力端子５０１、バッファ５０２、ＡＮＤ回路５０３は新規候補画素検出部４０２を構成している。テロップ候補画像入力端子５０１に入力されたテロップ候補画像はバッファ５０２に１フレーム分だけ蓄積される。ＡＮＤ回路５０３は、現フレームとバッファ５０２に蓄積された前フレームとでテロップ候補画像を比較する。ここでは、テロップ候補が現フレームにのみ存在し、かつ前フレームには存在しないときに“１”、それ以外は“０”の値が出力される。
【００４３】
差分画像入力端子５０４、閾値入力端子５０５、比較器５０６、ＡＮＤ回路５０７、バッファ５０８は不変画素検出部４０４を構成している。比較器５０６において、差分画像入力端子５０４から入力された差分画像と、閾値入力端子５０５に入力された閾値Ｄとが比較される。差分画像は画素毎に比較され、閾値Ｄの方が大きいときに“１”、それ以外のときは“０”の値が出力される。さらに、ＡＮＤ回路５０７によって、テロップ候補でない画素は“０”とされる。その結果はバッファ５０８に１フレーム分だけ蓄積される。
【００４４】
ＡＮＤ回路５０３の出力とバッファ５０８の出力はＯＲ回路５０９によって統合され、少なくとも一方が“１”の場合“１”、両方が“０”の場合に“０”というマスク出力としてマスク出力端子５１０に出力される。
【００５４】
図１１は本発明のテロップ検出方法の一実施形態を表すフローチャートである。
【００５５】
まず、画像入力段階８０１において画像を入力する。次に、テロップ候補画像作成段階８０２においてテロップ候補画像が検出され、テロップ候補画像の存在する画素を“１”とし、それ以外の画素を“０”としたテロップ候補画像が作成される。また、差分画像作成段階８０３において、時間的に離れた２枚のフレーム画像間の差の絶対値を画素値とする差分画像が作成される。なお、フレーム間隔は、隣接するフレーム間でもよいし、複数フレーム離れた間隔でもよい。また、テロップ候補画像作成段階８０２と差分画像作成段階８０３は、どちらを先に実行してもよい。抽出段階８０４では、差分画像のうちテロップ候補画像が“０”である部分を“０”とする。判定段階８０５ではテロップの存在を判定する。
【００５６】
以降のフローチャートを説明する前に、本実施形態で処理をする画像やバッファについて説明する。
【００５７】
入力された画像はｓｃｒという配列に入っており、個々の画素は、画素番号ｐによって指示されるｓｃｒ［ｐ］で表される。また、１個以上の画素の集合をブロックとし、ブロック番号ｂによって指示されるとする。テロップ候補画像はブロック単位で管理し、ｔｅｌ［ｂ］によって表される。テロップ候補ならｔｅｌ［ｂ］＝１、それ以外ではｔｅｌ［ｂ］＝０となる。また、前の処理段階のフレームのテロップ候補画像は、ｐｒｅｔｅｌ［ｂ］で表される。差分画像は画素単位で管理し、ｄｉｆｆ［ｐ］によって表される。同様に、前の処理段階のフレームの差分画像は、ｐｒｅｄｉｆｆ［ｂ］で表される。
【００５８】
図１２はテロップ候補画像作成段階８０２の例を表すフローチャートである。
【００５９】
まず、ステップ９０１においてブロック番号ｂを０に初期化する。次に、ステップ９０２で、ブロック番号ｂによって指示されるブロックがテロップ候補であるかどうかを調べ、テロップ候補であれば、ステップ９０３でｔｅｌ［ｂ］に１を代入し、そうでなければステップ９０４でｔｅｌ［ｂ］に０を代入する。なお、テロップ候補画像の検出には、従来技術である、例えば、前述の１９９６年電子情報通信学会情報・システムソサィエティ大会「ＭＰＥＧ映像からのテロップ領域検出法」に基づく方法を用いることができる。続いて、ステップ９０５でｂの値を１増やし、ステップ９０６でブロック番号ｂがブロック数と等しいかを判定し、ブロック番号ｂがブロック数になるまでステップ９０２からの処理を繰り返す。以上の手順により、テロップ候補画像ｔｅｌ［ｂ］が作成される。
【００６０】
図１３は差分画像作成段階８０３の例を表すフローチャートである。
【００６１】
まず、ステップ９１１において画素番号ｐが０に初期化される。次に、ステップ９１２において現フレームの画素値ｓｃｒ［ｐ］と前フレームの画素値ｐｒｅｓｃｒ［ｐ］の差の絶対値が差分画像の画素値ｄｉｆｆ［ｐ］に格納される。続いて、ステップ９１３でｐの値を１ずつ増やし、ステップ９１４で画素番号ｐが全画素数と等しくなるまでステップ９１２からの処理を繰り返す。以上の手順により、差分画像ｄｉｆｆ［ｐ］が作成される。
【００６２】
図１４、図１５は抽出段階８０４の例を表すフローチャートである。
【００６３】
まず、概要を説明すると、本例では、テロップ領域画像のうちの不変画素か、または、新たにテロップ候補となった画素の集合を判定領域とし、判定領域に含まれる差分画像を抽出する。ここで、不変画素はフレーム間で値の変化が小さい画素を表す。そして、判定領域の面積ｃｏｕｎｔと、判定領域内の差分画像の大きい部分、すなわち、フレーム画像が変化した部分の面積ｃｄｉｆｆを計算し、出力とする。判定領域のうち、不変画素は画素ｍ［ｐ］によって表される。なお、ｍ［ｐ］は最初０である。
【００６４】
まず、ステップ９２１でｃｏｕｎｔとｃｄｉｆｆと画素番号ｐを０に初期化する。以下、すべての画素番号ｐについて処理を行う。ステップ９２２では、画素番号ｐに対応するブロック番号ｂを求める。ステップ９２３の条件判断では、不変画素（ｍ［ｐ］＝１）であるか、または、番号ｂのブロックがテロップ候補であり（ｔｅｌ［ｂ］＝１）、かつ、前フレームではテロップ候補でない（ｐｒｅｔｅｌ［ｂ］＝０）かの少なくとも一方が成り立つか判断し、成り立つときステップ９２４に進み、それ以外の場合は、ステップ９２７に進む。この条件判断では、不変画素か、または、新たにテロップ候補となった画素かの少なくとも一方であるかどうかを判断している。ステップ９２４では、ｃｏｕｎｔの値を１増やす。さらに、ステップ９２５で画素番号ｐの差分画像の画素値を調べ、閾値Ｄより大きい場合には、ステップ９２６に進み、ｃｄｉｆｆの値を１増やし、そうでない場合は、ステップ９２７に進む。ステップ９２７では、画素番号ｐの値を１増やし、ステップ９２８で画素番号ｐが全画素数になるまで、ステップ９２２からの処理を繰り返す。以上の手順により、テロップ候補が存在しフレーム画像の変化を調べるべき判定領域の面積ｃｏｕｎｔと、判定領域内でフレーム画像が変化した部分の面積ｃｄｉｆｆを求めることができる。
【００６５】
次に、ステップ９２９から９３５の処理によって不変画素ｍ［ｐ］を求め、ｐｒｅｔｅｌとｐｒｅｓｃｒを作成する。まず、ステップ９２９で画素番号ｐを０に初期化する。ステップ９３０では、ｐに対応するブロック番号ｂを求める。ステップ９３１では、ブロックｂがテロップ候補であり（ｔｅｌ［ｂ］＝１）、かつ、差分画像の番号ｐの画素値が閾値Ｄ以下（ｄｉｆｆ［ｐ］≦Ｄ）であるかどうか判断し、条件が真であればステップ９３２に進んでｍ［ｐ］の値を１にし、そうでない場合に、ステップ９３３に進んでｍ［ｐ］の値を０にする。ステップ９３４でｐの値を１増やし、ステップ９３５でｐが全画素数になるまで、ステップ９３０からの処理を繰り返す。以上の手順により、不変画素ｍ［ｐ］を求めることができる。次に、ステップ９３６で現フレームのｔｅｌとｓｃｒの内容をそれぞれｐｒｅｔｅｌ，ｐｒｅｓｃｒにコピーし、次回の処理段階に備える。最後に、先に計算したｃｏｕｎｔとｃｄｉｆｆをステップ９３７で出力して、本段階を終わる。
【００６６】
図１６は判定段階８０５の例を表すフローチャートである。まず、概要を説明すると、本例は、フレーム画像の変化を調べるべき判定領域の面積ｃｏｕｎｔと、判定領域内でフレーム画像が変化した部分の面積ｃｄｉｆｆを入力とする。変数ｔは整数の値を持ち、テロップの継続時間を表している。ｃｏｕｎｔとｃｄｉｆｆを比較し、テロップが継続的に出現している間は、ｔの値が１ずつ増え、テロップが存在しない場合や、テロップが切り替わった時に、ｔは０にリセットされる。短時間のノイズを除去するために、閾値Ｔ以上存続した場合にテロップと認定する。そこで、Ｔとｔを比較し、テロップの「開始」「継続中」「終了」を判定し、さらに、それぞれに対応する副手順を実行することができる。なお、この例では、各副手順を特に規定しておらず、用途に応じて様々に定義することができる。たとえば、検出状態を画面上に表示するための描画関数を副手順として定義することもできる。
【００６７】
ステップ９４１では、ｔが０より大きいかどうかを調べる。ｔが０以下、すなわち現時点でテロップが存在していないときは、ステップ９４２に進み、ｔが０より大きいとき、すなわちテロップが存在しているときは、ステップ９４４に進む。ステップ９４２では、ｃｏｕｎｔの値を閾値Ａと比較し、Ａ以上の場合にのみステップ９４３に進んでｔの値を１とする。つまり、テロップの開始を表す。
【００６８】
ステップ９４４では、ｃｏｕｎｔを閾値Ａと比較し、さらに、ｃｄｉｆｆをｃｏｕｎｔで割った数を閾値Ｒと比較し、ｃｏｕｎｔ＜Ａとｃｄｉｆｆ／ｃｏｕｎｔ＞Ｒの少なくとも一方が成り立つかどうか判定し、成り立つときステップ９４６に進み、そうでなければステップ９４５に進む。この条件判断は、テロップが存在しないか、または、判定領域内の画像変化が大きい場合を調べている。ステップ９４５では、前記条件が成立しなかったので、テロップは継続中であり、ｔの値を１増やす。
【００６９】
ステップ９４６では、前記条件が成立し、テロップが消滅または切り替わったことを表すので、テロップ継続時間ｔが閾値Ｔ以上であるかを調べる。条件成立の場合は、後述の副手順「テロップ開始」が呼び出されているので、それに対応するように、ステップ９４７の副手順「テロップ終了」を実行する。いずれの場合も、ステップ９４８でｔの値をリセットする。
【００７０】
以上は、ｃｏｕｎｔとｃｄｉｆｆの比較結果に基づきｔの値を変化させる手順であった。続くステップ９４９〜９５２は、ｔと閾値Ｔとを比較し、副手順「テロップ開始」「テロップ継続中」を呼び出す処理である。まず、ステップ９４９で、ｔが閾値Ｔと等しいかどうか調べる。等しい場合は、ステップ９５０の副手順「テロップ開始」を実行する。等しくない場合は、ステップ９５１でｔがＴより大きいか調べ、条件成立の場合は、ステップ９５２の副手順「テロップ継続中」を呼び出す。
【００７１】
なお、本発明は、以上の実施形態に限定されるものではなく、その趣旨を変えない範囲で、様々に実施することができる。たとえば、最終的なテロップの存在判定を用いて、フレーム画像を出力し、テロップの一覧を作成することもできる。
【００７２】
【発明の効果】
以上説明したように、本発明は下記のような効果がある。
（１）請求項１と３の発明は、テロップの存在する領域のフレーム画像の変化に基づいてテロップを検出するので、テロップの切り替わりを検出することができる。
（２）請求項２と４の発明は、フレーム画像の変化を調べる領域を、テロップの存在する領域に限定することができるので、テロップの背景の変化の影響を受けにくくなり、より正確にテロップの切り替わりを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の映像テロップ検出装置を表すブロック図である。
【図２】テロップ候補画像検出方法を表すフローチャートである。
【図３】テロップ候補画像作成部１０２を表すブロック図である。
【図４】本発明の第２の実施形態の映像テロップ検出装置を表すブロック図である。
【図５】マスク作成部１０７の一例を表すブロック図である。
【図６】マスク作成部１０７の処理を説明する説明図である。
【図７】マスク作成部１０７の他の例を表すブロック図である。
【図８】本発明の一実施形態の映像テロップ検出方法を表すフローチャートである。
【図９】テロップ候補画像作成段階８０２を表すフローチャートである。
【図１０】差分画像作成段階８０３を表すフローチャートである。
【図１１】抽出段階８０４を表すフローチャートである。
【図１２】抽出段階８０４を表すフローチャートである。
【図１３】判定段階８０５を表すフローチャートである。
【符号の説明】
１０１ 映像入力端子
１０２ テロップ候補画像作成部
１０３ 差分画像作成部
１０４ ＡＮＤ回路
１０５ 判定部
１０６ テロップ出力端子
１０７ マスク部
２０１〜２０５ ステップ
３０１ フレーム判別部
３０２ 計数部
３０３ 選択部
３０４ 連結領域作成部
４０１ テロップ候補画像入力端子
４０２ 新規候補画素検出部
４０３ 差分画像入力端子
４０４ 不変画素検出部
４０５ ＯＲ回路
４０６ マスク出力端子
５０１ テロップ候補画像入力端子
５０２ バッファ
５０３ ＡＮＤ回路
５０４ 差分画像入力端子
５０５ 閾値入力端子
５０６ 比較器
５０７ ＡＮＤ回路
５０８ バッファ
５０９ ＯＲ回路
５１０ マスク出力端子
８０１ 画像入力段階
８０２ テロップ候補画像作成段階
８０３ 差分画像作成段階
８０４ 抽出段階
８０５ 判定段階
９０１〜９０６，９１１〜９１４，９２１〜９３７，９４１〜９５２ ステップ
Claims (7)
- 映像からテロップを検出する方法であって、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成段階と、
前記差分画像からテロップ候補の存在する部分だけを抽出する抽出段階と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定段階を有する映像テロップ検出方法。 - 映像からテロップを検出する方法であって、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成段階と、
２枚のフレーム画像の差分画像を作成する差分画像作成段階と、
前記テロップ候補画像と前記差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成段階と、
前記差分画像からマスクの部分だけを抽出する抽出段階と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する段階を有する映像テロップ検出方法。 - 映像からテロップを検出する装置であって、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、
２枚のフレーム画像の差分画像を作成する差分画像作成手段と、
前記差分画像からテロップ候補の存在する部分だけを抽出する抽出手段と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する映像テロップ検出装置。 - 映像からテロップを検出する装置であって、
フレーム画像からテロップ候補の存在する領域を示すテロップ候補画像を作成するテロップ候補画像作成手段と、
２枚のフレーム画像の差分画像を作成する差分画像作成手段と、
前記テロップ候補画像と前記差分画像を用いて、画素値の変化を検出すべき領域を示すマスクを作成するマスク作成手段と、
前記差分画像からマスクの部分だけを抽出する抽出手段と、
前記テロップ候補画像と抽出された差分画像とに基づいてテロップの存在を判定する判定手段を有する映像テロップ検出装置。 - 前記テロップ候補画像作成手段が、符号化された映像データからフレーム間の相関を用いて符号化されたフレームを抽出するフレーム判別手段と、抽出されたフレームのマクロブロックのうち、フレーム間の相関を用い、かつ動き補償を用いないで符号化されたマクロブロックが現われる数を、それぞれのマクロブロックの位置毎に、一定計数区間内で計数する計数手段と、計数結果を与えられた閾値と比較してテロップ領域を表すマトリックスを出力する選択手段と、前記マトリックスの連結領域を求め、それぞれの連結領域をテロップ候補画像として出力する連結領域作成手段を含む、請求項３または４記載の装置。
- 前記マスク作成手段が、フレーム間で値の変化が小さい画素である不変画素を検出する不変画素検出手段と、新たに現れたテロップ候補を検出する新規候補画素検出手段と、不変画素と新規候補画素の少なくとも一方が存在する領域を示すマスクを合成するマスク合成手段を有する請求項４記載の映像テロップ検出装置。
- 前記新規候補画素検出手段が、テロップ候補画像を１フレーム分蓄積する第１のバッファと、現フレームのテロップ候補画像と前記第１のバッファに蓄積されたテロップ候補画像を比較し、テロップ候補画像が現フレームにのみ存在するとき現フレームのテロップ候補画像を出力する第１の比較手段を含み、前記不変画素検出手段が、前記差分画像を閾値と比較する第２の比較手段と、前記差分画像が前記閾値より大きいとき、現フレームのテロップ候補画像を１フレーム分蓄積する第２のバッファと、第１の比較手段または第２のバッファから出力された現フレームのテロップ候補画像をマスク出力として出力するマスク出力手段を含む、請求項６記載の装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12735897A JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10322595A JPH10322595A (ja) | 1998-12-04 |
| JP3609236B2 true JP3609236B2 (ja) | 2005-01-12 |
Family
ID=14957981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12735897A Expired - Lifetime JP3609236B2 (ja) | 1997-05-16 | 1997-05-16 | 映像テロップ検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3609236B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4168490B2 (ja) | 1998-09-03 | 2008-10-22 | ソニー株式会社 | 動き判定装置、その方法および画像情報変換装置 |
| JP4617611B2 (ja) * | 2000-06-23 | 2011-01-26 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| JP5424737B2 (ja) * | 2009-06-23 | 2014-02-26 | 三菱電機株式会社 | 画像再生装置 |
| JP5979145B2 (ja) * | 2011-07-13 | 2016-08-24 | 日本電気株式会社 | 動画領域検出装置 |
| CN102494676B (zh) * | 2011-12-12 | 2013-07-03 | 中国科学院长春光学精密机械与物理研究所 | 复杂背景下的卫星自动识别装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3265753B2 (ja) * | 1993-09-30 | 2002-03-18 | 株式会社デンソー | 表示プレート検出装置 |
| JP3590896B2 (ja) * | 1995-02-02 | 2004-11-17 | 株式会社日立製作所 | 字幕検出方法 |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JPH0916769A (ja) * | 1995-06-27 | 1997-01-17 | Canon Inc | 画像処理装置および方法 |
-
1997
- 1997-05-16 JP JP12735897A patent/JP3609236B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10322595A (ja) | 1998-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5387947A (en) | Motion vector detecting method of a video signal | |
| US5751378A (en) | Scene change detector for digital video | |
| JP4295845B2 (ja) | ディジタルビデオ画像のアスペクトフォーマットの自動検出方法及び装置 | |
| US7502513B2 (en) | Commercial detector with a start of active video detector | |
| JP2005503085A (ja) | 動き推定および／または補償 | |
| JP2004529578A (ja) | ビデオ信号中の字幕の検出 | |
| US5515114A (en) | Motion-vector detection apparatus for a video signal | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| JP4297113B2 (ja) | ブロック歪検出装置及びブロック歪検出方法、並びに映像信号処理装置 | |
| JP3609236B2 (ja) | 映像テロップ検出方法および装置 | |
| US6473130B1 (en) | Method and apparatus for displaying sub-pictures | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| EP1654703B1 (en) | Graphics overlay detection | |
| WO2007063465A2 (en) | Motion vector field correction | |
| EP0913994B1 (en) | Method and apparatus for automatic format detection in digital video pictures | |
| KR100468843B1 (ko) | 동영상 데이터에서 장면전환을 자동검출하는 방법 및 그장치 | |
| JP2004128936A (ja) | 映像信号処理装置 | |
| JP3209234B2 (ja) | 代表画面抽出方法 | |
| CN115035151B (zh) | 梳状失真的检测方法、装置、计算机设备及存储介质 | |
| JPH0750815A (ja) | 動き補正画像処理方式 | |
| JP3442145B2 (ja) | テレビジョン映像信号の境界位置検出装置 | |
| JPH1023329A (ja) | シーン・チェンジおよび／またはフラッシュ検出装置 | |
| JP2000036966A (ja) | 動画像のカット画面グル―プ検出装置 | |
| JP3342990B2 (ja) | Ｍｕｓｅデコーダおよび該ｍｕｓｅデコーダに用いられる色差信号処理方式の判定回路 | |
| JPH10174014A (ja) | 字幕検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031224 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031224 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041013 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |