JPH10304247A - 映像テロップ検出方法および装置 - Google Patents
映像テロップ検出方法および装置Info
- Publication number
- JPH10304247A JPH10304247A JP9112719A JP11271997A JPH10304247A JP H10304247 A JPH10304247 A JP H10304247A JP 9112719 A JP9112719 A JP 9112719A JP 11271997 A JP11271997 A JP 11271997A JP H10304247 A JPH10304247 A JP H10304247A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- video
- pixels
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 映像からテロップを過不足なく検出する。
【解決手段】 映像テロップ検出装置は、縦横の空間軸
と時間軸とからなるバッファ１０３と、入力端子１０１
から入力された映像からテロップ領域の候補となる画素
または画素の集合を検出し、バッファ１０３に蓄積する
テロップ候補画素抽出部１０２と、バッファ１０３に蓄
積されたテロップ候補を併合し、出力端子１０５に出力
する併合部１０４で構成されている。
と時間軸とからなるバッファ１０３と、入力端子１０１
から入力された映像からテロップ領域の候補となる画素
または画素の集合を検出し、バッファ１０３に蓄積する
テロップ候補画素抽出部１０２と、バッファ１０３に蓄
積されたテロップ候補を併合し、出力端子１０５に出力
する併合部１０４で構成されている。
Description
【０００１】
【発明の属する技術分野】本発明は、映像からテロップ
を検出する方法および装置に関する。
を検出する方法および装置に関する。
【０００２】
【従来の技術】映像からテロップを検出する従来の装置
は、１枚から数枚のフレーム画像による局所的な特徴を
用いてテロップを検出していた。
は、１枚から数枚のフレーム画像による局所的な特徴を
用いてテロップを検出していた。
【０００３】例えば、テロップの周辺には大きな輝度差
があることを利用し、まず、フレーム間で輝度や色相の
分布の変化を調べ、テロップが出現するフレームを見つ
け、次にテロップ出現前後のフレーム間で差分をとり、
テロップを抽出するという方法がある（例えば、根本
他、「テロップの認識による資料映像の検索につい
て」、１９９４年電子情報通信学会春季大会Ｄ−４２
７、１９９４など）。
があることを利用し、まず、フレーム間で輝度や色相の
分布の変化を調べ、テロップが出現するフレームを見つ
け、次にテロップ出現前後のフレーム間で差分をとり、
テロップを抽出するという方法がある（例えば、根本
他、「テロップの認識による資料映像の検索につい
て」、１９９４年電子情報通信学会春季大会Ｄ−４２
７、１９９４など）。
【０００４】また、１枚のフレーム画像を対象にし、テ
ロップが背景に比べて高輝度でありエッジを抽出しやす
いという性質を用い、画像に対して１次微分によるエッ
ジ抽出を行い、エッジ画像を縦横方向に投影してテロッ
プを検出するという方法もある（例えば、茂木他、「ニ
ュース映像中の文字認識に基づく記事の索引付け」、電
子情報通信学会技術研究報告ＩＥ９５−１５３、１９９
６など）。
ロップが背景に比べて高輝度でありエッジを抽出しやす
いという性質を用い、画像に対して１次微分によるエッ
ジ抽出を行い、エッジ画像を縦横方向に投影してテロッ
プを検出するという方法もある（例えば、茂木他、「ニ
ュース映像中の文字認識に基づく記事の索引付け」、電
子情報通信学会技術研究報告ＩＥ９５−１５３、１９９
６など）。
【０００５】また、テロップが静止していて、かつ、高
輝度であるという性質を用い、２枚のフレーム間で動き
のない部分を求め、さらに、輝度が所定値以上の領域を
字幕部分として検出する装置もある（例えば、特開平８
−３３１４５６「字幕移動装置」）。
輝度であるという性質を用い、２枚のフレーム間で動き
のない部分を求め、さらに、輝度が所定値以上の領域を
字幕部分として検出する装置もある（例えば、特開平８
−３３１４５６「字幕移動装置」）。
【０００６】また、ＭＰＥＧなどフレーム間の相関を用
いて符号化された映像では、フレーム間の相関を用い、
かつ、動き補償を用いないで符号化された画素がテロッ
プの部分に時間的空間的に集中するという性質がある。
この性質を利用し、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素の出現頻度をある
時間区間で計数することによってテロップを検出する装
置もある（佐藤他、「ＭＰＥＧ映像からのテロップ領域
抽出法」１９９６年 電子情報通信学会情報・システム
ソサイエティ大会 Ｄ−２７３）。
いて符号化された映像では、フレーム間の相関を用い、
かつ、動き補償を用いないで符号化された画素がテロッ
プの部分に時間的空間的に集中するという性質がある。
この性質を利用し、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素の出現頻度をある
時間区間で計数することによってテロップを検出する装
置もある（佐藤他、「ＭＰＥＧ映像からのテロップ領域
抽出法」１９９６年 電子情報通信学会情報・システム
ソサイエティ大会 Ｄ−２７３）。
【０００７】
【発明が解決しようとする課題】上述した従来技術で
は、１枚または２枚のフレーム画像という、時間的に局
所的な情報を用いてテロップを検出していたため、静止
している、輝度が高い、高周波成分が大きいなどのテロ
ップと類似した特徴を持ったテロップ以外の被写体が存
在すると、それをテロップとして誤検出してしまうとい
う問題があった。
は、１枚または２枚のフレーム画像という、時間的に局
所的な情報を用いてテロップを検出していたため、静止
している、輝度が高い、高周波成分が大きいなどのテロ
ップと類似した特徴を持ったテロップ以外の被写体が存
在すると、それをテロップとして誤検出してしまうとい
う問題があった。
【０００８】逆に、長時間画面に現れているテロップ
が、画質劣化やノイズ等の影響によって一時的に動いた
り、輪郭がぼけたりすると、その部分は検出漏れになっ
てしまう。このため、本来ひとつの連続したテロップ
を、複数の時間区間にわたる別々のテロップとして重複
検出してしまうことになる。
が、画質劣化やノイズ等の影響によって一時的に動いた
り、輪郭がぼけたりすると、その部分は検出漏れになっ
てしまう。このため、本来ひとつの連続したテロップ
を、複数の時間区間にわたる別々のテロップとして重複
検出してしまうことになる。
【０００９】つまり、従来技術は、ある短い区間を対象
にして、テロップが存在するかを判定しているため、テ
ロップ以外の被写体の過剰検出や、ノイズによるテロッ
プの検出漏れを免れることが難しい。したがって、映像
からテロップの一覧を得るという用途に従来技術を用い
ると、テロップ以外の被写体を誤って表示したり、一つ
のテロップを重複して表示してしまうことがしばしばあ
った。
にして、テロップが存在するかを判定しているため、テ
ロップ以外の被写体の過剰検出や、ノイズによるテロッ
プの検出漏れを免れることが難しい。したがって、映像
からテロップの一覧を得るという用途に従来技術を用い
ると、テロップ以外の被写体を誤って表示したり、一つ
のテロップを重複して表示してしまうことがしばしばあ
った。
【００１０】本発明の目的は、映像からテロップを過不
足なく検出する映像テロップ検出方法および装置を提供
することである。
足なく検出する映像テロップ検出方法および装置を提供
することである。
【００１１】
【課題を解決するための手段】上記目的を達成するため
に、映像テロップ検出方法は、画素または画素の集合の
単位でテロップ候補画素を抽出し、縦横の空間軸と時間
軸とから成る３次元のバッファに格納する抽出段階と、
前記バッファ上のテロップ候補画素を併合する併合段階
を有する。
に、映像テロップ検出方法は、画素または画素の集合の
単位でテロップ候補画素を抽出し、縦横の空間軸と時間
軸とから成る３次元のバッファに格納する抽出段階と、
前記バッファ上のテロップ候補画素を併合する併合段階
を有する。
【００１２】また、本発明の映像テロップ検出装置は、
縦横の空間軸と時間軸とから成る３次元のバッファと、
画素または画素の集合の単位でテロップ候補画素を抽出
し、バッファに格納する抽出手段と、バッファ上のテロ
ップ候補画素を併合する併合手段を有する。
縦横の空間軸と時間軸とから成る３次元のバッファと、
画素または画素の集合の単位でテロップ候補画素を抽出
し、バッファに格納する抽出手段と、バッファ上のテロ
ップ候補画素を併合する併合手段を有する。
【００１３】映像から画素または画素の集合の単位でテ
ロップ候補画素を抽出し、縦横の空間軸と時間軸とから
成る３次元のバッファに格納することにより、従来技術
よりも長時間に渡る映像を処理することが可能となる。
さらに、バッファ上のテロップ候補画素を併合すること
により、短時間の微小な変化を無視してノイズによる影
響を除去することができる。
ロップ候補画素を抽出し、縦横の空間軸と時間軸とから
成る３次元のバッファに格納することにより、従来技術
よりも長時間に渡る映像を処理することが可能となる。
さらに、バッファ上のテロップ候補画素を併合すること
により、短時間の微小な変化を無視してノイズによる影
響を除去することができる。
【００１４】本発明の実施態様によれば、抽出手段は、
映像のエッジを求めるエッジ生成手段と、エッジの値を
縦方向と横方向に投影する投影手段と、投影された値と
閾値との比較結果に基づいてテロップ候補画素を判定す
る比較手段を有する。
映像のエッジを求めるエッジ生成手段と、エッジの値を
縦方向と横方向に投影する投影手段と、投影された値と
閾値との比較結果に基づいてテロップ候補画素を判定す
る比較手段を有する。
【００１５】抽出手段において、エッジ生成手段が映像
のエッジを求めることにより、テロップの高周波成分が
大きいという特徴に基づき、テロップ周辺にエッジが集
中した画像を得ることができる。次に、エッジの値を縦
横方向に投影する投影手段によって、エッジの集中の度
合を１次元で評価することが可能となる。比較手段で
は、投影された値と閾値とを比較することによって、エ
ッジが集中している部分を検出することができる。これ
によって、テロップ候補画素を求めることができる。
のエッジを求めることにより、テロップの高周波成分が
大きいという特徴に基づき、テロップ周辺にエッジが集
中した画像を得ることができる。次に、エッジの値を縦
横方向に投影する投影手段によって、エッジの集中の度
合を１次元で評価することが可能となる。比較手段で
は、投影された値と閾値とを比較することによって、エ
ッジが集中している部分を検出することができる。これ
によって、テロップ候補画素を求めることができる。
【００１６】本発明の実施態様によれば、抽出手段は、
フレーム間の相関を利用して符号化された映像データか
ら、フレーム間の相関を用い、かつ、動き補償を用いな
いで符号化された画素の数を、それぞれの画素の位置ご
とに、計数区間内で計数する計数手段を有する。
フレーム間の相関を利用して符号化された映像データか
ら、フレーム間の相関を用い、かつ、動き補償を用いな
いで符号化された画素の数を、それぞれの画素の位置ご
とに、計数区間内で計数する計数手段を有する。
【００１７】計数手段は、フレーム間の相関を利用して
符号化された映像データから、フレーム間の相関を用
い、かつ、動き補償を用いないで符号化された画素の数
を、それぞれの画素の位置ごとに、ある計数区間で計数
する。テロップには、フレーム間の相関を用い、かつ、
動き補償を用いないで符号化された画素が集中するとい
う傾向があるため、テロップの画素についてのみ大きい
計数値が得られる。これによって、テロップの尤度が高
いほど値が大きいテロップ候補画素を求めることができ
る。
符号化された映像データから、フレーム間の相関を用
い、かつ、動き補償を用いないで符号化された画素の数
を、それぞれの画素の位置ごとに、ある計数区間で計数
する。テロップには、フレーム間の相関を用い、かつ、
動き補償を用いないで符号化された画素が集中するとい
う傾向があるため、テロップの画素についてのみ大きい
計数値が得られる。これによって、テロップの尤度が高
いほど値が大きいテロップ候補画素を求めることができ
る。
【００１８】本発明の実施態様によれば、併合手段は、
３次元の平滑化フィルタによってテロップ候補画素を平
滑化する平滑化手段を有する。
３次元の平滑化フィルタによってテロップ候補画素を平
滑化する平滑化手段を有する。
【００１９】併合手段において、平滑化手段が３次元の
平滑化フィルタによってテロップ候補画素を平滑化する
ことによって、近接するテロップ候補画素どうしが併合
されるとともに、孤立する小さいテロップ候補画素が消
滅する。
平滑化フィルタによってテロップ候補画素を平滑化する
ことによって、近接するテロップ候補画素どうしが併合
されるとともに、孤立する小さいテロップ候補画素が消
滅する。
【００２０】本発明の実施態様によれば、併合手段は、
テロップ候補画素を近傍画素の最大値に置き換える膨張
手段と、テロップ候補画素を近傍画素の最小値に置き換
える収縮手段を有する。
テロップ候補画素を近傍画素の最大値に置き換える膨張
手段と、テロップ候補画素を近傍画素の最小値に置き換
える収縮手段を有する。
【００２１】併合手段において、膨張手段がテロップ候
補画素を近傍画素の最大値に置き換えることによって、
近接するテロップ候補画素どうしが併合される。収縮手
段において、テロップ候補を近傍画素の最小値に置き換
えることによって、孤立する小さい画素が消滅する。こ
の２つの手段の組合せによって、近接するテロップ候補
画素どうしが併合されるとともに、孤立する小さいテロ
ップ候補画素が消滅する。
補画素を近傍画素の最大値に置き換えることによって、
近接するテロップ候補画素どうしが併合される。収縮手
段において、テロップ候補を近傍画素の最小値に置き換
えることによって、孤立する小さい画素が消滅する。こ
の２つの手段の組合せによって、近接するテロップ候補
画素どうしが併合されるとともに、孤立する小さいテロ
ップ候補画素が消滅する。
【００２２】本発明の実施態様によれば、映像テロップ
検出装置は、テロップ候補画素の存在しない時間帯の前
または後のフレームを、テロップを含む代表フレームと
する判定手段をさらに有する。
検出装置は、テロップ候補画素の存在しない時間帯の前
または後のフレームを、テロップを含む代表フレームと
する判定手段をさらに有する。
【００２３】判定手段が、テロップ候補画素の存在しな
い時間区間の前または後のフレームをテロップを表す代
表フレームとすることによって、テロップを表す代表フ
レームを得ることができる。
い時間区間の前または後のフレームをテロップを表す代
表フレームとすることによって、テロップを表す代表フ
レームを得ることができる。
【００２４】本発明の実施態様によれば、映像テロップ
検出装置は、併合されたテロップ候補画素の連結成分に
ラベルを付与するラベリング手段と、ラベルのつけられ
たテロップ候補画素を含むフレームをテロップを含むフ
レームとする判定手段をさらに有する。
検出装置は、併合されたテロップ候補画素の連結成分に
ラベルを付与するラベリング手段と、ラベルのつけられ
たテロップ候補画素を含むフレームをテロップを含むフ
レームとする判定手段をさらに有する。
【００２５】ラベリング手段が、併合されたテロップ候
補画素の連結成分にラベルを付与するので、個々のテロ
ップを識別することが可能となる。判定手段が、ラベル
のつけられたテロップ候補画素を含むフレームをテロッ
プを表す代表フレームとするので、個々のテロップにつ
いて、過不足なく代表フレームを得ることができる。
補画素の連結成分にラベルを付与するので、個々のテロ
ップを識別することが可能となる。判定手段が、ラベル
のつけられたテロップ候補画素を含むフレームをテロッ
プを表す代表フレームとするので、個々のテロップにつ
いて、過不足なく代表フレームを得ることができる。
【００２６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２７】図１は本発明の第１の実施形態の映像テロ
ップ検出装置を表すブロック図である。
ップ検出装置を表すブロック図である。
【００２８】本実施形態の映像テロップ検出装置は、バ
ッファ１０３と、入力端子１０１から入力された映像か
らテロップ領域の候補となる画素または画素の集合を検
出し、バッファ１０３に蓄積するテロップ候補画素抽出
部１０２と、バッファ１０３に蓄積されたテロップ候補
を併合し、出力端子１０５に出力する併合部１０４で構
成されている。
ッファ１０３と、入力端子１０１から入力された映像か
らテロップ領域の候補となる画素または画素の集合を検
出し、バッファ１０３に蓄積するテロップ候補画素抽出
部１０２と、バッファ１０３に蓄積されたテロップ候補
を併合し、出力端子１０５に出力する併合部１０４で構
成されている。
【００２９】画素の集合として８×８ないし１６×１６
のブロックを用いることができる。バッファ１０３は３
次元であり、図２のように画面と平行な２軸ｘ，ｙと垂
直な軸ｔによって表される。例えば、７２０×４８０画
素の画面で１６×１６のブロックを用いる場合、バッフ
ァ１０３の幅Ｗは４５、高さＨは３０となる。バッファ
１０３の奥行きＴは、対象にする映像の時間を時間解像
度によって割った値になる。例えば、１０分の映像を
０．５秒間隔で処理する場合には、Ｔは１２００にな
る。
のブロックを用いることができる。バッファ１０３は３
次元であり、図２のように画面と平行な２軸ｘ，ｙと垂
直な軸ｔによって表される。例えば、７２０×４８０画
素の画面で１６×１６のブロックを用いる場合、バッフ
ァ１０３の幅Ｗは４５、高さＨは３０となる。バッファ
１０３の奥行きＴは、対象にする映像の時間を時間解像
度によって割った値になる。例えば、１０分の映像を
０．５秒間隔で処理する場合には、Ｔは１２００にな
る。
【００３０】図３はテロップ候補画素抽出部１０２を表
すブロック図である。入力端子２０１に入力された映像
からエッジ生成部２０２においてエッジ画像を求め、バ
ッファ３０３に格納する。エッジを求める方法として、
ラプラシアンや、Robertなどの画像処理オペレータを用
いることができる。次に、縦投影部２０４によって、画
像を縦方向に投影し頻度をとる。すると、図４のｖのよ
うに、エッジの集中している部分の頻度が高くなるの
で、これを比較部２０５によって入力端子２０６に入力
された閾値と比較し、閾値以上の範囲（ｘ０〜ｘ１）を
求める。（ｘ０〜ｘ１）の範囲に限定して、さらに、横
投影部２０７において、エッジ画像を横方向に投影頻度
を求める。これを比較部２０８において、エッジ画像を
横方向に投影頻度を求める。これを比較部２０８におい
て入力端子２０９に与えられた閾値と比較し、閾値以上
の範囲（ｙ０〜ｙ１）を求める。合成部２１０では、以
上により求められた範囲（ｘ１〜ｘ１，ｙ０〜ｙ１）の
部分の画素値を１、それ以外を０としたテロップ候補画
素として出力端子２１１に出力する。
すブロック図である。入力端子２０１に入力された映像
からエッジ生成部２０２においてエッジ画像を求め、バ
ッファ３０３に格納する。エッジを求める方法として、
ラプラシアンや、Robertなどの画像処理オペレータを用
いることができる。次に、縦投影部２０４によって、画
像を縦方向に投影し頻度をとる。すると、図４のｖのよ
うに、エッジの集中している部分の頻度が高くなるの
で、これを比較部２０５によって入力端子２０６に入力
された閾値と比較し、閾値以上の範囲（ｘ０〜ｘ１）を
求める。（ｘ０〜ｘ１）の範囲に限定して、さらに、横
投影部２０７において、エッジ画像を横方向に投影頻度
を求める。これを比較部２０８において、エッジ画像を
横方向に投影頻度を求める。これを比較部２０８におい
て入力端子２０９に与えられた閾値と比較し、閾値以上
の範囲（ｙ０〜ｙ１）を求める。合成部２１０では、以
上により求められた範囲（ｘ１〜ｘ１，ｙ０〜ｙ１）の
部分の画素値を１、それ以外を０としたテロップ候補画
素として出力端子２１１に出力する。
【００３１】なお、縦投影において閾値以上の範囲が複
数存在する場合には、それぞれの範囲について横投影を
行う。また、縦投影部２０４と横投影部２０７の順序は
入れ替わってもよい。
数存在する場合には、それぞれの範囲について横投影を
行う。また、縦投影部２０４と横投影部２０７の順序は
入れ替わってもよい。
【００３２】図５はテロップ候補画素抽出部１０２の他
の例を表すブロック図である。この例は、ＭＰＥＧ等、
フレーム間の相関を利用して符号化された映像データを
対象にしている。入力端子３０１に入力された符号化映
像データは、位置復号部３０２によって画素の位置が復
号され、カウンタ３０４のアドレス（Ａ）に出力され
る。同様に、種類復号部３０３によって画素の符号化の
種類が復号される。種類復号部３０３では、画素の種類
が、フレーム間の相関を用い、かつ、動き補償を用いな
いで符号化されたものである場合に限り、“１”が出力
され、それ以外は“０”が出力される。この信号はカウ
ンタ３０４の増減を制御する。カウンタ３０４の値は計
数時間内で増減され、そのままテロップ候補画素として
出力端子３０５に出力される。出力後は、カウンタ３０
４の値はすべて０にリセットされる。
の例を表すブロック図である。この例は、ＭＰＥＧ等、
フレーム間の相関を利用して符号化された映像データを
対象にしている。入力端子３０１に入力された符号化映
像データは、位置復号部３０２によって画素の位置が復
号され、カウンタ３０４のアドレス（Ａ）に出力され
る。同様に、種類復号部３０３によって画素の符号化の
種類が復号される。種類復号部３０３では、画素の種類
が、フレーム間の相関を用い、かつ、動き補償を用いな
いで符号化されたものである場合に限り、“１”が出力
され、それ以外は“０”が出力される。この信号はカウ
ンタ３０４の増減を制御する。カウンタ３０４の値は計
数時間内で増減され、そのままテロップ候補画素として
出力端子３０５に出力される。出力後は、カウンタ３０
４の値はすべて０にリセットされる。
【００３３】次に、併合部１０４について説明する。
【００３４】まず、３次元平滑化フィルタを用いる併合
部１０４について説明する。３次元の平滑化フィルタと
して、次のような３次元ガウシアンフィルタを考える。
部１０４について説明する。３次元の平滑化フィルタと
して、次のような３次元ガウシアンフィルタを考える。
【００３５】
【数１】 これを、バッファ１０３（Ｂ（ｘ，ｙ，ｔ））に対して
畳み込み積分を行う。
畳み込み積分を行う。
【００３６】
【数２】 あるいは、１次元のガウシアンフィルタ
【００３７】
【数３】 をｘ，ｙ，ｔの３軸方向について、順番に畳み込んでも
よい。すなわち、
よい。すなわち、
【００３８】
【数４】 とする。
【００３９】次に、膨張処理と収縮処理を用いる併合部
１０４について説明する。膨張処理は、ある画素Ｂ
（ｘ，ｙ，ｔ）の近傍Ｒ（ｘ，ｙ，ｔ）に含まれる点の
最大値をその画素の値とする。すなわち、画素Ｂ（ｘ，
ｙ，ｚ）は次の式により画素Ｂｅ（ｘ，ｙ，ｚ）の値と
なる。
１０４について説明する。膨張処理は、ある画素Ｂ
（ｘ，ｙ，ｔ）の近傍Ｒ（ｘ，ｙ，ｔ）に含まれる点の
最大値をその画素の値とする。すなわち、画素Ｂ（ｘ，
ｙ，ｚ）は次の式により画素Ｂｅ（ｘ，ｙ，ｚ）の値と
なる。
【００４０】
【数５】 膨張処理は、幅、高さ、奥行きのいずれかがＲより小さ
い穴や隙間を埋める働きをする。例えば、図６（１）に
ついて４近傍（注目画素の上下左右に接する４画素）の
膨張処理を行うと図６（２）のようになる。２つの黒領
域の間の隙間がなくなり、黒領域内の白い穴も埋められ
る。収縮処理は、ある画素Ｂ（ｘ，ｙ，ｔ）の近傍Ｒ
（ｘ，ｙ，ｔ）に含まれる点の最小値をその画素の値と
する。すなわち、画素Ｂ（ｘ，ｙ，ｚ）は次の式により
画素Ｂｅ（ｘ，ｙ，ｚ）の値となる。
い穴や隙間を埋める働きをする。例えば、図６（１）に
ついて４近傍（注目画素の上下左右に接する４画素）の
膨張処理を行うと図６（２）のようになる。２つの黒領
域の間の隙間がなくなり、黒領域内の白い穴も埋められ
る。収縮処理は、ある画素Ｂ（ｘ，ｙ，ｔ）の近傍Ｒ
（ｘ，ｙ，ｔ）に含まれる点の最小値をその画素の値と
する。すなわち、画素Ｂ（ｘ，ｙ，ｚ）は次の式により
画素Ｂｅ（ｘ，ｙ，ｚ）の値となる。
【００４１】
【数６】 収縮処理は、幅、高さ、奥行きのいずれかがＲより小さ
い領域を消去する働きをする。例えば、図６（１）につ
いて４近傍の収縮処理を行うと図６（３）のようにな
る。高さが２の黒領域が消滅していることがわかる。ま
た、先程膨張処理を行った図６（２）について収縮処理
を行うと、図６（４）のようになる。図６（１）と図６
（４）を比べると、大きさを維持しながら、穴や隙間が
無くなっていることがわかる。すなわち、膨張収縮処理
は、穴や隙間などの画素の欠落を補う働きがある。ま
た、収縮処理の結果である図６（３）に対して膨張処理
を行うと、図６（５）のようになる。図６（１）と図６
（５）を比べると、大きさを維持しながら小さい領域が
消滅していることがわかる。すなわち、収縮膨張処理
は、ノイズを除去する働きがある。
い領域を消去する働きをする。例えば、図６（１）につ
いて４近傍の収縮処理を行うと図６（３）のようにな
る。高さが２の黒領域が消滅していることがわかる。ま
た、先程膨張処理を行った図６（２）について収縮処理
を行うと、図６（４）のようになる。図６（１）と図６
（４）を比べると、大きさを維持しながら、穴や隙間が
無くなっていることがわかる。すなわち、膨張収縮処理
は、穴や隙間などの画素の欠落を補う働きがある。ま
た、収縮処理の結果である図６（３）に対して膨張処理
を行うと、図６（５）のようになる。図６（１）と図６
（５）を比べると、大きさを維持しながら小さい領域が
消滅していることがわかる。すなわち、収縮膨張処理
は、ノイズを除去する働きがある。
【００４２】併合部１０４の他の例では、膨張収縮処理
と膨張膨張の順番を変えられるように、図７のような構
成をとる。すなわち、入力端子４０１に入力されたテロ
ップ候補画素は、連動する４つのスイッチ４０６を介し
て膨張部４０２，４０５と収縮部４０３，４０４によっ
て処理され、出力端子４０７に出力される。スイッチ４
０６の接片が上側にあるときは、先に膨張収縮処理を行
い、次に収縮膨張処理を行う。スイッチ４０６の接片が
下側にあるときは、逆の順番になる。
と膨張膨張の順番を変えられるように、図７のような構
成をとる。すなわち、入力端子４０１に入力されたテロ
ップ候補画素は、連動する４つのスイッチ４０６を介し
て膨張部４０２，４０５と収縮部４０３，４０４によっ
て処理され、出力端子４０７に出力される。スイッチ４
０６の接片が上側にあるときは、先に膨張収縮処理を行
い、次に収縮膨張処理を行う。スイッチ４０６の接片が
下側にあるときは、逆の順番になる。
【００４３】先に、膨張収縮処理を行うと、欠損を補う
ことを優先し、先に収縮膨張処理を行うと、ノイズの除
去を優先するという構成になる。
ことを優先し、先に収縮膨張処理を行うと、ノイズの除
去を優先するという構成になる。
【００４４】図８は図１の第１の実施形態に判定部を追
加した実施形態のブロック図である。入力端子１０１に
入力された映像から、テロップ候補画素抽出部１０２に
よってテロップ領域の候補となる画素あるいは画素の集
合を検出し、バッファ１０３に蓄積し、併合部１０４に
よってテロップ候補画素が併合される。併合されたテロ
ップ候補画素は、判定部１０６によってテロップを表す
代表フレームが判定され、出力端子１０５に出力され
る。
加した実施形態のブロック図である。入力端子１０１に
入力された映像から、テロップ候補画素抽出部１０２に
よってテロップ領域の候補となる画素あるいは画素の集
合を検出し、バッファ１０３に蓄積し、併合部１０４に
よってテロップ候補画素が併合される。併合されたテロ
ップ候補画素は、判定部１０６によってテロップを表す
代表フレームが判定され、出力端子１０５に出力され
る。
【００４５】次に、判定部１０６について２つの例を説
明する。まず、テロップ候補画素の存在しない時間区間
の前または後のフレームをテロップを表す代表フレーム
として判定する例を説明する。
明する。まず、テロップ候補画素の存在しない時間区間
の前または後のフレームをテロップを表す代表フレーム
として判定する例を説明する。
【００４６】例えば、図９のようにテロップＡ〜Ｇが時
間的に配置されているとする。この図で、横軸が時間軸
（ｔ軸）であり、縦軸はｘまたはｙ軸である。テロップ
候補画素の存在しない時間区間の後のフレームを示した
のが、ｂ1〜ｂ4である。また、ｆ1〜ｆ4はテロップ候補
画素の存在しない時間区間の前のフレームを示したもの
である。
間的に配置されているとする。この図で、横軸が時間軸
（ｔ軸）であり、縦軸はｘまたはｙ軸である。テロップ
候補画素の存在しない時間区間の後のフレームを示した
のが、ｂ1〜ｂ4である。また、ｆ1〜ｆ4はテロップ候補
画素の存在しない時間区間の前のフレームを示したもの
である。
【００４７】ｂ1〜ｂ4をテロップを表す代表フレームと
すると、テロップＡ，Ｂ，Ｄ，Ｆ，Ｇは反映されるが、
テロップＣとＥのように、他のテロップが出現している
途中で出現するテロップは反映されない。一方、ｆ1〜
ｆ4を用いると、テロップＡ，Ｂ，Ｃ，Ｄ，Ｆは反映さ
れるが、テロップＥ，Ｇのように、他のテロップが出現
している途中で消滅するテロップが反映されない。テロ
ップ候補画素が存在しない区間の検出は比較的簡単に実
現できるため、この方法には、簡便性という利点があ
る。
すると、テロップＡ，Ｂ，Ｄ，Ｆ，Ｇは反映されるが、
テロップＣとＥのように、他のテロップが出現している
途中で出現するテロップは反映されない。一方、ｆ1〜
ｆ4を用いると、テロップＡ，Ｂ，Ｃ，Ｄ，Ｆは反映さ
れるが、テロップＥ，Ｇのように、他のテロップが出現
している途中で消滅するテロップが反映されない。テロ
ップ候補画素が存在しない区間の検出は比較的簡単に実
現できるため、この方法には、簡便性という利点があ
る。
【００４８】次に、ラベリングを用いた判定部１０６の
例について説明する。
例について説明する。
【００４９】図１０は、ラベリングを用いた判定部１０
６のブロック図である。入力端子５０１に入力されたテ
ロップ候補画素は、ラベリング部５０２により、近傍画
素との連結成分が求められ、ラベル情報としてバッファ
５０３に蓄えられる。ラベル情報は、図１１（１）に示
すような表形式によって管理される。ここでは、図１１
（２）に示すように、外接直方体の座標値によってラベ
ルの位置を表現している。判定部５０４は、ｔ0≦ｔ≦
ｔ1の範囲のｔを選び、代表フレームとして出力端子５
０５に出力する。
６のブロック図である。入力端子５０１に入力されたテ
ロップ候補画素は、ラベリング部５０２により、近傍画
素との連結成分が求められ、ラベル情報としてバッファ
５０３に蓄えられる。ラベル情報は、図１１（１）に示
すような表形式によって管理される。ここでは、図１１
（２）に示すように、外接直方体の座標値によってラベ
ルの位置を表現している。判定部５０４は、ｔ0≦ｔ≦
ｔ1の範囲のｔを選び、代表フレームとして出力端子５
０５に出力する。
【００５０】例として、図１２に図９と同様のテロップ
の時間配置を示す。本実施形態によれば、各テロップＡ
〜Ｇを識別し、その時間範囲を求めることができる。こ
こでは、テロップの出現するフレーム（ｔ0）を代表フ
レームとし、ｔ1〜ｔ6の時間を出力している。
の時間配置を示す。本実施形態によれば、各テロップＡ
〜Ｇを識別し、その時間範囲を求めることができる。こ
こでは、テロップの出現するフレーム（ｔ0）を代表フ
レームとし、ｔ1〜ｔ6の時間を出力している。
【００５１】なお、代表フレームとして、テロップの消
滅する直前のフレーム（ｔ1）を用いてもよいし、ｔ0と
ｔ1の中間のフレームを用いてもよい。
滅する直前のフレーム（ｔ1）を用いてもよいし、ｔ0と
ｔ1の中間のフレームを用いてもよい。
【００５２】本発明は、発明の趣旨を変えない範囲で、
様々に変更して実施することもできる。例えば、テロッ
プの検出結果を用いて代表フレームを表示し、映像のテ
ロップ一覧を作成することもできる。
様々に変更して実施することもできる。例えば、テロッ
プの検出結果を用いて代表フレームを表示し、映像のテ
ロップ一覧を作成することもできる。
【００５３】
【発明の効果】以上説明したように、本発明によれば、
テロップの類似した被写体が短時間出現することによる
誤検出を除去し、画質劣化やノイズ等の影響による一時
的なテロップ検出漏れを補うので、過不足のないテロッ
プ検出が可能となる。
テロップの類似した被写体が短時間出現することによる
誤検出を除去し、画質劣化やノイズ等の影響による一時
的なテロップ検出漏れを補うので、過不足のないテロッ
プ検出が可能となる。
【図１】本発明の一実施形態の映像テロップ抽出装置の
ブロック図である。
ブロック図である。
【図２】３次元のバッファ１０３を示す説明図である。
【図３】テロップ候補画素抽出部１０２の一例のブロッ
ク図である。
ク図である。
【図４】テロップ検出の原理を示す説明図である。
【図５】テロップ候補画素抽出部１０２の他の例のブロ
ック図である。
ック図である。
【図６】テロップ候補画素の膨張処理、収縮処理を示す
例示図である。
例示図である。
【図７】テロップ候補画素併合部１０４の一例のブロッ
ク図である。
ク図である。
【図８】本発明の他の実施形態の映像テロップ抽出装置
のブロック図である。
のブロック図である。
【図９】テロップ候補画素の存在しない時間区間の前後
を判定する一実施形態による判定結果を示す例示部であ
る。
を判定する一実施形態による判定結果を示す例示部であ
る。
【図１０】ラベリングを用いた判定部１０６の一例を示
すブロック図である。
すブロック図である。
【図１１】ラベル情報を示す例示図である。
【図１２】ラベリングを用いた判定部１０６の一例によ
る判定結果を示す例示図である。
る判定結果を示す例示図である。
１０１ 入力端子 １０２ テロップ画素候補抽出部 １０３ バッファ １０４ 併合部 １０５ 出力端子 １０６ 判定部 ２０１ 入力端子 ２０２ エッジ生成部 ２０３ バッファ ２０４ 縦投影部 ２０５ 比較部 ２０６ 入力端子 ２０７ 横投影部 ２０８ 比較部 ２０９ 入力端子 ２１０ 合成部 ２１１ 出力端子 ３０１ 入力端子 ３０２ 位置復号部 ３０３ 種類復号部 ３０４ カウンタ ３０５ 出力端子 ４０１ 入力端子 ４０２，４０５ 膨張部 ４０３，４０４ 収縮部 ４０６ スイッチ ４０７ 出力端子 ５０１ 入力端子 ５０２ ラベリング部 ５０３ バッファ ５０４ 判定部 ５０５ 出力端子
Claims (8)
- 【請求項１】 映像からテロップを検出する方法であっ
て、 画素または画素の集合の単位でテロップ候補画素を抽出
し、縦横の空間軸と時間軸とから成る３次元のバッファ
に格納する抽出段階と、 前記バッファ上のテロップ候補画素を併合する併合段階
を有する映像テロップ検出方法。 - 【請求項２】 映像からテロップを検出する装置であっ
て、 縦横の空間軸と時間軸とからなる３次元のバッファと、 画素または画素の集合の単位でテロップ候補画素を抽出
し、前記バッファに格納する抽出手段と、 前記バッファ上のテロップ候補画素を併合する併合手段
を有する映像テロップ検出装置。 - 【請求項３】 前記抽出手段が、映像のエッジを求める
エッジ生成手段と、エッジの値を縦方向と横方向に投影
する投影手段と、投影された値と閾値との比較結果に基
づいてテロップ候補画素を判定する比較手段を有する請
求項２記載の映像テロップ検出装置。 - 【請求項４】 前記抽出手段が、フレーム間の相関を利
用して符号化された映像データから、フレーム間の相関
を用い、かつ、動き補償を用いないで符号化された画素
の数を、それぞれの画素の位置ごとに計数区間内で計数
する計数手段を有する請求項２記載の映像テロップ検出
装置。 - 【請求項５】 前記併合手段が、３次元の平滑化フィル
タによってテロップ候補画素を平滑化する平滑化手段を
有する請求項２から４のいずれか１項に記載の映像テロ
ップ検出装置。 - 【請求項６】 前記併合手段が、テロップ候補画素を近
傍画素の最大値に置き換える膨張手段と、テロップ候補
画素を近傍画素の最小値に置き換える収縮手段を有する
請求項２から４のいずれか１項に記載の映像テロップ検
出装置。 - 【請求項７】 テロップ候補画素の存在しない時間区間
の前または後のフレームを、テロップを表す代表フレー
ムとする判定手段をさらに有する請求項２から６のいず
れか１項に記載の映像テロップ検出装置。 - 【請求項８】 併合されたテロップ候補画素の連結成分
にラベルを付与するラベリング手段と、ラベルのつけら
れたテロップ候補画素を含むフレームをテロップを表す
代表フレームとする判定手段をさらに有する請求項２か
ら６のいずれか１項に記載の映像テロップ検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11271997A JP3503797B2 (ja) | 1997-04-30 | 1997-04-30 | 映像テロップ検出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11271997A JP3503797B2 (ja) | 1997-04-30 | 1997-04-30 | 映像テロップ検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304247A true JPH10304247A (ja) | 1998-11-13 |
| JP3503797B2 JP3503797B2 (ja) | 2004-03-08 |
Family
ID=14593817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11271997A Expired - Fee Related JP3503797B2 (ja) | 1997-04-30 | 1997-04-30 | 映像テロップ検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3503797B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
| JPWO2007013238A1 (ja) * | 2005-07-27 | 2009-02-05 | パイオニア株式会社 | 映像処理装置及び映像処理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192003A (ja) * | 1993-12-27 | 1995-07-28 | Hitachi Ltd | 動画像検索装置及び方法 |
| JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JPH0918798A (ja) * | 1995-07-03 | 1997-01-17 | Sanyo Electric Co Ltd | 文字処理機能付き映像表示装置 |
-
1997
- 1997-04-30 JP JP11271997A patent/JP3503797B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07192003A (ja) * | 1993-12-27 | 1995-07-28 | Hitachi Ltd | 動画像検索装置及び方法 |
| JPH08212231A (ja) * | 1995-02-02 | 1996-08-20 | Hitachi Ltd | 字幕検出方法および動画像の代表画像抽出装置 |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JPH0918798A (ja) * | 1995-07-03 | 1997-01-17 | Sanyo Electric Co Ltd | 文字処理機能付き映像表示装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2007013238A1 (ja) * | 2005-07-27 | 2009-02-05 | パイオニア株式会社 | 映像処理装置及び映像処理方法 |
| JP4637180B2 (ja) * | 2005-07-27 | 2011-02-23 | パイオニア株式会社 | 映像処理装置及び映像処理方法 |
| JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3503797B2 (ja) | 2004-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Automatic partitioning of full-motion video | |
| US6690729B2 (en) | Motion vector search apparatus and method | |
| KR0151410B1 (ko) | 영상신호의 운동벡터 검출방법 | |
| KR100272090B1 (ko) | 영상데이터에서 캡션을 검출하는 방법 및 장치 | |
| US5767922A (en) | Apparatus and process for detecting scene breaks in a sequence of video frames | |
| US8004607B2 (en) | Region-based cadence detector | |
| US8243194B2 (en) | Method and apparatus for frame interpolation | |
| EP1585326A1 (en) | Motion vector estimation at image borders for frame rate conversion | |
| WO2003005696A2 (en) | Method and apparatus for motion estimation between video frames | |
| JP2002523985A (ja) | 画像信号における問題領域位置決め | |
| WO2010079559A1 (ja) | クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| US20060210164A1 (en) | Image processing device | |
| JP4161477B2 (ja) | 動き検出方法および動き検出装置 | |
| JPH089379A (ja) | 動きベクトル検出方法 | |
| JPH04345382A (ja) | シーンチェンジ検出装置 | |
| JP3503797B2 (ja) | 映像テロップ検出方法および装置 | |
| WO2011027422A9 (ja) | 画像処理装置および映像再生装置 | |
| JP3609236B2 (ja) | 映像テロップ検出方法および装置 | |
| US20020028023A1 (en) | Moving image encoding apparatus and moving image encoding method | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH10112864A (ja) | カメラワーク算出方法及び装置 | |
| JP5397372B2 (ja) | テロップ移動ベクトル算出方法、装置及びプログラム | |
| KR100516711B1 (ko) | 모션벡터검출장치및모션벡터검출방법 | |
| Mertens et al. | Motion vector field improvement for picture rate conversion with reduced halo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031204 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20031204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101219 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101219 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |