JPH09322173A - 動画像テロップ抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像のテロップ部分を符号化された動力画
像データを復号化することなく直接抽出する方法と装置
の提供。 【解決手段】 符号化された動画像データをフレーム間
の相関を用いて符号化されたフレームか、フレーム間の
相関を用いないで符号化されたフレームかを判別する段
階と、フレーム間の相関を用いて符号化されたフレーム
については、動き補償を用いないで符号化された画素か
どうかを判定する段階と、画素の位置に応じて二次元の
計数マトリックスに符号化数値を格納する段階と、各計
数マトリックスに格納された値と閾値とを比較する段階
と、比較により閾値より大きい値を有する画素をテロッ
プ部分と判定する段階からなり、この操作が所定の区域
内で各画素に対して行われ、その総括により動画像のテ
ロップ抽出ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像からテロッ
プ部分を抽出する方法、および装置に関し、特に、符号
化された画素を用いてテロップ部分を抽出する方法と装
置に関する。

【０００２】

【従来の技術】動画像の内容に基づいた検索や編集など
の処理を行なうために動画像の内容を表す情報を抽出す
る方法として、動画像の中からテロップ部分を抽出する
方法がある。ここでいうテロップとは、スーパーインポ
ーズ等の方法によって動画像中に現れる字幕、写真、記
号、模様、マーク、アイコン等を含み、テロップ部分と
は、前記テロップを含む画素または画素の集合を表す。

【０００３】動画像から自動的にテロップ部分を抽出す
るための従来技術として、テロップの画像領域が背景部
分に比ベて高輝度でありエッジを抽出し易いという性質
を用いた方法（例えば、茂木他、「ニュース映像中の文
字認識に基づく記事の索引付け」、電子情報通信学会技
術研究報告ＩＥ９５−１５３，１９９６など）や、テロ
ップ領城には周辺に大きな輝度差があることを利用する
方法（例えば、根本他、「テロップの認識による資料映
像の検索について」、１９９４年電子情報通信学会春季
大会Ｄ−４２７、１９９４など）がある。

【０００４】茂木等の従来方法では、画像に対して１次
微分によるエッジ抽出を行ない、エッジ画像を横方向と
縦方向に投影し、文字列の矩形領域を切り出している。
文字が横一列に並んでいる部分は、テロップ以外の部分
との差が大きく、ヒストグラムの山と谷から安定してテ
ロップ領域を抽出できる。

【０００５】根本等の従来方法では、まず、フレーム間
で輝度や色相の分布の変化を見て、テロップが出現する
フレームを見つける。次に、テロップ出現直前と出現直
後のフレーム間の差分をとり、テロップ領城を抽出して
いる。

【０００６】根本等の従来方法の改良方法として、テロ
ップ抽出の精度を上げる方法（倉掛他、「認識技術を用
いた映像中キーターゲットインデキシングの検討」電子
情報通信学会技術研究報告ＩＥ９５−１５０，１９９
６）が提案されている。これは、テロップの存在する複
数フレームを平均化することによって、テロップを強調
するとともに背景のばらつきによる影響を軽減し、テロ
ップ抽出の精度を高める方法である。

【０００７】また、符号化された動画像からのテロップ
抽出においては、一度、画像を完全に復号化して元の画
像に戻してから、上記の抽出作業を行うことになる。

【０００８】

【発明が解決しようとする課題】フレーム間の相関を利
用して符号化された動画像に対して、従来の方法を用い
てテロップ部分を抽出するためには、符号化された動画
像をフレーム画像まで復号化しなければならない。この
ため、テロップ領域抽出の処理以外に画像復号化の処理
が必要となり、処理コストが高くなり高速なテロップ部
分の抽出が困難になる。

【０００９】また、符号化された動画像を対象に複数フ
レームを平均化する方法を用いる場合には、フレーム画
像を全て復号化した上で平均化しなければならず、処理
コストがさらに高くなるという問題がある。

【００１０】本発明の日的は、フレーム間の相関を利用
して符号化された動画像データに対して、フレーム画像
を復号化することなく小さい処理コストで高速にテロッ
プを抽出する動画像テロップ抽出方式と装置を提供する
ことにある。

【００１１】

【発明を解決するための手段】本発明の動画像テロップ
抽出方法は、フレーム間の相関を利用して符号化された
動画像データのテロップ部分を抽出する方法であって、
フレーム間の相関を用い、かつ、動き補償を用いないで
符号化された画素が時間的空間的に集中している部分を
抽出する抽出段階を有する。

【００１２】また、本発明の動画像テロップ抽出方法
は、前記抽出段階として、フレーム間の相関を用い、か
つ動き補償を用いないで符号化された画素の出現する頻
度を計数する計数段階と、頻度と閾値との比較結果に基
づいてテロップ部分を選択する選択段階を有する。

【００１３】さらに、本発明には、前記抽出段階とし
て、フレーム間の相関を用い、かつ動き補償を用いない
で符号化された画素の出現する頻度を計数する計数段階
と、頻度の投影ヒストグラムを作成する投影段階と、投
影ヒストグラムの頻度と閾値との比較結果によりテロッ
プ部分を選択する選択段階を有するものも含まれる。

【００１４】また、本発明には、計数段階後、頻度の空
間的な特徴に基づいて頻度を併合する併合段階をさらに
有するものも含まれる。

【００１５】また、本発明には、前記動画像から抽出さ
れたテロップ部分を蓄積する蓄積段階をさらに有するも
のも含まれる。

【００１６】また、本発明には、前記動画像から抽出さ
れたテロップ部分だけを復号化できる復号段階を有する
ものも含まれる。

【００１７】また、本発明には、フレーム間の相関を利
用して符号化された動画像データのテロツプ部分を抽出
する装置において、フレーム間の相関を用い、かつ、動
き補償を用いないで符号化された画素が時間的空間的に
集中している部分を抽出する抽出部を有する。

【００１８】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００１９】以下の実施例では、本発明の入力となるデ
ータは、フレームの相関を利用して符号化された動画像
データとして、ＭＰＥＧに基づく方法によって符号化さ
れた動画像データを想定する。しかし、動画像データと
しては、これに限定されるのではなく、これ以外の、フ
レーム間の相関を利用し、画素単位で符号化方式を変更
できる符号化方法によって符号化された動画像データに
も適用し得る。

【００２０】また、画素の表現方法としては、Ｈ．２６
１やＭＰＥＧで採用されているマクロブロックによる表
現を想定する。しかし、画素の表現方法は、これに限定
されるのではなく、これ以外の画素表現にも適用し得
る。

【００２１】ＭＰＥＧでは、動画像のフレームには、
（１）フレーム間の相関を用いず専らフレーム内の相関
を用いた符号化が行われるフレームと、（２）フレーム
間の相関を用いた符号化が行われるフレームと、があ
る。

【００２２】また、ＭＰＥＧでは、マクロブロック単位
で符号化の種類を変更することができる。符号化の種類
には、（ａ）フレーム間の相関を用いるか、（ｂ）動き
補償を用いるか、の区別がある。なお、（ａ）（ｂ）の
組み合わせは４種類考えられるが、フレーム間の相関を
用いず、かつ、動き補償を用いるという組み合わせは存
在しないため、実際には３種類となる。

【００２３】次に、本発明の作用の根拠である、フレー
ム間の相関を利用して符号化された動画像データにおい
て、フレーム間の相関を用い、かつ動き補償を用いない
で符号化された画素がテロップ部分に時間的空間的に集
中するという性質の根拠を述べる。

【００２４】まず、画素の符号化を判定するために一般
的に用いられる方法と特徴量を述べる。Ｈ．２６１やＭ
ＰＥＧなど、フレーム間の相関を利用する符号化方法に
よれば、符号化効率の最適化を目的として、（１）フレ
ーム内における画素値の分散（以下ｖａｒと略記す）
と、（２）動き補償を用いた場合のフレーム間における
画素値の差の分散（フレーム間動き補償誤差分散）（以
下ｖｍｃと略記す）と、（３）動き補償を用いない場合
のフレーム間における画素値の差の分散（フレーム間誤
差分散）（以下ｖ０と略記す）の３つの分散を比較し、
できるだけ分散が小さくなる場合を選択することによっ
て、最も効率のよい画素の符号化の種類を判定してい
る。その方法を、図２を用いて説明する。

【００２５】以下フローチャートにおけるステップ番号
（段階番号）にはステップの代わりにＳと記入する。ま
ず、ｖａｒとｖｍｃを計算し（Ｓ２１）、ｖａｒとｖｍ
ｃを比較し（Ｓ２２）、ｖｒａが小さければフレーム間
の相関を用いない符号化が行われる（Ｓ２３）。そうで
なければフレーム間の相関を用いて符号化する。さらに
フレーム間の相関を用いる場合には、ｖ０を計算し（Ｓ
２４）、ｖｍｃとｖ０を比較して（Ｓ２５）、ｖ０が小
さければ動き補償を用いないで符号化し（Ｓ２６）、そ
うでなければ動き補償を用いて符号化する（Ｓ２７）。
また、図中Ｓ２５のαは１より大きいバイアス値で、ｖ
ｍｃとｖ０がほぼ同等の場合には、動き補償を用いない
符号化が優先される。その理由は、分散がほぼ等しけれ
ば、画素値に関する符号量は変わらないので、動き補償
を表すための符号を省略した方が、合計の符号量が少な
くなって有利と考えられるからである。

【００２６】次に、動画像の画素の性質に基づいて、テ
ロップ部分とそれ以外の部分の画素が、それぞれどのよ
うに符号化される傾向があるかを述べる。

【００２７】テロップ部分の画素は一定時間変化がなく
同じ位置に動かないで存在する性質があるので、ｖｍｃ
は小さくなる傾向がある。また、テロップ部分はそれ以
外の部分の画素と比べて、コントラストが高いためｖａ
ｒは大きくなる傾向がある。これにより、ｖｍｃよりｖ
ａｒが大きくなり、テロップ部分の画素にはフレーム間
の相関を用いる符号化が採用される傾向がある。

【００２８】テロップ部分はエッジガ強く周囲に似た画
素が存在しないので、フレーム間での画素の動きベクト
ルは０か非常に小さくなる。これにより、ｖｍｃとｖ０
が同等程度になるので、テロップ部分の画素には動き補
償を用いない符号化が採用される傾向がある。

【００２９】テロップ以外の部分で、動いている部分に
ついては、明らかにｖ０よりｖｍｃの方が小さくなるの
で、動き補償を用いる符号化が採用される傾向がある。

【００３０】静止している背景など、テロップ以外の部
分で静止している画素は、実際には、画面のちらつきや
雑音によってｖ０は０にならない傾向がある。しかし、
テロップ部分以外の画素はテロップ部分に比べてエッジ
が強くなく、周囲に似た画素が存在することによって、
実際には動いていないのに、周囲の似た画素の位置へ動
いたと判定され、その動き補償によってｖｍｃがｖ０よ
り小さくなる傾向がある。これによって、テロップ以外
の部分で静止している画素は、動き補償を用いた符号化
が採用される傾向がある。

【００３１】また、テロップ部分も、同様に画面のちら
つきや雑音によってｖ０が０にならない傾向があるが、
画面のちらつきや雑音に比してエッジが強く、周囲に似
た画素が存在しないため、動きが検出されず、ｖｍｃは
ｖ０と同等になって小さくならない傾向がある。このた
め、画面のちらつきや雑音を考慮に入れても、やはり、
テロップ部分の画素には動き補償を用いない符号化が採
用される傾向がある。以上のテロップ部分とそれ以外の
画素の性質により、テロップ部分の画素は、フレーム間
の相関を用い、かつ、動き補償を用いないで符号化され
る傾向があり、テロップ以外の画素は、それ以外の方法
で符号化される傾向があることがわかった。これによ
り、フレーム間の相関を利用して符号化された動画像デ
ータにおいて、フレーム間の相関を用い、かつ動き補償
を用いないで符号化された画素がテロップ部分に時間的
空間的に集中するということができる。

【００３２】以下に、本発明の１２個の実施例について
図面を参照して説明する。

【００３３】図１は、本発明の動画像テロップ抽出方法
の第１の実施例を表すフローチャートである。まず、Ｍ
ＰＥＧで符号化された動画像データがフレーム単位で入
力され（Ｓ１）、次に、フレーム間の相関を用いて符号
化されたフレームかどうかが判別される（Ｓ２）。フレ
ーム間の相関を用いないで符号化されたフレームは、こ
の実施例では特に処理されないが、他の実施例では利用
されることもありうる。フレーム間の相関を用いて符号
化されたフレームについては、次の計数段階（Ｓ３）に
マクロブロック単位で出力される。計数段階Ｓ３では、
マクロブロックの符号化方法について、フレーム間の相
関を用い、かつ動き補償を用いないで符号化されたマク
ロブロックかどうかを判定する。判定結果に基づき、マ
クロブロックの数を計数し、マクロブロックの位置に応
じた２次元の計数マトリックスに係数を格納する。係数
は与えられた計数区間内で繰り返される（Ｓ４）。計数
区間内での計数が終ると、次の選択段階（Ｓ５）に進
む。選択段階（Ｓ５）では、計数マトリックスに格納さ
れた値としきい値とを比較してテロップ部分を選択す
る。これを一つの計数区間での処理とし、必要に応じて
次の計数区間の処理を行う（Ｓ６）。なお、図中では省
略したが、処理に先立ち計数マトリックスは初期化され
ている。

【００３４】以下に、第１の実施例の計数段階につい
て、３つの実施例を述べる。

【００３５】図３は、第２の実施例であり、第１の実施
例の計数段階の一実施例を表すフローチャートである。
計数段階では、フレームからマクロブロックを入力し
（Ｓ３１）、フレーム間の相関を用い、かつ、動き補償
を用いないで符号化されたマクロブロックを判別して
（Ｓ３２）、マクロブロックの位置に基づいて計数マト
リックスの値に１を加算する（Ｓ３３）。これを、フレ
ーム内の全てのマクロブロックについて繰り返す（Ｓ３
４）。全てのマクロブロックの処理が済んだところで計
数段階の処理を終了する（Ｓ３５）。

【００３６】計数マトリックスをＭとし、マクロブロッ
クをＢとすれば、 Ｍ（ｉ，ｊ）←Ｍ（ｉ，ｊ）＋１；Ｂ（ｉ，ｊ）は動き補償を用いないフレー ム間相関符号化マクロブロック Ｍ（ｉ，ｊ） ；それ以外 と表される。

【００３７】この実施例では、フレーム間の相関を用
い、かつ、動き補償を用いないで符号化されたマクロブ
ロックが最低１回現れた位置をテロップとして抽出する
ので、人間が見てテロップと判定されない画素も誤って
抽出される恐れがあるが、テロップの抽出漏れを少なく
することができるという利点はある。

【００３８】図４は、第３の実施例であり、第１の実施
例の計数段階が変わった一実施例を表すフローチャート
である。計数段階では、フレームからマクロブロックを
入力し（Ｓ４１）、フレーム間の相関を用い、かつ動き
補償を用いないで符号化されたマクロブックを判別する
（Ｓ４２）。フレーム間の相関を用い、かつ、動き補償
を用いないで符号化されたマクロブロックについては、
計数マトリックスの値に１を加算し（Ｓ４３）、そうで
ないマクロブロックについては、計数マトリックスの値
から１を減算する（Ｓ４４）。これを、フレーム内の全
てのマクロブロックについて繰り返す（Ｓ４５）。全て
のマクロブロックの処理が済んだところで計数段階の処
理を終了する（Ｓ４６）。

【００３９】この処理は、同様に、 Ｍ（ｉ，ｊ）←Ｍ（ｉ，ｊ）＋１；Ｂ（ｉ，ｊ）は動き補償を用いなフレーム 間相関符号化マクロブロック Ｍ（ｉ，ｊ）−１；それ以外 と表される。

【００４０】この実施例では、テロップではない部分
が、偶然テロップであると判定された場合を、判定され
なかった場合によって取り消すことができるので、第２
の実施例における誤抽出の可能性を少なくすることがで
きるという利点がある。

【００４１】図５は、第４の実施例であり、第１の実施
例の計数段階のさらに異なった実施例を表すフローチャ
ートである。計数段階では、フレームからマクロブロッ
クを入力し（Ｓ５１）、フレーム間の相関を用い、か
つ、動き補償を用いないで符号化されたマクロブロック
を判別する（Ｓ５２）。フレーム間の相関を用い、かつ
動き補償を用いないで符号化されたマクロブロックにつ
いては、計数マトリックスの値に１を加算し（Ｓ５
３）、そうでないマクロブロックについては、計数マト
リックスの値を０にする（Ｓ５４）。これを、フレーム
内の全てのマクロブロックについて繰り返す（Ｓ５
５）。全てのマクロブロックの処理が済んだところで計
数段階の処理を終了する（Ｓ５６）。

【００４２】この処理は、同様に、 Ｍ（ｉ，ｊ）←Ｍ（ｉ，ｊ）＋１；Ｂ（ｉ，ｊ）は動き補償を用いなフレーム 間相関符号化マクロブロック ０；それ以外 と表される。

【００４３】この実施例でも、テロップではない部分
が、偶然テロップであると判定された場合を、判定され
なかった場合によって取り消すことができるので、実施
例２の誤抽出の可能性を少なくすることができるという
利点がある。

【００４４】以下に、第１の実施例の選択段階につい
て、４つの異なった実施例を述べる。

【００４５】図６は、第５の実施例であり、第１の実施
例の選択段階の異なった実施例を表すフローチャートで
ある。選択段階では、計数マトリックスＭと、閾値Ｔ
ｈ、計数に用いられたフレーム数ｎを入力する（Ｓ６
１）。計数マトリックスの値Ｍをｎで割った値と、閾値
とを比較し（Ｓ６２）、閾値より大きい部分をテロップ
領域として出力する。テロップ領域の存在を表す２次元
の領域マトリックスをＲとすると、テロップが存在する
位置のＲの値を１とし（Ｓ６３）、そうでない部分を０
にする（Ｓ６４）。これを全てのＭの要素について繰り
返し（Ｓ６５）、最終的に得られたＲを領域マトリック
スとして出力する（Ｓ６６）。

【００４６】この段階は、 と表される。

【００４７】なお、閾値は、あらかじめ与えられた一定
の値を用いてもよいし、変化させてもよい。例えば、計
数区間内で抽出されるテロップ部分の数が一定数を超え
ないよう適応的に計数区間毎に閾値を変化させてもよ
い。

【００４８】図７は、第６の実施例であり、第１の実施
例の選択段階の異なった一実施例を表すフローチャート
である。この実施例では、計数段階の出力である計数マ
トリックスを縦または横方向に投影した１次元のヒスト
グラムを作成する投影段階と、ヒストグラムの頻度が閾
値より大きい区間を選択しテロップ領域とする選択段階
を有する。図７では、計数マトリックスＭと、閾値Ｔ
ｈ、計数に用いられるフレーム数ｎを入力する（Ｓ７
１）。次に、Ｍを横方向に投影し、投影ヒストグラムＨ
を作成する（Ｓ７２）。そして、Ｈの値をｎで割った値
が閾値Ｔｈより大きい区間［ａ，ｂ）を求め（Ｓ７
３）、この区間について領域マトリックスＲの値を１と
している（Ｓ７４）。これを全てのＨに要素が閾値と比
較されるまで繰り返し（Ｓ７５）、最終的に得られらＲ
を領域マトリックスとして出力する（Ｓ７６）。

【００４９】なお、図７では横方向投影を例としたが、
縦方向投影を用いた実施例も同様に作成してよい。

【００５０】図８は、第７の実施例であり、第１の実施
例の選択段階の異なった一実施例を表すフローチャート
である。この実施例では、第６の実施例によって選択さ
れた部分を、第６の実施例で用いられなかったヒストグ
ラムの投影方向にさらに投影し、ヒストグラムの値が閾
値より大きい区間を選択しテロップ領域とする。図８で
は、計数マトリックスＭと、閾値Ｔｈ１，Ｔｈ２、計数
の用いられたフレーム数ｎを入力する（Ｓ８１）。次
に、Ｍを横方向に投影し、投影ヒストグラムＨ１を作成
する（Ｓ８２）。次に、Ｈ１をｎで割った値が閾値Ｔｈ
１より大きい区間［ａ，ｂ）を求め（Ｓ８３）、その区
間について、さらにＭを縦方向に投影し、投影ヒストグ
ラムＨ２を作成する（Ｓ８４）。次に、Ｈ２をｎと区間
の大きさ（ｂ−ａ）で割った値が閾値Ｔｈ２より大きい
区間［ｃ，ｄ）を求める（Ｓ８５）。そして、区間
［ａ，ｂ），［ｃ，ｄ）について領域マトリックスＲの
値を１としている（Ｓ８６）。これを、全てのＨ２とＨ
１の要素が比較されるまで繰り返し（Ｓ８７、Ｓ８
８）、最終的に得られたＲを領域マトリックスとして出
力する（Ｓ８９）。

【００５１】また、図８の投影方向の順番を逆に入れ換
えた実施例も同様に作成してよい。この第７の実施例で
は、第６の実施例よりも精度の高いテロップ抽出が可能
となる。

【００５２】図９は、第８の実施例であり、第５〜７の
実施例の選択段階の結果をさらに絞り込んで選択する選
択段階の一実施例を表すフローチャートである。

【００５３】この段階の入力は、領域マトリックスＲ
と、種々の領域の特徴量の上限と下限を表す閾値である
（Ｓ９１）。まず、領域マトリックスの連結領域Ｒ’を
求める（Ｓ９２）。連結領域とは、領域マトリックスの
値が１であって互いに接する部分をまとめた領域を表
す。接する方向としては、上下左右の４方向を接すると
する４近傍連結と、これに右上、左上、右下、左下の４
方向を加えた８近傍連結とがある。連結領域を求める処
理はラベリングと称されることもある。

【００５４】Ｒ’の要素であるそれぞれの連結領域につ
いて（Ｓ９３）、幅と高さ、面積、重心の位置を求め、
それぞれの値を、閾値を用いてさらに選択する（Ｓ９
４）。選択された連結領域については、それが占める部
分をＲ”に追加していく（Ｓ９５）。これを全てのＲ’
の要素にてついて繰り返し（Ｓ９６）、最終的に得られ
たＲ”を領域マトリックスとして出力する（Ｓ９７）。

【００５５】なお、選択に用いる値としては、ここで用
いた値以外に、種々の値を用いてもよい。例えば、幅と
高さの比や、領域の周囲長などの値を用いてもよい。

【００５６】この実施例では、テロップの典型的な使用
法にしたがって作成された閾値を与えれば、誤ってテロ
ップであると抽出された領域を除去することができ、テ
ロップ抽出の精度を向上させることができるという利点
がある。

【００５７】図１０は、第９の実施例であり、動画像テ
ロップ抽出方法の一実施例を表すフローチャートであ
る。この実施例では、第１の実施例の計数段階と選択段
階の間に、計数マトリックスの値を併合する併合段階
（Ｓ１０５）が挿入されている。計数段階（Ｓ１０３）
と選択段階（Ｓ１０６）には、第２〜８の実施例を用い
ることができる。

【００５８】併合段階では、計数マトリックスにガウシ
アンフィルタをかけ、計数マトリックスの値を平滑化
し、頻度の小さい部分を選択されにくくし、近接する頻
度の大きい部分を併合する。

【００５９】この段階は、 Ｍ←Ｇ^* Ｍ と表される。ただし、Ｇはガウシアンフィルタ Ｇ（ｉ，ｊ）＝（１／２πσ＾２）ｅｘｐ（−（ｉ＾２
＋ｊ＾２）／２σ＾２）． である。

【００６０】なお、併合方法としては、ガウシアンフィ
ルタに限るのではなく、これ以外の平滑方法や領域併合
方法を適用してもよい。

【００６１】この実施例では、ばらばらなテロップ領域
を空間的にまとめることができ、領域の過分割の問題を
解決することができるのが利点である。

【００６２】図１１は、第１０の実施例であり、動画像
テロップ抽出方法の一実施例を表すフローチャートであ
る。この実施例は、第１の実施例にテロップ部分に関す
る情報を蓄積する蓄積段階（Ｓ１１６）を追加したもの
であるが、第９の実施例にも同様に適用してもよい。ま
た、計数段階（Ｓ１１３）と選択段階（Ｓ１１５）に
は、第２〜８の実施例を用いることができる。

【００６３】蓄積する情報としては、抽出に用いたフレ
ームのインデックス、計数マトリックス、領域マトリッ
クス、投影ヒストグラム、個々のテロップ領域の幅、高
さ、面積、重心の位置など個々のテロップ領域に関する
情報の一つ、または複数を組み合わせた組である。

【００６４】これらのテロップ部分に関する蓄積情報
は、テロップ部分を用いた動画像の検索や編集、復号化
などの用途に利用することができる。

【００６５】蓄積情報の保存期間は、種々の期間を設定
してもよい。例えば、検索や編集の用途には、動画像と
同等の保存期間を設定することができる。また、動画像
からテロップ部分だけを復号化するのが主な目的であり
長期保存の必要がない場合には、復号に必要最小限な期
間を設定することができる。

【００６６】また、同一の領域を占めるテロップが繰り
返し抽出された場合には、蓄積情報量の削減のために重
複するテロップに関する情報を蓄積しないようにしても
よい。

【００６７】図１２は第１１の実施例であり、動画像テ
ロップ抽出方法の一実施例を表すフローチャートであ
る。この実施例は、第１の実施例に、テロップ部分だけ
を復号化できる復号段階（Ｓ１２５）を追加した実施例
であるが、第９，１０の実施例にも同様に適用してもよ
い。また、計数段階（Ｓ１２３）と選択段階（Ｓ１２
４）には、第２〜８の実施例を用いることができる。

【００６８】この実施例では、フレーム内予測符号化が
用いられている２枚のフレーム間を計数区間とし、テロ
ップ部分を抽出している（Ｓ１２２）。テロップ部分を
復号化するために、区間の後の区切りとなるフレーム内
予測符号化フレームを構成するマクロブロックのうち、
選択段階によって選択されたテロップ部分に該当するマ
クロブロックのみを復号化する。

【００６９】なお、ここでは区間の後の区切りとなるフ
レーム内予測符号化フレームを用いてテロップ部分の復
号化を行ったが、区間の前の区切りとなるフレーム内予
測符号化フレームを用いてもよいし、フレーム間予測符
号化フレームを用いてもよい。

【００７０】図１３は、本発明の動画像テロップ抽出装
置の一実施例のブロック図である。入力される符号化動
画像データは、フレーム間の相関を利用して符号化され
た動画像データであり、ここではＭＰＥＧを想定してい
る。符号化動画像データとしては、ビデオテープや磁気
ディスクなど蓄積メディアに記憶されているデータの他
に、無線または有線による放送、ＬＡＮ回線や電話回線
を通じて送られてくるデータであってもよい。

【００７１】まず、フレーム判別部１において、フレー
ム間予測符号化が行われているフレーム（Ｐ）と、フレ
ーム内予測符号化が行われているフレーム（Ｉ）とを判
別する。Ｐフレームは計数部２に送られ計数マトリック
ス３が作成される。計数部については後で詳細を説明す
る。計数マトリックスはスイッチによって、併合部４を
通すかどうかを切り替えることができる。スイッチの位
置ｂでは、併合部４において、第９の実施例の方法にし
たがって、ガウシアンフィルタを使って値を併合する。
選択部５では、閾値との比較結果に基づいて領域マトリ
ックス６が作成される。なお、選択部については後で詳
細に説明する。復号部７では、フレーム判別部１で出力
されたフレーム内予測符号化フレームのうち、領域マト
リックスが１である位置のマクロブロックを復号化し、
テロップ画像として出力する。また、蓄積部７では、選
択部５から出力される領域に関する情報と領域マトリッ
クス６と、復号部７で複号された画像データなどが蓄積
される。

【００７２】次に、図１４を用いて計数部の詳細を説明
する。計数部にはマクロブロックが順に入力される。ま
ず、位置復号部１１でマクロブロックの位置を表す符号
だけが復号化され、カウンタの位置情報となる。次に、
符号化判別部１２で符号化の種類を判別し、フレーム間
の相関を用い、かつ、動き補償を用いないで符号化され
ている（図中“ｎｏＭＣ ｃｏｄｅｄ”と書かれてい
る）かが判別される。判別結果はカウンタ１３の増減あ
るいはリセット信号として用いられる。スイッチの位置
ａ，ｂ，ｃによって、それぞれ、第２，３，４の実施例
の方法を切り替えることができる。最後に、カウンタの
値が計数マトリックスとして出力される。

【００７３】次に、図１５を用いて選択部５（図１３）
の詳細を説明する。選択部５には計数マトリックスが入
力される。スイッチの位置ａでは、第５の実施例の方法
にしたがって、計数マトリックスの値と閾値とが比較さ
れ、領域合成部２８で領域マトリックスが作成される。
スイッチの位置ｂでは、第６，７の実施例の方法にした
がうことになる。この場合、横方向投影部２２で横方向
に投影され、投影ヒストグラム２３が作成される。比較
部４で投影ヒストグラムの値と閾値とが比較される。ス
イッチの位置ｃは、第６の実施例の方法にしたがい、比
較の結果がすぐ８の領域合成部に送られ、領域マトリッ
クスが作成される。スイッチの位置ｄでは、第７の実施
例の方法に従って、さらに、縦方向投影部５で縦方向に
投影され、投影ヒストグラム２６が作成される。比較部
７で閾値と比較されて、領域合成部２８に送られ、領域
マトリックスが作成される。スイッチの位置ｅでは、領
域合成部２８で作成された領域マトリックスがそのまま
出力される。スイッチの位置ｆでは、第８の実施例にし
たがい、連結領域作成部２９によって連結領域３０が作
成される。個々の連結領域は比較部３１で閾値と比較さ
れ、その結果に基づいて領域合成部３２で新たに領域マ
トリックスを作成し、出力する。また、領域に関する情
報も出力され、図１３の蓄積部８に送られる。

【００７４】本発明は、上記実施例に限られるわけでは
なく、その要旨を変更しない範囲内で種々に変形して実
施できる。例えば、計数区間をカット点とカット点の間
であるシーンとする、あるいは、一定時間間隔にするな
ど、種々の区間を設定することができる。

【００７５】また、テロップ部分を復号化した後で、従
来のテロップ抽出方法を用いて、テロップ抽出の精度を
向上させる構成にしてもよい。

【００７６】また、テロップ部分を復号化した後でテロ
ップ中の字幕認識を行う構成にしてもよい。

【００７７】また、蓄積段階で蓄積する個々のテロップ
部分に関する情報として、個々のテロップ部分について
復号化された原画像データを蓄積してもよい。

【００７８】また、蓄積段階で蓄積する個々のテロップ
部分に関する情報として、テロップが文字を表す場合に
はテロップを文字認識した結果を蓄積してもよい。

【００７９】

【発明の効果】以上説明したように本発明は、フレーム
間の相関を利用して符号化された動画像データのテロッ
プ部分を抽出する方法であって、フレーム化の相関を用
い、かつ動き補償を用いないで符号化された画素が時間
的空間的に集中している部分を抽出する抽出段階によっ
て、符号化された動画像データからフレーム画像を復号
化することなくテロップ部分を抽出することができるの
で、符号化された動画像を対象にして、小さい処理コス
トで高速にテロップ部分を抽出することができるという
効果がある。

【００８０】また、符号化された動画像データからフレ
ーム画像を復号化することなく小さい処理コストで高速
にテロップ部分を抽出し、テロップ部分に関する情報を
蓄積することができるので、動画像の内容に基づいた検
索や編集など処理を容易にすることができるという効果
もあり、符号化された動画像データからフレーム画像を
復号化することなくテロップ部分を高速に抽出すること
ができるので、符号化された動画像データからテロップ
部分だけを復号化した画像データを高速に作成すること
ができる効果もある。

【図面の簡単な説明】

【図１】本発明の動画像テロップ抽出方法の第１の実施
例のフローチャートである。

【図２】符号化の種類を判別する手順を示す説明図であ
る。

【図３】本発明の動画像テロップ抽出方法の計数段階が
異なる第２の実施例のフローチャートである。

【図４】本発明の動画像テロップ抽出方法の計数段階が
異なる第３の実施例のフローチャートである。

【図５】本発明の動画像テロップ抽出方法の計数段階が
異なる第４の実施例のフローチャートである。

【図６】本発明の動画像テロップ抽出方法の選択段階が
異なる第５の実施例のフローチャートである。

【図７】本発明の動画像テロップ抽出方法の選択段階が
異なる第６の実施例のフローチャートである。

【図８】本発明の動画像テロップ抽出方法の選択段階が
異なる第７の実施例のフローチャートである。

【図９】本発明の動画像テロップ抽出方法の選択段階が
異なる第８の実施例のフローチャートである。

【図１０】本発明の動画像テロップ抽出方法の第９の実
施例のフローチャートである。

【図１１】本発明の動画像テロップ抽出方法の第１０の
実施例のフローチャートである。

【図１２】本発明の動画像テロップ抽出方法の第１１の
実施例のフローチャートである。

【図１３】本発明の動画像テロップ抽出装置の一実施例
のブロック図である。

【図１４】図１３に示す計数部２の詳細ブロック図であ
る。

【図１５】図１３に示す選択部５の詳細ブロック図であ
る。

【符号の説明】 １ フレーム判別部 ２ 計数部 ３ 計数マトリックス ４ ガウシアンフィルタ ５ 選択部 ６ 領域マトリックス ７ 復号部 ８ 蓄積部 １１ 位置復号部 １２ 符号化判別部 １３ カウンタ ２１ 比較部 ２２ 横方向投影部 ２３ 投影ヒストグラム ２４ 比較部 ２５ 縦方向投影部 ２６ 投影ヒストグラム ２７ 比較部 ２８ 領域合成部 ２９ 連結領域作成部 ３０ 連結領域 ３１ 比較部 ３２ 領域合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浜田 洋 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (16)

【特許請求の範囲】
1. 【請求項１】 単位画面を意味するフレーム相互間の相
   関を利用して符号化された動画像データの、画面上の字
   幕、写真、記号、アイコン等挿入キャラクタを意味する
   テロップ部分を抽出する動画像テロップ抽出方法におい
   て、 フレーム間の相関を用い、かつ、動き補償を用いないで
   符号化された画素が時間的空間的に集中している部分を
   抽出する抽出段階を有することを特徴とする動画像テロ
   ップ抽出方法。
2. 【請求項２】 前記抽出段階が、フレーム間の相関を用
   い、かつ、動き補償を用いないで符号化された画素が出
   現する頻度を計数する計数段階と、 前記画素出現の頻度と閾値との比較結果に基づいてテロ
   ップ部分を選択する選択段階を有する請求項１記載の動
   画像テロップ抽出方法。
3. 【請求項３】 前記画素出現の頻度ヒストグラムを作成
   する投影段階と、 投影ヒストグラムが示す頻度と閾値との比較結果に基づ
   いてテロップ部分を選択する選択段階を有する請求項１
   記載の動画像テロップ抽出方法。
4. 【請求項４】 計数段階後、頻度の空間的な特徴に基づ
   いて頻度を併合する併合段階を有する請求項２または３
   に記載の動画像テロップ抽出方法。
5. 【請求項５】 前記動画像から抽出されたテロップ部分
   を蓄積する蓄積段階を有する請求項２乃至４のいずれか
   １項に記載の動画像テロップ抽出方法。
6. 【請求項６】 前記動画像から抽出されたテロップ部分
   だけを復号化できる復号段階を有する請求項２乃至５の
   いずれか１項に記載の動画像テロップ抽出方法。
7. 【請求項７】 前記計数段階が、フレーム間の相関を用
   い、かつ、動き補償を用いないで符号化された画素に対
   してのみ１を付与し、その後、選択する請求項２記載の
   動画像テロップ抽出方法。
8. 【請求項８】 前記計数段階が、フレーム間の相関を用
   い、かつ、動き補償を用いないで符号化された画素に対
   して１を付与し、他の画素には−１を付与し、その後、
   選択する請求項２記載の動画像テロップ抽出方法。
9. 【請求項９】 前記フレーム間の相関を用い、かつ、
   動き補償を用いないで符号化された画素に対して１を付
   与し、他には０を付与して、その後、選択する請求項２
   記載の動画像テロップ抽出方法。
10. 【請求項１０】 前記選択段階が、同一画素に付与した
    数値の合計値を計測回数で除算した数値と閾値とを比較
    して閾値より大きい画素を選択する、請求項２記載の動
    画像テロップ抽出方法。
11. 【請求項１１】 前記ヒストグラムを方向別、区間別に
    閾値より大きい部分を選出して１とし、全範囲に亙って
    比較し、選択する請求項３記載の動画像テロップ抽出方
    法。
12. 【請求項１２】 前記フレーム間の相関を用い、かつ、
    動き補償を用いないで符号化された各画素に付与した数
    値の合計値にガウシアンフィルタをかけて平滑化し、頻
    度の低い部分を選択され難くし、近接する頻度の高い部
    分を併合する併合段階を有する請求項４記載の動画像テ
    ロップ抽出方法。
13. 【請求項１３】 単位画面を意味するフレーム相互間の
    相関を利用して符号化された動画像データの、画面上の
    字幕、写真、記号、アイコン等挿入キャラクタを意味す
    るテロップ部分を抽出する動画像テロップ抽出装置にお
    いて、 フレーム間の相関を用い、かつ、動き補償を用いないで
    符号化された画素が時間的空間的に集中している部分を
    抽出する抽出部を有することを特徴とする動画像テロッ
    プ抽出装置。
14. 【請求項１４】 フレーム間符号化が行われたフレーム
    か、フレーム内符号化が行われたフレームかを判別する
    フレーム判別部と、フレーム間符号化が行われたフレー
    ムの符号化動画像データを所定平面に投影して計数マト
    リックスを作成する計数部と、ガウシアンフィルタを選
    択的に接続するスイッチと、前記計数マトリックスを閾
    値と比較し、閾値より大きい画素部分を所定平面上に表
    示する領域マトリックスを作成する比較部と、前記領域
    マトリックスを用いて符号化動画像を復号化してテロッ
    プ画像を出力する復号部と、領域マトリックスおよび復
    号部で復号化された画像データが蓄積される蓄積部とを
    有する請求項１３記載の動画像テロップ抽出装置。
15. 【請求項１５】 前記計数部が、入力された単位画素部
    分であるマクロブロックの位置を示す符号のみを復号化
    して位置情報とする位置復号部と、フレーム間の相関を
    用い、かつ、動き補償を用いないで符号化された画素で
    あるか否かを判別する符号化判別部と、フレーム間の相
    関を用い、かつ、動き補償を用いないで符号化された画
    素データに対して１を付与し、他の画素に対して何もし
    ないか、−１の付与か、あるいはリセットを選択的に行
    って計数マトリックスを出力するカウンタとを有する請
    求項１４記載の動画像テロップ抽出装置。
16. 【請求項１６】 前記選択部が、前記計数マトリックス
    が入力されると、 計数マトリックスと閾値と比較しその結果を出力する第
    １の比較部と、 横方向投影を行い横方向の投影ヒストグラムを作成する
    横方向投影部と、 横方向の投影ヒストグラムと閾値とを比較する第２の比
    較部と、 さらに、縦方向の投影を行い縦方向の投影ヒストグラム
    を作成する縦方向投影部と、 縦方向ヒストグラムと閾値とを比較する第３の比較部
    と、 各比較部からの出力閾値より大きい画素を記録して領域
    マトリックスを作成する領域合成部と、 連結領域を作成する連結領域作成部と、該連結領域毎の
    画素データを閾値と比較する第４の比較部と、該比較結
    果から領域マトリックスを作成する第２の領域合成部を
    有する請求項１４記載の動画像テロップ抽出装置。