JP4178629B2 - 情報処理装置および方法、並びに記録媒体 - Google Patents
情報処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4178629B2 JP4178629B2 JP33927498A JP33927498A JP4178629B2 JP 4178629 B2 JP4178629 B2 JP 4178629B2 JP 33927498 A JP33927498 A JP 33927498A JP 33927498 A JP33927498 A JP 33927498A JP 4178629 B2 JP4178629 B2 JP 4178629B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- commercial
- scene change
- candidate
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、テレビジョン信号に含まれるコマーシャルを検出する情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、録画されたテレビジョン放送を再生するとき、本編（番組）だけを連続して見たいというユーザのニーズに対応して、コマーシャル（以下、ＣＭと記述する）を早送りする、いわゆるＣＭカット機能付きVCR(Video Cassette Recorder)が存在する。
【０００３】
そのようなVCRに用いられているＣＭ検出アルゴリズムは、次に示すような、絶対的な、または大多数のＣＭが有する特徴に基づくものである。すなわち、各ＣＭの開始時および終了時には０．１乃至２．０秒程度の無音区間が存在する、無音区間には画像のシーンチェンジ点が存在する、各ＣＭの所要時間は１５秒の整数倍である、ＣＭは音声多重モードがステレオモードである、等の特徴が確認された場合、その部分がＣＭとして検出される。
【０００４】
また、欧米におけるテレビジョン放送では、本編とＣＭの間に、ブラックフレームまたはブルーフレームが存在するという絶対的な条件に基づいてＣＭが検出されている。
【０００５】
【発明が解決しようとする課題】
したがって、従来のＣＭ検出アルゴリズムによれば、例えば、音声多重モードがモノラルであるＣＭのように、上述した特徴が含まれていないＣＭは検出できない課題があった。
【０００６】
また、従来のＣＭ検出アルゴリズムによれば、本編の中に上述した特徴が含まれていた場合、その部分をＣＭとして検出してしまう課題があった。
【０００７】
さらに、例えば、ＣＭの所要時間が１４秒の整数倍となったり、欧米においてブラックフレームやブルーフレームの挿入が廃止される等、従来のアルゴリズムにおいて用いていたＣＭの特徴が変更、または廃止された場合、ＣＭを検出することができなくなる課題があった。
【０００８】
また、従来のＣＭ検出アルゴリズムにおける無音区間の検出方法は、ある一定区間の音声の平均レベルを求め、その平均レベルが所定の閾値以下である場合、その区間を無音区間として検出していた。このため、テレビジョン放送の受信状況が悪いとき、すなわち、弱電界で音声信号のS/Nが悪い状況と、弱電界ではないときで無音声区間の検出精度が異なるので、結果的に正確にＣＭを検出できない課題があった。
【０００９】
また、従来のＣＭ検出アルゴリズムにおけるＣＭの所要時間の計測は、１秒当たり約３０フレームとして、フレーム数をカウントすることにより行われているが、実際の放送においては、数フレーム程度の誤差が生じるので、所要時間を判定する閾値には誤差に対応するあそびが設けられている。したがって、そのあそびに起因して、ＣＭの誤検出、または未検出が発生する課題があった。
【００１０】
さらに、ＣＭと本編の間に５秒程度のテレビ局の宣伝用スポットが放送された場合、そのスポットは視聴者にとってはＣＭと同様なものであるが、上述したＣＭの特徴を有していないので検出できない課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、テレビジョン放送に含まれるＣＭを確実に検出できるようにするものである。
【００１２】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、テレビジョン信号の無音区間を検出する無音区間検出手段と、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出手段と、無音区間検出手段により検出された無音区間においてシーンチェンジ検出手段により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出手段と、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間をコマーシャルブロックとするコマーシャルブロック生成手段とを備え、コマーシャルブロック生成手段は、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を２つのコマーシャルブロックに包含することを特徴とする。
【００１３】
請求項２に記載の情報処理方法は、テレビジョン信号の無音区間を検出する無音区間検出ステップと、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、無音区間検出ステップの処理により検出された無音区間においてシーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数の前記コマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップとを含むことを特徴とする。
【００１４】
請求項３に記載の記録媒体は、テレビジョン信号の無音区間を検出する無音区間検出ステップと、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、無音区間検出ステップの処理により検出された無音区間においてシーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップとを含む処理を情報処理装置に実行させるコンピュータが読み取り可能なプログラムが記録されたことを特徴とする。
【００１５】
請求項１に記載の情報処理装置、請求項２に記載の情報処理方法、および請求項３に記載の記録媒体においては、テレビジョン信号の無音区間が検出され、テレビジョン信号のシーンチェンジが検出され、無音区間において検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間が、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出される。さらに、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間がコマーシャルブロックとされる。２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間が２つのコマーシャルブロックに包含される。
【００１６】
【発明の実施の形態】
【００１８】
本発明を適用したVCRの第１の構成例について、図１を参照して説明する。記録系のチューナ２は、端子１から入力されるテレビジョン放送のＲＦ信号を復調し、得られた映像信号、音声信号、AGC信号、および音声多重モードを示す信号（以下、音声多重モード信号と記述する）を、ＣＭ検出回路３に出力する。また、チューナ２は、映像信号および音声信号を遅延回路４に出力する。
【００１９】
ＣＭ検出回路３は、チューナ２から入力された信号がＣＭであるか否かを判定し、その結果に対応し、スイッチ６へ制御信号として０または１を出力する。スイッチ６は、制御信号が１である場合、オフとされ、制御信号が０である場合、オンとされる。
【００２０】
遅延回路４は、ＣＭ検出回路３の処理に要する時間（本実施の形態においては、１分間）だけ、チューナ２から入力された映像信号および音声信号を遅延して変調回路５に出力する。変調回路５は、遅延回路４から入力された映像信号および音声信号を、所定の方式（例えば、MPEG２方式）で圧縮符号化し、さらに、所定の変調方法（例えば、EFM変調）で変調し、得られた変調信号をスイッチ６を介して書き込み回路７に出力する。書き込み回路７は、入力された変調信号を磁気テープ８に記録する。
【００２１】
再生系の読み取り回路９は、ユーザから入力されるコマンドに対応して、磁気テープ８に記録されている信号を読み取って復調し、図示せぬモニタに供給する。
【００２２】
なお、映像信号および音声信号を記録する媒体は、磁気テープに限定されるものではなく、光ディスク、光磁気ディスク、ハードディスク、半導体メモリ等であってもかまわない。
【００２３】
図２は、図１のＣＭ検出回路３の第１の構成例を示している。このＣＭ検出回路３において、チューナ２から入力される音声多重モード信号は無音閾値決定部１１およびＣＭ候補区間検出部１６に供給され、映像信号は遅延部１４およびシーンチェンジ検出部１５の供給され、音声信号はA/D変換部１２に供給され、AGC信号は無音閾値決定部１１に供給される。
【００２４】
無音閾値決定部１１は、音声多重モード信号、A/D変換部１２でデジタル化された音声信号、AGC信号、またはシーンチェンジ検出部１５から入力される信号のいずれかを用いて無音区間検出処理に用いられる閾値を演算し、無音区間検出部１３に供給する。
【００２５】
無音区間検出部１３は、A/D変換部１２から入力されるデジタル化された音声信号のレベルと、無音閾値決定部１１から供給された閾値を比較することにより、無音区間を検出し、その結果をシーンチェンジ検出部１５に出力する。
【００２６】
シーンチェンジ検出部１５は、同時に入力される２枚のフレーム画像（現フレームと、遅延部１４により１フレーム時間（１／３０秒）だけ遅延された前フレーム）を比較して、無音区間におけるシーンチェンジの有無を検出し、その結果をＣＭ候補区間検出部１６に出力する。
【００２７】
ＣＭ候補区間検出部１６は、音声多重モード信号と、シーンチェンジ検出部１５から供給されたシーンチェンジの情報をフレーム毎に２値化して、内蔵するメモリに記憶し、その情報に基づいてＣＭ候補区間を検出し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においては制御信号として０を出力する。なお、ＣＭ候補区間検出部１６が内蔵するメモリには、過去１分間の情報を記憶させておく、その場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×２（データ）×１（ビット）
となる。
【００２８】
次に、ＣＭ検出回路３の動作について、図３のフローチャートを参照して説明する。このＣＭ検出処理は、チューナ２からＣＭ検出回路３に各信号が入力されたときに開始される。ステップＳ１において、ＣＭ検出回路３の無音閾値決定部１１は、予め演算した（後述）、無音区間検出処理（ステップＳ２）に用いられる閾値を無音区間検出部１３に出力する。
【００２９】
ここで、無音閾値決定処理の詳細について、図４のフローチャートを参照して説明する。ステップＳ１１において、A/D変換部１２は、チューナ２から入力された所定の微少時間の音声信号（アナログ）を、所定のサンプリング周波数、所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音閾値決定部１１は、ステップＳ１２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ１３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。
【００３０】
ステップＳ１４において、無音閾値決定部１１は、ステップＳ１３で得た平均値と、それまで記憶していた閾値とを比較して、小さい方の値を新たな閾値として記憶する。
【００３１】
ステップＳ１５において、無音閾値決定部１１は、全てのチャンネルに対してステップＳ１１乃至Ｓ１４の処理を実行したか否かを判定し、全てのチャンネルに対して処理を実行していないと判定した場合、ステップＳ１６に進む。ステップＳ１６において、無音閾値決定部１１は、チューナ２にチャンネル切換信号を出力する。このチャンネル切換信号に対応して、チャンネルが切り替えられる。
【００３２】
その後、ステップＳ１５において、全てのチャンネルに対して、ステップＳ１１乃至Ｓ１４の処理を実行したと判定された場合、無音閾値決定処理を終了する。なお、この無音閾値決定処理は、常に所定の間隔（例えば、１０分毎）で繰り返して実行される。
【００３３】
なお、無音閾値決定処理の方法は、上述した方法以外にも考えられる。例えば、映像信号は存在するが、音声信号のレベルは確実に０となる、各チャンネルの放送開始時刻、および放送終了時刻において、音声信号を受信し、そのレベルｎに所定のオフセット値Δを加えた値ｎ＋Δを無音閾値としてもよい。ただし、各チャンネルの放送開始時刻および放送終了時刻は既知であるものとする。
【００３４】
また、チューナ２からのAGC信号を用いて無音閾値を決定してもよい。すなわち、チューナ２からのAGC信号のレベルは、図６に示すように、AGC信号のレベルと音声信号のS/Nは反比例の関係にある。したがって、AGC信号のレベルから音声信号のS/Nを推定すれば、推定されたS/Nに対応する閾値を一意的に決定することができる。
【００３５】
さらに、音声信号のバズ成分は、映像信号の輝度レベルに依存しているので、映像信号の輝度レベルの平均値を用いて無音閾値を決定してもよい。例えば、輝度レベルの平均値が高い場合、音声信号のバズ成分が増加し、結果的に一定期間の音声信号のレベルが高くなるので、閾値を通常よりも高めに設定し、輝度レベルの平均値が低い場合、音声信号のバズ成分が減少し、結果的に一定期間の音声信号のレベルが低くなるので、閾値を通常よりも低めに設定する。なお、映像信号の輝度の平均値ＹAは、次式のように、シーンチェンジ検出部１５で演算する。
ＹA＝（ΣＤij）／ｎ×ｍ
ただし、ｉ＝１乃至ｎ，ｊ＝１乃至ｍであり、Ｄijは、図７に示すように、音声信号に対応する画像の座標（ｉ，ｊ）画素値である。
【００３６】
さらに、音声多重モード信号に基づいて無音閾値を決定してもよい。すなわち、音声多重モードが２カ国語放送からステレオに切り替わるときの音声信号のレベルを無音閾値としてもよい。
【００３７】
図３に戻る。ステップＳ２において、無音区間検出部１３は、ステップＳ１で無音閾値決定部１１から入力された閾値に基づいて無音区間を検出する。この無音区間検出処理の詳細について、図８のフローチャートを参照して説明する。
【００３８】
ステップＳ２１において、A/D変換部１２は、チューナ２から入力された、所定の微少時間の音声信号（アナログ）を所定のサンプリング周波数、および所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音区間検出部１３は、ステップＳ２２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ２３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。
【００３９】
ステップＳ２４において、無音閾値決定部１１は、ステップＳ２３で得た平均値が、無音閾値決定部１１から入力された閾値よりも小さいか否かを判定し、平均値が閾値よりも小さいと判定した場合、ステップＳ２５に進む。ステップＳ２５において、無音区間検出部１３は、この区間を無音区間と判定し、その情報をシーンチェンジ検出部１５に出力する。
【００４０】
反対に、ステップＳ２４において、平均値が閾値よりも小さくないと判定した場合、ステップＳ２６に進む。ステップＳ２６において、無音区間検出部１３は、この区間を無音区間ではない（有音区間である）と判定し、その情報をシーンチェンジ検出部１５に出力する。
【００４１】
図３のステップＳ３にリターンする。ステップＳ３において、シーンチェンジ検出部１５は、入力された前後する２枚のフレームにおけるシーンチェンジを検出し、その結果をＣＭ候補区間検出部１６に出力する。このシーンチェンジ検出処理の詳細について、図９のフローチャートを参照して説明する。
【００４２】
ステップＳ３１において、シーンチェンジ検出部１５は、無音区間検出部１３から入力された情報が無音区間を示すものであるか否かを判定し、入力された情報が無音区間を示す情報であると判定した場合、ステップＳ３２に進む。
【００４３】
ステップＳ３２において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム画像の相関値Ｅを演算する。具体的には、図１０に示すように、遅延部１４を介して入力された画像（遅延画像）と、遅延部１４を介さずに入力された画像（スルー画像）の対応する画素の画素値の差の絶対値の総和が相関値として次式により演算される。
Ｅ＝Σ｜Ｄij−Ｓij｜
ただし、Ｄij，Ｓijは、それぞれ、遅延画像またはスルー画像の座標（ｉ，ｊ）の画素値を表している。なお、この相関値は、フレーム間の相関の程度が小さいくなると、その値は大きくなり、フレーム間の相関の程度が大きくなると、その値は小さくなる。
【００４４】
ところで、相関値Ｅを演算する他の方法として、遅延画像とスルー画像の画素値のヒストグラムを用いる方法や、遅延画像とスルー画像を所定のブロックに分割し、ブロック毎に相関値を画素値の差分を求める方法を用いてもよい。
【００４５】
ステップＳ３３において、シーンチェンジ検出部１５は、ステップＳ３２で得られた相関値が所定の閾値よりも大きいか否かを判定し、相関値が所定の閾値よりも大きい（フレーム間の相関の程度が小さい）と判定した場合、ステップＳ３４に進む。
【００４６】
ステップＳ３４において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジが存在すると判定して、その情報をＣＭ候補区間検出部１６に出力する。
【００４７】
反対に、ステップＳ３３において、相関値が所定の閾値よりも大きくない（フレーム間の相関の程度が大きい）と判定された場合、ステップＳ３５に進む。
【００４８】
ステップＳ３５において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジがないと判定して、その情報をＣＭ候補区間検出部１６に出力する。
【００４９】
なお、ステップＳ３１において、無音区間を示す情報ではないと判定された場合、その情報がＣＭ候補区間検出部１６に出力されて、図３のステップＳ４にリターンする。
【００５０】
ステップＳ４において、ＣＭ候補区間検出部１６は、内蔵するメモリに２値化して記憶している過去１分間のフレーム単位の音声多重モード信号およびシ−ンチェンジ検出部１５からの情報に基づいてＣＭ候補区間を判定する。
【００５１】
すなわち、ＣＭ候補区間検出部１６に内蔵されるメモリには、図１１に示すように、音声多重モード信号（Audio_Multi[]）については、ステレオモードが１、モノラルモードおよび２カ国語モードが０として記録され、シーンチェンジ検出部１５から入力された情報（Scene_Change[]））については、シーンチェンジであるフレームが１、シーンチェンジではないフレームが０として記録されている。
【００５２】
ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１２(A)に示すように、シーンチェンジを示す信号が１であるフレーム（シーンチェンジ点）毎に区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１２(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。さらに、ＣＭ候補区間検出部１６は、図１２(C)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍であり、且つ、ステレオ区間である区間をＣＭ候補区間と判定し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においてはスイッチ６への制御信号として０を出力する。
【００５３】
なお、スイッチ６は、この制御信号が１であるときオフとされ、０であるときオンとされるが、スイッチ６には、遅延回路４で１分間だけ遅延されたことにより、ＣＭ候補区間検出部１６からの制御信号に同期している、変調された映像信号および音声信号が変調回路５から入力されているので、スイッチ６の後段には、本編の映像信号および音声信号だけが供給され、ＣＭ候補区間の映像信号および音声信号は供給されない。したがって、磁気テープ８には、テレビジョン放送のうちのＣＭ候補区間を除いた本編だけが記録される。
【００５４】
次に、ＣＭ候補区間検出部１６の他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴ではないが、ＣＭの一般的な傾向（ＣＭにおいてはシーンチェンジが複数回行われる）をＣＭ候補区間の検出条件に追加したものである。
【００５５】
この動作例において、ＣＭ候補区間検出部１６が内蔵するメモリには、図１３に示すように、図１１に示した情報に、無音区間検出部１３の出力である無音区間を示す情報（No_Sound[]）（有音部分は０、無音区間は１）が追加されて記録される。なお、この場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×３（データ）×１（ビット）
だけ必要となる。
【００５６】
ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１４(A)に示すように、無音区間を抽出し、図１４(B)に示すように、シーンチェンジ点を抽出して、図１４(C)に示すように、無音区間におけるシーンチェンジ点毎にシーンチェンジ区間（図１４(C)の場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。
【００５７】
また、ＣＭ候補区間検出部１６は、図１４(D)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍となるようにグループ化し、図１４(E)に示すように、音声多重モード信号が１である区間を抽出し、図１４(F)に示すように、１５秒の整数倍にグループ化され、且つ、ステレオ区間である区間（いまの場合、区間ａ乃至ｃ、および区間ｄ，ｅ）をＣＭ候補区間と判定する。さらに、ＣＭ候補区間検出部１６は、図１４(G)に示すように、隣接するＣＭ候補区間の両端のＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ，ｄ，ｅ）におけるシーンチェンジの回数を所定の閾値（例えば、１）と比較して、シーンチェンジの回数が閾値よりも大きいＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ）をＣＭ区間と判定する。なお、ＣＭ候補区間ａ，ｃに挟まれているＣＭ候補区間ｂもＣＭ区間と判定される。
【００５８】
ＣＭ候補区間検出部１６は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間ではない区間においてはスイッチ６への制御信号として０を出力する。
【００５９】
次に、ＣＭ候補区間検出部１６のさらに他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴が変更された場合（例えば、ＣＭの時間が１５秒の整数倍から、１４秒の整数倍に変更された等）、特徴の変更に対応してＣＭ候補区間の判定に用いる基準値を変更するものである。
【００６０】
この動作例において、ＣＭ候補区間検出部１６は、内蔵するメモリ（図１１）を参照し、図１５(A)に示すように、シーンチェンジを示す信号が１であるフレーム毎にシーンチェンジ区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１５(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。
【００６１】
ここで、ＣＭ候補区間検出部１６は、ステレオ区間の時間と、そのステレオ区間に隣接するステレオ区間ではない区間の時間を比較し、ステレオ区間の時間が十分に短い場合、そのステレオ区間（例えば、シーンチェンジ区間１乃至４、シーンチェンジ区間８，９）をＣＭ候補区間と判定する。
【００６２】
次に、ＣＭ候補区間検出部１６は、ＣＭ候補区間（シーンチェンジ区間１乃至４）の合計時間が５６秒であることから、ＣＭの時間は７秒単位、１４秒単位、または２８秒単位のいずれかであると判定し、さらに、ＣＭ候補区間検出部１６は、シーンチェンジが１４秒または２８秒の間隔で行われていることから、最終的に、ＣＭの時間が１４秒の整数倍であると判定する。
【００６３】
以上のような結果（ＣＭの時間が１４秒の整数倍であると判定される）が所定の回数以上連続して得られた場合、ＣＭ候補区間検出部１６は、ＣＭの時間は１４秒の整数倍に変更されたと判定して、以後、１４秒の整数倍をＣＭ区間検出の基準値として使用する。
【００６４】
なお、ＣＭが有する絶対的な特徴が変更された場合（上述したようなＣＭ時間の変更や欧米におけるブラックフレーム、ブルーフレーム挿入の廃止等）、変更された絶対的な特徴に対応して変更したＣＭ区間判定用の基準値を、装置外部からＣＭ候補区間検出部１６に供給するようにしてもよい。この場合、ＣＭ候補区間検出部１６においては、ＣＭ区間検出用の基準値をフラッシュメモリのような書き換え可能な記録媒体に格納しておけばよい。
【００６５】
次に、ＣＭ検出回路３の第２の構成例について、図１６を参照して説明する。この構成例は、図２に示した構成例にＣＭブロック検出部２１を追加したものである。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６で検出された単独のＣＭ候補区間のフレーム数を用いて、本編と本編の間に挟まれた複数のＣＭからなるＣＭブロックを検出し、その結果に基づいてスイッチ６へ制御信号を出力する。
【００６６】
この構成例によれば、以下に記述するようなＣＭの特徴を利用してＣＭブロックを検出することができる。すなわち、複数のＣＭが連続して放送される場合、個々のＣＭとしては標準的なフレーム数に対して５フレーム程度の誤差を有しているが、ＣＭブロック（連続する複数のＣＭ）としては、標準的なフレーム数に対する誤差が３フレーム程度である。例えば、１５秒間のＣＭが４本連続して放送される場合、個々のＣＭのフレーム数は、４５０±５（＝１５×３０±５）であるが、ＣＭブロックのフレーム数は、１８００±２０（＝１５×４×３０±５×４）とはならずに、１８００±３となる。
【００６７】
次に、その動作について図１７，図１８を参照して説明する。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間（図１７(A)のシーンチェンジ区間１＋２，３，４，８，９）について、そのフレーム数をＣＭ候補区間検出部１６から読み出し、隣接するＣＭ候補区間のフレーム数を合計して、その値が上述した誤差の許容範囲（±３）に収まっているか否かを判定する。ＣＭブロック検出部２１は、合計したフレーム数が誤差の許容範囲に収まっていると判定した場合、その隣接するＣＭ候補区間をＣＭブロックであると判定し、反対に、合計したフレーム数が誤差の許容範囲に収まっていないと判定した場合、その隣接するＣＭ候補区間をＣＭブロックではないと判定する。
【００６８】
いまの場合、図１７(D)に示すように、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）のフレーム数の合計は、１８０３（＝４５３＋４４６＋９０４）であり、標準的なフレーム数１８００（＝６０秒×３０フレーム）に対する誤差（３）は、許容範囲内であるので、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）は、ＣＭブロックであると判定される。
【００６９】
一方、隣接するＣＭ候補区間（シーンチェンジ区間８，９）のフレーム数の合計は、９１０（＝４５５＋４５５）であり、標準的なフレーム数９００（＝３０秒×３０フレーム）に対する誤差（１０）は、許容範囲外であるので、隣接するＣＭ候補区間（シーンチェンジ区間８，９）は、ＣＭブロックではないと判定される。
【００７０】
図１８(C)に示すようなＣＭ候補区間がＣＭ候補区間検出部１６から入力された場合、ＣＭブロック検出部２１は、上述した図１７の場合と同様に、シーンチェンジ区間１乃至４（ＣＭブロックＡとする）、およびシーンチェンジ区間７乃至１０（ＣＭブロックＢとする）を、ＣＭブロックであると判定する。
【００７１】
さらに、ＣＭブロック検出部２１は、ＣＭブロックＡ，Ｂに挟まれたＣＭ候補区間ではない区間（シーンチェンジ区間５，６）のフレーム数をＣＭ候補区間検出部１６から読み出して、そのフレーム数（いまの場合、１５０）が所定の閾値（例えば、３００フレーム（１０秒））以下である場合、その区間は本編ではなく、ユーザにとってはＣＭと同様なものであると判断して、前後するＣＭブロックＡ，Ｂに包含する。すなわち、ＣＭブロック検出部２１は、図１８(D)に示すように、シーンチェンジ区間１乃至１０を、１つのＣＭブロックであると判定する。
【００７２】
なお、ＣＭブロック検出部２１は、ＣＭブロックにおいてはスイッチ６への制御信号として１を出力し、ＣＭブロック以外においてはスイッチ６への制御信号として０を出力する。
【００７３】
次に、ＣＭ検出回路３の第３の構成例について、図１９を参照して説明する。この構成例は、図２に示した第１の構成例にＣＭ特徴量検出部３１を追加したものである。ＣＭ特徴量検出部３１には、前後する２枚のフレーム画像（映像信号）、デジタル化された音声信号、ＣＭ候補区間検出部１６に内蔵されるメモリに記憶されている情報（図１１）、およびＣＭ候補区間検出部１６が検出したＣＭ候補区間の情報が供給される。ＣＭ特徴量検出部３１は、供給される情報が、ＣＭの様々な特徴を有しているか否かを判定し、その結果に基づいて、ＣＭ区間を検出する。さらに、ＣＭ特徴量検出部３１は、検出結果に対応してスイッチ６に制御信号を出力する。
【００７４】
ＣＭ特徴量検出部３１の動作について、図２０のフローチャートを参照して説明する。この特徴量検出処理は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間に対して実行される。
【００７５】
ステップＳ４１において、ＣＭ特徴量検出部３１は、評価値を０に初期化する。ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６から入力されたＣＭ候補区間のシーンチェンジ回数をカウントして、シーンチェンジ回数が所定の閾値（１５秒当たり５回）以上であるか否かを判定し、計測したシーンチェンジ回数が所定の閾値以上であると判定した場合、評価値に１を加算する。反対に、計測したシーンチェンジ回数が所定の閾値以上ではないと判定された場合、評価値への加算は行われない。この処理は、ＣＭにおいては頻繁にシーンチェンジが行われるという、一般的な特徴に基づくものである。
【００７６】
ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号の周期性を検出する。この音声信号の周期性検出処理は、ＣＭにおいてはBGMが用いられるという、一般的な特徴に基づくものである。
【００７７】
この音声信号の周期性検出処理について、図２１のフローチャートを参照して説明する。ステップＳ６１において、ＣＭ特徴量検出部３１は、図２２に示すように、A/D変換部１２から入力された音声信号のレベルが所定の閾値以上である点とピークとして検出する（図２２(B)）。ただし、図２２(A)は音声信号をアナログで表示している。
【００７８】
ステップＳ６２において、ＣＭ特徴量検出部３１は、ステップＳ６１で検出したピークが所定の期間（数秒）よりも長く周期性を有しているか否かを判定する。周期性を判定するには、例えば、FFT(Fast Fourier Transform)を用いてもよいし、単にピークの間隔を計測してもよい。検出したピークが所定の期間よりも長く周期性を有していると判定された場合、ステップＳ６３に進む。
【００７９】
ステップＳ６３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８０】
ステップＳ６２において、検出したピークが所定の期間よりも長く周期性を有していないと判定された場合、評価値への加算は行われないので、ステップＳ６３はスキップされる。
【００８１】
図２０のステップＳ４４にリターンする。ステップＳ４４において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号および映像信号の連続性を検出する。この連続性検出処理について、図２３のフローチャートを参照して説明する。
【００８２】
ステップＳ７１において、ＣＭ特徴量検出部３１は、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続しているか否かを判定する。ピークの周期性の継続時間の計測については、上述したステップＳ４３で得られた情報を利用する。音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していると判定された場合、ステップＳ７２に進む。
【００８３】
ステップＳ７２において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８４】
ステップＳ７３において、ＣＭ特徴量検出部３１は、前後する２枚の画像の対応する画素の画素値の差分を演算し、その差分が所定に閾値以下である画素、すなわち、２枚の画像間で動きがない画素を検出する。ステップＳ７４において、ＣＭ特徴量検出部３１は、ステップＳ７３で検出した画素の画素値のヒストグラムを生成し、その最大値を示す画素値を背景の代表色として検出する。なお、ステップＳ７３，Ｓ７４の処理は、ＣＭ候補区間において、所定の間隔で繰り返し実行される。
【００８５】
ステップＳ７５において、ＣＭ特徴量検出部３１は、ステップＳ７４で検出した複数の背景の代表色を参照し、同じ画素値が連続して背景の代表色として検出されているか否かを判定する。同じ画素値が連続して背景の代表色として検出されていると判定された場合、ステップＳ７６に進む。
【００８６】
ステップＳ７６において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８７】
なお、ステップＳ７１において、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していないと判定された場合、評価値に加算を行わないので、ステップＳ７２はスキップされる。
【００８８】
また、ステップＳ７５において、同じ画素値が連続して背景の代表色として検出されていないと判定された場合、評価値への加算は行われないので、ステップＳ７６はスキップされる。
【００８９】
図２０のステップＳ４５にリターンする。ステップＳ４５において、ＣＭ特徴量検出部３１は、画像の再現性を検出する。この再現性検出処理は、例えば、１５秒間のケチャップのＣＭが、緑色の森のシーン（３秒）、青色の空のシーン（２秒）、緑色の森のシーン（２秒）、赤色のケチャップのシーン（３秒）、緑色の森のシーン（２秒）、および、赤色のケチャップのシーン（３秒）で構成されるように、ＣＭにおいては、同じ画像が再現されるという、一般的な特徴に基づくものである。
【００９０】
この画像の再現性検出処理について、図２４のフローチャートを参照して説明する。ステップＳ８１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をシーンチェンジ点で区分する。ステップＳ８２において、ＣＭ特徴量検出部３１は、ステップＳ８１で区分した各シーンの画素値のヒストグラムを１６階調で生成し、最大値を示す画素値を、そのシーンの代表色として検出する。
【００９１】
ステップＳ８３において、ＣＭ特徴量検出部３１は、ＣＭ候補区間において、シーンの代表色が再現されているか（異なるシーンで同じ代表色が検出されているか）否かを判定する。シーンの代表色が再現されていると判定された場合、ステップＳ８４に進む。
【００９２】
ステップＳ８４において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００９３】
なお、ステップＳ８３において、シーンの代表色が再現されていないと判定された場合、評価値への加算は行われないので、ステップＳ８４はスキップされる。
【００９４】
図２０のステップＳ４６にリターンする。ステップＳ４６において、ＣＭ特徴量検出部３１は、図２６(A)に示すようなテロップ（字幕）を検出する。このテロップ検出処理は、ＣＭの終了時にはテロップが表示するという、一般的な特徴に基づくものである。
【００９５】
このテロップ検出処理について、図２５のフローチャートを参照して説明する。ステップＳ９１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の終了側の所定の時間（例えば、５秒間）の各フレーム画像において、図２６(B)に示すように、等しい画素値をもち、且つ、所定の数よりも多く隣接している画素を検出する。
【００９６】
ステップＳ９２において、ＣＭ特徴量検出部３１は、図２６(C)に示すように、ステップＳ９１で検出した画素と等しい画素値をもつ画素を検索して領域化する。
【００９７】
ステップＳ９３において、ＣＭ特徴量検出部３１は、ステップＳ９２で得られた領域が時間方向に連続しているか（前後するフレームにも同じ領域が存在するか）否かを判定する。領域が時間方向に連続していると判定された場合、ステップＳ９４に進む。
【００９８】
ステップＳ９４において、ＣＭ特徴量検出部３１は、画像上の全ての領域の重心を検出し、その重心と領域上の各点との距離の平均値を演算して、さらに、その平均値と所定の閾値とを比較することにより、領域が密集しているか否かを判定する。領域が密集していると判定された場合、ステップＳ９５に進む。
【００９９】
ステップＳ９５において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【０１００】
なお、ステップＳ９３において、領域が時間方向に連続していないと判定された場合、評価値への加算は行われないので、ステップＳ９５はスキップされる。
【０１０１】
図２０のステップＳ４７に戻る。ステップＳ４７において、ＣＭ特徴量検出部３１は、上述したテロップ検出処理と同様に方法を用いて、ＣＭ候補区間の開始から終了までの全区間において、画像上に文字（テロップを含む）が所定の時間よりも長く存在するか否かを判定する。画像上に文字が所定の時間よりも長く存在すると判定された場合、評価値に１が加算される。反対に、画像上に文字が所定の時間よりも長く存在しないと判定された場合、評価値への加算は行われない。なお、この処理は、ＣＭにおいては文字が表示されるという、一般的な特徴に基づくものである。
【０１０２】
ステップＳ４８において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の開始点および終了点以外の無音区間の割合を検出する。この無音率検出処理は、ＣＭにおいては無音区間が少ないという、一般的な特徴に基づくものである。無音率検出処理について、図２７のフローチャートを参照して説明する。
【０１０３】
ステップＳ１０１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６に内蔵されているメモリに記憶されている情報（図１１）を読み出して、図２８に示すように、ＣＭ候補区間の開始点および終了点以外の無音区間のフレーム数を検出する。さらに、ＣＭ特徴量検出部３１は、江検出した無音区間のフレーム数を、ＣＭ候補区間を構成する全フレーム数で除算することにより、無音率を演算する。
【０１０４】
ステップＳ１０２において、ＣＭ特徴量検出部３１は、ステップＳ１０１で演算した無音率が所定の閾値よりも小さいか否かを判定する。無音率が所定の閾値よりも小さいと判定された場合、ステップＳ１０３に進む。
【０１０５】
ステップＳ１０３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【０１０６】
なお、ステップＳ１０２において、無音率が所定の閾値よりも小さくないと判定された場合、評価値への加算は行われないので、ステップＳ１０３はスキップされる。
【０１０７】
図２０のステップＳ４９にリターンする。ステップＳ４９において、ＣＭ特徴量検出部３１は、評価値が所定の閾値よりも大きいか否かを判定し、評価値が所定の閾値よりも大きいと判定した場合、ステップＳ５０に進む。ステップＳ５０において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間であると判定する。
【０１０８】
なお、ステップＳ４９において、評価値が所定の閾値よりも大きくないと判定された場合、ステップＳ５１に進む。ステップＳ５１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間ではないと判定する。
【０１０９】
この判定結果に対応して、ＣＭ特徴量検出部３１は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間以外においてはスイッチ６への制御信号として０を出力する。
【０１１０】
以上のように、本実施の形態であるVCR（図１）においては、テレビジョン放送のうちの本編だけが磁気テープ８に録画され、ＣＭは録画されない。したがって、この磁気テープ８を再生した場合、本編だけが連続して表示される。
【０１１１】
ところで、ＣＭを再生時には早送りするものの、録画はしておきたいというユーザのニーズが存在するので、そのようなニーズに対応する、本発明を適用したVCRの第２の構成例について、図２９を参照して説明する。この構成例は、図１に示した構成例からスイッチ６を削除し、ＣＭ検出回路３のＣＭ検出結果を書き込み回路７に供給するようにしたものである。
【０１１２】
この構成例の記録系において、書き込み回路７は、変調回路５から入力される全て（テレビジョン放送の本編とＣＭ）の映像信号と音声信号を磁気テープ８に記録とともに、ＣＭ検出回路３からの情報に基づいて、磁気テープ８の所定の位置に、ＣＭの関する情報（ＣＭの時間的な位置等）を記録する。
【０１１３】
再生系において、読み取り回路９は、ユーザから本編だけを再生するコマンド（ＣＭを除去するコマンド）が入力された場合、磁気テープ９の所定の位置に記録されているＣＭに関する情報に基づいてＣＭを除去（早送り等）し、本編だけを復調して図示せぬモニタに供給する。
【０１１４】
なお、本発明の適用は、VCRに限定されるものではなく、テレビジョン受像機やチューナ等に適用することが可能である。
【０１１５】
また、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１１６】
【発明の効果】
以上のように、請求項１に記載の情報処理装置、請求項２に記載の情報処理方法、および請求項３に記載の記録媒体によれば、テレビジョン信号に含まれるＣＭを確実に検出することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したVCRの第１の構成例を示すブロック図である。
【図２】図１のＣＭ検出回路３の第１の構成例を示すブロック図である。
【図３】ＣＭ検出回路３の動作を説明するフローチャートである。
【図４】図２の無音閾値決定部１１の処理を説明するフローチャートである。
【図５】図２の無音閾値決定部１１の動作を説明するための図である。
【図６】図２の無音閾値決定部１１の動作を説明するための図である。
【図７】図２の無音閾値決定部１１の動作を説明するための図である。
【図８】図３のステップＳ２の無音区間検出処理を説明するフローチャートである。
【図９】図３のステップＳ３のシーンチェンジ検出処理を説明するフローチャートである。
【図１０】シーンチェンジ検出処理を説明するための図である。
【図１１】ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。
【図１２】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１３】ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。
【図１４】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１５】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１６】図１のＣＭ検出回路３の第２の構成例を示すブロック図である。
【図１７】図１６のＣＭブロック検出部２１の処理を説明するための図である。
【図１８】図１６のＣＭブロック検出部２１の処理を説明するための図である。
【図１９】図１のＣＭ検出回路３の第３の構成例を示すブロック図である。
【図２０】図１９のＣＭ特徴量検出部３１の動作を説明するフローチャートである。
【図２１】図２０のステップＳ４３の音声信号の周期性検出処理を説明するフローチャートである。
【図２２】音声信号の周期性検出処理を説明するための図である。
【図２３】図２０のステップＳ４４の連続性検出処理を説明するフローチャートである。
【図２４】図２０のステップＳ４５の再現性検出処理を説明するフローチャートである。
【図２５】図２０のステップＳ４６のテロップ検出処理を説明するフローチャートである。
【図２６】テロップ転出処理を説明するための図である。
【図２７】図２０のステップＳ４８の無音率検出処理を説明するフローチャートである。
【図２８】無音率検出処理を説明するための図である。
【図２９】本発明を適用したVCRの第２の構成例を示すブロック図である。
【符号の説明】
２ チューナ， ３ ＣＭ検出回路， ４ 遅延回路， ５ 変調回路， ６スイッチ， ７ 書き込み回路， ８ 磁気テープ， ９ 読み取り回路， １１ 無音閾値決定部， １２ A/D変換部， １３ 無音区間検出部， １４遅延部， １５ シーンチェンジ検出部， １６ ＣＭ候補区間検出部， ２１ ＣＭブロック検出部， ３１ ＣＭ特徴量検出部
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、テレビジョン信号に含まれるコマーシャルを検出する情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、録画されたテレビジョン放送を再生するとき、本編（番組）だけを連続して見たいというユーザのニーズに対応して、コマーシャル（以下、ＣＭと記述する）を早送りする、いわゆるＣＭカット機能付きVCR(Video Cassette Recorder)が存在する。
【０００３】
そのようなVCRに用いられているＣＭ検出アルゴリズムは、次に示すような、絶対的な、または大多数のＣＭが有する特徴に基づくものである。すなわち、各ＣＭの開始時および終了時には０．１乃至２．０秒程度の無音区間が存在する、無音区間には画像のシーンチェンジ点が存在する、各ＣＭの所要時間は１５秒の整数倍である、ＣＭは音声多重モードがステレオモードである、等の特徴が確認された場合、その部分がＣＭとして検出される。
【０００４】
また、欧米におけるテレビジョン放送では、本編とＣＭの間に、ブラックフレームまたはブルーフレームが存在するという絶対的な条件に基づいてＣＭが検出されている。
【０００５】
【発明が解決しようとする課題】
したがって、従来のＣＭ検出アルゴリズムによれば、例えば、音声多重モードがモノラルであるＣＭのように、上述した特徴が含まれていないＣＭは検出できない課題があった。
【０００６】
また、従来のＣＭ検出アルゴリズムによれば、本編の中に上述した特徴が含まれていた場合、その部分をＣＭとして検出してしまう課題があった。
【０００７】
さらに、例えば、ＣＭの所要時間が１４秒の整数倍となったり、欧米においてブラックフレームやブルーフレームの挿入が廃止される等、従来のアルゴリズムにおいて用いていたＣＭの特徴が変更、または廃止された場合、ＣＭを検出することができなくなる課題があった。
【０００８】
また、従来のＣＭ検出アルゴリズムにおける無音区間の検出方法は、ある一定区間の音声の平均レベルを求め、その平均レベルが所定の閾値以下である場合、その区間を無音区間として検出していた。このため、テレビジョン放送の受信状況が悪いとき、すなわち、弱電界で音声信号のS/Nが悪い状況と、弱電界ではないときで無音声区間の検出精度が異なるので、結果的に正確にＣＭを検出できない課題があった。
【０００９】
また、従来のＣＭ検出アルゴリズムにおけるＣＭの所要時間の計測は、１秒当たり約３０フレームとして、フレーム数をカウントすることにより行われているが、実際の放送においては、数フレーム程度の誤差が生じるので、所要時間を判定する閾値には誤差に対応するあそびが設けられている。したがって、そのあそびに起因して、ＣＭの誤検出、または未検出が発生する課題があった。
【００１０】
さらに、ＣＭと本編の間に５秒程度のテレビ局の宣伝用スポットが放送された場合、そのスポットは視聴者にとってはＣＭと同様なものであるが、上述したＣＭの特徴を有していないので検出できない課題があった。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、テレビジョン放送に含まれるＣＭを確実に検出できるようにするものである。
【００１２】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、テレビジョン信号の無音区間を検出する無音区間検出手段と、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出手段と、無音区間検出手段により検出された無音区間においてシーンチェンジ検出手段により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出手段と、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間をコマーシャルブロックとするコマーシャルブロック生成手段とを備え、コマーシャルブロック生成手段は、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を２つのコマーシャルブロックに包含することを特徴とする。
【００１３】
請求項２に記載の情報処理方法は、テレビジョン信号の無音区間を検出する無音区間検出ステップと、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、無音区間検出ステップの処理により検出された無音区間においてシーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数の前記コマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップとを含むことを特徴とする。
【００１４】
請求項３に記載の記録媒体は、テレビジョン信号の無音区間を検出する無音区間検出ステップと、テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、無音区間検出ステップの処理により検出された無音区間においてシーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップとを含む処理を情報処理装置に実行させるコンピュータが読み取り可能なプログラムが記録されたことを特徴とする。
【００１５】
請求項１に記載の情報処理装置、請求項２に記載の情報処理方法、および請求項３に記載の記録媒体においては、テレビジョン信号の無音区間が検出され、テレビジョン信号のシーンチェンジが検出され、無音区間において検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間が、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出される。さらに、隣接する複数のコマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数のコマーシャル候補区間がコマーシャルブロックとされる。２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間が２つのコマーシャルブロックに包含される。
【００１６】
【発明の実施の形態】
【００１８】
本発明を適用したVCRの第１の構成例について、図１を参照して説明する。記録系のチューナ２は、端子１から入力されるテレビジョン放送のＲＦ信号を復調し、得られた映像信号、音声信号、AGC信号、および音声多重モードを示す信号（以下、音声多重モード信号と記述する）を、ＣＭ検出回路３に出力する。また、チューナ２は、映像信号および音声信号を遅延回路４に出力する。
【００１９】
ＣＭ検出回路３は、チューナ２から入力された信号がＣＭであるか否かを判定し、その結果に対応し、スイッチ６へ制御信号として０または１を出力する。スイッチ６は、制御信号が１である場合、オフとされ、制御信号が０である場合、オンとされる。
【００２０】
遅延回路４は、ＣＭ検出回路３の処理に要する時間（本実施の形態においては、１分間）だけ、チューナ２から入力された映像信号および音声信号を遅延して変調回路５に出力する。変調回路５は、遅延回路４から入力された映像信号および音声信号を、所定の方式（例えば、MPEG２方式）で圧縮符号化し、さらに、所定の変調方法（例えば、EFM変調）で変調し、得られた変調信号をスイッチ６を介して書き込み回路７に出力する。書き込み回路７は、入力された変調信号を磁気テープ８に記録する。
【００２１】
再生系の読み取り回路９は、ユーザから入力されるコマンドに対応して、磁気テープ８に記録されている信号を読み取って復調し、図示せぬモニタに供給する。
【００２２】
なお、映像信号および音声信号を記録する媒体は、磁気テープに限定されるものではなく、光ディスク、光磁気ディスク、ハードディスク、半導体メモリ等であってもかまわない。
【００２３】
図２は、図１のＣＭ検出回路３の第１の構成例を示している。このＣＭ検出回路３において、チューナ２から入力される音声多重モード信号は無音閾値決定部１１およびＣＭ候補区間検出部１６に供給され、映像信号は遅延部１４およびシーンチェンジ検出部１５の供給され、音声信号はA/D変換部１２に供給され、AGC信号は無音閾値決定部１１に供給される。
【００２４】
無音閾値決定部１１は、音声多重モード信号、A/D変換部１２でデジタル化された音声信号、AGC信号、またはシーンチェンジ検出部１５から入力される信号のいずれかを用いて無音区間検出処理に用いられる閾値を演算し、無音区間検出部１３に供給する。
【００２５】
無音区間検出部１３は、A/D変換部１２から入力されるデジタル化された音声信号のレベルと、無音閾値決定部１１から供給された閾値を比較することにより、無音区間を検出し、その結果をシーンチェンジ検出部１５に出力する。
【００２６】
シーンチェンジ検出部１５は、同時に入力される２枚のフレーム画像（現フレームと、遅延部１４により１フレーム時間（１／３０秒）だけ遅延された前フレーム）を比較して、無音区間におけるシーンチェンジの有無を検出し、その結果をＣＭ候補区間検出部１６に出力する。
【００２７】
ＣＭ候補区間検出部１６は、音声多重モード信号と、シーンチェンジ検出部１５から供給されたシーンチェンジの情報をフレーム毎に２値化して、内蔵するメモリに記憶し、その情報に基づいてＣＭ候補区間を検出し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においては制御信号として０を出力する。なお、ＣＭ候補区間検出部１６が内蔵するメモリには、過去１分間の情報を記憶させておく、その場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×２（データ）×１（ビット）
となる。
【００２８】
次に、ＣＭ検出回路３の動作について、図３のフローチャートを参照して説明する。このＣＭ検出処理は、チューナ２からＣＭ検出回路３に各信号が入力されたときに開始される。ステップＳ１において、ＣＭ検出回路３の無音閾値決定部１１は、予め演算した（後述）、無音区間検出処理（ステップＳ２）に用いられる閾値を無音区間検出部１３に出力する。
【００２９】
ここで、無音閾値決定処理の詳細について、図４のフローチャートを参照して説明する。ステップＳ１１において、A/D変換部１２は、チューナ２から入力された所定の微少時間の音声信号（アナログ）を、所定のサンプリング周波数、所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音閾値決定部１１は、ステップＳ１２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ１３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。
【００３０】
ステップＳ１４において、無音閾値決定部１１は、ステップＳ１３で得た平均値と、それまで記憶していた閾値とを比較して、小さい方の値を新たな閾値として記憶する。
【００３１】
ステップＳ１５において、無音閾値決定部１１は、全てのチャンネルに対してステップＳ１１乃至Ｓ１４の処理を実行したか否かを判定し、全てのチャンネルに対して処理を実行していないと判定した場合、ステップＳ１６に進む。ステップＳ１６において、無音閾値決定部１１は、チューナ２にチャンネル切換信号を出力する。このチャンネル切換信号に対応して、チャンネルが切り替えられる。
【００３２】
その後、ステップＳ１５において、全てのチャンネルに対して、ステップＳ１１乃至Ｓ１４の処理を実行したと判定された場合、無音閾値決定処理を終了する。なお、この無音閾値決定処理は、常に所定の間隔（例えば、１０分毎）で繰り返して実行される。
【００３３】
なお、無音閾値決定処理の方法は、上述した方法以外にも考えられる。例えば、映像信号は存在するが、音声信号のレベルは確実に０となる、各チャンネルの放送開始時刻、および放送終了時刻において、音声信号を受信し、そのレベルｎに所定のオフセット値Δを加えた値ｎ＋Δを無音閾値としてもよい。ただし、各チャンネルの放送開始時刻および放送終了時刻は既知であるものとする。
【００３４】
また、チューナ２からのAGC信号を用いて無音閾値を決定してもよい。すなわち、チューナ２からのAGC信号のレベルは、図６に示すように、AGC信号のレベルと音声信号のS/Nは反比例の関係にある。したがって、AGC信号のレベルから音声信号のS/Nを推定すれば、推定されたS/Nに対応する閾値を一意的に決定することができる。
【００３５】
さらに、音声信号のバズ成分は、映像信号の輝度レベルに依存しているので、映像信号の輝度レベルの平均値を用いて無音閾値を決定してもよい。例えば、輝度レベルの平均値が高い場合、音声信号のバズ成分が増加し、結果的に一定期間の音声信号のレベルが高くなるので、閾値を通常よりも高めに設定し、輝度レベルの平均値が低い場合、音声信号のバズ成分が減少し、結果的に一定期間の音声信号のレベルが低くなるので、閾値を通常よりも低めに設定する。なお、映像信号の輝度の平均値ＹAは、次式のように、シーンチェンジ検出部１５で演算する。
ＹA＝（ΣＤij）／ｎ×ｍ
ただし、ｉ＝１乃至ｎ，ｊ＝１乃至ｍであり、Ｄijは、図７に示すように、音声信号に対応する画像の座標（ｉ，ｊ）画素値である。
【００３６】
さらに、音声多重モード信号に基づいて無音閾値を決定してもよい。すなわち、音声多重モードが２カ国語放送からステレオに切り替わるときの音声信号のレベルを無音閾値としてもよい。
【００３７】
図３に戻る。ステップＳ２において、無音区間検出部１３は、ステップＳ１で無音閾値決定部１１から入力された閾値に基づいて無音区間を検出する。この無音区間検出処理の詳細について、図８のフローチャートを参照して説明する。
【００３８】
ステップＳ２１において、A/D変換部１２は、チューナ２から入力された、所定の微少時間の音声信号（アナログ）を所定のサンプリング周波数、および所定の量子化レベルでデジタル化し、得られたデジタル音声信号（例えば、図５(A)）を無音閾値決定部１１に出力する。無音区間検出部１３は、ステップＳ２２において、A/D変換部１２から入力されたデジタル音声信号を、図５(B)に示すように絶対値化し、ステップＳ２３において、絶対値化されたサンプルのレベルの平均値（図５(C)）を演算する。
【００３９】
ステップＳ２４において、無音閾値決定部１１は、ステップＳ２３で得た平均値が、無音閾値決定部１１から入力された閾値よりも小さいか否かを判定し、平均値が閾値よりも小さいと判定した場合、ステップＳ２５に進む。ステップＳ２５において、無音区間検出部１３は、この区間を無音区間と判定し、その情報をシーンチェンジ検出部１５に出力する。
【００４０】
反対に、ステップＳ２４において、平均値が閾値よりも小さくないと判定した場合、ステップＳ２６に進む。ステップＳ２６において、無音区間検出部１３は、この区間を無音区間ではない（有音区間である）と判定し、その情報をシーンチェンジ検出部１５に出力する。
【００４１】
図３のステップＳ３にリターンする。ステップＳ３において、シーンチェンジ検出部１５は、入力された前後する２枚のフレームにおけるシーンチェンジを検出し、その結果をＣＭ候補区間検出部１６に出力する。このシーンチェンジ検出処理の詳細について、図９のフローチャートを参照して説明する。
【００４２】
ステップＳ３１において、シーンチェンジ検出部１５は、無音区間検出部１３から入力された情報が無音区間を示すものであるか否かを判定し、入力された情報が無音区間を示す情報であると判定した場合、ステップＳ３２に進む。
【００４３】
ステップＳ３２において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム画像の相関値Ｅを演算する。具体的には、図１０に示すように、遅延部１４を介して入力された画像（遅延画像）と、遅延部１４を介さずに入力された画像（スルー画像）の対応する画素の画素値の差の絶対値の総和が相関値として次式により演算される。
Ｅ＝Σ｜Ｄij−Ｓij｜
ただし、Ｄij，Ｓijは、それぞれ、遅延画像またはスルー画像の座標（ｉ，ｊ）の画素値を表している。なお、この相関値は、フレーム間の相関の程度が小さいくなると、その値は大きくなり、フレーム間の相関の程度が大きくなると、その値は小さくなる。
【００４４】
ところで、相関値Ｅを演算する他の方法として、遅延画像とスルー画像の画素値のヒストグラムを用いる方法や、遅延画像とスルー画像を所定のブロックに分割し、ブロック毎に相関値を画素値の差分を求める方法を用いてもよい。
【００４５】
ステップＳ３３において、シーンチェンジ検出部１５は、ステップＳ３２で得られた相関値が所定の閾値よりも大きいか否かを判定し、相関値が所定の閾値よりも大きい（フレーム間の相関の程度が小さい）と判定した場合、ステップＳ３４に進む。
【００４６】
ステップＳ３４において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジが存在すると判定して、その情報をＣＭ候補区間検出部１６に出力する。
【００４７】
反対に、ステップＳ３３において、相関値が所定の閾値よりも大きくない（フレーム間の相関の程度が大きい）と判定された場合、ステップＳ３５に進む。
【００４８】
ステップＳ３５において、シーンチェンジ検出部１５は、入力された前後する２枚のフレーム間にはシーンチェンジがないと判定して、その情報をＣＭ候補区間検出部１６に出力する。
【００４９】
なお、ステップＳ３１において、無音区間を示す情報ではないと判定された場合、その情報がＣＭ候補区間検出部１６に出力されて、図３のステップＳ４にリターンする。
【００５０】
ステップＳ４において、ＣＭ候補区間検出部１６は、内蔵するメモリに２値化して記憶している過去１分間のフレーム単位の音声多重モード信号およびシ−ンチェンジ検出部１５からの情報に基づいてＣＭ候補区間を判定する。
【００５１】
すなわち、ＣＭ候補区間検出部１６に内蔵されるメモリには、図１１に示すように、音声多重モード信号（Audio_Multi[]）については、ステレオモードが１、モノラルモードおよび２カ国語モードが０として記録され、シーンチェンジ検出部１５から入力された情報（Scene_Change[]））については、シーンチェンジであるフレームが１、シーンチェンジではないフレームが０として記録されている。
【００５２】
ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１２(A)に示すように、シーンチェンジを示す信号が１であるフレーム（シーンチェンジ点）毎に区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１２(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。さらに、ＣＭ候補区間検出部１６は、図１２(C)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍であり、且つ、ステレオ区間である区間をＣＭ候補区間と判定し、ＣＭ候補区間においてはスイッチ６への制御信号として１を出力し、ＣＭ候補区間以外においてはスイッチ６への制御信号として０を出力する。
【００５３】
なお、スイッチ６は、この制御信号が１であるときオフとされ、０であるときオンとされるが、スイッチ６には、遅延回路４で１分間だけ遅延されたことにより、ＣＭ候補区間検出部１６からの制御信号に同期している、変調された映像信号および音声信号が変調回路５から入力されているので、スイッチ６の後段には、本編の映像信号および音声信号だけが供給され、ＣＭ候補区間の映像信号および音声信号は供給されない。したがって、磁気テープ８には、テレビジョン放送のうちのＣＭ候補区間を除いた本編だけが記録される。
【００５４】
次に、ＣＭ候補区間検出部１６の他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴ではないが、ＣＭの一般的な傾向（ＣＭにおいてはシーンチェンジが複数回行われる）をＣＭ候補区間の検出条件に追加したものである。
【００５５】
この動作例において、ＣＭ候補区間検出部１６が内蔵するメモリには、図１３に示すように、図１１に示した情報に、無音区間検出部１３の出力である無音区間を示す情報（No_Sound[]）（有音部分は０、無音区間は１）が追加されて記録される。なお、この場合、内蔵されるメモリの容量は、
６０（秒）×３０（フレーム）×３（データ）×１（ビット）
だけ必要となる。
【００５６】
ＣＭ候補区間検出部１６は、内蔵するメモリを参照し、図１４(A)に示すように、無音区間を抽出し、図１４(B)に示すように、シーンチェンジ点を抽出して、図１４(C)に示すように、無音区間におけるシーンチェンジ点毎にシーンチェンジ区間（図１４(C)の場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。
【００５７】
また、ＣＭ候補区間検出部１６は、図１４(D)に示すように、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が１５秒の整数倍となるようにグループ化し、図１４(E)に示すように、音声多重モード信号が１である区間を抽出し、図１４(F)に示すように、１５秒の整数倍にグループ化され、且つ、ステレオ区間である区間（いまの場合、区間ａ乃至ｃ、および区間ｄ，ｅ）をＣＭ候補区間と判定する。さらに、ＣＭ候補区間検出部１６は、図１４(G)に示すように、隣接するＣＭ候補区間の両端のＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ，ｄ，ｅ）におけるシーンチェンジの回数を所定の閾値（例えば、１）と比較して、シーンチェンジの回数が閾値よりも大きいＣＭ候補区間（いまの場合、ＣＭ候補区間ａ，ｃ）をＣＭ区間と判定する。なお、ＣＭ候補区間ａ，ｃに挟まれているＣＭ候補区間ｂもＣＭ区間と判定される。
【００５８】
ＣＭ候補区間検出部１６は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間ではない区間においてはスイッチ６への制御信号として０を出力する。
【００５９】
次に、ＣＭ候補区間検出部１６のさらに他の動作例について説明する。この動作例は、ＣＭが有する絶対的な特徴が変更された場合（例えば、ＣＭの時間が１５秒の整数倍から、１４秒の整数倍に変更された等）、特徴の変更に対応してＣＭ候補区間の判定に用いる基準値を変更するものである。
【００６０】
この動作例において、ＣＭ候補区間検出部１６は、内蔵するメモリ（図１１）を参照し、図１５(A)に示すように、シーンチェンジを示す信号が１であるフレーム毎にシーンチェンジ区間（いまの場合、シーンチェンジ区間０乃至１０）を区切り、各シーンチェンジ区間を構成するフレーム数を３０で除算することにより、その区間の時間を演算する。また、ＣＭ候補区間検出部１６は、図１５(B)に示すように、音声多重モード信号が１である連続するフレームをステレオ区間とする。
【００６１】
ここで、ＣＭ候補区間検出部１６は、ステレオ区間の時間と、そのステレオ区間に隣接するステレオ区間ではない区間の時間を比較し、ステレオ区間の時間が十分に短い場合、そのステレオ区間（例えば、シーンチェンジ区間１乃至４、シーンチェンジ区間８，９）をＣＭ候補区間と判定する。
【００６２】
次に、ＣＭ候補区間検出部１６は、ＣＭ候補区間（シーンチェンジ区間１乃至４）の合計時間が５６秒であることから、ＣＭの時間は７秒単位、１４秒単位、または２８秒単位のいずれかであると判定し、さらに、ＣＭ候補区間検出部１６は、シーンチェンジが１４秒または２８秒の間隔で行われていることから、最終的に、ＣＭの時間が１４秒の整数倍であると判定する。
【００６３】
以上のような結果（ＣＭの時間が１４秒の整数倍であると判定される）が所定の回数以上連続して得られた場合、ＣＭ候補区間検出部１６は、ＣＭの時間は１４秒の整数倍に変更されたと判定して、以後、１４秒の整数倍をＣＭ区間検出の基準値として使用する。
【００６４】
なお、ＣＭが有する絶対的な特徴が変更された場合（上述したようなＣＭ時間の変更や欧米におけるブラックフレーム、ブルーフレーム挿入の廃止等）、変更された絶対的な特徴に対応して変更したＣＭ区間判定用の基準値を、装置外部からＣＭ候補区間検出部１６に供給するようにしてもよい。この場合、ＣＭ候補区間検出部１６においては、ＣＭ区間検出用の基準値をフラッシュメモリのような書き換え可能な記録媒体に格納しておけばよい。
【００６５】
次に、ＣＭ検出回路３の第２の構成例について、図１６を参照して説明する。この構成例は、図２に示した構成例にＣＭブロック検出部２１を追加したものである。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６で検出された単独のＣＭ候補区間のフレーム数を用いて、本編と本編の間に挟まれた複数のＣＭからなるＣＭブロックを検出し、その結果に基づいてスイッチ６へ制御信号を出力する。
【００６６】
この構成例によれば、以下に記述するようなＣＭの特徴を利用してＣＭブロックを検出することができる。すなわち、複数のＣＭが連続して放送される場合、個々のＣＭとしては標準的なフレーム数に対して５フレーム程度の誤差を有しているが、ＣＭブロック（連続する複数のＣＭ）としては、標準的なフレーム数に対する誤差が３フレーム程度である。例えば、１５秒間のＣＭが４本連続して放送される場合、個々のＣＭのフレーム数は、４５０±５（＝１５×３０±５）であるが、ＣＭブロックのフレーム数は、１８００±２０（＝１５×４×３０±５×４）とはならずに、１８００±３となる。
【００６７】
次に、その動作について図１７，図１８を参照して説明する。ＣＭブロック検出部２１は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間（図１７(A)のシーンチェンジ区間１＋２，３，４，８，９）について、そのフレーム数をＣＭ候補区間検出部１６から読み出し、隣接するＣＭ候補区間のフレーム数を合計して、その値が上述した誤差の許容範囲（±３）に収まっているか否かを判定する。ＣＭブロック検出部２１は、合計したフレーム数が誤差の許容範囲に収まっていると判定した場合、その隣接するＣＭ候補区間をＣＭブロックであると判定し、反対に、合計したフレーム数が誤差の許容範囲に収まっていないと判定した場合、その隣接するＣＭ候補区間をＣＭブロックではないと判定する。
【００６８】
いまの場合、図１７(D)に示すように、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）のフレーム数の合計は、１８０３（＝４５３＋４４６＋９０４）であり、標準的なフレーム数１８００（＝６０秒×３０フレーム）に対する誤差（３）は、許容範囲内であるので、隣接するＣＭ候補区間（シーンチェンジ区間１乃至４）は、ＣＭブロックであると判定される。
【００６９】
一方、隣接するＣＭ候補区間（シーンチェンジ区間８，９）のフレーム数の合計は、９１０（＝４５５＋４５５）であり、標準的なフレーム数９００（＝３０秒×３０フレーム）に対する誤差（１０）は、許容範囲外であるので、隣接するＣＭ候補区間（シーンチェンジ区間８，９）は、ＣＭブロックではないと判定される。
【００７０】
図１８(C)に示すようなＣＭ候補区間がＣＭ候補区間検出部１６から入力された場合、ＣＭブロック検出部２１は、上述した図１７の場合と同様に、シーンチェンジ区間１乃至４（ＣＭブロックＡとする）、およびシーンチェンジ区間７乃至１０（ＣＭブロックＢとする）を、ＣＭブロックであると判定する。
【００７１】
さらに、ＣＭブロック検出部２１は、ＣＭブロックＡ，Ｂに挟まれたＣＭ候補区間ではない区間（シーンチェンジ区間５，６）のフレーム数をＣＭ候補区間検出部１６から読み出して、そのフレーム数（いまの場合、１５０）が所定の閾値（例えば、３００フレーム（１０秒））以下である場合、その区間は本編ではなく、ユーザにとってはＣＭと同様なものであると判断して、前後するＣＭブロックＡ，Ｂに包含する。すなわち、ＣＭブロック検出部２１は、図１８(D)に示すように、シーンチェンジ区間１乃至１０を、１つのＣＭブロックであると判定する。
【００７２】
なお、ＣＭブロック検出部２１は、ＣＭブロックにおいてはスイッチ６への制御信号として１を出力し、ＣＭブロック以外においてはスイッチ６への制御信号として０を出力する。
【００７３】
次に、ＣＭ検出回路３の第３の構成例について、図１９を参照して説明する。この構成例は、図２に示した第１の構成例にＣＭ特徴量検出部３１を追加したものである。ＣＭ特徴量検出部３１には、前後する２枚のフレーム画像（映像信号）、デジタル化された音声信号、ＣＭ候補区間検出部１６に内蔵されるメモリに記憶されている情報（図１１）、およびＣＭ候補区間検出部１６が検出したＣＭ候補区間の情報が供給される。ＣＭ特徴量検出部３１は、供給される情報が、ＣＭの様々な特徴を有しているか否かを判定し、その結果に基づいて、ＣＭ区間を検出する。さらに、ＣＭ特徴量検出部３１は、検出結果に対応してスイッチ６に制御信号を出力する。
【００７４】
ＣＭ特徴量検出部３１の動作について、図２０のフローチャートを参照して説明する。この特徴量検出処理は、ＣＭ候補区間検出部１６が検出した各ＣＭ候補区間に対して実行される。
【００７５】
ステップＳ４１において、ＣＭ特徴量検出部３１は、評価値を０に初期化する。ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６から入力されたＣＭ候補区間のシーンチェンジ回数をカウントして、シーンチェンジ回数が所定の閾値（１５秒当たり５回）以上であるか否かを判定し、計測したシーンチェンジ回数が所定の閾値以上であると判定した場合、評価値に１を加算する。反対に、計測したシーンチェンジ回数が所定の閾値以上ではないと判定された場合、評価値への加算は行われない。この処理は、ＣＭにおいては頻繁にシーンチェンジが行われるという、一般的な特徴に基づくものである。
【００７６】
ステップＳ４２において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号の周期性を検出する。この音声信号の周期性検出処理は、ＣＭにおいてはBGMが用いられるという、一般的な特徴に基づくものである。
【００７７】
この音声信号の周期性検出処理について、図２１のフローチャートを参照して説明する。ステップＳ６１において、ＣＭ特徴量検出部３１は、図２２に示すように、A/D変換部１２から入力された音声信号のレベルが所定の閾値以上である点とピークとして検出する（図２２(B)）。ただし、図２２(A)は音声信号をアナログで表示している。
【００７８】
ステップＳ６２において、ＣＭ特徴量検出部３１は、ステップＳ６１で検出したピークが所定の期間（数秒）よりも長く周期性を有しているか否かを判定する。周期性を判定するには、例えば、FFT(Fast Fourier Transform)を用いてもよいし、単にピークの間隔を計測してもよい。検出したピークが所定の期間よりも長く周期性を有していると判定された場合、ステップＳ６３に進む。
【００７９】
ステップＳ６３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８０】
ステップＳ６２において、検出したピークが所定の期間よりも長く周期性を有していないと判定された場合、評価値への加算は行われないので、ステップＳ６３はスキップされる。
【００８１】
図２０のステップＳ４４にリターンする。ステップＳ４４において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の音声信号および映像信号の連続性を検出する。この連続性検出処理について、図２３のフローチャートを参照して説明する。
【００８２】
ステップＳ７１において、ＣＭ特徴量検出部３１は、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続しているか否かを判定する。ピークの周期性の継続時間の計測については、上述したステップＳ４３で得られた情報を利用する。音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していると判定された場合、ステップＳ７２に進む。
【００８３】
ステップＳ７２において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８４】
ステップＳ７３において、ＣＭ特徴量検出部３１は、前後する２枚の画像の対応する画素の画素値の差分を演算し、その差分が所定に閾値以下である画素、すなわち、２枚の画像間で動きがない画素を検出する。ステップＳ７４において、ＣＭ特徴量検出部３１は、ステップＳ７３で検出した画素の画素値のヒストグラムを生成し、その最大値を示す画素値を背景の代表色として検出する。なお、ステップＳ７３，Ｓ７４の処理は、ＣＭ候補区間において、所定の間隔で繰り返し実行される。
【００８５】
ステップＳ７５において、ＣＭ特徴量検出部３１は、ステップＳ７４で検出した複数の背景の代表色を参照し、同じ画素値が連続して背景の代表色として検出されているか否かを判定する。同じ画素値が連続して背景の代表色として検出されていると判定された場合、ステップＳ７６に進む。
【００８６】
ステップＳ７６において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００８７】
なお、ステップＳ７１において、音声信号のピークの周期性が、ＣＭ候補区間の９５％以上の時間よりも長く継続していないと判定された場合、評価値に加算を行わないので、ステップＳ７２はスキップされる。
【００８８】
また、ステップＳ７５において、同じ画素値が連続して背景の代表色として検出されていないと判定された場合、評価値への加算は行われないので、ステップＳ７６はスキップされる。
【００８９】
図２０のステップＳ４５にリターンする。ステップＳ４５において、ＣＭ特徴量検出部３１は、画像の再現性を検出する。この再現性検出処理は、例えば、１５秒間のケチャップのＣＭが、緑色の森のシーン（３秒）、青色の空のシーン（２秒）、緑色の森のシーン（２秒）、赤色のケチャップのシーン（３秒）、緑色の森のシーン（２秒）、および、赤色のケチャップのシーン（３秒）で構成されるように、ＣＭにおいては、同じ画像が再現されるという、一般的な特徴に基づくものである。
【００９０】
この画像の再現性検出処理について、図２４のフローチャートを参照して説明する。ステップＳ８１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をシーンチェンジ点で区分する。ステップＳ８２において、ＣＭ特徴量検出部３１は、ステップＳ８１で区分した各シーンの画素値のヒストグラムを１６階調で生成し、最大値を示す画素値を、そのシーンの代表色として検出する。
【００９１】
ステップＳ８３において、ＣＭ特徴量検出部３１は、ＣＭ候補区間において、シーンの代表色が再現されているか（異なるシーンで同じ代表色が検出されているか）否かを判定する。シーンの代表色が再現されていると判定された場合、ステップＳ８４に進む。
【００９２】
ステップＳ８４において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【００９３】
なお、ステップＳ８３において、シーンの代表色が再現されていないと判定された場合、評価値への加算は行われないので、ステップＳ８４はスキップされる。
【００９４】
図２０のステップＳ４６にリターンする。ステップＳ４６において、ＣＭ特徴量検出部３１は、図２６(A)に示すようなテロップ（字幕）を検出する。このテロップ検出処理は、ＣＭの終了時にはテロップが表示するという、一般的な特徴に基づくものである。
【００９５】
このテロップ検出処理について、図２５のフローチャートを参照して説明する。ステップＳ９１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の終了側の所定の時間（例えば、５秒間）の各フレーム画像において、図２６(B)に示すように、等しい画素値をもち、且つ、所定の数よりも多く隣接している画素を検出する。
【００９６】
ステップＳ９２において、ＣＭ特徴量検出部３１は、図２６(C)に示すように、ステップＳ９１で検出した画素と等しい画素値をもつ画素を検索して領域化する。
【００９７】
ステップＳ９３において、ＣＭ特徴量検出部３１は、ステップＳ９２で得られた領域が時間方向に連続しているか（前後するフレームにも同じ領域が存在するか）否かを判定する。領域が時間方向に連続していると判定された場合、ステップＳ９４に進む。
【００９８】
ステップＳ９４において、ＣＭ特徴量検出部３１は、画像上の全ての領域の重心を検出し、その重心と領域上の各点との距離の平均値を演算して、さらに、その平均値と所定の閾値とを比較することにより、領域が密集しているか否かを判定する。領域が密集していると判定された場合、ステップＳ９５に進む。
【００９９】
ステップＳ９５において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【０１００】
なお、ステップＳ９３において、領域が時間方向に連続していないと判定された場合、評価値への加算は行われないので、ステップＳ９５はスキップされる。
【０１０１】
図２０のステップＳ４７に戻る。ステップＳ４７において、ＣＭ特徴量検出部３１は、上述したテロップ検出処理と同様に方法を用いて、ＣＭ候補区間の開始から終了までの全区間において、画像上に文字（テロップを含む）が所定の時間よりも長く存在するか否かを判定する。画像上に文字が所定の時間よりも長く存在すると判定された場合、評価値に１が加算される。反対に、画像上に文字が所定の時間よりも長く存在しないと判定された場合、評価値への加算は行われない。なお、この処理は、ＣＭにおいては文字が表示されるという、一般的な特徴に基づくものである。
【０１０２】
ステップＳ４８において、ＣＭ特徴量検出部３１は、ＣＭ候補区間の開始点および終了点以外の無音区間の割合を検出する。この無音率検出処理は、ＣＭにおいては無音区間が少ないという、一般的な特徴に基づくものである。無音率検出処理について、図２７のフローチャートを参照して説明する。
【０１０３】
ステップＳ１０１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間検出部１６に内蔵されているメモリに記憶されている情報（図１１）を読み出して、図２８に示すように、ＣＭ候補区間の開始点および終了点以外の無音区間のフレーム数を検出する。さらに、ＣＭ特徴量検出部３１は、江検出した無音区間のフレーム数を、ＣＭ候補区間を構成する全フレーム数で除算することにより、無音率を演算する。
【０１０４】
ステップＳ１０２において、ＣＭ特徴量検出部３１は、ステップＳ１０１で演算した無音率が所定の閾値よりも小さいか否かを判定する。無音率が所定の閾値よりも小さいと判定された場合、ステップＳ１０３に進む。
【０１０５】
ステップＳ１０３において、ＣＭ特徴量検出部３１は、評価値に１を加算する。
【０１０６】
なお、ステップＳ１０２において、無音率が所定の閾値よりも小さくないと判定された場合、評価値への加算は行われないので、ステップＳ１０３はスキップされる。
【０１０７】
図２０のステップＳ４９にリターンする。ステップＳ４９において、ＣＭ特徴量検出部３１は、評価値が所定の閾値よりも大きいか否かを判定し、評価値が所定の閾値よりも大きいと判定した場合、ステップＳ５０に進む。ステップＳ５０において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間であると判定する。
【０１０８】
なお、ステップＳ４９において、評価値が所定の閾値よりも大きくないと判定された場合、ステップＳ５１に進む。ステップＳ５１において、ＣＭ特徴量検出部３１は、ＣＭ候補区間をＣＭ区間ではないと判定する。
【０１０９】
この判定結果に対応して、ＣＭ特徴量検出部３１は、ＣＭ区間においてはスイッチ６への制御信号として１を出力し、ＣＭ区間以外においてはスイッチ６への制御信号として０を出力する。
【０１１０】
以上のように、本実施の形態であるVCR（図１）においては、テレビジョン放送のうちの本編だけが磁気テープ８に録画され、ＣＭは録画されない。したがって、この磁気テープ８を再生した場合、本編だけが連続して表示される。
【０１１１】
ところで、ＣＭを再生時には早送りするものの、録画はしておきたいというユーザのニーズが存在するので、そのようなニーズに対応する、本発明を適用したVCRの第２の構成例について、図２９を参照して説明する。この構成例は、図１に示した構成例からスイッチ６を削除し、ＣＭ検出回路３のＣＭ検出結果を書き込み回路７に供給するようにしたものである。
【０１１２】
この構成例の記録系において、書き込み回路７は、変調回路５から入力される全て（テレビジョン放送の本編とＣＭ）の映像信号と音声信号を磁気テープ８に記録とともに、ＣＭ検出回路３からの情報に基づいて、磁気テープ８の所定の位置に、ＣＭの関する情報（ＣＭの時間的な位置等）を記録する。
【０１１３】
再生系において、読み取り回路９は、ユーザから本編だけを再生するコマンド（ＣＭを除去するコマンド）が入力された場合、磁気テープ９の所定の位置に記録されているＣＭに関する情報に基づいてＣＭを除去（早送り等）し、本編だけを復調して図示せぬモニタに供給する。
【０１１４】
なお、本発明の適用は、VCRに限定されるものではなく、テレビジョン受像機やチューナ等に適用することが可能である。
【０１１５】
また、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１１６】
【発明の効果】
以上のように、請求項１に記載の情報処理装置、請求項２に記載の情報処理方法、および請求項３に記載の記録媒体によれば、テレビジョン信号に含まれるＣＭを確実に検出することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したVCRの第１の構成例を示すブロック図である。
【図２】図１のＣＭ検出回路３の第１の構成例を示すブロック図である。
【図３】ＣＭ検出回路３の動作を説明するフローチャートである。
【図４】図２の無音閾値決定部１１の処理を説明するフローチャートである。
【図５】図２の無音閾値決定部１１の動作を説明するための図である。
【図６】図２の無音閾値決定部１１の動作を説明するための図である。
【図７】図２の無音閾値決定部１１の動作を説明するための図である。
【図８】図３のステップＳ２の無音区間検出処理を説明するフローチャートである。
【図９】図３のステップＳ３のシーンチェンジ検出処理を説明するフローチャートである。
【図１０】シーンチェンジ検出処理を説明するための図である。
【図１１】ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。
【図１２】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１３】ＣＭ候補区間検出部１６に内蔵されるメモリに記録されている情報を説明するための図である。
【図１４】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１５】ＣＭ候補区間検出部１６の処理を説明するための図である。
【図１６】図１のＣＭ検出回路３の第２の構成例を示すブロック図である。
【図１７】図１６のＣＭブロック検出部２１の処理を説明するための図である。
【図１８】図１６のＣＭブロック検出部２１の処理を説明するための図である。
【図１９】図１のＣＭ検出回路３の第３の構成例を示すブロック図である。
【図２０】図１９のＣＭ特徴量検出部３１の動作を説明するフローチャートである。
【図２１】図２０のステップＳ４３の音声信号の周期性検出処理を説明するフローチャートである。
【図２２】音声信号の周期性検出処理を説明するための図である。
【図２３】図２０のステップＳ４４の連続性検出処理を説明するフローチャートである。
【図２４】図２０のステップＳ４５の再現性検出処理を説明するフローチャートである。
【図２５】図２０のステップＳ４６のテロップ検出処理を説明するフローチャートである。
【図２６】テロップ転出処理を説明するための図である。
【図２７】図２０のステップＳ４８の無音率検出処理を説明するフローチャートである。
【図２８】無音率検出処理を説明するための図である。
【図２９】本発明を適用したVCRの第２の構成例を示すブロック図である。
【符号の説明】
２ チューナ， ３ ＣＭ検出回路， ４ 遅延回路， ５ 変調回路， ６スイッチ， ７ 書き込み回路， ８ 磁気テープ， ９ 読み取り回路， １１ 無音閾値決定部， １２ A/D変換部， １３ 無音区間検出部， １４遅延部， １５ シーンチェンジ検出部， １６ ＣＭ候補区間検出部， ２１ ＣＭブロック検出部， ３１ ＣＭ特徴量検出部
Claims (3)
- テレビジョン信号に含まれるコマーシャルを検出する情報処理装置において、
前記テレビジョン信号の無音区間を検出する無音区間検出手段と、
前記テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出手段と、
前記無音区間検出手段により検出された無音区間において前記シーンチェンジ検出手段により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出手段と、
隣接する複数の前記コマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数の前記コマーシャル候補区間をコマーシャルブロックとするコマーシャルブロック生成手段と
を備え、
前記コマーシャルブロック生成手段は、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含する
ことを特徴とする情報処理装置。 - テレビジョン信号に含まれるコマーシャルを検出する情報処理装置の情報処理方法において、
前記テレビジョン信号の無音区間を検出する無音区間検出ステップと、
前記テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記無音区間検出ステップの処理により検出された無音区間において前記シーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、
隣接する複数の前記コマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数の前記コマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップと
を含むことを特徴とする情報処理方法。 - テレビジョン信号に含まれるコマーシャルを検出する情報処理装置に、
前記テレビジョン信号の無音区間を検出する無音区間検出ステップと、
前記テレビジョン信号のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記無音区間検出ステップの処理により検出された無音区間において前記シーンチェンジ検出ステップの処理により検出されたシーンチェンジ点により区切られる区間であるシーンチェンジ区間を対象とし、単独のシーンチェンジ区間の時間、または隣接する複数のシーンチェンジ区間の合計時間が所定時間の整数倍であり、且つ、音声多重モードがステレオであるフレームからなる区間を、コマーシャルブロックとされる前の候補の区間であるコマーシャル候補区間として検出するコマーシャル候補区間検出ステップと、
隣接する複数の前記コマーシャル候補区間のフレーム数の合計の、コマーシャルの標準的なフレーム数に対する誤差が所定範囲内である場合、該複数の前記コマーシャル候補区間をコマーシャルブロックとし、２つのコマーシャルブロック間の非コマーシャル候補区間の長さが所定範囲内である場合、該非コマーシャル候補区間を前記２つのコマーシャルブロックに包含するコマーシャルブロック生成ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムを記録したことを特徴とする記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33927498A JP4178629B2 (ja) | 1998-11-30 | 1998-11-30 | 情報処理装置および方法、並びに記録媒体 |
| US09/448,836 US6937658B1 (en) | 1998-11-30 | 1999-11-23 | Information processing apparatus, information processing method, and distribution media |
| US11/136,356 US7620105B2 (en) | 1998-11-30 | 2005-05-25 | Information processing apparatus, information processing method, and distribution media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33927498A JP4178629B2 (ja) | 1998-11-30 | 1998-11-30 | 情報処理装置および方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008058399A Division JP4752855B2 (ja) | 2008-03-07 | 2008-03-07 | 情報処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000165807A JP2000165807A (ja) | 2000-06-16 |
| JP4178629B2 true JP4178629B2 (ja) | 2008-11-12 |
Family
ID=18325909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33927498A Expired - Lifetime JP4178629B2 (ja) | 1998-11-30 | 1998-11-30 | 情報処理装置および方法、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6937658B1 (ja) |
| JP (1) | JP4178629B2 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4178629B2 (ja) * | 1998-11-30 | 2008-11-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| US6993245B1 (en) | 1999-11-18 | 2006-01-31 | Vulcan Patents Llc | Iterative, maximally probable, batch-mode commercial detection for audiovisual content |
| US20020062481A1 (en) | 2000-02-25 | 2002-05-23 | Malcolm Slaney | Method and system for selecting advertisements |
| DE10028623A1 (de) * | 2000-06-09 | 2001-12-20 | Clemente Spehr | Übertragungsmedien-Manipulationsverfahren und -vorrichtung zur Manipulation der Effizienz eines Verfahrens zur Unterdrückung unerwünschter Übertragungsblöcke |
| DE60134192D1 (de) * | 2000-06-26 | 2008-07-10 | Matsushita Electric Industrial Co Ltd | Gerät und Verfahren zur digitalen Videoaufzeichnung |
| US6714594B2 (en) * | 2001-05-14 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video content detection method and system leveraging data-compression constructs |
| US8155498B2 (en) * | 2002-04-26 | 2012-04-10 | The Directv Group, Inc. | System and method for indexing commercials in a video presentation |
| CN1543096A (zh) * | 2003-04-30 | 2004-11-03 | ���µ�����ҵ��ʽ���� | 自动检测电视广告的装置及其方法 |
| US7298962B2 (en) * | 2003-05-12 | 2007-11-20 | Macrovision Corporation | Method and apparatus for reducing and restoring the effectiveness of a commercial skip system |
| US20050111832A1 (en) * | 2003-10-08 | 2005-05-26 | Osamu Okauchi | Data processing apparatus for controlling video recording and video quality |
| JP2005210707A (ja) * | 2003-12-26 | 2005-08-04 | Sharp Corp | 表示装置、テレビジョン受信機、画像表示制御方法及び画像表示制御処理プログラム |
| DE102004014624A1 (de) * | 2004-03-25 | 2005-10-13 | Daimlerchrysler Ag | Lokales Übertragungssystem für ein Verkehrsmittel |
| JP4675884B2 (ja) * | 2004-04-06 | 2011-04-27 | パナソニック株式会社 | 特定番組検出装置及び方法並びにプログラム |
| JPWO2007013407A1 (ja) * | 2005-07-27 | 2009-02-05 | パナソニック株式会社 | ダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いる集積回路 |
| JP2007067522A (ja) * | 2005-08-29 | 2007-03-15 | Toshiba Corp | 情報編集装置、情報編集方法、及び情報編集プログラム |
| US8321466B2 (en) | 2005-12-22 | 2012-11-27 | Universal Electronics Inc. | System and method for creating and utilizing metadata regarding the structure of program content stored on a DVR |
| US8868614B2 (en) * | 2005-12-22 | 2014-10-21 | Universal Electronics Inc. | System and method for creating and utilizing metadata regarding the structure of program content |
| JP2007201759A (ja) * | 2006-01-26 | 2007-08-09 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP4719604B2 (ja) * | 2006-03-29 | 2011-07-06 | エヌ・ティ・ティ アイティ株式会社 | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 |
| US7940833B2 (en) * | 2006-06-21 | 2011-05-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Transmitter with intelligent preconditioning of amplifier signal |
| US20080055467A1 (en) * | 2006-09-03 | 2008-03-06 | Wei-Hung Huang | Method for detecting a program deviation period during a television broadcast |
| JP4611952B2 (ja) * | 2006-09-26 | 2011-01-12 | 株式会社日立製作所 | 番組録画装置及びコマーシャル検出方法 |
| JP4336364B2 (ja) * | 2006-11-17 | 2009-09-30 | 三菱電機株式会社 | テレビジョン受像機 |
| KR100897496B1 (ko) * | 2007-02-20 | 2009-05-15 | 주식회사 휴맥스 | 방송 프로그램을 예약 녹화하는 디지털 방송 수신기 및 그 방법 |
| JP4909165B2 (ja) * | 2007-04-24 | 2012-04-04 | ルネサスエレクトロニクス株式会社 | シーン変化検出装置、符号化装置及びシーン変化検出方法 |
| US20110038546A1 (en) * | 2007-05-08 | 2011-02-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for detecting an inserted segment into a video data stream |
| JP5277582B2 (ja) * | 2007-07-31 | 2013-08-28 | 富士通モバイルコミュニケーションズ株式会社 | 放送受信装置 |
| JP5003389B2 (ja) * | 2007-09-28 | 2012-08-15 | ソニー株式会社 | 電子機器および電子機器における制御方法 |
| US20090320060A1 (en) * | 2008-06-23 | 2009-12-24 | Microsoft Corporation | Advertisement signature tracking |
| US8209713B1 (en) | 2008-07-11 | 2012-06-26 | The Directv Group, Inc. | Television advertisement monitoring system |
| US8451907B2 (en) * | 2008-09-02 | 2013-05-28 | At&T Intellectual Property I, L.P. | Methods and apparatus to detect transport faults in media presentation systems |
| JP4427600B1 (ja) * | 2008-11-28 | 2010-03-10 | 株式会社東芝 | 映像解析装置およびプログラム |
| US8925024B2 (en) * | 2009-12-31 | 2014-12-30 | The Nielsen Company (Us), Llc | Methods and apparatus to detect commercial advertisements associated with media presentations |
| AU2013203872B2 (en) * | 2009-12-31 | 2016-03-03 | The Nielsen Company (Us), Llc | Methods and apparatus to detect commercial advertisements in television transmissions |
| GB201003403D0 (en) * | 2010-03-02 | 2010-04-14 | Christian Patrick | Video and/or audio data processing system |
| CN102209213B (zh) * | 2010-03-29 | 2015-07-29 | 联想(北京)有限公司 | 播放设备和播放方法 |
| WO2013125488A1 (ja) * | 2012-02-22 | 2013-08-29 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
| CN110110982A (zh) * | 2019-04-26 | 2019-08-09 | 特赞（上海）信息科技有限公司 | 创意素材的审查方法及装置 |
| CN115471872B (zh) * | 2022-09-23 | 2026-01-02 | 浙江大华技术股份有限公司 | 散发广告的行为检测方法、装置、电子设备和存储介质 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2884189A (en) | 1988-01-26 | 1989-07-27 | Integrated Circuit Technologies Ltd. | Method and apparatus for identifying and eliminating specific material from video signals |
| US5371795A (en) * | 1988-05-04 | 1994-12-06 | Right Hemisphere Pty., Ltd. | Automatic censorship of video programs |
| US6493878B1 (en) * | 1988-10-17 | 2002-12-10 | Lord Samuel A Kassatly | Method and apparatus for tv broadcasting and reception |
| US5455630A (en) | 1993-08-06 | 1995-10-03 | Arthur D. Little Enterprises, Inc. | Method and apparatus for inserting digital data in a blanking interval of an RF modulated video signal |
| US5999688A (en) * | 1993-01-08 | 1999-12-07 | Srt, Inc. | Method and apparatus for controlling a video player to automatically locate a segment of a recorded program |
| US5987210A (en) * | 1993-01-08 | 1999-11-16 | Srt, Inc. | Method and apparatus for eliminating television commercial messages |
| US5692093A (en) | 1993-01-08 | 1997-11-25 | Srt, Inc. | Method and apparatus for eliminating television commercial messages |
| US5696866A (en) | 1993-01-08 | 1997-12-09 | Srt, Inc. | Method and apparatus for eliminating television commercial messages |
| US5333091B2 (en) | 1993-01-08 | 1996-12-17 | Arthur D Little Enterprises | Method and apparatus for controlling a videotape player to automatically scan past recorded commercial messages |
| US5748263A (en) * | 1995-03-07 | 1998-05-05 | Ball; Bradley E. | System for automatically producing infrared control signals |
| DE69637514D1 (de) * | 1995-03-30 | 2008-06-19 | Thomson Licensing | Verfahren und Anordnung zur Klassifizierung von Videosignalen |
| US6002831A (en) * | 1995-05-16 | 1999-12-14 | Hitachi, Ltd. | Image recording/reproducing apparatus |
| JP3098170B2 (ja) | 1995-05-16 | 2000-10-16 | 株式会社日立製作所 | 記録再生装置，記録再生方法及びコマーシャル判別装置 |
| JP3407840B2 (ja) | 1996-02-13 | 2003-05-19 | 日本電信電話株式会社 | 映像要約方法 |
| US6160950A (en) * | 1996-07-18 | 2000-12-12 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for automatically generating a digest of a program |
| US6002443A (en) * | 1996-11-01 | 1999-12-14 | Iggulden; Jerry | Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time |
| US5999689A (en) * | 1996-11-01 | 1999-12-07 | Iggulden; Jerry | Method and apparatus for controlling a videotape recorder in real-time to automatically identify and selectively skip segments of a television broadcast signal during recording of the television signal |
| JPH10224724A (ja) * | 1997-02-04 | 1998-08-21 | Sony Corp | テレビジョン信号記録装置及び方法並びにテレビジョン信号再生装置及び方法並びにテレビジョン信号記録再生装置並びに記録媒体 |
| JPH10224722A (ja) | 1997-02-07 | 1998-08-21 | Sony Corp | コマーシャル検出装置及び検出方法 |
| US6137544A (en) * | 1997-06-02 | 2000-10-24 | Philips Electronics North America Corporation | Significant scene detection and frame filtering for a visual indexing system |
| AUPP340798A0 (en) * | 1998-05-07 | 1998-05-28 | Canon Kabushiki Kaisha | Automated video interpretation system |
| US6100941A (en) * | 1998-07-28 | 2000-08-08 | U.S. Philips Corporation | Apparatus and method for locating a commercial disposed within a video data stream |
| JP2000165806A (ja) | 1998-11-30 | 2000-06-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| JP4026100B2 (ja) | 1998-11-30 | 2007-12-26 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| JP4178629B2 (ja) * | 1998-11-30 | 2008-11-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| US6469749B1 (en) * | 1999-10-13 | 2002-10-22 | Koninklijke Philips Electronics N.V. | Automatic signature-based spotting, learning and extracting of commercials and other video content |
-
1998
- 1998-11-30 JP JP33927498A patent/JP4178629B2/ja not_active Expired - Lifetime
-
1999
- 1999-11-23 US US09/448,836 patent/US6937658B1/en not_active Expired - Lifetime
-
2005
- 2005-05-25 US US11/136,356 patent/US7620105B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6937658B1 (en) | 2005-08-30 |
| US7620105B2 (en) | 2009-11-17 |
| JP2000165807A (ja) | 2000-06-16 |
| US20050223403A1 (en) | 2005-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4026100B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| US6459735B1 (en) | Information processing apparatus, information processing method, and distribution media | |
| JP2000165807A (ja) | 情報処理装置および方法、並びに提供媒体 | |
| KR100519866B1 (ko) | 광고방송검출장치및광고방송검출방법 | |
| KR100563746B1 (ko) | Tv신호기록방법및장치,tv신호재생방법및장치,tv신호기록재생장치,및기록매체 | |
| US7742680B2 (en) | Apparatus and method for processing signals | |
| EP1906661A2 (en) | Picture recorder and commercial message detection method | |
| JP2008277967A (ja) | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| KR100763685B1 (ko) | 방송 신호 기록 재생 장치 및 방법과 기록 매체 | |
| JP2000165798A (ja) | 情報処理装置および方法、並びに提供媒体 | |
| JP4752855B2 (ja) | 情報処理装置および方法 | |
| CN101799823A (zh) | 内容处理设备和方法 | |
| US8306392B2 (en) | Audio-video recording device | |
| JPH09284706A (ja) | 信号処理方法及び装置 | |
| JP4000623B2 (ja) | 映像信号記録装置及び映像信号記録方法 | |
| JP4158250B2 (ja) | 情報記録再生装置および方法、並びに提供媒体 | |
| US20090269029A1 (en) | Recording/reproducing device | |
| JP2000165797A (ja) | 情報処理装置および方法、並びに提供媒体 | |
| US20050100314A1 (en) | Method of recording and reproducing video and audio stream | |
| KR20050054937A (ko) | 시청각 데이터 스트림을 메모리에 저장하는 방법 | |
| JP3321804B2 (ja) | 記録および再生装置 | |
| KR970011829B1 (ko) | 광디스크플레이어와 vcr(video cassette recorder)의 복합제품에서의 비스자동삽입장치 | |
| KR20050068688A (ko) | 요약 재생을 위한 비디오 비트스트림의 기록 및 재생방법과 이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
| GB2424747A (en) | Method of recording and reproducing video and audio stream | |
| MXPA99001516A (en) | Method and apparatus for eliminating television commercial messages |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080402 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |