JP2004201010A - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2004201010A JP2004201010A JP2002366893A JP2002366893A JP2004201010A JP 2004201010 A JP2004201010 A JP 2004201010A JP 2002366893 A JP2002366893 A JP 2002366893A JP 2002366893 A JP2002366893 A JP 2002366893A JP 2004201010 A JP2004201010 A JP 2004201010A
- Authority
- JP
- Japan
- Prior art keywords
- field
- block
- image
- similarity
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】２−３プルダウン素材に字幕画像が合成された素材について、フィールド画像が２−３プルダウンによる繰り返しフィールドであるか否かを正確に検出する。
【解決手段】画面分割部２０で入力画像を複数のブロックに分割し、特徴量算出部２１Ａ〜２１ｎでブロック毎に特徴量を求める。特徴量は、例えば２フィールド前の対応ブロックとの間の画素値の差分絶対値和である。判定部２３Ａ〜２３ｎで、ブロック毎の特徴量を閾値判定する。繰り返しフィールド総合判定部２４は、判定部２３Ａ〜２３ｎの判定結果が１ブロックでも閾値を超えていたら、そのフィールドが繰り返しフィールドではないと判定する。入力画像が複数領域に分割され、小さい面積を繰り返しフィールドの検出単位としているので、検出単位当たりの字幕の占める割合が相対的に大きくなり、繰り返しフィールドであるか否かをより正確に検出できる。
【選択図】 図１
【解決手段】画面分割部２０で入力画像を複数のブロックに分割し、特徴量算出部２１Ａ〜２１ｎでブロック毎に特徴量を求める。特徴量は、例えば２フィールド前の対応ブロックとの間の画素値の差分絶対値和である。判定部２３Ａ〜２３ｎで、ブロック毎の特徴量を閾値判定する。繰り返しフィールド総合判定部２４は、判定部２３Ａ〜２３ｎの判定結果が１ブロックでも閾値を超えていたら、そのフィールドが繰り返しフィールドではないと判定する。入力画像が複数領域に分割され、小さい面積を繰り返しフィールドの検出単位としているので、検出単位当たりの字幕の占める割合が相対的に大きくなり、繰り返しフィールドであるか否かをより正確に検出できる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
この発明は、２−３プルダウン処理して２４フレーム／１秒の画像を３０フレーム／１秒の画像に変換した後に３０フレーム／１秒の画像からなる字幕などが合成された画像を適切に符号化する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
映画などで使用される、光学フィルム上に素材が記録されたフィルム素材が２４コマ／秒の画像である一方、ビデオ信号、例えばＮＴＳＣ方式によるビデオ信号は、３０フレーム／秒からなる画像である。したがって、フィルム素材をビデオ信号に変換するためには、２４コマ／秒の画像から３０フレーム／秒の画像を生成する処理が必要となる。このような処理は、オリジナルのフィルム素材における２コマの画像を、所定の変換パターンで３個のフィールドに変換する処理を含むことから、２−３プルダウンと称される。
【０００３】
２−３プルダウンでは、図８に示されるように、ビデオ信号において１フレームおきにフィールドの繰り返しを発生させることにより、２４コマ／秒の画像から３０フレーム／１秒の画像を発生させる。すなわち、図８Ａに示されるフィルム素材における第１コマから、図８Ｂに示されるビデオ信号における第１フレームのトップおよびボトムフィールドの画像が発生されると共に、第１フレームのトップフィールドの画像が第２フレームのトップフィールドに繰り返して用いられる。同様に、フィルム素材における第３コマから、ビデオ信号における第３フレームのボトムフィールドが発生されると共に、第４フレームのトップおよびボトムフィールドが発生され、第３フレームのボトムフィールドの画像が第４フレームのボトムフィールドに繰り返して用いられる。
【０００４】
以下では、２−３プルダウンにおいて繰り返して用いられたフィールドを、繰り返しフィールドと称する。この繰り返しフィールドは、フィルム素材による２４コマ／秒の画像に対してフレーム数を増やすために挿入されるフィールドである。
【０００５】
このような２−３プルダウンを行いフィルム素材をビデオ画像に変換する装置として、テレシネ(Telecine)装置が知られている。なお、以下では、２−３プルダウンにより生成された、３０フレーム／秒の画像を、２−３プルダウン素材と称する。
【０００６】
なお、８図、ならびに、後述する図９、図１０および図１１において、「●（黒丸）」および「○（白丸）」は、ビデオ信号のフィールドを示し、枠で囲まれたフィールドは、同一の画像（フィルム素材の１コマ）からなることを示す。また、横軸が時系列を示す。
【０００７】
このような２−３プルダウン素材を圧縮符号化する場合、上述した繰り返しフィールドの情報が冗長であるため、繰り返しフィールドを除去するように圧縮符号化を行って圧縮効率の向上を図る。例えば、図９Ａに示されるように、繰り返しフィールド（矢印で示す）を意識せずに、１フレームがトップおよびボトムフィールドの２フィールドで構成されるものとして圧縮符号化を行うと、繰り返しフィールドにおいて、全く同一の画像からなるフィールドに対して重複して符号化を行うことになる。
【０００８】
これに対して、図９Ｂに一例が示されるように、１コマが繰り返しフィールドを含む３フィールドから構成されていることを考慮して、繰り返しフィールドについては符号化せずに、そのフィールドが繰り返しフィールドであることを示す識別フラグを立てるのみとする方法がある。この方法では、復号化および復号化された画像の表示の際には、この識別フラグにより繰り返しフィールドであることを認識し、符号化されている例えばトップフィールドを繰り返しフィールドの表示に用いる。これにより、符号量を有効に消費することができる。
【０００９】
例えば、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)勧告、Ｈ．２６２｜ＩＳＯ／ＩＥＣ１３８１８−２(International Organization for Standarization/International Electrotechnical Commission 13818-2)では、映像ストリームに対して、この繰り返しフィールドであることを示す識別フラグを伝送する方法が定義されている。
【００１０】
この、繰り返しフィールドを考慮した符号化による圧縮効率の向上について、より具体的な例を用いて説明する。２−３プルダウン素材の符号化制御手法の例として、ＭＰＥＧ２(Moving Pictures Experts Group 2)のＴＭ５(Test Model 5)を用い、ビデオ信号の方式がＮＴＳＣ方式であって、１ＧＯＰ(Group Of Picture)が１５フレームの場合を例にとって説明する。
【００１１】
なお、ＧＯＰは、画面内だけで閉じた情報による符号化画面（フレーム内符号化画面）が少なくとも１枚含まれる画面群構造であって、ＭＰＥＧストリームにおけるランダムアクセスの単位とされる。
【００１２】
ＭＰＥＧ２のＴＭ５では、１ＧＯＰ分の使用可能総符号量を、ピクチャタイプや絵柄の複雑さに応じて配分していく。１ＧＯＰ分の使用可能総符号量は、符号化ビットレートを１秒当たりのフィールド数（ＮＴＳＣ方式の場合は、６０フィールド）で除したフィールドビットに、１ＧＯＰのフィールド数を乗じて求められる。したがって、１ＧＯＰの使用可能総符号量は、図９Ａの場合には３０フィールドであり、図９Ｂの場合には、繰り返しフィールドが符号量として計上されないため符号化ビットレートがより高い値となり、１ＧＯＰの使用可能総符号量は、３７または３８フィールドである（１ＧＯＰの使用可能総符号量が３７フィールドのＧＯＰと３８フィールドのＧＯＰとが交互に出現する）。このように、図９Ｂの例の方がより多くの符号量を１５フレームに割り当てられることになり、圧縮効率が向上していることがわかる。
【００１３】
上述したようにして、２−３プルダウン素材を効率よく符号化するためには、符号化の際に、２−３プルダウン素材の繰り返しフィールドを検出することが必要である。
【００１４】
従来技術による繰り返しフィールドの検出方法について、概略的に説明する。従来では、検出の対象とする２枚のフィールド間の特徴量として、各画素の画素値の２フィールド間での差分の絶対値をフィールドで合計した、差分絶対値和を求め、この差分絶対値和が閾値以下であれば、その２枚のフィールドが同一のフィールド、すなわち、繰り返しフィールドと判断する方法が一般的に行われていた。
【００１５】
例えば、図１０に一例が示されるような２−３プルダウン素材が入力された場合、フィールド１００および１０２は、元来、フィルム素材において同一のコマから発生された画像であるため、フィールド１００および１０２による差分絶対値和は、０または０に近い値となる。一方、フィールド１０１および１０３や、フィールド１０２および１０４は、元来、フィルム素材において異なるコマから発生された画像であるため、フィールド１０１および１０３やフィールド１０２および１０４による差分絶対値和は、ある程度大きな値となることが期待される。
【００１６】
なお、実際には、例えば２−３プルダウン素材ではなく単に静止画像が入力された場合にも、繰り返しフィールドであると判断されてしまう。そのため、２−３プルダウン素材か否かの判断のためには、繰り返しフィールドの検出に加え、さらに、この繰り返しフィールドが出現するパターンを検出するなどの工夫がなされている。特許文献１には、このような、繰り返しフィールドが出現するパターンを検出するようにされたビデオデータ処理装置が記載されている。
【００１７】
【特許文献１】
国際公開第ＷＯ００／１３４１８号パンフレット
【００１８】
【発明が解決しようとする課題】
ところで、２−３プルダウン素材は、一般的に映画素材が多く、２−３プルダウンされた素材に後から字幕画像を合成した素材が存在する。例えば、上述のテレシネ装置で２−３プルダウンされた２−３プルダウン素材に対して字幕が合成され、この字幕が合成された素材が放送局などに持ち込まれる。
【００１９】
２−３プルダウン素材に字幕画像を合成する場合、２４コマ／秒の画像から３０フレーム／１秒の画像に変換された映像素材に対して字幕が合成されるため、繰り返しフィールドの検出を誤ると、字幕の表示および表示された字幕を消すタイミングによっては、一旦消された字幕が、字幕が消されたタイミングから１フィールドおいて１フィールドだけ表示されるという、表示上の問題が発生することがあった。
【００２０】
この２−３プルダウン素材における字幕表示の問題について、図１１を用いてより詳細に説明する。図１１Ａに一例が示されプルダウン素材は、フィールド１１２がフィールド１１０に対する繰り返しフィールドである。したがって、この２−３プルダウン素材を符号化する場合には、フィールド１１２は、識別フラグのみが立てられ、復号時には、フィールド１１２の表示タイミングでフィールド１１０の画像が表示されることになる。
【００２１】
ここで、図１１Ａの２−３プルダウン素材に対して図１１Ｂの字幕画像を合成することを考える。この図１１Ｂの例では、字幕画像は、フレーム単位の画像であって、ボトムフィールド１１０’が含まれるフレームまで字幕が入り、トップフィールド１１１’およびボトムフィールド１１２’からなるフレームから、字幕が消される。
【００２２】
そのため、２−３プルダウン素材に対する字幕画像の合成を経た後の画像は、元の２−３プルダウン素材におけるフィールド１１０および１１２に対応する画像のうち、フィールド１１０に対応する画像には合成後に字幕が入り、フィールド１１２に対応する画像には合成後に字幕が入らないことになる。したがって、これらフィールド１１０および１１２は、字幕の合成後には互いに異なる画像となり、フィールド１１２をフィールド１１０に対する繰り返し画像として扱ってはならないことになる。
【００２３】
ここで、若し、フィールド１１２をフィールド１１０に対する繰り返しフィールドと判定し、２−３プルダウン素材におけるフィールド１１２に対応する字幕合成後のフィールドを冗長なフィールドとして除去して符号化を行う場合について考える。符号化がこのようになされた場合、復号時には、フィールド１１０とフィールド１１０’とが合成された合成フィールドを、フィールド１１０に対する繰り返しフィールドであるフィールド１１２のタイミング、すなわち、次フレームのボトムフィールドのタイミングで繰り返し再生してしまう。
【００２４】
一方、フィールド１１１は、字幕の入っていないフィールドが正しく復号されるので、時系列で見ると、字幕が消えた１フィールド後に１フィールドだけ、字幕の入ったフィールドが１フレームの片フィールドに表示されてしまうという、視覚的に大変ぎこちない復号画像となってしまうという問題点があった。
【００２５】
より具体的には、図１１の例で、フィールド１１０と１１０’とが合成された合成フィールドがボトムフィールドとして再生される。次フレームでは、トップフィールドとしてフィールド１１０とは異なる画像のフィールド１１１が表示され、当該フレームのボトムフィールドに、フィールド１１０が繰り返されて再生される。したがって、あるフレームのボトムフィールドにおいて合成フィールドとして表示されている字幕が次フレームのトップフィールドで消え、当該フレームのボトムフィールドのタイミングで、合成フィールドが再び用いられ、字幕が表示される。
【００２６】
このように、本来、繰り返しフィールドとして扱ってはならないフィールドを誤って繰り返しフィールドとして処理すると、復号画像において、十分に認識可能な不自然な字幕表示がなされてしまう。この現象を回避するためには、上述した繰り返しフィールド検出の対象となる２枚のフィールド間の特徴量に基づき、字幕の有無を正確に検出すればよい。すなわち、図１１の例では、フィールド１１０と１１０’とが合成された、字幕が入った合成フィールドと、フィールド１１２による字幕が入らないフィールドとを正確に異なる画像と判定し、これらのフィールドが繰り返しフィールドではないと判定できればよいことになる。
【００２７】
ところで、実際の字幕入りの映画素材は、２−３プルダウン処理の過程や、２−３プルダウン素材に字幕を合成する過程において、アナログ信号処理などによるノイズ成分が混入したり、２−３プルダウン処理の際に時間軸フィルタをかけるなどといった信号処理が施されたりするなど、様々な要因により、本来は繰り返しフィールドであっても、繰り返しフィールド検出対象の２フィールド間の特徴量である差分絶対値和が０にならないことが多い。
【００２８】
一方、画面全体の総画素に対する字幕の画素の割合が小さいので、字幕合成前の素材では繰り返しフィールドであっても、１フレームの片フィールドに字幕が入り、もう一方のフィールドに字幕が入らないような場合、繰り返しフィールド検出対象の２フィールドから得られた特徴量が、上述したノイズなどによるものなのか、字幕の有無によるものなのかを区別するのが難しい場合がある。このような場合、繰り返しフィールドを判別するための閾値を適切に設定するのが困難であるという問題点があった。
【００２９】
したがって、この発明の目的は、２−３プルダウン素材に字幕画像が合成された素材について、フィールド画像が２−３プルダウンによる繰り返しフィールドであるか否かを正確に検出できるようにした画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。
【００３０】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理装置において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成手段と、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出手段と、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定手段とを有し、繰り返しフィールド判定手段は、類似度検出手段により検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理装置である。
【００３１】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理方法である。
【００３２】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理プログラムである。
【００３３】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする記録媒体である。
【００３４】
上述したように、この発明は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成し、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出した結果に基づきフィールド画像が繰り返しフィールドであるか否かを判定し、少なくとも一つのブロックの類似度が所定値より小さいときにフィールド画像が繰り返しフィールドではないと判定するようにしているため、繰り返しフィールド検出対象の面積に対する字幕の占める割合が相対的に大きくなり、繰り返しフィールドをより正確に検出することができる。
【００３５】
【発明の実施の形態】
以下、この発明の実施の第１の形態について説明する。この発明では、画面を複数の領域に分割したブロックのそれぞれについて、検出対象の２フィールド間の対応ブロックの類似度を求める。そして、求められた類似度が閾値より低い領域が１つでも存在すれば、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドでは無いと判定する。
【００３６】
図１は、この発明に適用できるビデオ信号符号化装置１の一例の構成を概略的に示す。このビデオ信号符号化装置１は、例えば、入力されたビデオ信号を、例えばＭＰＥＧ２方式に基づき圧縮符号化し符号化ストリームとして出力する、ＭＰＥＧ２ビデオエンコーダである。
【００３７】
入力画像としてのビデオ信号が、この発明の実施の第１の形態による２−３プルダウン検出部１０に入力される。２−３プルダウン検出部１０は、入力されたビデオ信号を例えば複数領域に分割して複数のブロックを形成し、複数のブロック毎に対象となる２フィールドの特徴量を求め、求められた特徴量に基づき当該２フィールドの時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを判定し、繰り返しフィールドを検出する。繰り返しフィールドの検出結果は、後段の冗長フィールド除去部１１および圧縮符号化部１３に供給される。
【００３８】
なお、特徴量としては、対象となる２フィールドの類似度を用いることができる。類似度については、後述する。また、対象となる２フィールドは、例えば、入力フィールドと、入力フィールドに対して１フレーム前の同じ位置のフィールドである。換言すると、対象となる２フィールドは、入力フィールドと、入力フィールドに対して２フィールド前のフィールドである。
【００３９】
２−３プルダウン検出部１０で繰り返しフィールドを検出されたビデオ信号は、冗長フィールド除去部１１に供給される。冗長フィールド除去部１１では、２−３プルダウン検出部１０から供給された検出結果に基づき、ビデオ信号の冗長フィールド（繰り返しフィールド）を除去する。冗長フィールドが除去されたビデオ信号が動き／シーンチェンジ検出部１２に供給される。
【００４０】
動き／シーンチェンジ検出部１２は、例えば時間的に隣接するフィールドを比較することにより、動き検出およびシーンチェンジの検出を行う。動き／シーンチェンジ検出部１２による検出結果は、圧縮符号化部１３に供給される。動き／シーンチェンジ検出部１２から出力されたビデオ信号が圧縮符号化部１３に供給される。
【００４１】
圧縮符号化部１３では、上述の２−３プルダウン検出部１０による繰り返しフィールド検出結果および動き／シーンチェンジ検出部１２による動き／シーンチェンジ検出結果を用いて、供給されたビデオ信号を圧縮符号化し、符号化ストリームとして出力する。この符号化ストリームは、繰り返しフィールドの検出結果に基づき、例えば繰り返しフィールドとして検出されたフィールドが識別フラグで示される。
【００４２】
なお、上述では、ビデオ信号符号化装置１がＭＰＥＧ２方式に基づく符号化を行うものとして説明したが、これはこの例に限定されない。ビデオ信号符号化装置１は、２−３プルダウン素材の繰り返しフィールドを検出し、検出された繰り返しフィールドを除去して符号化を行う構成であれば、他の方式によりビデオ信号を符号化してもよい。
【００４３】
図２は、この発明の実施の第１の形態において２−３プルダウン検出部１０で行われる処理を概略的に示すフローチャートである。先ず、ステップＳ１０で、入力された１フィールド分の画像を画面上の複数の領域に分割し、複数のブロックを形成する。ステップＳ１１で、ブロック毎に、検出対象の２フィールド間で対応するブロックをそれぞれ比較してブロック毎の特徴量を求める。検出対象の２フィールドは、例えば入力画像のフィールドと当該フィールドの１フレーム前のフィールドである。次のステップＳ１２で、ステップＳ１１で求められたブロック毎の特徴量に対して閾値判定を行う。このステップＳ１２によるブロック毎の閾値判定結果に基づき、ステップＳ１３で、入力画像のフィールドが繰り返しフィールドか否かを判定する。このステップＳ１０〜Ｓ１３までの処理を入力フィールド毎に行う。
【００４４】
図３は、図２で説明したような処理を行う、２−３プルダウン検出部１０の一例の構成を示す。ベースバンドのビデオ信号が入力画像として入力され、画像分割部２０に供給されると共に、フレームメモリ２２に記憶される。フレームメモリ２２は、例えば現フレームおよび１フレーム前のフレームの２フレーム分のビデオ信号が記憶される。入力画像は、さらに、そのまま後段の信号処理部に送られる。
【００４５】
画面分割部２０は、供給された入力画像を表示画面上の複数領域に分割し複数のブロックにして出力する。分割の際の入力画像に対するアドレス指示は、例えば、ＣＰＵ(Central Processing Unit)などで構成される図示されない全体制御部の指示によりなされる。入力画像は、例えば、図４Ａに一例が示されるように、１フィールドの表示画面が縦３行×横３列の９個の領域に分割され、それぞれの領域に対応したブロック１２０、１２１、・・・、１２８が形成される。これらブロック１２０、１２１、・・・、１２８は、それぞれ特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎに供給される。
【００４６】
特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎは、例えば図示されない全体制御部によりフレームメモリ２２上のアドレスを指示され、フレームメモリ２２に記憶された、１フレーム前の、入力画像に対応する位置のフィールドにおける、画面分割部２０から供給されたブロック１２０、１２１、・・・、１２８に対応するブロック１２０’、１２１’、・・・、１２８’を参照し、それぞれのブロックにおける特徴量を求める。
【００４７】
一例として、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎを特徴量算出部２１Ａで代表させて説明する。例えば、特徴量算出部２１Ａは、画面分割部２０から供給されたブロック１２０と、当該ブロック１２０に画面上の領域が対応する１フレーム前のブロック１２０’とを用い、２つのブロック１２０および１２０’において位置が互いに対応する画素について、画素値の差分の絶対値を画素毎に計算する。画素値は、例えば画素の輝度値を用いることができる。そして、計算された画素毎の差分絶対値を、ブロックの領域内で合計して差分絶対値和を計算し、当該ブロック１２０の特徴量を求める。この特徴量は、当該ブロック１２０がブロック１２０’に対してどれだけ似ているかを示す類似度に対応すると考えることができる。特徴量として差分絶対値和を用いる場合には、特徴量が大きいほど、ブロック１２０とブロック１２０’との類似度が小さく、ブロック１２０がブロック１２０’に類似していないといえる。
【００４８】
特徴量算出部２１Ｂ〜２１ｎでも特徴量算出部２１Ａと同様にして、それぞれ対応する領域のブロック１２１〜１２８について、特徴量を算出する。特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８の特徴量は、それぞれ判定部２３Ａ、２３Ｂ、・・・、２３ｎに供給される。
【００４９】
判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、対応するブロック１２０、１２１、・・・、１２８について、当該フィールドが繰り返しフィールドである可能性の有無を判定する。
【００５０】
通常の２−３プルダウン素材であれば、各ブロックに対応する表示画面上の領域の面積、すなわち各ブロックを構成する画素数が同一であれば、各ブロックから得られる差分絶対値和は、同程度の大きさの値になっていると考えられる。したがって、判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を、例えば２つのフィールドの画像が略同一であるときの差分絶対値和に基づき設定することができる。
【００５１】
このように設定された閾値に基づき、例えば判定部２３Ａでは、ブロック１２０および１２０’により算出された特徴量と閾値とを比較し、特徴量が閾値より大きいと判定されれば、ブロック１２０とブロック１２０’とが異なる画像であると考えることができる。
【００５２】
判定部２３Ａ、２３Ｂ、・・・、２３ｎの判定結果は、繰り返しフィールド総合判定部２４に供給される。繰り返しフィールド総合判定部２４は、供給された判定結果に基づき、入力画像が繰り返しフィールドであるか否かを判定する。
【００５３】
繰り返しフィールド総合判定部２４において、判定部２３Ａ、２３Ｂ、・・・２３ｎの判定結果が全て閾値より小さい、すなわち、ブロック１２０、１２１、・・・、１２８による全ての判定結果が当該ブロックが含まれるフィールドが繰り返しフィールドである可能性があると判断された場合のみ、当該ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドあると判断できる。
【００５４】
換言すると、ブロック１２０、１２１、・・・、１２８による判定結果のうち何れか一つでも、特徴量が閾値より大きいと判定されれば、当該ブロックが含まれるフィールドは、繰り返しフィールドでは無いと判断することができる。例えば、判定部２３Ａ、２３Ｂ、・・・、２３ｎの出力を、特徴量が閾値より大きいときに値「１」、閾値より小さいときに値「０」とすると、繰り返しフィールド総合判定部２４は、判定部２３Ａ、２３Ｂ、・・・、２３の判定結果を入力とするＯＲ回路で構成することができ、判定対象のフィールドが繰り返しフィールドでは無いと判断した場合に、値「１」を出力する。
【００５５】
繰り返しフィールド総合判定部２４による、対象フィールドが繰り返しフィールドであるか否かの判定結果は、シーケンスチェック部２５に供給される。シーケンスチェック部２５は、供給された判定結果の周期性をチェックする。
【００５６】
従来技術の説明において用いた図８、図９などを参照し、２−３プルダウン素材は、５フレーム（１０フィールド）毎に同じパターンのフィールド構成を繰り返す。すなわち、例えばボトムフィールドに注目すると、５フレーム毎に繰り返しフィールドが出現し、一方のトップフィールドは、ボトムフィールドに対して５フィールドずれた位相で、同様に５フレームごとに繰り返しフィールドが出現する。この性質を利用し、繰り返しフィールド総合判定部２４により繰り返しフィールドであると判定されたフィールドの周期性をチェックし、当該フィールドが２−３プルダウンによる繰り返しフィールドなのか、単なる静止画像が続いているだけなのかを判別し、この判別結果に基づき、最終的な繰り返しフィールド検出結果を出力する。
【００５７】
なお、上述したように、この発明の本質は、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを検出することにあり、このシーケンスチェック部２５は、省略することができる。
【００５８】
シーケンスチェック部２５による繰り返しフィールド検出結果は、２−３プルダウン検出結果として図１に示した冗長フィールド除去部１１および圧縮符号化部１３に通知される。例えば、冗長フィールド除去部１１では、フレームメモリ２２に記憶された、ブロック１２０、１２１、・・・、１２８からなるフィールド画像を読み出し、シーケンスチェック部２５から通知された２−３プルダウン検出結果が繰り返しフィールドが検出された旨を示すものであれば、フレームメモリ２２から読み出したフィールド画像を、当該フィールド画像が繰り返しフィールドすなわち冗長フィールドであるとして破棄する。
【００５９】
図４を用いて、画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法について、より具体的に説明する。図４Ａは、従来の技術の説明で用いた図１１におけるフィールド１１０とフィールド１１０’とが合成された合成フィールド１１０”の例を示し、図４Ｂは、図１１におけるフィールド１１２の例を示す。
【００６０】
図４Ａに示される画面は、フィールド１１０による画像に対してフィールド１１０’による字幕が合成された合成フィールド１１０”が表示され、図４Ｂに示される画面は、フィールド１１０が繰り返して用いられた繰り返しフィールド１１２が表示されている。つまり、図４Ｂに示されるフィールド１１２は、元々、２−３プルダウン処理により、フィールド１１０に対する繰り返しフィールドにマッピングされたフィールドであり、字幕を除いては、合成フィールド１１０”と同一の画像である。字幕は、２−３プルダウン処理の後に合成されている。図４の例では、字幕の表示がフィールド１１０”（字幕合成前のフィールド１１０）で終了しており、フィールド１１０に対する繰り返しフィールドであるフィールド１１２では字幕が表示されていない。
【００６１】
図４の例では、上述したように、画面が縦横にそれぞれ３分割された９個のブロック１２０、１２１、・・・、１２８に分割されている。これらブロック１２０、１２１、・・・、１２８毎に、特徴量として差分絶対値和を算出する。ブロック１２０〜１２５には字幕が表示されていないので、合成フィールドおよびフィールド１１２間の、ブロック１２０〜１２５における差分絶対値和は、ノイズ成分のみが現れるものと考えられる。一方、ブロック１２６、１２７および１２８は、図４Ａの合成フィールド１１０”と図４Ｂのフィールド１１２とで字幕の有無による差分絶対値和の差が生じる。
【００６２】
この発明では、画面を複数領域に分割したブロック１２０、１２１、・・・、１２８それぞれを差分絶対値和の算出対象としているため、画面１枚全体を差分絶対値和の算出対象とする従来例に比して、字幕に相当する画素の占める割合が相対的に増加し、字幕の有無による差分絶対値和の差異がより顕著に表れるようになる。特に、図４Ａにおいて字幕が表示されているブロック１２６、１２７および１２８、さらにこの中で、ブロック内で字幕の占める比率がより高いブロック１２６および１２７では、特に差分絶対値和が大きな値となり、繰り返しフィールドでは無いという判断が容易となる。
【００６３】
ここで、この発明による、画面を複数領域に分割したブロック毎に差分絶対値和を求めて繰り返しフィールドを検出する方法の有用性について、数式を用いてより詳細に説明する。先ず、数式に用いられる各値を、次のように定義する。
ブロック内の総画素数：ｍ
ノイズによる差分絶対値（１画素当たり平均）：ｄn
字幕による差分絶対値（１画素当たり平均）：ｄc
ブロック内における、字幕に相当する画素の占める割合：ｒ
繰り返しフィールド判定に用いる閾値：ｈ
なお、一般に、ｄn＜ｄcと考えられる。
【００６４】
従来技術の説明において図１１に例示したような、元々は２−３プルダウン処理による繰り返しフィールドだったが、字幕の合成が当該フィールドの元となったフィールド、すなわち当該フィールドの１フレーム前のフィールドまでで終わった場合（または、字幕の合成が２−３プルダウン処理による繰り返しフィールドから始まった場合）に、当該フィールドが繰り返しフィールドでは無いと判断するために、式（１）を満足するような閾値ｈを決める。
ｍ・（１−ｒ）・ｄn＋ｍ・ｒ・ｄc＞ｈ＞ｍ・ｄn ・・・（１）
【００６５】
なお、式（１）において、左辺第１項〔ｍ・（１−ｒ）・ｄn〕は、字幕以外の画素による差分絶対値、左辺第２項〔ｍ・ｒ・ｄc〕は、字幕による差分絶対値、右辺〔ｍ・ｄn〕は、字幕が入っていない、真の繰り返しフィールドであった場合の差分絶対値を表す。式（１）により決めた閾値ｈに基づき、上述した判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を決めることができる。
【００６６】
より高い確度で繰り返しフィールドを判別するためには、式（１）の左辺と右辺が大きく離れた値であることが望ましい。式（１）の左辺と右辺がより離れた値であるほど、閾値ｈがとり得る値の範囲が広がることになる。
【００６７】
式（１）は、式（２）のように変形できる。
ｍ・ｒ・（ｄc−ｄn）＋ｍ・ｄn＞ｈ＞ｍ・ｄn ・・・（２）
【００６８】
式（２）から、左辺第１項〔ｍ・ｒ・（ｄc−ｄn）〕が閾値ｈの決め易さを左右する要素であることが分かる。すなわち、左辺第１項の値が大きいほど、閾値ｈのとり得る値の範囲が広がり、閾値ｈの自由度が増す。式（２）によれば、値（ｄc−ｄn）を大きくするか、値ｒを大きくすることが、閾値ｈのとり得る範囲を広げるために有効であることが分かる。
【００６９】
値（ｄc−ｄn）は、入力画像によって決まってしまう値である。これに対して、値ｒを大きく見せかけることは、この発明による方法により、可能である。すなわち、差分絶対値和を算出する領域の面積を小さくすることで、差分絶対値和を算出する領域における字幕の占める割合ｒを相対的に大きくできる。
【００７０】
この発明では、値ｒを大きくすることに着眼し、式（２）の左辺の値と右辺の値との差を大きくして閾値ｈを決め易くし、結果的に、繰り返しフィールドと判断してはいけないフィールドの検出確度を高めるようにしている。すなわちこの発明では、画面を複数の領域に分割したブロック毎に差分絶対値和を求めているため、１画面に含まれるブロックの何れかにおいて値ｒが大きくなり、そのブロック内では高い確度で繰り返しフィールドではないと判断できる。
【００７１】
なお、上述では、ブロック毎の特徴量として、ブロック内の画素毎の差分絶対値を合計した差分絶対値和を用いているが、これはこの例に限定されない。例えば、ブロック内の画素のうち、１フレーム前の対応するブロックにおける対応位置の画素との画素値（輝度値）の差分絶対値がある閾値より大きくなっている画素の個数を計数するようにしてもよい。計数結果が所定数より多ければ、当該ブロックが１フレーム前の対応ブロックと異なる画像であると判定でき、当該ブロックが含まれるフィールドが繰り返しフィールドではないと判断することができる。
【００７２】
これに限らず、１フレーム前の対応ブロックに対して差分絶対値がある閾値より大きくなっている画素の、ブロック内の総画素数に対する割合に基づき判定を行ってもよい。これらの方法は、対象ブロックと、対象ブロックの１フレーム前の対応するブロックとの類似度が高いほど、小さな値が得られる。これらの方法では、画素毎の差分絶対値を合計する必要が無いので、上述の方法よりも演算回路が簡単に構成できるという利点がある。
【００７３】
次に、この発明の実施の第１の形態の変形例について説明する。この実施の第１の形態の変形例では、各ブロックにおける特徴量の、フィールド内でのバラツキの程度、例えば分散を用いて、繰り返しフィールドの判定を行う。この場合、分散値σが閾値より大きければ、１フレーム前の対応ブロックの繰り返し画像ではないブロックが含まれると考えられ、画面全体として、当該フィールドを繰り返しフィールドと扱ってはいけないと判断することができる。すなわち、分散値σは、フィールド画像における類似度に対応すると考えることができ、分散値σが大きいほど、類似度が小さくなる。
【００７４】
なお、この方法の場合、例えば対象フィールドと１フレーム前のフィールドとが全く異なる画像で、各ブロックの特徴量が全て大きな値の場合にも、分散値σは、小さな値となって算出される可能性がある。そのため、この分散値σを用いた繰り返しフィールド判定方法と、上述の実施の第１の形態による、各ブロック毎の特徴量に対する閾値判定とを併用し、各ブロックごとの特徴量に対する閾値判定により各ブロックの特徴量が全て閾値より小さくなったときに、分散値σを用いた判定を行うようにすると、好ましい。
【００７５】
以下に説明するように、あるフィールドが繰り返しフィールドであるか否かの判定を、各ブロック毎に特徴量に基づき判定する方法と、当該フィールドに含まれるブロック全ての特徴量の分散値σに基づき判定する方法とを併用することで、繰り返しフィールドの判定をより正確に行うことができる。
【００７６】
図５は、この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示す。なお、この図５の構成は、上述した図３の構成のうち判定部２３Ａ、２３Ｂ、・・・、２３ｎおよび繰り返しフィールド総合判定部２４’を抜き出して示す。図５において、上述の図３と共通する部分には同一の符号を付し、詳細な説明を省略する。
【００７７】
図示されない特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出された、ブロック１２０、１２１、・・・、１２８による特徴量が判定部２３Ａ、２３Ｂ、・・・、２３ｎにそれぞれ供給される。判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、当該フィールドが繰り返しフィールドである可能性の有無を判定する。判定部２３Ａ、２３Ｂ、・・・、２３ｎによる判定結果ａ1、ａ2、・・・、ａnは、それぞれ繰り返しフィールド総合判定部２４’の総合判定部４２に供給される。
【００７８】
なお、判定結果ａ1、ａ2、・・・、ａnは、当該フィールドが繰り返しフィールドである可能性がある場合には値「０」、繰り返しフィールドではないと考えられる場合には値「１」とする。
【００７９】
一方、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８による特徴量は、分散値算出部４０にも供給される。分散値算出部４０では、供給されたブロック１２０、１２１、・・・、１２８による特徴量の、１フィールドにおける分散値σを求める。分散値σは、繰り返しフィールド総合判定部２４’に供給され、閾値判定部４１で閾値判定される。閾値判定部４１は、分散値算出部４０で算出された分散値σが閾値より大きければ値「１」を、閾値より小さければ値「０」を判定結果ｂとして出力する。閾値判定部４１の判定結果ｂは、総合判定部４２に供給される。
【００８０】
すなわち、閾値判定部４１の判定結果ｂの値が「１」であれば、当該フィールドは繰り返しフィールドではないといえる。また、閾値判定部４１の判定結果ｂの値が「０」である場合には、当該フィールドが繰り返しフィールドである可能性が高いといえる。但し、上述したように、閾値判定部４１の判定結果ｂの値が「０」の場合、当該フィールドに含まれる全てのブロック１２０、１２１、・・・、１２８による特徴量の値が大きい場合も有り得る。
【００８１】
総合判定部４２は、判定部２３Ａ、２３Ｂ、・・・、２３ｎから供給された判定結果ａ1、ａ2、・・・、ａnと、閾値判定部４１から供給された判定結果ｂとに基づき、ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドであるか否かが総合的に判定される。
【００８２】
例えば、総合判定部４２は、分散値算出部４０で算出された分散値σが閾値判定部４１による閾値より大きく、閾値判定部４１の判定結果ｂが「１」であるか、または、分散値σが閾値判定部４１による閾値より小さく判定結果ｂが「０」であり且つブロック毎の判定結果ａ1、ａ2、・・・、ａnの少なくとも１つが「１」であれば、判定結果として値「１」が出力され、当該フィールドが繰り返しフィールドではないことが示される。
【００８３】
このような判断は、総合判定部４２を図６に一例が示されるように構成することで、実現可能である。この図６の例では、判定結果ａ1、ａ2、・・・、ａnが多入力のＯＲ回路５０に入力され、ＯＲ回路５０の出力がＡＮＤ回路５１の非反転入力端に入力される。ＡＮＤ回路５１の反転入力端に判定結果ｂが入力され、ＡＮＤ回路５１の出力がＯＲ回路５２の一方の入力端に入力される。ＯＲ回路５２の他方の入力端には、判定結果ｂが入力される。ＯＲ回路５２の出力が総合判定部４２の出力とされ、繰り返しフィールド総合判定部２４’から出力される。
【００８４】
なお、上述の実施の第１の形態および第１の形態の変形例では、画面分割部２０において、入力画像が９個の領域に分割され、元の画面を９個の領域に分割したブロックについて、それぞれ特徴量を求めるように説明したが、特徴量を求めるためのブロックは、この方法に限らず、別の方法で構成することもできる。例えば、特徴量を、元の画面を縦２行×横３列に分割した６個のブロックについてそれぞれ求めてもよいし、縦２行×横２列に分割した４個のブロックについて求めてもよい。
【００８５】
また、各ブロックは、必ずしも互いに等しい大きさである必要はない。例えば、画面上の各位置における字幕の出現確率に応じて、各ブロックの大きさを決めるようにしてもよい。各ブロックの大きさを、入力画像に応じて適応的に変えるようにしてもよい。
【００８６】
さらに、上述実施の第１の形態および第１の形態の変形例では、特徴量を算出するためのブロックを、元の画面を複数の領域に分割して得ているが、これはこの方法に限定されない。元の画面から形成される複数の領域は、複数の領域のそれぞれが元の画面サイズよりも小さく、且つ、複数の領域全てを用いたときに、隙間無く元の画面の全面を覆えるようになっていればよい。例えば、特徴量を求めるための各ブロックは、画面上で領域が重複していてもよい。
【００８７】
さらにまた、上述実施の第１の形態および第１の形態の変形例では、入力画像の全フィールドについて、同一の領域によるブロックで特徴量を算出していたが、これはこの例に限らない。特徴量を算出するための１組のフィールドにおいてブロックが同一領域から構成されていれば、一連の入力画像において異なる領域によるブロックで特徴量を算出するようにしてもよい。
【００８８】
また、ブロック毎の特徴量も、画素毎の差分絶対値をブロック内で合計した差分絶対値和だけでなく、画素毎の差分値を二乗した値をブロック内で合計した差分二乗値和を用いてもよいし、２つの画像が異なる画像であることを示すことができるような値であれば、他の値を用いることもできる。
【００８９】
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態は、この発明による繰り返しフィールド判定方法を、例えばＨＤＴＶ(High Definition Television)システムのような、膨大な画素数をエンコード対象とする符号化システムに適用させる例である。このようなシステムでは、プロセッサの処理能力などの制約により、画面を複数領域に分割し、分割された領域毎にビデオ信号を符号化する場合がある。この実施の第２の形態では、このような、分割された領域のそれぞれに対して符号化を行うようなシステムに対して、この発明を適用する。
【００９０】
図７は、この発明の実施の第２の形態を適用可能なビデオ信号符号化装置３０の一例の構成を示す。入力画像としてのビデオ信号が画像分割部３１に入力される。画像分割部３１は、入力されたビデオ信号を、１フィールド毎に、画面上の複数の領域に分割する。画面の各領域に分割された分割ビデオ信号は、それぞれ符号化ブロック１Ａ、１Ｂ、・・・、１ｎに供給される。
【００９１】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、例えば通常のＳＤＴＶ(Standard Definition Television)システムに用いられる符号化ブロックと同等のものであって、例えばそれぞれ上述の図１に例示したような構成を有し、２−３プルダウン検出機能を有する。符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、それぞれ入力された分割ビデオ信号によるフィールドが繰り返しフィールドであるか否かを検出することができるようになっている。
【００９２】
例えば符号化ブロック１Ａは、入力された分割ビデオ信号について、２−３プルダウン検出を行い繰り返しフィールドを検出し、検出結果に基づき冗長フィールドを除去する。符号化ブロック１Ａにおける繰り返しフィールドの判定方法は、入力された分割ビデオ信号による画面内で差分絶対値和を求める、従来技術による判定方法を用いることができる。勿論、この発明の実施の第１の形態で説明したような、入力されたビデオ信号による画面をさらに複数の領域のブロックに分割し、分割したブロックそれぞれの特徴量を用いて判定を行ってもよい。
【００９３】
符号化ブロック１Ａでは、さらに、フィールド間の動き検出やシーンチェンジ検出を行い、２−３プルダウン検出、動き検出およびシーンチェンジ検出などの検出結果に基づき、例えばＭＰＥＧ２方式によりビデオ信号を圧縮符号化し、符号化ストリームを出力する。出力される符号化ストリームにおいて、除去された冗長フィールドは、識別フラグによって示される。
【００９４】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎから出力された符号化ストリームは、それぞれストリーム結合部３２に供給される。ストリーム結合部３２は、供給された、画面が分割された各領域に対応する複数の符号化ストリームを、分割前の元の画面に対する符号化ストリームの如く１本の符号化ストリームに結合して出力する。
【００９５】
符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・・１ｎは、ホストＣＰＵ(Central Processing Unit)３３と接続され、相互に通信が行われる。符号化ブロック１Ａを例にとると、例えば、符号化ブロック１ＡからホストＣＰＵ３３へは、符号化ブロック１Ａを制御するプロセッサのステータスや、符号化ブロック１Ａに対して入力されたビデオ信号に関する各種の情報が渡される。これらの情報と共に、繰り返しフィールドの判定結果や、前後のフィールド間の差分絶対値和などの、フィールドの特徴量が、符号化ブロック１ＡからホストＣＰＵ３３に対して渡される。また、ホストＣＰＵ３３は、符号化ブロック１Ａに対して符号化パラメータなどの設定を行う。
【００９６】
この実施の第２の形態では、ホストＣＰＵ３３において、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎから渡された、画面が分割された各領域それぞれの繰り返しフィールドの判定結果を用いて、画面が分割される前の元の画面に対する繰り返しフィールドの判定を行う。
【００９７】
例えば、上述した実施の第１の形態による繰り返しフィールド判定方法を用いて、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果に基づき、少なくとも一つの繰り返しフィールド判定結果が繰り返しフィールドでは無いことを示している場合に、画像分割部３１に入力された入力画像が繰り返しフィールドでは無いと判断することができる。
【００９８】
また、上述した実施の第１の形態の変形例による繰り返しフィールド判定方法のように、実施の第１の形態による判定方法に加え、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果の分散値σを求め、この分散値σをさらに用いて、画像分割部３１に入力された入力画像が繰り返しフィールドであるか否かを判断してもよい。
【００９９】
ホストＣＰＵ３３による繰り返しフィールド判定結果は、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎにそれぞれ渡される。符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎは、ホストＣＰＵ３３から渡された判定結果に基づき、冗長フィールドの除去や、識別フラグの付加などを行う。
【０１００】
また、上述では、この発明による繰り返しフィールド検出処理がハードウェアで実行されるように説明したが、これはこの例に限らず、この処理をソフトウェアで実行するようにできる。例えば、コンピュータ装置にディジタルビデオ信号の入力インターフェイスを設け、コンピュータ上に搭載されたソフトウェアによりＣＰＵおよびメモリなどを利用して、上述した図２のフローチャートで一例が示される処理に従い、実行することができる。
【０１０１】
繰り返しフィールド検出処理をコンピュータ装置などに実行させるためのプログラムは、例えばＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)といった記録媒体に記録されて提供される。このＣＤ−ＲＯＭをコンピュータ装置のＣＤ−ＲＯＭドライブに装填し、ＣＤ−ＲＯＭに記録されたプログラムを所定にコンピュータ装置にインストールすることで、上述の処理をコンピュータ装置上で実行可能な状態とすることができる。なお、コンピュータ装置の構成は、極めて周知であるため、説明は省略する。
【０１０２】
さらに、上述では、この発明の実施の第１の形態、実施の第１の形態の変形例およびこの発明の実施の第２の形態が、２−３プルダウン処理された画像に３０フレーム／１秒の画像としての字幕が合成された場合について、繰り返しフィールドか否かを検出するように説明したが、これはこの例に限定されない。例えば、この発明は、２−３プルダウン処理された画像に合成される画像が３０フレーム／１秒の画像であれば、当該画像が字幕以外でも適用することができる。
【０１０３】
【発明の効果】
以上説明したように、この発明は、２−３プルダウン素材における繰り返しフィールドの検出を、画面を複数の領域に分割したブロック毎に求めた特徴量に基づき行っている。１画面全体で特徴量を求めて繰り返しフィールドを検出する場合に比して、検出を行う領域において字幕画像の占める割合が相対的に大きくなるので、繰り返しフィールドの判定精度が向上する効果がある。
【０１０４】
そのため、この発明が適用されたビデオ信号の符号化装置を用いることで、従来誤って繰り返しフィールドと判定して符号化したために生じていた、ぎこちない動きの再生画像の発生を抑制することができ、２−３プルダウン素材の高画質での転送が可能となる効果がある。
【図面の簡単な説明】
【図１】この発明に適用できるビデオ信号符号化装置の一例の構成を概略的に示すブロック図である。
【図２】この発明の実施の第１の形態において行われる２−３プルダウン処理を概略的に示すフローチャートである。
【図３】この発明の実施の第１の形態による２−３プルダウン検出部の一例の構成を示すブロック図である。
【図４】画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法を説明するための図である。
【図５】この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示すブロック図である。
【図６】この発明の実施の第１の形態の変形例による繰り返しフィールド総合判定部の一例の構成を示す論理回路図である。
【図７】この発明の実施の第２の形態を適用可能なビデオ信号符号化装置の一例の構成を示すブロック図である。
【図８】２−３プルダウンを説明するための図である。
【図９】２−３プルダウン素材の圧縮符号化について説明するための図である。
【図１０】２−３プルダウン素材の繰り返しフィールド検出を説明するための図である。
【図１１】２−３プルダウン素材に対する字幕画像の合成を説明するための図である。
【符号の説明】
１・・・ビデオ信号符号化装置、１０・・・２−３プルダウン検出部、１１・・・冗長フィールド除去部、１２・・・動き／シーンチェンジ検出部、１３・・・圧縮符号化部、２０・・・画面分割部、２１Ａ〜２１ｎ・・・特徴量算出部、２２・・・フレームメモリ、２３Ａ〜２３ｎ・・・判定部、２４，２４’・・・繰り返しフィールド総合判定部、２５・・・シーケンスチェック部、４０・・・分散置算出部、４１・・・閾値判定部、４２・・・総合判定部
【発明の属する技術分野】
この発明は、２−３プルダウン処理して２４フレーム／１秒の画像を３０フレーム／１秒の画像に変換した後に３０フレーム／１秒の画像からなる字幕などが合成された画像を適切に符号化する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
映画などで使用される、光学フィルム上に素材が記録されたフィルム素材が２４コマ／秒の画像である一方、ビデオ信号、例えばＮＴＳＣ方式によるビデオ信号は、３０フレーム／秒からなる画像である。したがって、フィルム素材をビデオ信号に変換するためには、２４コマ／秒の画像から３０フレーム／秒の画像を生成する処理が必要となる。このような処理は、オリジナルのフィルム素材における２コマの画像を、所定の変換パターンで３個のフィールドに変換する処理を含むことから、２−３プルダウンと称される。
【０００３】
２−３プルダウンでは、図８に示されるように、ビデオ信号において１フレームおきにフィールドの繰り返しを発生させることにより、２４コマ／秒の画像から３０フレーム／１秒の画像を発生させる。すなわち、図８Ａに示されるフィルム素材における第１コマから、図８Ｂに示されるビデオ信号における第１フレームのトップおよびボトムフィールドの画像が発生されると共に、第１フレームのトップフィールドの画像が第２フレームのトップフィールドに繰り返して用いられる。同様に、フィルム素材における第３コマから、ビデオ信号における第３フレームのボトムフィールドが発生されると共に、第４フレームのトップおよびボトムフィールドが発生され、第３フレームのボトムフィールドの画像が第４フレームのボトムフィールドに繰り返して用いられる。
【０００４】
以下では、２−３プルダウンにおいて繰り返して用いられたフィールドを、繰り返しフィールドと称する。この繰り返しフィールドは、フィルム素材による２４コマ／秒の画像に対してフレーム数を増やすために挿入されるフィールドである。
【０００５】
このような２−３プルダウンを行いフィルム素材をビデオ画像に変換する装置として、テレシネ(Telecine)装置が知られている。なお、以下では、２−３プルダウンにより生成された、３０フレーム／秒の画像を、２−３プルダウン素材と称する。
【０００６】
なお、８図、ならびに、後述する図９、図１０および図１１において、「●（黒丸）」および「○（白丸）」は、ビデオ信号のフィールドを示し、枠で囲まれたフィールドは、同一の画像（フィルム素材の１コマ）からなることを示す。また、横軸が時系列を示す。
【０００７】
このような２−３プルダウン素材を圧縮符号化する場合、上述した繰り返しフィールドの情報が冗長であるため、繰り返しフィールドを除去するように圧縮符号化を行って圧縮効率の向上を図る。例えば、図９Ａに示されるように、繰り返しフィールド（矢印で示す）を意識せずに、１フレームがトップおよびボトムフィールドの２フィールドで構成されるものとして圧縮符号化を行うと、繰り返しフィールドにおいて、全く同一の画像からなるフィールドに対して重複して符号化を行うことになる。
【０００８】
これに対して、図９Ｂに一例が示されるように、１コマが繰り返しフィールドを含む３フィールドから構成されていることを考慮して、繰り返しフィールドについては符号化せずに、そのフィールドが繰り返しフィールドであることを示す識別フラグを立てるのみとする方法がある。この方法では、復号化および復号化された画像の表示の際には、この識別フラグにより繰り返しフィールドであることを認識し、符号化されている例えばトップフィールドを繰り返しフィールドの表示に用いる。これにより、符号量を有効に消費することができる。
【０００９】
例えば、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)勧告、Ｈ．２６２｜ＩＳＯ／ＩＥＣ１３８１８−２(International Organization for Standarization/International Electrotechnical Commission 13818-2)では、映像ストリームに対して、この繰り返しフィールドであることを示す識別フラグを伝送する方法が定義されている。
【００１０】
この、繰り返しフィールドを考慮した符号化による圧縮効率の向上について、より具体的な例を用いて説明する。２−３プルダウン素材の符号化制御手法の例として、ＭＰＥＧ２(Moving Pictures Experts Group 2)のＴＭ５(Test Model 5)を用い、ビデオ信号の方式がＮＴＳＣ方式であって、１ＧＯＰ(Group Of Picture)が１５フレームの場合を例にとって説明する。
【００１１】
なお、ＧＯＰは、画面内だけで閉じた情報による符号化画面（フレーム内符号化画面）が少なくとも１枚含まれる画面群構造であって、ＭＰＥＧストリームにおけるランダムアクセスの単位とされる。
【００１２】
ＭＰＥＧ２のＴＭ５では、１ＧＯＰ分の使用可能総符号量を、ピクチャタイプや絵柄の複雑さに応じて配分していく。１ＧＯＰ分の使用可能総符号量は、符号化ビットレートを１秒当たりのフィールド数（ＮＴＳＣ方式の場合は、６０フィールド）で除したフィールドビットに、１ＧＯＰのフィールド数を乗じて求められる。したがって、１ＧＯＰの使用可能総符号量は、図９Ａの場合には３０フィールドであり、図９Ｂの場合には、繰り返しフィールドが符号量として計上されないため符号化ビットレートがより高い値となり、１ＧＯＰの使用可能総符号量は、３７または３８フィールドである（１ＧＯＰの使用可能総符号量が３７フィールドのＧＯＰと３８フィールドのＧＯＰとが交互に出現する）。このように、図９Ｂの例の方がより多くの符号量を１５フレームに割り当てられることになり、圧縮効率が向上していることがわかる。
【００１３】
上述したようにして、２−３プルダウン素材を効率よく符号化するためには、符号化の際に、２−３プルダウン素材の繰り返しフィールドを検出することが必要である。
【００１４】
従来技術による繰り返しフィールドの検出方法について、概略的に説明する。従来では、検出の対象とする２枚のフィールド間の特徴量として、各画素の画素値の２フィールド間での差分の絶対値をフィールドで合計した、差分絶対値和を求め、この差分絶対値和が閾値以下であれば、その２枚のフィールドが同一のフィールド、すなわち、繰り返しフィールドと判断する方法が一般的に行われていた。
【００１５】
例えば、図１０に一例が示されるような２−３プルダウン素材が入力された場合、フィールド１００および１０２は、元来、フィルム素材において同一のコマから発生された画像であるため、フィールド１００および１０２による差分絶対値和は、０または０に近い値となる。一方、フィールド１０１および１０３や、フィールド１０２および１０４は、元来、フィルム素材において異なるコマから発生された画像であるため、フィールド１０１および１０３やフィールド１０２および１０４による差分絶対値和は、ある程度大きな値となることが期待される。
【００１６】
なお、実際には、例えば２−３プルダウン素材ではなく単に静止画像が入力された場合にも、繰り返しフィールドであると判断されてしまう。そのため、２−３プルダウン素材か否かの判断のためには、繰り返しフィールドの検出に加え、さらに、この繰り返しフィールドが出現するパターンを検出するなどの工夫がなされている。特許文献１には、このような、繰り返しフィールドが出現するパターンを検出するようにされたビデオデータ処理装置が記載されている。
【００１７】
【特許文献１】
国際公開第ＷＯ００／１３４１８号パンフレット
【００１８】
【発明が解決しようとする課題】
ところで、２−３プルダウン素材は、一般的に映画素材が多く、２−３プルダウンされた素材に後から字幕画像を合成した素材が存在する。例えば、上述のテレシネ装置で２−３プルダウンされた２−３プルダウン素材に対して字幕が合成され、この字幕が合成された素材が放送局などに持ち込まれる。
【００１９】
２−３プルダウン素材に字幕画像を合成する場合、２４コマ／秒の画像から３０フレーム／１秒の画像に変換された映像素材に対して字幕が合成されるため、繰り返しフィールドの検出を誤ると、字幕の表示および表示された字幕を消すタイミングによっては、一旦消された字幕が、字幕が消されたタイミングから１フィールドおいて１フィールドだけ表示されるという、表示上の問題が発生することがあった。
【００２０】
この２−３プルダウン素材における字幕表示の問題について、図１１を用いてより詳細に説明する。図１１Ａに一例が示されプルダウン素材は、フィールド１１２がフィールド１１０に対する繰り返しフィールドである。したがって、この２−３プルダウン素材を符号化する場合には、フィールド１１２は、識別フラグのみが立てられ、復号時には、フィールド１１２の表示タイミングでフィールド１１０の画像が表示されることになる。
【００２１】
ここで、図１１Ａの２−３プルダウン素材に対して図１１Ｂの字幕画像を合成することを考える。この図１１Ｂの例では、字幕画像は、フレーム単位の画像であって、ボトムフィールド１１０’が含まれるフレームまで字幕が入り、トップフィールド１１１’およびボトムフィールド１１２’からなるフレームから、字幕が消される。
【００２２】
そのため、２−３プルダウン素材に対する字幕画像の合成を経た後の画像は、元の２−３プルダウン素材におけるフィールド１１０および１１２に対応する画像のうち、フィールド１１０に対応する画像には合成後に字幕が入り、フィールド１１２に対応する画像には合成後に字幕が入らないことになる。したがって、これらフィールド１１０および１１２は、字幕の合成後には互いに異なる画像となり、フィールド１１２をフィールド１１０に対する繰り返し画像として扱ってはならないことになる。
【００２３】
ここで、若し、フィールド１１２をフィールド１１０に対する繰り返しフィールドと判定し、２−３プルダウン素材におけるフィールド１１２に対応する字幕合成後のフィールドを冗長なフィールドとして除去して符号化を行う場合について考える。符号化がこのようになされた場合、復号時には、フィールド１１０とフィールド１１０’とが合成された合成フィールドを、フィールド１１０に対する繰り返しフィールドであるフィールド１１２のタイミング、すなわち、次フレームのボトムフィールドのタイミングで繰り返し再生してしまう。
【００２４】
一方、フィールド１１１は、字幕の入っていないフィールドが正しく復号されるので、時系列で見ると、字幕が消えた１フィールド後に１フィールドだけ、字幕の入ったフィールドが１フレームの片フィールドに表示されてしまうという、視覚的に大変ぎこちない復号画像となってしまうという問題点があった。
【００２５】
より具体的には、図１１の例で、フィールド１１０と１１０’とが合成された合成フィールドがボトムフィールドとして再生される。次フレームでは、トップフィールドとしてフィールド１１０とは異なる画像のフィールド１１１が表示され、当該フレームのボトムフィールドに、フィールド１１０が繰り返されて再生される。したがって、あるフレームのボトムフィールドにおいて合成フィールドとして表示されている字幕が次フレームのトップフィールドで消え、当該フレームのボトムフィールドのタイミングで、合成フィールドが再び用いられ、字幕が表示される。
【００２６】
このように、本来、繰り返しフィールドとして扱ってはならないフィールドを誤って繰り返しフィールドとして処理すると、復号画像において、十分に認識可能な不自然な字幕表示がなされてしまう。この現象を回避するためには、上述した繰り返しフィールド検出の対象となる２枚のフィールド間の特徴量に基づき、字幕の有無を正確に検出すればよい。すなわち、図１１の例では、フィールド１１０と１１０’とが合成された、字幕が入った合成フィールドと、フィールド１１２による字幕が入らないフィールドとを正確に異なる画像と判定し、これらのフィールドが繰り返しフィールドではないと判定できればよいことになる。
【００２７】
ところで、実際の字幕入りの映画素材は、２−３プルダウン処理の過程や、２−３プルダウン素材に字幕を合成する過程において、アナログ信号処理などによるノイズ成分が混入したり、２−３プルダウン処理の際に時間軸フィルタをかけるなどといった信号処理が施されたりするなど、様々な要因により、本来は繰り返しフィールドであっても、繰り返しフィールド検出対象の２フィールド間の特徴量である差分絶対値和が０にならないことが多い。
【００２８】
一方、画面全体の総画素に対する字幕の画素の割合が小さいので、字幕合成前の素材では繰り返しフィールドであっても、１フレームの片フィールドに字幕が入り、もう一方のフィールドに字幕が入らないような場合、繰り返しフィールド検出対象の２フィールドから得られた特徴量が、上述したノイズなどによるものなのか、字幕の有無によるものなのかを区別するのが難しい場合がある。このような場合、繰り返しフィールドを判別するための閾値を適切に設定するのが困難であるという問題点があった。
【００２９】
したがって、この発明の目的は、２−３プルダウン素材に字幕画像が合成された素材について、フィールド画像が２−３プルダウンによる繰り返しフィールドであるか否かを正確に検出できるようにした画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。
【００３０】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理装置において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成手段と、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出手段と、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定手段とを有し、繰り返しフィールド判定手段は、類似度検出手段により検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理装置である。
【００３１】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理方法である。
【００３２】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理プログラムである。
【００３３】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする記録媒体である。
【００３４】
上述したように、この発明は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成し、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出した結果に基づきフィールド画像が繰り返しフィールドであるか否かを判定し、少なくとも一つのブロックの類似度が所定値より小さいときにフィールド画像が繰り返しフィールドではないと判定するようにしているため、繰り返しフィールド検出対象の面積に対する字幕の占める割合が相対的に大きくなり、繰り返しフィールドをより正確に検出することができる。
【００３５】
【発明の実施の形態】
以下、この発明の実施の第１の形態について説明する。この発明では、画面を複数の領域に分割したブロックのそれぞれについて、検出対象の２フィールド間の対応ブロックの類似度を求める。そして、求められた類似度が閾値より低い領域が１つでも存在すれば、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドでは無いと判定する。
【００３６】
図１は、この発明に適用できるビデオ信号符号化装置１の一例の構成を概略的に示す。このビデオ信号符号化装置１は、例えば、入力されたビデオ信号を、例えばＭＰＥＧ２方式に基づき圧縮符号化し符号化ストリームとして出力する、ＭＰＥＧ２ビデオエンコーダである。
【００３７】
入力画像としてのビデオ信号が、この発明の実施の第１の形態による２−３プルダウン検出部１０に入力される。２−３プルダウン検出部１０は、入力されたビデオ信号を例えば複数領域に分割して複数のブロックを形成し、複数のブロック毎に対象となる２フィールドの特徴量を求め、求められた特徴量に基づき当該２フィールドの時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを判定し、繰り返しフィールドを検出する。繰り返しフィールドの検出結果は、後段の冗長フィールド除去部１１および圧縮符号化部１３に供給される。
【００３８】
なお、特徴量としては、対象となる２フィールドの類似度を用いることができる。類似度については、後述する。また、対象となる２フィールドは、例えば、入力フィールドと、入力フィールドに対して１フレーム前の同じ位置のフィールドである。換言すると、対象となる２フィールドは、入力フィールドと、入力フィールドに対して２フィールド前のフィールドである。
【００３９】
２−３プルダウン検出部１０で繰り返しフィールドを検出されたビデオ信号は、冗長フィールド除去部１１に供給される。冗長フィールド除去部１１では、２−３プルダウン検出部１０から供給された検出結果に基づき、ビデオ信号の冗長フィールド（繰り返しフィールド）を除去する。冗長フィールドが除去されたビデオ信号が動き／シーンチェンジ検出部１２に供給される。
【００４０】
動き／シーンチェンジ検出部１２は、例えば時間的に隣接するフィールドを比較することにより、動き検出およびシーンチェンジの検出を行う。動き／シーンチェンジ検出部１２による検出結果は、圧縮符号化部１３に供給される。動き／シーンチェンジ検出部１２から出力されたビデオ信号が圧縮符号化部１３に供給される。
【００４１】
圧縮符号化部１３では、上述の２−３プルダウン検出部１０による繰り返しフィールド検出結果および動き／シーンチェンジ検出部１２による動き／シーンチェンジ検出結果を用いて、供給されたビデオ信号を圧縮符号化し、符号化ストリームとして出力する。この符号化ストリームは、繰り返しフィールドの検出結果に基づき、例えば繰り返しフィールドとして検出されたフィールドが識別フラグで示される。
【００４２】
なお、上述では、ビデオ信号符号化装置１がＭＰＥＧ２方式に基づく符号化を行うものとして説明したが、これはこの例に限定されない。ビデオ信号符号化装置１は、２−３プルダウン素材の繰り返しフィールドを検出し、検出された繰り返しフィールドを除去して符号化を行う構成であれば、他の方式によりビデオ信号を符号化してもよい。
【００４３】
図２は、この発明の実施の第１の形態において２−３プルダウン検出部１０で行われる処理を概略的に示すフローチャートである。先ず、ステップＳ１０で、入力された１フィールド分の画像を画面上の複数の領域に分割し、複数のブロックを形成する。ステップＳ１１で、ブロック毎に、検出対象の２フィールド間で対応するブロックをそれぞれ比較してブロック毎の特徴量を求める。検出対象の２フィールドは、例えば入力画像のフィールドと当該フィールドの１フレーム前のフィールドである。次のステップＳ１２で、ステップＳ１１で求められたブロック毎の特徴量に対して閾値判定を行う。このステップＳ１２によるブロック毎の閾値判定結果に基づき、ステップＳ１３で、入力画像のフィールドが繰り返しフィールドか否かを判定する。このステップＳ１０〜Ｓ１３までの処理を入力フィールド毎に行う。
【００４４】
図３は、図２で説明したような処理を行う、２−３プルダウン検出部１０の一例の構成を示す。ベースバンドのビデオ信号が入力画像として入力され、画像分割部２０に供給されると共に、フレームメモリ２２に記憶される。フレームメモリ２２は、例えば現フレームおよび１フレーム前のフレームの２フレーム分のビデオ信号が記憶される。入力画像は、さらに、そのまま後段の信号処理部に送られる。
【００４５】
画面分割部２０は、供給された入力画像を表示画面上の複数領域に分割し複数のブロックにして出力する。分割の際の入力画像に対するアドレス指示は、例えば、ＣＰＵ(Central Processing Unit)などで構成される図示されない全体制御部の指示によりなされる。入力画像は、例えば、図４Ａに一例が示されるように、１フィールドの表示画面が縦３行×横３列の９個の領域に分割され、それぞれの領域に対応したブロック１２０、１２１、・・・、１２８が形成される。これらブロック１２０、１２１、・・・、１２８は、それぞれ特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎに供給される。
【００４６】
特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎは、例えば図示されない全体制御部によりフレームメモリ２２上のアドレスを指示され、フレームメモリ２２に記憶された、１フレーム前の、入力画像に対応する位置のフィールドにおける、画面分割部２０から供給されたブロック１２０、１２１、・・・、１２８に対応するブロック１２０’、１２１’、・・・、１２８’を参照し、それぞれのブロックにおける特徴量を求める。
【００４７】
一例として、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎを特徴量算出部２１Ａで代表させて説明する。例えば、特徴量算出部２１Ａは、画面分割部２０から供給されたブロック１２０と、当該ブロック１２０に画面上の領域が対応する１フレーム前のブロック１２０’とを用い、２つのブロック１２０および１２０’において位置が互いに対応する画素について、画素値の差分の絶対値を画素毎に計算する。画素値は、例えば画素の輝度値を用いることができる。そして、計算された画素毎の差分絶対値を、ブロックの領域内で合計して差分絶対値和を計算し、当該ブロック１２０の特徴量を求める。この特徴量は、当該ブロック１２０がブロック１２０’に対してどれだけ似ているかを示す類似度に対応すると考えることができる。特徴量として差分絶対値和を用いる場合には、特徴量が大きいほど、ブロック１２０とブロック１２０’との類似度が小さく、ブロック１２０がブロック１２０’に類似していないといえる。
【００４８】
特徴量算出部２１Ｂ〜２１ｎでも特徴量算出部２１Ａと同様にして、それぞれ対応する領域のブロック１２１〜１２８について、特徴量を算出する。特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８の特徴量は、それぞれ判定部２３Ａ、２３Ｂ、・・・、２３ｎに供給される。
【００４９】
判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、対応するブロック１２０、１２１、・・・、１２８について、当該フィールドが繰り返しフィールドである可能性の有無を判定する。
【００５０】
通常の２−３プルダウン素材であれば、各ブロックに対応する表示画面上の領域の面積、すなわち各ブロックを構成する画素数が同一であれば、各ブロックから得られる差分絶対値和は、同程度の大きさの値になっていると考えられる。したがって、判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を、例えば２つのフィールドの画像が略同一であるときの差分絶対値和に基づき設定することができる。
【００５１】
このように設定された閾値に基づき、例えば判定部２３Ａでは、ブロック１２０および１２０’により算出された特徴量と閾値とを比較し、特徴量が閾値より大きいと判定されれば、ブロック１２０とブロック１２０’とが異なる画像であると考えることができる。
【００５２】
判定部２３Ａ、２３Ｂ、・・・、２３ｎの判定結果は、繰り返しフィールド総合判定部２４に供給される。繰り返しフィールド総合判定部２４は、供給された判定結果に基づき、入力画像が繰り返しフィールドであるか否かを判定する。
【００５３】
繰り返しフィールド総合判定部２４において、判定部２３Ａ、２３Ｂ、・・・２３ｎの判定結果が全て閾値より小さい、すなわち、ブロック１２０、１２１、・・・、１２８による全ての判定結果が当該ブロックが含まれるフィールドが繰り返しフィールドである可能性があると判断された場合のみ、当該ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドあると判断できる。
【００５４】
換言すると、ブロック１２０、１２１、・・・、１２８による判定結果のうち何れか一つでも、特徴量が閾値より大きいと判定されれば、当該ブロックが含まれるフィールドは、繰り返しフィールドでは無いと判断することができる。例えば、判定部２３Ａ、２３Ｂ、・・・、２３ｎの出力を、特徴量が閾値より大きいときに値「１」、閾値より小さいときに値「０」とすると、繰り返しフィールド総合判定部２４は、判定部２３Ａ、２３Ｂ、・・・、２３の判定結果を入力とするＯＲ回路で構成することができ、判定対象のフィールドが繰り返しフィールドでは無いと判断した場合に、値「１」を出力する。
【００５５】
繰り返しフィールド総合判定部２４による、対象フィールドが繰り返しフィールドであるか否かの判定結果は、シーケンスチェック部２５に供給される。シーケンスチェック部２５は、供給された判定結果の周期性をチェックする。
【００５６】
従来技術の説明において用いた図８、図９などを参照し、２−３プルダウン素材は、５フレーム（１０フィールド）毎に同じパターンのフィールド構成を繰り返す。すなわち、例えばボトムフィールドに注目すると、５フレーム毎に繰り返しフィールドが出現し、一方のトップフィールドは、ボトムフィールドに対して５フィールドずれた位相で、同様に５フレームごとに繰り返しフィールドが出現する。この性質を利用し、繰り返しフィールド総合判定部２４により繰り返しフィールドであると判定されたフィールドの周期性をチェックし、当該フィールドが２−３プルダウンによる繰り返しフィールドなのか、単なる静止画像が続いているだけなのかを判別し、この判別結果に基づき、最終的な繰り返しフィールド検出結果を出力する。
【００５７】
なお、上述したように、この発明の本質は、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを検出することにあり、このシーケンスチェック部２５は、省略することができる。
【００５８】
シーケンスチェック部２５による繰り返しフィールド検出結果は、２−３プルダウン検出結果として図１に示した冗長フィールド除去部１１および圧縮符号化部１３に通知される。例えば、冗長フィールド除去部１１では、フレームメモリ２２に記憶された、ブロック１２０、１２１、・・・、１２８からなるフィールド画像を読み出し、シーケンスチェック部２５から通知された２−３プルダウン検出結果が繰り返しフィールドが検出された旨を示すものであれば、フレームメモリ２２から読み出したフィールド画像を、当該フィールド画像が繰り返しフィールドすなわち冗長フィールドであるとして破棄する。
【００５９】
図４を用いて、画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法について、より具体的に説明する。図４Ａは、従来の技術の説明で用いた図１１におけるフィールド１１０とフィールド１１０’とが合成された合成フィールド１１０”の例を示し、図４Ｂは、図１１におけるフィールド１１２の例を示す。
【００６０】
図４Ａに示される画面は、フィールド１１０による画像に対してフィールド１１０’による字幕が合成された合成フィールド１１０”が表示され、図４Ｂに示される画面は、フィールド１１０が繰り返して用いられた繰り返しフィールド１１２が表示されている。つまり、図４Ｂに示されるフィールド１１２は、元々、２−３プルダウン処理により、フィールド１１０に対する繰り返しフィールドにマッピングされたフィールドであり、字幕を除いては、合成フィールド１１０”と同一の画像である。字幕は、２−３プルダウン処理の後に合成されている。図４の例では、字幕の表示がフィールド１１０”（字幕合成前のフィールド１１０）で終了しており、フィールド１１０に対する繰り返しフィールドであるフィールド１１２では字幕が表示されていない。
【００６１】
図４の例では、上述したように、画面が縦横にそれぞれ３分割された９個のブロック１２０、１２１、・・・、１２８に分割されている。これらブロック１２０、１２１、・・・、１２８毎に、特徴量として差分絶対値和を算出する。ブロック１２０〜１２５には字幕が表示されていないので、合成フィールドおよびフィールド１１２間の、ブロック１２０〜１２５における差分絶対値和は、ノイズ成分のみが現れるものと考えられる。一方、ブロック１２６、１２７および１２８は、図４Ａの合成フィールド１１０”と図４Ｂのフィールド１１２とで字幕の有無による差分絶対値和の差が生じる。
【００６２】
この発明では、画面を複数領域に分割したブロック１２０、１２１、・・・、１２８それぞれを差分絶対値和の算出対象としているため、画面１枚全体を差分絶対値和の算出対象とする従来例に比して、字幕に相当する画素の占める割合が相対的に増加し、字幕の有無による差分絶対値和の差異がより顕著に表れるようになる。特に、図４Ａにおいて字幕が表示されているブロック１２６、１２７および１２８、さらにこの中で、ブロック内で字幕の占める比率がより高いブロック１２６および１２７では、特に差分絶対値和が大きな値となり、繰り返しフィールドでは無いという判断が容易となる。
【００６３】
ここで、この発明による、画面を複数領域に分割したブロック毎に差分絶対値和を求めて繰り返しフィールドを検出する方法の有用性について、数式を用いてより詳細に説明する。先ず、数式に用いられる各値を、次のように定義する。
ブロック内の総画素数：ｍ
ノイズによる差分絶対値（１画素当たり平均）：ｄn
字幕による差分絶対値（１画素当たり平均）：ｄc
ブロック内における、字幕に相当する画素の占める割合：ｒ
繰り返しフィールド判定に用いる閾値：ｈ
なお、一般に、ｄn＜ｄcと考えられる。
【００６４】
従来技術の説明において図１１に例示したような、元々は２−３プルダウン処理による繰り返しフィールドだったが、字幕の合成が当該フィールドの元となったフィールド、すなわち当該フィールドの１フレーム前のフィールドまでで終わった場合（または、字幕の合成が２−３プルダウン処理による繰り返しフィールドから始まった場合）に、当該フィールドが繰り返しフィールドでは無いと判断するために、式（１）を満足するような閾値ｈを決める。
ｍ・（１−ｒ）・ｄn＋ｍ・ｒ・ｄc＞ｈ＞ｍ・ｄn ・・・（１）
【００６５】
なお、式（１）において、左辺第１項〔ｍ・（１−ｒ）・ｄn〕は、字幕以外の画素による差分絶対値、左辺第２項〔ｍ・ｒ・ｄc〕は、字幕による差分絶対値、右辺〔ｍ・ｄn〕は、字幕が入っていない、真の繰り返しフィールドであった場合の差分絶対値を表す。式（１）により決めた閾値ｈに基づき、上述した判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を決めることができる。
【００６６】
より高い確度で繰り返しフィールドを判別するためには、式（１）の左辺と右辺が大きく離れた値であることが望ましい。式（１）の左辺と右辺がより離れた値であるほど、閾値ｈがとり得る値の範囲が広がることになる。
【００６７】
式（１）は、式（２）のように変形できる。
ｍ・ｒ・（ｄc−ｄn）＋ｍ・ｄn＞ｈ＞ｍ・ｄn ・・・（２）
【００６８】
式（２）から、左辺第１項〔ｍ・ｒ・（ｄc−ｄn）〕が閾値ｈの決め易さを左右する要素であることが分かる。すなわち、左辺第１項の値が大きいほど、閾値ｈのとり得る値の範囲が広がり、閾値ｈの自由度が増す。式（２）によれば、値（ｄc−ｄn）を大きくするか、値ｒを大きくすることが、閾値ｈのとり得る範囲を広げるために有効であることが分かる。
【００６９】
値（ｄc−ｄn）は、入力画像によって決まってしまう値である。これに対して、値ｒを大きく見せかけることは、この発明による方法により、可能である。すなわち、差分絶対値和を算出する領域の面積を小さくすることで、差分絶対値和を算出する領域における字幕の占める割合ｒを相対的に大きくできる。
【００７０】
この発明では、値ｒを大きくすることに着眼し、式（２）の左辺の値と右辺の値との差を大きくして閾値ｈを決め易くし、結果的に、繰り返しフィールドと判断してはいけないフィールドの検出確度を高めるようにしている。すなわちこの発明では、画面を複数の領域に分割したブロック毎に差分絶対値和を求めているため、１画面に含まれるブロックの何れかにおいて値ｒが大きくなり、そのブロック内では高い確度で繰り返しフィールドではないと判断できる。
【００７１】
なお、上述では、ブロック毎の特徴量として、ブロック内の画素毎の差分絶対値を合計した差分絶対値和を用いているが、これはこの例に限定されない。例えば、ブロック内の画素のうち、１フレーム前の対応するブロックにおける対応位置の画素との画素値（輝度値）の差分絶対値がある閾値より大きくなっている画素の個数を計数するようにしてもよい。計数結果が所定数より多ければ、当該ブロックが１フレーム前の対応ブロックと異なる画像であると判定でき、当該ブロックが含まれるフィールドが繰り返しフィールドではないと判断することができる。
【００７２】
これに限らず、１フレーム前の対応ブロックに対して差分絶対値がある閾値より大きくなっている画素の、ブロック内の総画素数に対する割合に基づき判定を行ってもよい。これらの方法は、対象ブロックと、対象ブロックの１フレーム前の対応するブロックとの類似度が高いほど、小さな値が得られる。これらの方法では、画素毎の差分絶対値を合計する必要が無いので、上述の方法よりも演算回路が簡単に構成できるという利点がある。
【００７３】
次に、この発明の実施の第１の形態の変形例について説明する。この実施の第１の形態の変形例では、各ブロックにおける特徴量の、フィールド内でのバラツキの程度、例えば分散を用いて、繰り返しフィールドの判定を行う。この場合、分散値σが閾値より大きければ、１フレーム前の対応ブロックの繰り返し画像ではないブロックが含まれると考えられ、画面全体として、当該フィールドを繰り返しフィールドと扱ってはいけないと判断することができる。すなわち、分散値σは、フィールド画像における類似度に対応すると考えることができ、分散値σが大きいほど、類似度が小さくなる。
【００７４】
なお、この方法の場合、例えば対象フィールドと１フレーム前のフィールドとが全く異なる画像で、各ブロックの特徴量が全て大きな値の場合にも、分散値σは、小さな値となって算出される可能性がある。そのため、この分散値σを用いた繰り返しフィールド判定方法と、上述の実施の第１の形態による、各ブロック毎の特徴量に対する閾値判定とを併用し、各ブロックごとの特徴量に対する閾値判定により各ブロックの特徴量が全て閾値より小さくなったときに、分散値σを用いた判定を行うようにすると、好ましい。
【００７５】
以下に説明するように、あるフィールドが繰り返しフィールドであるか否かの判定を、各ブロック毎に特徴量に基づき判定する方法と、当該フィールドに含まれるブロック全ての特徴量の分散値σに基づき判定する方法とを併用することで、繰り返しフィールドの判定をより正確に行うことができる。
【００７６】
図５は、この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示す。なお、この図５の構成は、上述した図３の構成のうち判定部２３Ａ、２３Ｂ、・・・、２３ｎおよび繰り返しフィールド総合判定部２４’を抜き出して示す。図５において、上述の図３と共通する部分には同一の符号を付し、詳細な説明を省略する。
【００７７】
図示されない特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出された、ブロック１２０、１２１、・・・、１２８による特徴量が判定部２３Ａ、２３Ｂ、・・・、２３ｎにそれぞれ供給される。判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、当該フィールドが繰り返しフィールドである可能性の有無を判定する。判定部２３Ａ、２３Ｂ、・・・、２３ｎによる判定結果ａ1、ａ2、・・・、ａnは、それぞれ繰り返しフィールド総合判定部２４’の総合判定部４２に供給される。
【００７８】
なお、判定結果ａ1、ａ2、・・・、ａnは、当該フィールドが繰り返しフィールドである可能性がある場合には値「０」、繰り返しフィールドではないと考えられる場合には値「１」とする。
【００７９】
一方、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８による特徴量は、分散値算出部４０にも供給される。分散値算出部４０では、供給されたブロック１２０、１２１、・・・、１２８による特徴量の、１フィールドにおける分散値σを求める。分散値σは、繰り返しフィールド総合判定部２４’に供給され、閾値判定部４１で閾値判定される。閾値判定部４１は、分散値算出部４０で算出された分散値σが閾値より大きければ値「１」を、閾値より小さければ値「０」を判定結果ｂとして出力する。閾値判定部４１の判定結果ｂは、総合判定部４２に供給される。
【００８０】
すなわち、閾値判定部４１の判定結果ｂの値が「１」であれば、当該フィールドは繰り返しフィールドではないといえる。また、閾値判定部４１の判定結果ｂの値が「０」である場合には、当該フィールドが繰り返しフィールドである可能性が高いといえる。但し、上述したように、閾値判定部４１の判定結果ｂの値が「０」の場合、当該フィールドに含まれる全てのブロック１２０、１２１、・・・、１２８による特徴量の値が大きい場合も有り得る。
【００８１】
総合判定部４２は、判定部２３Ａ、２３Ｂ、・・・、２３ｎから供給された判定結果ａ1、ａ2、・・・、ａnと、閾値判定部４１から供給された判定結果ｂとに基づき、ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドであるか否かが総合的に判定される。
【００８２】
例えば、総合判定部４２は、分散値算出部４０で算出された分散値σが閾値判定部４１による閾値より大きく、閾値判定部４１の判定結果ｂが「１」であるか、または、分散値σが閾値判定部４１による閾値より小さく判定結果ｂが「０」であり且つブロック毎の判定結果ａ1、ａ2、・・・、ａnの少なくとも１つが「１」であれば、判定結果として値「１」が出力され、当該フィールドが繰り返しフィールドではないことが示される。
【００８３】
このような判断は、総合判定部４２を図６に一例が示されるように構成することで、実現可能である。この図６の例では、判定結果ａ1、ａ2、・・・、ａnが多入力のＯＲ回路５０に入力され、ＯＲ回路５０の出力がＡＮＤ回路５１の非反転入力端に入力される。ＡＮＤ回路５１の反転入力端に判定結果ｂが入力され、ＡＮＤ回路５１の出力がＯＲ回路５２の一方の入力端に入力される。ＯＲ回路５２の他方の入力端には、判定結果ｂが入力される。ＯＲ回路５２の出力が総合判定部４２の出力とされ、繰り返しフィールド総合判定部２４’から出力される。
【００８４】
なお、上述の実施の第１の形態および第１の形態の変形例では、画面分割部２０において、入力画像が９個の領域に分割され、元の画面を９個の領域に分割したブロックについて、それぞれ特徴量を求めるように説明したが、特徴量を求めるためのブロックは、この方法に限らず、別の方法で構成することもできる。例えば、特徴量を、元の画面を縦２行×横３列に分割した６個のブロックについてそれぞれ求めてもよいし、縦２行×横２列に分割した４個のブロックについて求めてもよい。
【００８５】
また、各ブロックは、必ずしも互いに等しい大きさである必要はない。例えば、画面上の各位置における字幕の出現確率に応じて、各ブロックの大きさを決めるようにしてもよい。各ブロックの大きさを、入力画像に応じて適応的に変えるようにしてもよい。
【００８６】
さらに、上述実施の第１の形態および第１の形態の変形例では、特徴量を算出するためのブロックを、元の画面を複数の領域に分割して得ているが、これはこの方法に限定されない。元の画面から形成される複数の領域は、複数の領域のそれぞれが元の画面サイズよりも小さく、且つ、複数の領域全てを用いたときに、隙間無く元の画面の全面を覆えるようになっていればよい。例えば、特徴量を求めるための各ブロックは、画面上で領域が重複していてもよい。
【００８７】
さらにまた、上述実施の第１の形態および第１の形態の変形例では、入力画像の全フィールドについて、同一の領域によるブロックで特徴量を算出していたが、これはこの例に限らない。特徴量を算出するための１組のフィールドにおいてブロックが同一領域から構成されていれば、一連の入力画像において異なる領域によるブロックで特徴量を算出するようにしてもよい。
【００８８】
また、ブロック毎の特徴量も、画素毎の差分絶対値をブロック内で合計した差分絶対値和だけでなく、画素毎の差分値を二乗した値をブロック内で合計した差分二乗値和を用いてもよいし、２つの画像が異なる画像であることを示すことができるような値であれば、他の値を用いることもできる。
【００８９】
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態は、この発明による繰り返しフィールド判定方法を、例えばＨＤＴＶ(High Definition Television)システムのような、膨大な画素数をエンコード対象とする符号化システムに適用させる例である。このようなシステムでは、プロセッサの処理能力などの制約により、画面を複数領域に分割し、分割された領域毎にビデオ信号を符号化する場合がある。この実施の第２の形態では、このような、分割された領域のそれぞれに対して符号化を行うようなシステムに対して、この発明を適用する。
【００９０】
図７は、この発明の実施の第２の形態を適用可能なビデオ信号符号化装置３０の一例の構成を示す。入力画像としてのビデオ信号が画像分割部３１に入力される。画像分割部３１は、入力されたビデオ信号を、１フィールド毎に、画面上の複数の領域に分割する。画面の各領域に分割された分割ビデオ信号は、それぞれ符号化ブロック１Ａ、１Ｂ、・・・、１ｎに供給される。
【００９１】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、例えば通常のＳＤＴＶ(Standard Definition Television)システムに用いられる符号化ブロックと同等のものであって、例えばそれぞれ上述の図１に例示したような構成を有し、２−３プルダウン検出機能を有する。符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、それぞれ入力された分割ビデオ信号によるフィールドが繰り返しフィールドであるか否かを検出することができるようになっている。
【００９２】
例えば符号化ブロック１Ａは、入力された分割ビデオ信号について、２−３プルダウン検出を行い繰り返しフィールドを検出し、検出結果に基づき冗長フィールドを除去する。符号化ブロック１Ａにおける繰り返しフィールドの判定方法は、入力された分割ビデオ信号による画面内で差分絶対値和を求める、従来技術による判定方法を用いることができる。勿論、この発明の実施の第１の形態で説明したような、入力されたビデオ信号による画面をさらに複数の領域のブロックに分割し、分割したブロックそれぞれの特徴量を用いて判定を行ってもよい。
【００９３】
符号化ブロック１Ａでは、さらに、フィールド間の動き検出やシーンチェンジ検出を行い、２−３プルダウン検出、動き検出およびシーンチェンジ検出などの検出結果に基づき、例えばＭＰＥＧ２方式によりビデオ信号を圧縮符号化し、符号化ストリームを出力する。出力される符号化ストリームにおいて、除去された冗長フィールドは、識別フラグによって示される。
【００９４】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎから出力された符号化ストリームは、それぞれストリーム結合部３２に供給される。ストリーム結合部３２は、供給された、画面が分割された各領域に対応する複数の符号化ストリームを、分割前の元の画面に対する符号化ストリームの如く１本の符号化ストリームに結合して出力する。
【００９５】
符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・・１ｎは、ホストＣＰＵ(Central Processing Unit)３３と接続され、相互に通信が行われる。符号化ブロック１Ａを例にとると、例えば、符号化ブロック１ＡからホストＣＰＵ３３へは、符号化ブロック１Ａを制御するプロセッサのステータスや、符号化ブロック１Ａに対して入力されたビデオ信号に関する各種の情報が渡される。これらの情報と共に、繰り返しフィールドの判定結果や、前後のフィールド間の差分絶対値和などの、フィールドの特徴量が、符号化ブロック１ＡからホストＣＰＵ３３に対して渡される。また、ホストＣＰＵ３３は、符号化ブロック１Ａに対して符号化パラメータなどの設定を行う。
【００９６】
この実施の第２の形態では、ホストＣＰＵ３３において、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎから渡された、画面が分割された各領域それぞれの繰り返しフィールドの判定結果を用いて、画面が分割される前の元の画面に対する繰り返しフィールドの判定を行う。
【００９７】
例えば、上述した実施の第１の形態による繰り返しフィールド判定方法を用いて、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果に基づき、少なくとも一つの繰り返しフィールド判定結果が繰り返しフィールドでは無いことを示している場合に、画像分割部３１に入力された入力画像が繰り返しフィールドでは無いと判断することができる。
【００９８】
また、上述した実施の第１の形態の変形例による繰り返しフィールド判定方法のように、実施の第１の形態による判定方法に加え、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果の分散値σを求め、この分散値σをさらに用いて、画像分割部３１に入力された入力画像が繰り返しフィールドであるか否かを判断してもよい。
【００９９】
ホストＣＰＵ３３による繰り返しフィールド判定結果は、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎにそれぞれ渡される。符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎは、ホストＣＰＵ３３から渡された判定結果に基づき、冗長フィールドの除去や、識別フラグの付加などを行う。
【０１００】
また、上述では、この発明による繰り返しフィールド検出処理がハードウェアで実行されるように説明したが、これはこの例に限らず、この処理をソフトウェアで実行するようにできる。例えば、コンピュータ装置にディジタルビデオ信号の入力インターフェイスを設け、コンピュータ上に搭載されたソフトウェアによりＣＰＵおよびメモリなどを利用して、上述した図２のフローチャートで一例が示される処理に従い、実行することができる。
【０１０１】
繰り返しフィールド検出処理をコンピュータ装置などに実行させるためのプログラムは、例えばＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)といった記録媒体に記録されて提供される。このＣＤ−ＲＯＭをコンピュータ装置のＣＤ−ＲＯＭドライブに装填し、ＣＤ−ＲＯＭに記録されたプログラムを所定にコンピュータ装置にインストールすることで、上述の処理をコンピュータ装置上で実行可能な状態とすることができる。なお、コンピュータ装置の構成は、極めて周知であるため、説明は省略する。
【０１０２】
さらに、上述では、この発明の実施の第１の形態、実施の第１の形態の変形例およびこの発明の実施の第２の形態が、２−３プルダウン処理された画像に３０フレーム／１秒の画像としての字幕が合成された場合について、繰り返しフィールドか否かを検出するように説明したが、これはこの例に限定されない。例えば、この発明は、２−３プルダウン処理された画像に合成される画像が３０フレーム／１秒の画像であれば、当該画像が字幕以外でも適用することができる。
【０１０３】
【発明の効果】
以上説明したように、この発明は、２−３プルダウン素材における繰り返しフィールドの検出を、画面を複数の領域に分割したブロック毎に求めた特徴量に基づき行っている。１画面全体で特徴量を求めて繰り返しフィールドを検出する場合に比して、検出を行う領域において字幕画像の占める割合が相対的に大きくなるので、繰り返しフィールドの判定精度が向上する効果がある。
【０１０４】
そのため、この発明が適用されたビデオ信号の符号化装置を用いることで、従来誤って繰り返しフィールドと判定して符号化したために生じていた、ぎこちない動きの再生画像の発生を抑制することができ、２−３プルダウン素材の高画質での転送が可能となる効果がある。
【図面の簡単な説明】
【図１】この発明に適用できるビデオ信号符号化装置の一例の構成を概略的に示すブロック図である。
【図２】この発明の実施の第１の形態において行われる２−３プルダウン処理を概略的に示すフローチャートである。
【図３】この発明の実施の第１の形態による２−３プルダウン検出部の一例の構成を示すブロック図である。
【図４】画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法を説明するための図である。
【図５】この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示すブロック図である。
【図６】この発明の実施の第１の形態の変形例による繰り返しフィールド総合判定部の一例の構成を示す論理回路図である。
【図７】この発明の実施の第２の形態を適用可能なビデオ信号符号化装置の一例の構成を示すブロック図である。
【図８】２−３プルダウンを説明するための図である。
【図９】２−３プルダウン素材の圧縮符号化について説明するための図である。
【図１０】２−３プルダウン素材の繰り返しフィールド検出を説明するための図である。
【図１１】２−３プルダウン素材に対する字幕画像の合成を説明するための図である。
【符号の説明】
１・・・ビデオ信号符号化装置、１０・・・２−３プルダウン検出部、１１・・・冗長フィールド除去部、１２・・・動き／シーンチェンジ検出部、１３・・・圧縮符号化部、２０・・・画面分割部、２１Ａ〜２１ｎ・・・特徴量算出部、２２・・・フレームメモリ、２３Ａ〜２３ｎ・・・判定部、２４，２４’・・・繰り返しフィールド総合判定部、２５・・・シーケンスチェック部、４０・・・分散置算出部、４１・・・閾値判定部、４２・・・総合判定部
Claims (9)
- ２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理装置において、
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成手段と、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出手段と、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定手段と
を有し、
上記繰り返しフィールド判定手段は、上記類似度検出手段により検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
上記ブロック形成手段は、上記フィールド画像を複数の領域に分割して上記ブロックを形成するようにしたことを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
上記類似度は、上記第１のブロックと上記第２のブロックとの間の画素値の差分絶対値和に基づく値であって、上記差分絶対値和がより小さいときに上記類似度がより大きいと検出することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
上記繰り返しフィールド判定手段は、
上記類似度検出手段により検出された上記類似度に基づき、上記第１のブロックと上記第２のブロックとが異なる画像であるか否かを上記複数のブロックのそれぞれについて判定する複数の判定手段と、
上記複数の判定手段による上記複数のブロック毎の判定結果に基づき上記フィールド画像が繰り返しフィールドであるか否かを判定する総合判定手段と
を有することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
上記類似度は、分散に基づく値であり、上記分散がより大きいときに上記類似度がより小さいと検出することを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
上記繰り返しフィールド判定手段は、上記第１のブロックと上記第２のブロックとの間の画素値の差分絶対値和に基づく類似度が上記複数のブロック全てについて所定値より大きい場合、分散に基づく類似度を用いて上記フィールド画像が繰り返しフィールドであるか否かを判定し、該分散に基づく類似度が所定値より小さいときに上記フィールド画像が繰り返しフィールドであると検出することを特徴とする画像処理装置。 - ２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法において、
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理方法。 - ２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理プログラム。 - ２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、
上記画像処理方法は、
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366893A JP4182747B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366893A JP4182747B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004201010A true JP2004201010A (ja) | 2004-07-15 |
| JP4182747B2 JP4182747B2 (ja) | 2008-11-19 |
Family
ID=32763962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366893A Expired - Fee Related JP4182747B2 (ja) | 2002-12-18 | 2002-12-18 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4182747B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007221538A (ja) * | 2006-02-17 | 2007-08-30 | Fujitsu Ltd | シーンチェンジ判定装置、データ転送装置、シーンチェンジ判定方法、および、データ転送方法 |
| JP2008098938A (ja) * | 2006-10-11 | 2008-04-24 | Fujitsu Ltd | プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置 |
| WO2008120273A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | 合成映像検出装置及び合成映像検出方法 |
| JP2009260595A (ja) * | 2008-04-16 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 量子化マトリクス切り換え方法，映像符号化装置，映像符号化プログラムおよびその記録媒体 |
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| US8189103B2 (en) * | 2005-02-22 | 2012-05-29 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| US8243814B2 (en) | 2008-10-27 | 2012-08-14 | Fujitsu Limited | Combing artifacts detection apparatus and combing artifacts detection method |
| US8363160B2 (en) | 2006-11-30 | 2013-01-29 | Kabushiki Kaisha Toshiba | Caption detection device, caption detection method, and pull-down signal detection apparatus |
-
2002
- 2002-12-18 JP JP2002366893A patent/JP4182747B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8189103B2 (en) * | 2005-02-22 | 2012-05-29 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| US8330858B2 (en) | 2005-02-22 | 2012-12-11 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| JP2007221538A (ja) * | 2006-02-17 | 2007-08-30 | Fujitsu Ltd | シーンチェンジ判定装置、データ転送装置、シーンチェンジ判定方法、および、データ転送方法 |
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| JP2008098938A (ja) * | 2006-10-11 | 2008-04-24 | Fujitsu Ltd | プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置 |
| US8363160B2 (en) | 2006-11-30 | 2013-01-29 | Kabushiki Kaisha Toshiba | Caption detection device, caption detection method, and pull-down signal detection apparatus |
| WO2008120273A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | 合成映像検出装置及び合成映像検出方法 |
| JP2009260595A (ja) * | 2008-04-16 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 量子化マトリクス切り換え方法，映像符号化装置，映像符号化プログラムおよびその記録媒体 |
| US8243814B2 (en) | 2008-10-27 | 2012-08-14 | Fujitsu Limited | Combing artifacts detection apparatus and combing artifacts detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4182747B2 (ja) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100468967B1 (ko) | 썸네일 영상 생성장치 및 방법 | |
| US9432681B2 (en) | Image decoding device and method thereof using inter-coded predictive encoding code | |
| KR101366091B1 (ko) | 영상 부호화 및 복호화 방법과 장치 | |
| US6525774B1 (en) | Inverse telecine converting device and inverse telecine converting method | |
| JP2000261810A (ja) | フェード検出装置及び情報符号化装置 | |
| JP2010500818A (ja) | 漫画アニメーション圧縮のためのシステムおよび方法 | |
| JP2008219876A (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| CN1656514A (zh) | 估计运动矢量的单元和方法 | |
| US6842194B1 (en) | Inverse telecine conversion apparatus | |
| JP4182747B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
| JPH11239351A (ja) | 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体 | |
| EP0939554A2 (en) | Method and apparatus for coding a transparency signal | |
| US20150063439A1 (en) | Encoding apparatus and method | |
| CN101449587A (zh) | 用于视频的场景切换检测 | |
| CN101873495B (zh) | 场景转换检测装置以及影像记录装置 | |
| JP2012054818A (ja) | 画像処理装置と画像処理方法 | |
| JP3924420B2 (ja) | 画像圧縮装置及びその方法 | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JP2005516495A (ja) | 既圧縮マルチメディアのビットレートの低減 | |
| JP2005109918A (ja) | 画像データへの秘匿データ挿入方式、秘匿データ検出方式および秘匿データが挿入された画像データの表示方式 | |
| US8401070B2 (en) | Method for robust inverse telecine | |
| JP2004015700A (ja) | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 | |
| US8319890B2 (en) | Arrangement for generating a 3:2 pull-down switch-off signal for a video compression encoder | |
| JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |