JP2013126065A - 映像信号処理装置および映像信号処理方法 - Google Patents

Abstract

【課題】本発明に係る映像信号装置は、製作者が意図的に起こした映像揺れかどうかを判定できないため、不要な映像揺れ補正をしており、より臨場感のある映像表現することができなかった。
【解決手段】入力映像信号から動きベクトルを検出する動きベクトル検出部１００と、入力映像信号から文字有無情報を検出する文字検出部２００と、判定情報から製作者意図強度を検出する製作者意図検出部３００と、動きベクトルと文字有無情報と製作者意図強度から映像の揺れ補正をするかどうかを判定し、判定結果に基づき補正情報を出力する制御部４００と、補正情報により、入力映像信号の揺れを補正した補正画像を作成する画像補正部５００と、を備える映像信号処理装置。
【選択図】図２

Description

本発明は、映像信号処理装置および映像信号処理方法に関し、特に、ビデオカメラなどの撮影時に生じた映像揺れを補正する映像信号処理装置および映像信号処理方法に関するものである。

ビデオカメラ撮影時における揺れた画像を補正する機能（映像揺れ防止機能)を有する映像揺れ補正装置の一例として、特開平７−１２３３６４号公報がある（特許文献１参照）。映像揺れ補正装置は、図１に示すように構成されている。

１１はビデオ再生機、１２は画像メモリ、１３は動きベクトル検出回路、１４はマイクロコンピュータ（マイコン）、１５は画像拡大回路、１６はインポーズ文字検出回路である。また、ｓ１はビデオ再生機１１により再生された映像信号、ｓ２は動きベクトル検出回路１３により検出された動きベクトル、ｓ３は画像メモリ１２に記憶されている映像信号の読み出し位置を表すアドレス信号、ｓ４はマイコン１４から出力される画像拡大率、ｓ５は画像拡大回路１５から出力される映像信号、ｓ６はインポーズ文字検出回路１６から検出された文字有無情報である。

以上のように構成された映像揺れ補正装置において、ビデオ再生機１１により再生された映像信号ｓ１は、画像メモリ１２に一時記憶される。また、ビデオ再生機１１により再生された映像信号ｓ１は、動きベクトル検出回路１３にも入力され、動きベクトル検出回路１３により、画像の動き速度の情報である動きベクトルｓ２が映像信号ｓ１から検出される。動きベクトルｓ２は、マイコン１４に与えられる。また映像信号ｓ１はインポーズ文字検出回路１６にも入力され、インポーズ文字検出回路１６により映像内に文字があるかどうかの文字有無情報ｓ６をマイコン１４に与える。インポーズ文字検出回路１６では、入力映像信号のエッジおよび輝度から映像内に文字があるかどうかを判定する。そして、マイコン１４では、文字有無情報ｓ６に応じて、映像揺れ補正のＯｎ／Ｏｆｆを切り替える。マイコン１４は、映像揺れ補正Ｏｎの場合、画像メモリ１２に記憶されている映像信号の読み出し位置を表すアドレス信号ｓ３を、動きベクトルｓ２に基づいて決定する。

画像メモリ１２に記憶されている映像信号ｓ１は、アドレス信号ｓ３に応じて読み出される。これにより、撮影時におけるカメラの揺れなどによって生じる画像の揺れがなくなるように、画像が上下左右にシフトされるようにして画像メモリ１２から映像信号が読み出される。

次に、こうして読み出された映像信号は、画像拡大回路１５に入力される。画像拡大回路１５では、画像拡大率ｓ４に従って、画像メモリ１２から読み出された画像が通常の画面サイズになるように修正される。

このように、ビデオ再生機１１により再生された映像信号ｓ１に対して一連の処理が施されることにより、再生された映像信号ｓ１に画像の揺れがあっても、揺れがない安定した映像信号ｓ５がこの映像揺れ補正装置から出力されることになる。

特開平７−１２３３６４号公報

しかしながら、上述のような従来の映像揺れ補正装置では、実際にテレビが受信する映像において、以下に述べるような問題があった。

すなわち、製作者が意図的に映像信号に揺れを与えている場合、従来技術では製作者の意図に反して映像揺れ補正をしてしまうという問題である。

たとえば、カメラで撮影されていないアニメ動画、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）動画では映像揺れは発生しない。仮に映像揺れが発生する場合は、製作者が思惟的に表現した演出である。また、映画コンテンツなどの完成度が高い映像でも製作者が意図しない映像揺れは発生しない。さらにいうと意図しない映像揺れを含むコンテンツは、個人撮影したコンテンツや撮像時に手振れなどの映像揺れ技術が未熟だった時代のコンテンツである。そのため従来技術の文字検出だけでは不十分であった。

また、文字検出には、単純なエッジや輝度だけでは必ずしも高い精度を得ることはできず、たとえ高性能な文字検出を用いたとしては１００％ではない。このため、過剰検出などの誤検出をすると、映像揺れがあるにもかかわらず、映像揺れ補正ができない場合がある。また、文字検出のＯｎ／Ｏｆｆが頻繁に切り替わることにより、映像揺れ補正のＯｎ／ＯＦＦも頻繁に切り替わると、映像表示の品位が劣化するという課題があった。

上記課題を解決するために、本発明の映像信号処理装置は、入力映像信号から動きベクトルを検出する動きベクトル検出部と、前記入力映像信号から文字有無情報を検出する文字検出部と、判定情報から製作者意図強度を検出する製作者意図検出部と、前記動きベクトルと前記文字有無情報と前記製作者意図強度から映像の揺れ補正をするかどうかを判定し、前記判定結果に基づき補正情報を出力する制御部と、前記補正情報により、前記入力映像信号の揺れを補正した補正画像を作成する画像補正部と、からなる。

また、本発明の映像信号処理方法は、入力映像信号から動きベクトルを検出する動きベクトル検出ステップと、前記入力映像信号から文字有無情報を検出する文字検出ステップと、判定情報から製作者意図強度を検出する製作者意図検出ステップと、前記動きベクトルと前記文字有無情報と前記製作者意図強度から映像の揺れ補正をするかどうかを判定し、前記判定結果に基づき補正情報を生成する補正情報生成ステップと、前記補正情報により、前記入力映像信号の揺れを補正した補正画像を生成する補正画像生成ステップと、からなる。

本発明の映像信号処理装置および映像信号処理方法によれば、製作者が意図しない映像の揺れを抑制しつつ、製作者の意図を反映した映像揺れを再現することができる。

本発明の、映像信号処理装置および映像信号処理方法によれば、製作者が意図しない映像の揺れを抑制しつつ、製作者の意図を反映した映像揺れを再現することができる。

従来の映像揺れ補正装置の構成を示すブロック図 本発明の実施例１に係る映像信号処理装置の構成を示すブロック図 本発明の実施例１に係る映像信号処理装置の構成を示すブロック図ブロック図 本発明の実施例１に係る映像信号処理装置の動きベクトル検出部の構成を示すブロック図 本発明の実施例１に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図 本発明の実施例１に係る映像信号処理装置の制御部の構成を示すブロック図 本発明の実施例１に係る映像信号処理装置の画像補正部における画像補正処理を説明するためのイメージ図 本発明の実施例１に係る映像信号処理装置の制御部の他の例の構成を示すブロック図 本発明の実施例２に係る映像信号処理装置の構成を示すブロック図 本発明の実施例３に係る映像信号処理装置の構成を示すブロック図 本発明の実施例３に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図 本発明の実施例４に係る映像信号処理装置の構成を示すブロック図

以下本発明を実施するための形態について、図面を参照しながら説明する。

図２は、本発明の実施例１に係る映像信号処理装置の構成を示すブロック図である。映像信号処理装置１は、動きベクトル検出部１００、文字検出部２００、製作者意図検出部３００、制御部４００および画像補正部５００から構成される。

なお、以下、入力映像信号は、水平同期Ｈ、垂直同期Ｖ、各画素のＲ、Ｇ、Ｂ信号から構成され、水平および垂直の画素数をそれぞれ１９２０および１０８０の解像度を持つ場合について説明する。もちろん一例であり、他のフォーマットおよび解像度でも良い。

動きベクトル検出部１００は、入力映像信号から１フレームに１つのベクトルを動きベクトルとして出力する。動きベクトル検出部１００は、動きベクトル算出のために、入力映像信号にフィルター処理を行い、縮小画像を作成する。次に、動きベクトル検出部１００は、例えば現フレームの映像と現フレームの１フレーム前の映像とを比較する。その際、１フレーム前の映像を水平、垂直方向に細かく移動させ、現フレームの映像と現フレームの１フレーム前の映像の各画素の輝度差分の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｆｆｅｒｅｎｃｅ）を取る。そして、ＳＡＤが最も小さい水平、垂直位置を動きベクトルとして出力する。

図４は、本発明の実施例１に係る映像信号処理装置の動きベクトル検出部の構成を示すブロック図である。

動きベクトル検出部１００は、輝度変換部１１０、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）部１２０、フレームメモリ部１３０、画像移動部１４０、ＳＡＤ算出部１５０およびマイコン１６０から構成される。

輝度変換部１１０では、入力映像信号のＲ、Ｇ、Ｂ信号を式（１）により輝度信号Ｙに変換し、輝度信号をＬＰＦ部に出力する。
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ ・・・（１）
ＬＰＦ部１２０では、輝度信号を入力し、回路規模を小さくするためにフルＨＤ（１９２０×１０８０）解像度を７２０×４８ ０に縮小した縮小輝度信号をフレームメモリ部１３０およびＳＡＤ算出部１５０に出力する。その際、折り返し成分を除去するように、ＬＰＦの係数を調整する。

フレームメモリ部１３０では、縮小輝度信号を１フレーム間保存し、１フレーム前の縮小輝度信号を画像移動部１４０に出力する。

画像移動部１４０では、マイコン１６０から入力されたシフト量に応じて、１フレーム前の縮小輝度信号をシフトさせたシフト画像をＳＡＤ算出部１５０に出力する。

ＳＡＤ算出部１５０では、縮小輝度信号とシフト画像の１画素ずつ差分を全画素加算した値をＳＡＤ値としてマイコン１６０に出力する。

マイコン１６０では、シフト量として、水平方向に−１００から＋１００画素、垂直方向に−１００から＋１００画素をそれぞれ独立に変化させたときのＳＡＤ値をＳＡＤ算出部１５０から得る。ＳＡＤ値が最小となるシフト量を動きベクトルとして出力する。ここに記載したのは動きベクトル検出の一例では、他の方法で動きベクトルを求めても問題はない。

文字検出部２００は、特許文献１記載の文字検出方法と同様に、入力映像信号のエッジおよび輝度から入力映像に文字が含まれるか否かを検出し、入力映像信号における文字の有無を示す文字有無情報を出力する。実施例１では、文字検出時を１００％として、文字不検出時を０％とする。さらに、文字検出の信頼度が低い場合は、０％から１００％の中間値を出力しても良い。

製作者意図検出部３００は、判定情報を入力し、入力した判定情報から映像揺れが製作者の意図したものかどうかを検出する。実施例１では、コンテンツ情報から製作者の意図を検出する場合を説明する。この場合、判定情報は入力映像信号となる。

図３は、本発明の実施例１に係る映像信号処理装置の構成を示すブロック図である。

映像信号処理装置２は、動きベクトル検出部１００、文字検出部２００、製作者意図検出部３１０、制御部４００および画像補正部５００から構成される。

また、図５は、本発明の実施例１に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図である。

製作者意図検出部３１０は、アニメ／ＣＧ検出部３０１、映画検出部３０２、製作者マーク検出部３０３、ＣＭ検出部３０４および意図合成部３０５から構成される。

また、図５は、本発明の実施例１に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図である。

製作者意図検出部３１０は、アニメ／ＣＧ検出部３０１、映画検出部３０２、製作者マーク検出部３０３、ＣＭ検出部３０４および意図合成部３０５で構成される。各検出部は、検出時に１００％という値を出力し、未検出時に０％という値を出力する。精度が十分でない場合は、０から１００％の値を出力する。以下に各部について説明をする。

なお、カメラで撮影されていないアニメ動画やＣＧ動画では映像揺れは発生しないので、仮に発生した映像揺れは製作者が思惟的に表現した演出である。また、完成された映画コンテンツにも製作者が意図しない映像揺れは発生しないので、映像揺れは意図的なものなので映像揺れを抑制しないことが望ましい。

アニメ／ＣＧ検出部３０１は、２つのブロックからアニメおよびＣＧの検出を行う。

階調数検出部では、入力映像信号の階調のヒストグラムを取り、使用階調数が制限されている場合は、アニメまたはＣＧと判定することができる。たとえば、Ｒ、Ｇ、Ｂの信号として２５６階調数を表現することが可能な場合、実際に使用する階調数が６４以下に制限されている場合をアニメまたはＣＧと判定する。また特定の階調を使用しない場合もアニメまたはＣＧと判定する。

コマ数検出部では、異なる映像信号が入力されるまでのフレーム間隔を検出し、その周期からアニメ／ＣＧ検出を行う。具体的にアニメの多くは、２フレームに１回映像信号が更新されるシーケンスがあるか、または、７または８フレームに１回映像信号が更新されるシーケンスがあるとアニメと検出する。シーケンスは事前に記録されたフレーム数で映像信号が更新された場合をアニメと判定する。

映画検出部３０２では、２つのブロックから映画検出を行う。

コピーガード検出部では、コピーガード信号を検出した場合映画と判定する。一例として、入力映像信号からマクロビジョンを検出すれば映画と判定する。また、テレビなどでは、テレビ全体を制御するマイコンから、ＨＤＣＰ（Ｈｉｇｈ−ｂａｎｄｗｉｄｔｈ Ｄｉｇｉｔａｌ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ）やＣＰＲＭ（Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ ｆｏｒ Ｒｅｃｏｒｄａｂｌｅ Ｍｅｄｉａ）の情報を受けた場合も映画と判定する。

コマ数検出部では、２−３プルダウン、２−２プルダウンされたシーケンスを持つ映像を検出した場合は、映画と検出する。または２４ｐ入力も映画と検出する。

製作者マーク検出部３０３は、テレビ局のロゴマークを検出した場合は製作者が責任を持った映像を考えられるため、製作者の意図ありと判定する。具体的には、製作者マーク検出部３０３は、事前にロゴマークをメモリに保存しておき、パターンマッチングにより同じロゴマークを検出した場合は、製作者の意図ありと判定する。

ＣＭ検出部３０４は、ＣＭを検出した場合は製作者が必ずいるため、製作者の意図ありと判定する。ＣＭを検出するためには、画面の平均輝度レベル（ＡＰＬ；Ａｖｅｒａｇｅ Ｐｅａｋ Ｌｅｖｅｌ）を時間的にプロットし、例えば、１５秒間隔でＡＰＬが変化する場合をＣＭと判断し、製作者の意図ありと判定する。

また、上述したアニメ／ＣＧ検出、映画検出、製作者マーク検出、ＣＭ検出だけに限らず、テレビ全体を制御するマイコンから、コンテンツ内容を電子番組表（ＥＰＧ；Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）などから収集して製作者の意図を判定しても良い。

意図合成部３０５では、アニメ／ＣＧ検出、映画検出、製作者マーク検出、ＣＭ検出された検出情報の最大値を製作者意図強度として出力する。

なお、複数の検出方法を記載したが、すべて使用する必要なく、適宜、単独、または組み合わせで使用すれば良い。

図２に戻って、制御部４００は、動きベクトル検出部１００で検出された動きベクトルと、文字検出部２００で検出された文字有無情報と、製作者意図検出部３００で検出された製作者意図強度に応じて、映像の揺れを補正する補正情報を出力する。

図６は、本発明の実施例１に係る映像信号処理装置の制御部の構成を示すブロック図である。

制御部４００は、映像揺れ検出部４１０、合成判断部４２０および補正情報算出部４３０で構成される。

映像揺れ検出部４１０は、動きベクトル検出部１００から動きベクトルを入力し、現シフトベクトルを出力する。動きベクトルの大きさをＮフレーム間蓄積して、動きベクトルが時間的に変化する点を変極点と呼ぶ。その際、時間微分した値の絶対値がある閾値(ｈｅｎＴＨＳＨ)以上のときを変極点とする。上記の閾値ｈｅｎＴＨＳＨを変極点振幅閾値と呼ぶ。

次に、ある一定時間内に、ある閾値（ＴｉｍｅＴＨＳＨ)以上の変極点を持つ場合、映像揺れがあると検出する。上述の閾値ＴｉｍｅＴＨＳＨを変極点頻度閾値と呼ぶ。

そして、映像揺れがあると検出した場合は、現フレームの動きベクトルの向きを反対にした値を現シフトベクトルとして出力する。

変極点振幅閾値及び変極点頻度閾値と事前に調整された設定値であり、さらに細やか制御するために映像信号に応じて動的に制御しても良い。

合成判断部４２０では、文字有無情報と製作者意図強度から下式（２）で算出し、補正ゲインを求める。
補正ゲイン＝（１―文字有無情報）×（１−製作者意図強度）・・・（２）
ここでは、文字有無情報と製作者意図強度を０％から１００％に正規化している。

文字なしの場合を０％、文字ありの場合を１００％とする。文字検出精度が十分出ない場合は、その間の値をとっても良い。製作者意図強度も同様に、意図なしの場合を０％とし、意図有りの場合を１００％とし、製作者意図強度の精度が十分でない場合は、その間の値をとっても良い。また算出式は、下式（３）に示すとおり、文字有無情報と製作者意図強度の大きい方の値をとり、１から引いた値にしても良い。
補正ゲイン＝１―ＭＡＸ（文字有無情報、製作者意図強度）・・・（３）
補正情報算出部４３０は、現シフトベクトルと補正ゲインから、補正情報を出力する。補正情報とは、シフト量と拡大率である。シフト量とは、画像を垂直方向および水平方向に移動させるシフト画素数である。また拡大率とは、移動した後に正しく表示できない隙間領域が発生するが、その隙間領域をなくすために映像を空間方向に拡大するための率であり、下式（４）および（５）で算出される。
シフト量＝現シフトベクトル×補正ゲイン・・・（４）
拡大率＝解像度／（解像度―シフト量）・・・（５）
具体的には、現シフトベクトル（−３８、＋１１）の場合、シフト量は、水平に−１０ピクセル移動させ、垂直に＋５ピクセル移動させる情報を出力する。入力の解像度が水平１９２０画素、垂直１０８０画素の場合は、水平拡大率１０２％≒１９２０／（１９２０−３８）、垂直拡大率１０１％≒１０８０／（１０８０−１１）を出力する。

隙間領域を拡大して埋めない場合は、隙間領域を何からの信号レベルで塗り潰しても良く、その場合は、拡大率は不要となる。

画像補正部５００では、制御部４００で求めた補正情報に応じて、入力映像信号を補正し出力映像信号を出力する。

まず映像の揺れを取り除くために、補正情報にあるシフト量に応じて、画像を移動させる。その際、入力映像信号を一端、画像メモリに保存し、画像メモリの読出し位置を変えて、画像を移動させても良い。

図７は、本発明の実施例１に係る映像信号処理装置の画像補正部における画像補正処理を説明するためのイメージ図である。

画像を移動させると、図７に示すとおり画面端部に隙間領域が発生する。この領域をシフト後の入力映像に対して、拡大率に応じて空間的に拡大することで、見た目の品質を向上させる。また、隙間領域を黒で塗りつぶしても良い。その場合は、拡大率は不要となる。

表示部６００とは、出力映像信号を表示するディスプレイである。テレビが最良の形式であり、使用されるデバイスは、ＬＣＤ、ＰＤＰ、有機ＥＬ、プロジェクターのみに限定されるものではなく、１画素ずつ輝度レベルを調整可能なデバイスに応用することができる。

図８は、本発明の実施例１に係る映像信号処理装置の制御部の他の例の構成を示すブロック図である。
実施例１で述べた制御部４００を制御部４０１のように変更しても良い。

実施例１では、変極点振幅閾値及び変極点頻度閾値が、映像信号に応じて動的に制御されることにより、映像揺れの検出精度を変化させることができるので、揺れの大きさではなく、揺れ検出のそのものの制御に影響を与えることができる。

補正ゲインが小さいときほど、映像揺れを検出しにくいように変極点振幅閾値及び変極点頻度閾値を調整する。

たとえば、下式（６）および（７）に示すとおりである。

補正後の変極点振幅閾値＝補正前の変極点振幅閾値／補正ゲイン・・・（６）
補正後の変極点頻度閾値＝補正前の変極点頻度閾値／補正ゲイン・・・（７）
である。
また、補正ゲインを実施例１かつ実施例１の他の例で述べた使い方を同時に行っても良い。

図９は、本発明の実施例２に係る映像信号処理装置の構成を示すブロック図である。

実施例１で説明した映像信号処理装置２との差分は、製作者意図検出部の入力である判定情報が、映像信号が入力された入力端子情報であることである。

テレビなどの表示デバイスには、種々の入力映像端子を備えており、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、ＲＣＡ端子、コンポジット端子、Ｓ端子、Ｄ−Ｓｕｂ端子、Ｄ端子、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子などがある。なかでもＬＡＮ端子から入力される無料の動画コンテンツには、個人撮影の映像が多数存在している。個人撮影の映像は、携帯電話のカメラ、スマートフォン、タブレットＰＣなどの手ぶれ機能のない撮像機器で撮影された映像があり、それの映像は手振れや歩き振れなどの映像揺れを含んでいる。また昔ほど手ぶれ補正が十分でないカメラが多いため、古い映像コンテンツほど映像揺れが多いと考えられる。このため、ＳＤ画像(垂直解像度７２０ｐ以下)やアナログ入力となる端子に映像揺れの補正機能が必要だと考えられる。つまり、ＬＡＮ端子、ＲＣＡ端子,コンポジット端子、Ｓ端子、Ｄ端子、Ｄ−Ｓｕｂ端子から入力された場合は、製作者の意図なし（＝０％）という製作者意図情報を出力し、ＨＤＭＩ端子から入力された場合は、製作者の意図あり（＝１００％）という製作者意図強度を出力する。

製作者意図検出部３５０では、入力端子に応じて、製作者の意図有無を対応付けたテーブルが記録されている。この構成であれば、入力端子で製作者の意図が大別されるため、誤検出を少なくすることができる。

また、ＨＤＭＩ端子などの接続機器が判別できる場合は、接続先の機器に応じて、製作者意図強度を求めても良い。たとえば、手ぶれ補正機能のないビデオカメラと接続された場合は、製作者意図強度を０％とする。

図１０は、本発明の実施例３に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図である。

実施例１で説明した映像信号処理装置２との差分は、製作者意図検出部の入力である判定情報が、音声信号であることである。製作者が意図的に映像揺れを起こす場合は、映像だけでなく音にも影響を及ぼしている。たとえば、爆発を表現するシーンでは、音声が大音量で映像揺れが発生する場合が多い。また、船上のシーンでは船の揺れを表現するために、映像揺れを発生される場合が多く、その際、音声に波音が入る場合が多い。

図１１は、本発明の実施例３に係る映像信号処理装置の製作者意図検出部の構成を示すブロック図である。

製作者意図検出部３６０は、大音量検出部３６１と、声紋一致検出部３６２と、音声記録部３６３で構成されている。

まず大音量検出部３６１について説明する。大音量検出部３６１は、爆発音などの大音力を検出するために、音声の周波数から音の大きさを判定し、大音量音と判定し、大音量情報を出力する。音声の各周波数の振幅の総和(＝音声エネルギー)がある一定以上のとき、また、ヒトの感性に合わせるため、ラウドネス曲線に応じたエネルギーがある高いと大音量と判定した情報を出力する。大音量検出部３６１は、大音量時は１００％を出力する。また、閾値を設けて、０％または１００％の出力でも、連続値０％から１００％でも良い。

次に、波音などの特定音を検出する声紋一致検出部３６２について説明する。

事前に特定の声紋を記録した音声記録部３６３と、入力音声信号の差分を取り、特定音声であることを判定する。一致する場合は、特定音声情報（１００％）を出力する。閾値を設けて、０％または１００％の出力でも、連続値０％から１００％でも良い。

この実施例３の製作者意図強度として、大音量情報と特定音声情報の大きい値を出力する。大音量検出部３６１と声紋一致検出部３６２は両方ある必要はなく、一方のみでも良い。

図１２は、本発明の実施例４に係る映像信号処理装置の構成を示すブロック図である。
実施例１で説明した映像信号処理装置２との差分は、一旦製作者の意図により映像揺れ補正がＯｆｆになった後、いつまで映像揺れ補正Ｏｆｆ状態を維持するのかを決める機能を追加したことである。

製作者は、一つのシーンまたは一つの番組で共通の意図を持つため、製作者の意図により映像揺れ補正をＯｆｆなるとシーンチェンジまたは番組が切り替わるまでは、映像揺れ補正Ｏｆｆにする方が良い。シーンチェンジ検出部７００では、シーンチェンジ及び番組切り替えを検出し、シーンチェンジ情報を出力する。シーンチェンジの検出方法として、平均輝度レベル（ＡＰＬ）の時間的な連続性を見て、急激な変化をしたときにシーンチェンジと判定する。具体的には、直前の６０フレームの偏差をとり、１シグマを超える変化が発生するとシーンチェンジと判定する。また、動きベクトル検出部で用いたＳＡＤを用いて、ＳＡＤがある閾値よりも大きいときをシーンチェンジと判定しても良い。さらに、テレビを制御するマイコンから、番組情報（例えば、ＥＰＧ）から番組が変わったことを検出しても良い。

制御部では、現フレームの補正ゲインと過去フレームの補正ゲインとの最小値を出力するように設定しておき、シーンチェンジ情報が来れば、過去フレームの補正ゲインをリセットする。この構成により、短時間で何度も映像揺れ補正をＯｎ／Ｏｆｆが変化する品位の低下を抑制することができる。

なお、上記記載の実施例１〜４に対して、それぞれの特徴を組み合わせても良い。また、回路を小さくする必要がある場合等、適宜、文字検出などの機能を省いても問題ない。

本発明に係る映像信号装置は、製作者が意図的に起こした映像揺れかどうかを判定し、映像揺れ補正を行うことで、不要な映像揺れ補正がなくなるため、より臨場感のある映像かつ、不要な映像揺れを抑制することができる映像信号処理装置および映像信号処理方法として有用である。

１、２、３、４，５ 映像信号処理装置
１００ 動きベクトル検出部
１１０ 輝度変換部
１２０ ＬＰＦ部
１３０ フレームメモリ部
１４０ 画像移動部
１５０ ＳＡＤ算出部
１６０ マイコン
２００ 文字検出部
３００、３１０、３５０、３６０ 製作者意図検出部
３０１ アニメ／ＣＧ検出部
３０２ 映画検出部
３０３ 製作者マーク検出部
３０４ ＣＭ検出部
３０５ 意図合成部
３６１ 大音量検出部
３６２ 声紋一致検出部
３６３ 音声記録部
４００、４０１ 制御部
４１０ 映像揺れ検出部
４２０ 合成判断部
４３０ 補正情報算出部
５００ 画像補正部
６００ 表示部
７００ シーンチェンジ検出部

Claims (2)

1. 入力映像信号から動きベクトルを検出する動きベクトル検出部と、
   前記入力映像信号から文字有無情報を検出する文字検出部と、
   判定情報から製作者意図強度を検出する製作者意図検出部と、
   前記動きベクトルと前記文字有無情報と前記製作者意図強度から映像の揺れ補正をするかどうかを判定し、前記判定結果に基づき補正情報を出力する制御部と、
   前記補正情報により、前記入力映像信号の揺れを補正した補正画像を作成する画像補正部と、
   を備える映像信号処理装置。
2. 入力映像信号から動きベクトルを検出する動きベクトル検出ステップと、
   前記入力映像信号から文字有無情報を検出する文字検出ステップと、
   判定情報から製作者意図強度を検出する製作者意図検出ステップと、
   前記動きベクトルと前記文字有無情報と前記製作者意図強度から映像の揺れ補正をするかどうかを判定し、前記判定結果に基づき補正情報を生成する補正情報生成ステップと、
   前記補正情報により、前記入力映像信号の揺れを補正した補正画像を生成する補正画像生成ステップと、
   を備える映像信号処理方法。

Images