JP5762006B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

入力された映像信号の時間的に連続する２つのフレーム間の動き情報（動きベクトル）を検出して、それらのフレーム間を補間する補間フレームの画像を生成することで、入力された映像信号のフレームレートを高める技術がある（フレームレート変換処理）。補間フレームの画像を生成する場合には、入力された映像信号の各フレームが複数のブロックに分割され、ブロック毎に動きベクトルが検出される。そして、検出された動きベクトルを用いて補間フレームが生成される。このような技術を用いれば、映像の動きを滑らかに表現することができる。

ところで、映像にテロップが含まれる場合、視聴者はテロップに注目しやすい。そのため、補間フレームの画像を生成してテロップの動きを滑らかに表現することにより、大きな画質向上効果が期待できる。特許文献１には、映像信号からテロップの領域を検出し、テロップの領域に対応するブロックの動きベクトルとして該テロップの動きに基づく動きベクトルを用いて補間フレームの画像を生成する技術が開示されている。特許文献１に開示の技術によれば、テロップの動きを滑らかに表現することができる。
また、動きのある領域の端部分の画質劣化が抑制された補間フレームの画像を生成する技術もある。このような技術は、例えば、特許文献２や特許文献３に開示されている。

特開２００８−１０７７５３号公報 特開２００９−１４１８７８号公報 特開２００９−０５５３４０号公報

しかしながら、テロップの端部分のブロック（端ブロック）では、テロップよりもテロップ以外の部分（以後、背景と呼ぶ）を多く含むことがしばしば生じる。さらに、テロップと背景とでは動きが異なる場合が多い。そのため、端ブロックでは、テロップの動きベクトルが検出されにくく、背景の動きベクトルが検出されやすい。テロップを含むブロックの動きベクトルとして背景の動きベクトルを用いて補間フレームの画像を生成すると、そのブロックでテロップが欠けたように見えてしまう。前述のように、テロップは注目されやすいオブジェクトであるため、テロップが崩れることによる画質の劣化は大きい。

本発明は、テロップの領域での画質劣化が抑制された補間フレームの画像を生成することのできる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１の態様は、入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する第１動きベクトル検出手段と、入力された映像信号のフレームの少なくとも一部の領域を、前記第１動きベクトル検出手段で分割したブロックよりも小さいブロックである複数の小ブロックに分割し、小ブロック毎の動きベクトルを検出する第２動きベクトル検出手段と、前記第１動きベクトル検出手段で分割したブロックのうち、テロップを含むブロックを検出するテロップ検出手段と、動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成手段と、を有し、前記補間フレーム生成手段は、前記テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域に対して、前記第２動きベクトル検出手段で検出された動きベクトルを用いて補間フレームの画像を生成し、残りのブロックの領域に対して、前記第１動きベクトル検出手段で検出された動きベクトルを用いて補間フレームの画像を生成することを特徴とする画像処理装置である。

本発明の第２の態様は、入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出手段と、前記入力された映像信号に含まれるテロップの動きベクトルの情報を取得する取得手段と、動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成手段と、を有し、前記動きベクトル検出手段は、時間的に連続する２つのフレームの一方のフレームのブロック毎に、そのブロック内の画像の画素値との差の絶対値の総和であるＳＡＤが最小となる画像の領域を他方のフレームから検出し、前記一方のフレームのブロック毎に、そのブロックと前記検出した領域との位置のずれ量を動きベクトルとして出力するとともに、前記最小となるＳＡＤを最小ＳＡＤとして出力し、前記補間フレーム生成手段は、前記動きベクトル検出手段で検出された動きベクトルが前記取得手段で取得された前記テロップの動きベクトルと等しいブロック及びそのブロックに隣接するブロックのうち、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域に対して、前記取得手段で取得された前記テロップの動きベクトルを用いて補間フレームの画像を生成し、残りのブロックの領域に対して、前記動きベクトル検出手段で検出された動きベクトルを用いて補間フレームの画像を生成することを特徴とする画像処理装置である。

本発明の第３の態様は、入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置により実行される画像処理方法であって、入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する第１動きベクトル検出ステップと、入力された映像信号のフレームの少なくとも一部の領域を、前記第１動きベクトル検出ステップで分割したブロックよりも小さいブロックである複数の小ブロックに分割し、小ブロック毎の動きベクトルを検出する第２動きベクトル検出ステップと、前記第１動きベクトル検出ステップで分割したブロックのうち、テロップを含むブロックを検出するテロップ検出ステップと、動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成ステップと、を有し、前記補間フレーム生成ステップでは、前記テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域に対して、前記第２動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームの画像が生成され、残りのブロックの領域に対して、前記第１動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームの画像が生成されることを特徴とする画像処理方法である。

本発明の第４の態様は、入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置により実行される画像処理方法であって、入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する動きベクトル検出ステップと、前記入力された映像信号に含まれるテロップの動きベクトルの情報を取得する取得ステップと、動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成ステップと、を有し、前記動きベクトル検出ステップでは、時間的に連続する２つのフレームの一方のフレームのブロック毎に、そのブロック内の画像の画素値との差の絶対値の総和であるＳＡＤが最小となる画像の領域が他方のフレームから検出され、前記一方のフレームのブロック毎に、そのブロックと前記検出した領域との位置のずれ量が動きベクトルとして出力されるとともに、前記最小となるＳＡＤが最小ＳＡＤとして出力され、前記補間フレーム生成ステップでは、前記動きベクトル検出ステップで検出された動きベクトルが前記取得ステップで取得された前記テロップの動きベクトルと等しいブロック及びそのブロックに隣接するブロックのうち、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域に対して、前記取得ステップで取得された前記テロップの動きベクトルを用いて補間フレームの画像が生成され、残りのブロックの領域に対して、前記動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームの画像が生成されることを特徴とする画像処理方法である。

本発明によれば、テロップの領域での画質劣化が抑制された補間フレームの画像を生成することができる

実施例１に係る画像処理装置の構成の一例を示すブロック図。 テロップ領域とテロップ端領域の一例を示す図。 小ブロックの設定方法の一例を示す図。 生成される補間フレームの画像の一例を示す図。 生成される補間フレームの画像の一例を示す図。 実施例２に係る画像処理装置の構成の一例を示すブロック図。 テロップ領域の一例を示す図。 最小ＳＡＤの分布、テロップ領域、及び、テロップ端領域の一例を示す図。 生成される補間フレームの画像の一例を示す図。

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置および該装置により実行される画像処理方法について説明する。
本実施例に係る画像処理装置は、入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する。本実施例では、フレームレートが６０ｆｐｓの映像信号のフレーム間に１枚の補間フレームが挿入され、該映像信号のフレームレートが２倍の１２０ｆｐｓに変換されるものとする。なお、変換前後のフレームレートはこれに限らない。例えば、変換前のフレームレートは１２０ｆｐｓであってもよい。また、フレーム間に２枚以上の補間フレームを挿入してもよい。具体的には、フレーム間に２枚の補間フレームを挿入して、入力された映像信号のフレームレートを３倍のフレームレートに変換してもよい。
また、本実施例では、映像信号がフレーム単位で入力されるものとする。

図１は、本実施例に係る画像処理装置の構成を示すブロック図である。
図１において、フレーム遅延部１０１は、入力された映像信号を１フレーム期間分だけ遅延させて、動きベクトル検出部１０２、小ブロック動きベクトル検出部１０３、及び、補間部１０４に出力する。

動きベクトル検出部１０２は、入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する。本実施例では、入力された現在のフレーム（現フレーム）と、フレーム遅延部１０１から取得した１フレーム前のフレーム（前フレーム）との間の動きベクトルが検出される。検出された動きベクトルは、テロップ検出部１０５、および、補間方法制御部１０７に出力される。

以下に、ブロック毎の動きベクトルの検出方法の一例として、ブロックマッチング法について説明する。
ブロックマッチング法では、まず、時間的に連続する２フレーム（現フレームと前フレーム）の一方のフレームの画像がマトリクス状の複数のブロックに分割される。
そして、該複数のブロックのうち１つが注目ブロックとされる。
次に、注目ブロックと最も相関の高い画像の領域が他方のフレームから検出される。
そして、注目ブロックと検出された領域との（相対的な）位置のずれ量が動きベクトルとして検出される。
なお、上記一方のフレームと同様に、上記他方のフレームも複数のブロックに分割してもよい。そして、該複数のブロックから、注目ブロックと最も相関の高いブロックを検出し、注目ブロックと検出されたブロックの位置のずれ量を動きベクトルとして検出してもよい。

上記相関は、例えば、注目ブロック内の画像の画素値と検出された領域内の画像の画素値との差の絶対値の総和（ＳＡＤ）によって表される。その場合、上記相関はＳＡＤが小さいほど高くなる。即ち、ＳＡＤが最小となる画像の領域が最も相関の高い画像の領域となる。以後、このようなＳＡＤ（最小となるＳＡＤ）を最小ＳＡＤと呼ぶ。
本実施例では、動きベクトル検出部１０２は、時間的に連続する２フレームの一方のフレームのブロック毎に、ＳＡＤが最小となる画像の領域を他方のフレームから検出する。そして、一方のフレームのブロック毎に、そのブロックと検出した領域との位置のずれ量を動きベクトルとして出力する。
なお、ブロック毎の動きベクトルの検出方法は、上記方法に限らない。例えば、相関をＳＡＤ以外の値で表してもよい。具体的には、相関を注目ブロック内の画像の代表画素値と検出された領域内の画像の代表画素値との差の絶対値で表してもよい。代表画素値は画像の最大値、最小値、平均値、最頻値など、ブロック（領域）を代表する画素値である。また、動きベクトルは勾配法を用いて検出されてもよい。ブロック毎に動きベクトルが検出されればどのような方法を用いてもよい。

小ブロック動きベクトル検出部１０３は、入力された映像信号のフレームの少なくとも一部の領域を、動きベクトル検出部１０２で分割したブロックよりも小さいブロックである小ブロックに分割し、小ブロック毎の動きベクトル（小ブロック動きベクトル）を検出する。以下、動きベクトル検出部１０２で分割したブロックは“ブロック”と記載し、小ブロック動きベクトル検出部１０３で分割したブロックは“小ブロック”と記載する。また、動きベクトル検出部１０２で検出された動きベクトルは“動きベクトル”と記載し、小ブロック動きベクトル検出部１０３で検出された動きベクトルは“小ブロック動きベクトル”と記載する。小ブロック動きベクトルは、動きベクトル検出部１０２と同じ方法（ブロックマッチング法）を用いて検出されてもよいし、動きベクトル検出部１０２とは異なる方法を用いて検出されてもよい。

本実施例では、小ブロックの大きさを、動きベクトル検出部１０２で分割したブロックの大きさの４分の１とする。但し、小ブロックの大きさはこれに限らない。小ブロックの大きさは固定値でも、可変値でもよい。また、１フレーム内で小ブロックの大きさは均一でなくてもよい。
例えば、小ブロックの大きさを所定の大きさに設定する。そして、最小ＳＡＤが十分に小さい小ブロックの領域に対しては、小ブロックの大きさをそのままとする。一方、最小ＳＡＤが十分に小さくない（所定値以上である）小ブロックの領域に対しては、小ブロックの大きさをより小さくする。それにより、小ブロックの大きさを最適化することができる。この様子を、図３に示す。
また、小ブロック動きベクトル検出部１０３は、テロップ検出部１０５よりテロップの動き（動きベクトル）を取得し、小ブロック動きベクトルとして、該テロップの動きベク
トルを、優先的、あるいは、限定的に検出してもよい。

補間部１０４は、補間方法制御部１０７より取得した補間用動きベクトルを用いて補間フレームの画像を生成し（補間フレーム生成処理）、出力する。本実施例では、ブロック毎に、そのブロックの大きさの画像（補間フレームの画像）が生成される。

テロップ検出部１０５は、入力された映像信号からテロップの領域及び該テロップの動きを検出し、検出結果をテロップ端検出部１０６へ出力する。具体的には、テロップ検出部１０５は、テロップの領域（テロップ領域）として、動きベクトル検出部１０２で分割したブロックのうち、テロップを含むブロックを検出する。
テロップの領域とその動きは、例えば、特許文献１に開示されている技術のように、動きベクトルの空間分布を統計的に解析することにより、検出される。但し、テロップの領域とその動きの検出方法はこれに限らない。例えば、入力されたフレームの画像の画素値、フレーム間の画素値の差に関する特徴量、または、その他の付加情報を用いてテロップの領域とその動きが検出されてもよい。テロップの領域は、テロップを含むブロックの集合が検出されれば、どのような方法で検出されてもよい。

テロップ端検出部１０６は、テロップ検出部１０５より取得したテロップ領域の検出結果を用いてテロップの端の領域（テロップ端領域）を検出し、検出結果を補間方法制御部１０７へ出力する。具体的には、テロップ領域内のブロック（テロップを含むブロック）のうち、テロップを含まないブロックが隣接するブロックの領域をテロップ端領域として検出する。テロップ端領域は、例えば、テロップ領域に相当するブロックでは１を、それ以外のブロックでは０を出力することで、テロップ領域の検出結果を表す２次元の２値データ配列を作成し、作成した２値データ配列に対して一般的なエッジ検出処理を行うなどして検出することができる。但し、テロップ端領域の検出方法は特に限定されない。例えば、テロップ領域内の各ブロックの位置座標を用いて、テロップ領域内のブロックのうちテロップ領域の端に位置するブロック（即ち、テロップ端領域）を検出してもよい。

補間方法制御部１０７は、動きベクトル検出部１０２から動きベクトルを、小ブロック動きベクトル検出部１０３から小ブロック動きベクトルを、テロップ端検出部１０６からテロップ端領域の情報を取得する。そして、テロップ端領域内のブロックの補間用動きベクトルとして、小ブロック動きベクトル検出部１０３から取得した小ブロック動きベクトルを出力する。そして、それ以外のブロックの補間用動きベクトルとして、動きベクトル検出部１０２から取得した動きベクトルを出力する。

従って、補間部１０４は、テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域に対しては、小ブロック動きベクトル検出部１０３で検出された小ブロック動きベクトルを用いて補間フレームの画像を生成する。即ち、テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域では、小ブロック毎に補間フレームの画像が生成される。
そして、補間部１０４は、テロップを含むブロックのうち、残りのブロックの領域に対しては、動きベクトル検出部１０２で検出された動きベクトルを用いて補間フレームの画像を生成する。即ち、テロップ端領域以外の領域では、動きベクトル検出部１０２で分割したブロック毎に補間フレームの画像が生成される。

以下、本実施例の効果について説明する。
図２は、入力されたフレームの画像の一部の例を示す図である。図２の例では、複数の三角形のオブジェクトを含む静止した背景上を、テロップである文字「ＲＲＲＲ」が右から左へ移動する。図２において、太線で示した範囲内の領域はテロップ領域であり、該領域内のブロックはテロップを含んでいる。また、テロップ領域内のクロスパターン（バツ
印）を付したブロックはテロップ端領域内のブロックを示している。図４，５は、図２のフレームの次に出力される補間フレームの画像の例を示す図である。なお、図４，５に示す画像の領域は図２の領域と同じ位置、大きさの領域である。

図４は、補間用動きベクトルとして動きベクトル検出部１０２で検出された動きベクトルを用いて生成された補間フレームの画像の例である。図２に示したテロップ領域内のブロックのうち、テロップ端領域内のブロックでは、背景の面積がテロップの面積に対して大きくなりやすいため、背景の動きベクトル（本実施例では０（静止））が検出されやすい。一方、テロップ領域内のブロックのうち、テロップ端領域外のブロックでは、テロップの動きベクトルが検出される。そのため、図４の例では、テロップ端領域にテロップの動きベクトルを用いた補間フレーム生成処理が行われないブロックが存在するため、画質が大きく劣化してしまう。

そこで、本実施例では、テロップ端領域に対しては、小ブロック動きベクトル検出部１０３で検出された小ブロック動きベクトルを用いて補間フレームの画像を生成する。一方、他の領域に対しては、動きベクトル検出部１０２で検出された動きベクトルを用いて補間フレームの画像を生成する。

本実施例により生成される補間フレームの画像の例を図５に示す。図５に示すように、テロップ端領域では、図２，４に示すブロックより小さい小ブロック（図２，４の場合の４分の１の大きさのブロック）毎に検出された動きベクトル（小ブロック動きベクトル）を用いて補間フレームの画像が生成される。図２に示すブロックよりも、図５に示す小ブロックの方が１つのブロックに含まれるテロップの面積の割合が大きくなりやすい。そのため、テロップを含む小ブロックでは、図２の場合よりも、テロップの動きベクトルが検出されやすくなる。その結果、図５に示すように、テロップの領域での画質の劣化（テロップの乱れ）が抑制された補間フレームを生成することが可能となる。

以上述べたように、本実施例によれば、テロップ端領域に対しては、小ブロック動きベクトル検出部１０３で検出された小ブロック動きベクトルを用いて補間フレームの画像が生成される。そして、テロップ領域のうち、テロップ端領域以外の領域に対しては、動きベクトル検出部１０２で検出された動きベクトルを用いて補間フレームの画像が生成される。そのため、テロップ端領域ではテロップを含むブロックか否かがより細かく判断される。それにより、テロップの端部分でテロップの動きベクトルを用いた補間フレーム生成処理が行われ易くなり、テロップの領域での画質の劣化（テロップの乱れ）が抑制された補間フレームを生成することができる。

また、図２のテロップ領域内全体の動きベクトルをテロップの動きベクトルとして補間フレームを生成すると、テロップの周囲の背景がテロップの動きに引きずられ、画質が劣化する。本実施例によれば、テロップ端領域では、他の領域のブロックよりも小さい小ブロック毎に補間フレームの画像が生成される。そのため、テロップの動きベクトルが補間用動きベクトルとされる背景（テロップ以外の領域）の面積を低減することができ、テロップの周囲の背景がテロップの動きに引きずられることで生じる画質の劣化を低減することができる。
また、本実施例によれば、補間用動きベクトルとして小ブロック動きベクトルが使用されるブロックはテロップ端領域内のブロックに限定される。ブロックマッチングに用いるブロックの大きさを小さくすると、１つのブロックに含まれる情報量が少なくなるため、動きベクトルの誤検出が生じやすくなる。動きベクトルの誤検出は、画質の劣化をまねく。例えば、図２のテロップ領域全体に対して小ブロック動きベクトルを用いた補間フレーム生成処理を行うと、テロップ端部の画質が改善されたとしても、テロップ端部以外のブロックで動きベクトルの誤検出が生じ、図４の場合よりも画質が劣化する虞がある。本実
施例では、小ブロック動きベクトルを用いた補間フレーム生成処理はテロップ端領域に限定されるため、動きベクトルの誤検出を抑制することができ、ひいてはテロップの画質の劣化を抑制することができる。

なお、本実施例では、ブロック毎に、補間用動きベクトルが、小ブロック動きベクトル検出部１０３から取得した小ブロック動きベクトルと、動きベクトル検出部１０２から取得した動きベクトルとの間で切り替えられるが、本発明はこの構成に限らない。
例えば、補間部１０４は、小ブロック動きベクトル検出部１０３で検出された小ブロック動きベクトルを用いて第１の（補間フレームの）画像を生成し、動きベクトル検出部１０２で検出された動きベクトルを用いて第２の（補間フレームの）画像を生成してもよい。そして、補間部１０４は、テロップを含まないブロックが隣接するブロックの領域と他の領域との境界部では、第１の画像と第２の画像を合成して最終的な補間フレームの画像を生成してもよい。このような構成にすることにより、テロップ端領域を境界として、テロップ領域とその他の領域との間で急激に画像処理（動きベクトル）が変化することに起因して生じる違和感を低減できる。

なお、上述したように、小ブロック動きベクトル検出部１０３で分割した小ブロックでは、動きベクトル検出部１０２で分割したブロックよりも、テロップの動きベクトルが検出されやすい。そこで、境界部では、テロップ領域の内側に向かうにつれて第１画像の重みが大きくなるように、第１画像と第２画像を重み付け合成するとよい。
なお、上記境界部は、テロップ端領域全体であってもよいし、テロップ端領域の一部（例えば、テロップを含まないブロックが隣接する小ブロックの領域）であってもよい。また、上記境界部は、テロップ端領域の周囲の領域、例えば、テロップ端領域から所定範囲内にあるテロップを含まないブロックの領域、テロップを含むブロックの領域、または、それら両方の領域を含んでいてもよい。上記効果が得られれば、境界部はどのように定義されてもよい。

また、補間部１０４は、境界部では、小ブロック動きベクトル検出部１０３で検出された小ブロック動きベクトルと動きベクトル検出部１０２で検出された動きベクトルとを合成した動きベクトルを用いて補間フレームの画像を生成してもよい。そのような構成であっても、上記効果と同様の効果を得ることができる。

なお、小ブロック動きベクトル検出部１０３は、フレームの画像全体を複数の小ブロックに分割してもよいし、フレームの一部の領域（例えば、テロップ端領域のみ）を複数の小ブロックに分割してもよい。小ブロック動きベクトルを検出する領域を小さくすれば（例えば、小ブロック動きベクトルを検出する領域をテロップ端領域のみに制限すれば）、小ブロック動きベクトルを検出する処理の負荷を軽減することができる。また、上述した動きベクトルの誤検出を抑制することができる。
なお、“隣接する”とは、斜め方向に隣接することを含んでいてもよいし、水平方向と垂直方向に隣接することに限定されてもよい。

＜実施例２＞
以下、本発明の実施例２に係る画像処理装置および該装置により実行される画像処理方法について説明する。
図６は本実施例に係る画像処理装置の構成を示すブロック図である。

図６において、フレーム遅延部２０１は、入力された映像信号を１フレーム期間分だけ遅延させて、動きベクトル検出部２０２、補間部２０３に出力する。
動きベクトル検出部２０２は、入力された映像信号の各フレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する。具体的には、動きベクトル検出部２０２は
、時間的に連続する２フレームの一方のフレームのブロック毎に、ＳＡＤが最小となる画像の領域を他方のフレームから検出する。そして、一方のフレームのブロック毎に、そのブロックと検出した領域との位置のずれ量を動きベクトルとして出力するとともに、上記最小となるＳＡＤを最小ＳＡＤとして出力する。なお、動きベクトルと最小ＳＡＤは、テロップ検出部２０４、テロップ端検出部２０５、および、補間方法制御部２０６に出力される。
補間部２０３は、補間方法制御部２０６より取得した補間用動きベクトルを用いて補間フレームの画像を生成し（補間フレーム生成処理）、出力する。

テロップ検出部２０４は、入力された映像信号に含まれるテロップの動きベクトルの情報を取得する。本実施例では、入力された映像信号からテロップの領域及び該テロップの動き（動きベクトル）を検出する。検出結果はテロップ端検出部２０５へ出力される。
具体的には、テロップ検出部２０４は、動きベクトル検出部２０２より取得した動きベクトルのヒストグラムを生成する。
次に、テロップ検出部２０４は、ヒストグラムの水平または垂直方向の動きベクトルに相当するカテゴリの度数が所定数以上である場合、そのカテゴリの動きベクトルをテロップの動きベクトルとして検出する。なお、度数が所定数以上となる水平または垂直方向のベクトルのカテゴリに、大きさの異なる複数の動きベクトルが属す場合には、該カテゴリに属す動きベクトルの大きさの代表値をテロップの動きベクトルの大きさとすればよい。代表値は、例えば、最大値、最小値、平均値、最頻値などである。
そして、テロップ検出部２０４は、動きベクトル検出部２０２で検出された動きベクトルが上記検出したテロップの動きベクトルと等しいブロックの領域を、テロップの領域として検出する。なお、動きベクトル検出部２０２で検出された動きベクトルとテロップ検出部２０４で検出されたテロップの動きベクトルは完全に一致していなくてもよい。即ち、誤差を考慮してテロップの領域が検出されてもよい。
テロップ検出部２０４は、さらに、テロップの端では背景の動きベクトルが検出されていることを想定し、上記テロップの領域としたブロックに隣接するブロックもテロップの領域とする。即ち、本実施例では、動きベクトル検出部２０２で検出された動きベクトルがテロップ検出部２０４で取得されたテロップの動きベクトルと等しいブロック及びそのブロックに隣接するブロックの領域がテロップ領域とされる。
なお、テロップの領域およびその動きの検出方法はこれに限らない。テロップの領域やテロップの動きベクトルの情報は、外部から取得されてもよい。テロップの領域やテロップの動きベクトルの情報は、メタデータとして映像信号に付加されていてもよい。

テロップ端検出部２０５は、動きベクトル検出部２０２から取得した最小ＳＡＤと、テロップ検出部２０４の出力と用いてテロップ端領域を検出し、検出結果を補間方法制御部２０６に出力する。具体的には、テロップ領域内のブロックのうち、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域をテロップ端領域として検出する。

補間方法制御部２０６は、動きベクトル検出部２０２から動きベクトルを、テロップ検出部２０４からテロップの動きベクトルを、テロップ端検出部２０５からテロップ端領域の情報を取得する。そして、テロップ端領域内のブロックの補間用動きベクトルとして、テロップ検出部２０４から取得したテロップの動きベクトルを出力する。そして、それ以外のブロックの補間用動きベクトルとして、動きベクトル検出部２０２から取得した動きベクトルを出力する。

従って、補間部２０３は、テロップ領域内のブロックのうち、テロップ端領域内のブロックに対して、テロップ検出部２０４で取得されたテロップの動きベクトルを用いて補間フレームの画像を生成する。
そして、補間部２０３は、テロップ領域内のブロックのうち、残りのブロックの領域に対して、動きベクトル検出部２０２で検出された動きベクトルを用いて補間フレームの画像を生成する

以下、本実施例の作用効果について説明する。
図７は、入力されたフレームの画像の一部の例を示す図である。図７に示すように、本実施例では、動きベクトル検出部２０２で検出された動きベクトルがテロップ検出部２０４で取得されたテロップの動きベクトルと等しいブロック及びそのブロックに隣接するブロックの領域がテロップ領域とされる。このような構成の場合、図７に示すように、テロップ領域が、テロップを含むブロックからなる領域よりも大きくなってしまうことがある。即ち、テロップ領域にテロップを含まない（背景のみを含む）ブロックの領域が含まれることがある。このようなテロップ領域に対し実施例１と同じ方法でテロップ端領域を検出すると、背景のみを含むブロックがテロップ端領域とされ、テロップの周囲の背景がテロップの動きに引きずられることによる妨害が大きくなる虞がある。逆に、テロップの動きベクトルが検出されたブロックのみをテロップ領域として検出すると、テロップ領域が、テロップが含まれるブロックからなる領域よりも小さくなってしまうことがある。このように検出されたテロップ領域に対し実施例１と同じ方法でテロップ端領域を検出すると、テロップの端部分（テロップを含むブロック）で背景の動きベクトルを用いた補間フレーム生成処理が行われ、期待した画質改善効果が得られない。

そこで、本実施例では最小ＳＡＤを分析して、テロップ端領域を精度良く検出する。
図７のフレームが入力されたときの各ブロックの最小ＳＡＤの例を図８に示す。
テロップを含まない（背景の）ブロックは最小ＳＡＤが０となっている。これは、該ブロックでは、フレーム間で完全なマッチングが取れており、非常に高い相関が得られていることを意味する。
一方、テロップが含まれるブロックの最小ＳＡＤは、背景のブロックと比較して大きな値になっている（図８の例では、３００）。これは、背景のブロックと比較して、テロップが含まれるブロックではフレーム間の相関が低いことを意味する。テロップが含まれるブロックではテロップ（前景）と背景が混在しており、かつ、それらの動きが異なるため、テロップと背景との相対的な位置関係がフレーム毎に変化する。また、テロップ（前景）が移動することにより、あるフレームではテロップの下に隠れていた背景が次のフレームで出現したり、逆に見えていた背景が次のフレームではテロップで隠れたりする。そのため、テロップが含まれるブロックではフレーム間の相関が低下し、背景のブロックと比べて最小ＳＡＤが大きくなる。

テロップの端のブロックには、背景のブロックが隣接していると考えられる。即ち、テロップの端のブロックには、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接していると考えられる。
そこで、本実施例では、テロップ領域内のブロックのうち、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域をテロップ端領域として検出する。これにより、テロップ端領域を精度良く検出できる。
そして、テロップ端領域に対しては、テロップ検出部２０４で取得されたテロップの動きベクトルを用いて補間フレーム生成処理が行われ、その他の領域に対しては、動きベクトル検出部２０２で検出された動きベクトルを用いて補間フレーム生成処理が行われる。
それにより、図９に示すように、テロップを含むブロックの領域に対しテロップの動きベクトルを用いた補間フレーム生成処理が行われ、テロップの領域での画質の劣化が抑制できる。

以上述べたように、本実施例によれば、動きベクトル検出部２０２で検出された動きベクトルがテロップ検出部２０４で取得されたテロップの動きベクトルと等しいブロック及
びそのブロックに隣接するブロックの領域がテロップ領域とされる。そして、テロップ領域内のブロックのうち、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域がテロップ端領域とされる。それにより、テロップ端領域を精度よく検出することができる。
また、テロップ端領域に対して、テロップ検出部２０４で取得されたテロップの動きベクトルを用いて補間フレームの画像が生成される。テロップ領域のうち、テロップ端領域以外の領域に対して、動きベクトル検出部２０２で検出された動きベクトルを用いて補間フレームの画像が生成される。それにより、テロップを含むブロックの領域に対してテロップの動きベクトルを用いた補間フレーム生成処理を行うことができ、テロップの領域での画質の劣化が抑制できる。

なお、本実施例では、ブロック毎に、補間用動きベクトルが、テロップ検出部２０４から取得したテロップの動きベクトルと、動きベクトル検出部２０２から取得した動きベクトルとの間で切り替えられるが、本発明はこの構成に限らない。
例えば、補間部２０３は、テロップ検出部２０４で取得されたテロップの動きベクトルを用いて第１の（補間フレームの）画像を生成し、動きベクトル検出部２０２で検出された動きベクトルを用いて第２の（補間フレームの）画像を生成してもよい。そして、補間部２０３は、自身の最小ＳＡＤよりも少なくとも所定値だけ小さい最小ＳＡＤのブロックが隣接するブロックの領域と他の領域との境界部では、第１の画像と第２の画像を合成して最終的な補間フレームの画像を生成してもよい。このような構成にすることにより、テロップ端領域を境界として、テロップ領域とその他の領域との間で急激に画像処理（動きベクトル）が変化することに起因して生じる違和感を低減できる。

具体的には、境界部では、テロップ領域の内側に向かうにつれて第１画像の重みが大きくなるように、第１画像と第２画像を重み付け合成するとよい。
なお、上記境界部は、テロップ端領域であってもよいし、テロップ端領域以外の領域であってもよい。上記境界部は、テロップ端領域の周囲の領域、例えば、テロップ端領域から所定範囲内にあるテロップを含まないブロックの領域、テロップを含むブロックの領域、または、それら両方の領域を含んでいてもよい。上記効果が得られれば、境界部はどのように定義されてもよい。

また、補間部１０４は、境界部では、テロップ検出部２０４で取得されたテロップの動きベクトルと動きベクトル検出部２０２で検出された動きベクトルとを合成した動きベクトルを用いて補間フレームの画像を生成してもよい。そのような構成であっても、上記効果と同様の効果を得ることができる。

１０２ 動きベクトル検出部
１０３ 小ブロック動きベクトル検出部
１０４ 補間部
１０５ テロップ検出部
２０２ 動きベクトル検出部
２０３ 補間部
２０４ テロップ検出部

Claims (6)

1. 入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置であって、
   入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する第１動きベクトル検出手段と、
   入力された映像信号のフレームの少なくとも一部の領域を、前記第１動きベクトル検出手段で分割したブロックよりも小さいブロックである複数の小ブロックに分割し、小ブロック毎の動きベクトルを検出する第２動きベクトル検出手段と、
   前記第１動きベクトル検出手段で分割したブロックのうち、テロップを含むブロックを検出するテロップ検出手段と、
   動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成手段と、
   を有し、
   前記補間フレーム生成手段は、前記テロップを含むブロックのうち、
   テロップを含まないブロックが隣接するブロックの領域に対して、前記第２動きベクトル検出手段で検出された動きベクトルを用いて補間フレームの画像を生成し、
   残りのブロックの領域に対して、前記第１動きベクトル検出手段で検出された動きベクトルを用いて補間フレームの画像を生成する
   ことを特徴とする画像処理装置。
2. 前記補間フレーム生成手段は、前記テロップを含まないブロックが隣接するブロックの領域と他の領域との境界部では、前記第２動きベクトル検出手段で検出された動きベクトルを用いて生成した画像と前記第１動きベクトル検出手段で検出された動きベクトルを用いて生成した画像を合成するか、または、前記第２動きベクトル検出手段で検出された動きベクトルと前記第１動きベクトル検出手段で検出された動きベクトルとを合成した動きベクトルを用いることにより、前記補間フレームの画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２動きベクトル検出手段は、前記テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域のみを前記複数の小ブロックに分割する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 入力された映像信号のフレーム間に補間フレームを挿入してフレームレートを変換する画像処理装置により実行される画像処理方法であって、
   入力された映像信号のフレームを複数のブロックに分割し、ブロック毎の動きベクトルを検出する第１動きベクトル検出ステップと、
   入力された映像信号のフレームの少なくとも一部の領域を、前記第１動きベクトル検出ステップで分割したブロックよりも小さいブロックである複数の小ブロックに分割し、小ブロック毎の動きベクトルを検出する第２動きベクトル検出ステップと、
   前記第１動きベクトル検出ステップで分割したブロックのうち、テロップを含むブロックを検出するテロップ検出ステップと、
   動きベクトルを用いて前記補間フレームの画像を生成する補間フレーム生成ステップと、
   を有し、
   前記補間フレーム生成ステップでは、前記テロップを含むブロックのうち、
   テロップを含まないブロックが隣接するブロックの領域に対して、前記第２動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームの画像が生成され、
   残りのブロックの領域に対して、前記第１動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームの画像が生成される
   ことを特徴とする画像処理方法。
5. 前記補間フレーム生成ステップでは、前記テロップを含まないブロックが隣接するブロックの領域と他の領域との境界部において、前記第２動きベクトル検出ステップで検出された動きベクトルを用いて生成した画像と前記第１動きベクトル検出ステップで検出された動きベクトルを用いて生成した画像を合成するか、または、前記第２動きベクトル検出ステップで検出された動きベクトルと前記第１動きベクトル検出ステップで検出された動きベクトルとを合成した動きベクトルを用いることにより、前記補間フレームの画像が生成される
   ことを特徴とする請求項４に記載の画像処理方法。
6. 前記第２動きベクトル検出ステップでは、前記テロップを含むブロックのうち、テロップを含まないブロックが隣接するブロックの領域のみが前記複数の小ブロックに分割される
   ことを特徴とする請求項４または５に記載の画像処理方法。

Images