WO2006016454A1

WO2006016454A1 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: WO2006016454A1
Application number: PCT/JP2005/012469
Authority: WO
Inventors: Toru Nishi; Kazuhiko Ueda; Mitsuyasu Asano
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-08-11
Filing date: 2005-07-06
Publication date: 2006-02-16
Anticipated expiration: 2007-02-11
Also published as: EP1777939A1; KR101125977B1; CN1860779A; CN1860779B; KR20070049097A; EP1777939A4

Abstract

本発明は、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにする画像処理装置および方法、記録媒体、並びにプログラムに関する。高フレームレート変換部１１は、入力された動画像に対して高フレームレート変換処理を施す。撮像ボケ抑制処理部１３は、動画像を構成する複数のフレームのそれぞれについて、撮像ボケ特性検出部１２により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームを構成する各画素値を補正する。これにより、入力時に比べて高フレームレート動画像であって、撮像ボケが抑制されるように各画素値が適切に補正された動画像が出力されるのである。本発明は、テレビジョンシステムに適用可能である。

Description

明細書

画像処理装置および方法、記録媒体、並びにプログラム

技術分野

[0001] 本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、撮像ボケに起因する画像劣化 (ボケ画像)を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、記録媒体、並びにプログラムに関する。

背景技術

[0002] 近年、映像 (動画像)を表示するための映像信号変換装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームまたはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法として、フレームレートを調整する手法 (以下、フレームレート変換手法と称する）が考えられている (特許文献 1参照)。

特許文献 1：特開平 7-59054号公報

発明の開示

発明が解決しょうとする課題

[0003] し力しながら、特許文献 1等の従来のフレームレート変換手法を利用してフレームレートを増やす場合には、撮影時に発生する動きボケ (以下、撮像ボケと称する）についての考慮がなされていな力つた。これにより、撮像ボケに起因する画像劣化 (ボケ画像）は特に改善されずにそのまま残り、その結果、鮮明な映像を表示装置に表示させることは困難になるという課題があった。

[0004] 本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化 (ボケ画像)を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。

課題を解決するための手段

[0005] 本発明の第 1の画像処理装置は、所定の撮影装置により撮影された動画像を、ァクセスユニットを単位として処理する画像処理装置であって、動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理を実行する高レート変換手段と、動画像を構成する複数のアクセスュニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出手段と、高レート変換手段による高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出手段により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスュニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。

[0006] 高レート変換手段は、検出手段で検出されたパラメータの値を利用して高レート変換処理を実行するようにすることができる。

[0007] 第 1のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。

[0008] 検出手段は、動画像を構成する複数のアクセスユニットのそれぞれにつ、て、処理対象のアクセスユニットを構成する各画素のうちの少なくとも 1つの画素における移動ベクトルのそれぞれを、パラメータの値として検出するようにすることができる。

[0009] 高レート変換手段は、高レート変換処理の少なくとも一部として、検出手段で検出された移動ベクトルを利用する動き補償型フレーム補間処理を実行するようにすることができる。

[0010] 検出手段は、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャツタ速度のそれぞれを、パラメータの値として検出するよう〖こすることがでさる。

[0011] 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれにつ、て、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された 1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、フィルタ特性変換手段により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成手段により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリング手段とを有するよう〖こすることがでさる。

[0012] 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれにつ、て、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された 1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換手段により特性が変換されたローノスフィルタをかけ、その結果得られる注目画素の補正された画素値を第 1の値として出力するフィルタリング手段と、注目画素の補正前の画素値と、フィルタリング手段から出力された第 1の値との差分を演算し、その結果得られる差分値を第 2の値として出力する減算手段と、減算手段力も出力された第 2の値を、注目画素の補正前の画素値にカロ算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算手段とを有するよう〖こすることがでさる。

[0013] 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれにつ、て、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第 1の画像信号が順次入力され、その第 1 の画像信号を、 N画素分 (Nは 1以上の整数値）に対応する第 1の遅延時間だけ遅延させ、その結果得られる第 2の画像信号を出力する第 1の遅延手段と、第 1の遅延手段から出力された第 2の画像信号が順次入力され、その第 2の画像信号を、 M画素分 (Mは、 Nを含む 1以上の整数値）に対応する第 2の遅延時間だけ遅延させ、その結果得られる第 3の画像信号を出力する第 2の遅延手段と、第 1の遅延手段に入力された第 1の画像信号、第 1の遅延手段力出力されて第 2の遅延手段に入力された第 2の画像信号、および、第 2の遅延手段力出力された第 3の画像信号を利用して、注目画素の画素値を補正する画素値補正手段と、検出手段により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第 1の遅延手段の第 1の遅延時間を変更するとともに、第 2の遅延手段の第 2の遅延時間を変更する遅延時間変更手段とを有するようにすることができる。

[0014] 第 1のレ -トは 30Hzであり、第 2のレ -トは 120Hzであるようにすることができる。

[0015] 第 1のレ -トは 60Hzであり、第 2のレ -ト 120Hzであるようにすることができる。

[0016] 第 1のレ -トは 60Hzであり、第 2のレ -トは 240Hzであるようにすることができる。

[0017] 第 1のレ -トは 50Hzであり、第 2のレ -トは 100Hzであるようにすることができる。

[0018] 第 1のレ -トは 50Hzであり、第 2のレ -トは 200Hzであるようにすることができる。

[0019] 本発明の第 1の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法であって、動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステツプの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

[0020] 高レート変換ステップは、検出ステップの処理により検出されたパラメータの値を利用して高レート変換処理を実行するステップであるようにすることができる。

[0021] 第 1のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。

[0022] 検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの少なくとも 1つの画素における移動ベクトルのそれぞれを、パラメータの値として検出する処理を含むようにすることができる。

[0023] 高レート変換ステップは、高レート変換処理の少なくとも一部として、検出ステップの処理により検出された移動ベクトルを利用する動き補償型フレーム補間処理を実行するステップであるようにすることができる。 [0024] 検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャツタ速度のそれぞれを、パラメータの値として検出する処理を含むようにすることができる。

[0025] 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された 1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成ステップの処理により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリングステップとを含むようにすることができる。

[0026] 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された 1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタをかけ、その結果得られる注目画素の補正された画素値を第 1の値として出力するフィルタリングステツプと、注目画素の補正前の画素値と、フィルタリングステップの処理結果として出力された第 1の値との差分を演算し、その結果得られる差分値を第 2の値として出力する減算ステップと、減算ステップの処理結果として出力された第 2の値を、注目画素の補正前の画素値に加算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算ステップとを含むことを特徴とする。

[0027] 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第 1の画像信号が順次入力され、入力された第 1の画像信号を、 N画素分 (Nは 1以上の整数値）に対応する第 1の遅延時間だけ遅延させ、その結果得られる第 2の画像信号を出力する第 1の遅延ステップと、第 1の遅延ステップの処理結果として出力された第 2の画像信号が順次入力され、入力された第 2の画像信号を、 M画素分 (M は、 Nを含む 1以上の整数値）に対応する第 2の遅延時間だけ遅延させ、その結果得られる第 3の画像信号を出力する第 2の遅延ステップと、第 1の遅延ステップの処理対象として入力された第 1の画像信号、第 1の遅延ステップの処理結果として出力されて第 2の遅延ステップの処理対象として入力された第 2の画像信号、および、第 2 の遅延ステップの処理結果として出力された第 3の画像信号を利用して、注目画素の画素値を補正する画素値補正ステップと、検出ステップの処理により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第 1の遅延ステップの第 1の遅延時間を変更するとともに、第 2の遅延ステップの第 2の遅延時間を変更する遅延時間変更ステップとを含むようにすることができる。

[0028] 第 1のレ -トは 30Hzであり、第 2のレ -トは 120Hzであるようにすることができる。

[0029] 第 1のレ -トは 60Hzであり、第 2のレ -ト 120Hzであるようにすることができる。

[0030] 第 1のレ -トは 60Hzであり、第 2のレ -トは 240Hzであるようにすることができる。

[0031] 第 1のレ -トは 50Hzであり、第 2のレ -トは 100Hzであるようにすることができる。

[0032] 第 1のレ -トは 50Hzであり、第 2のレ -トは 200Hzであるようにすることができる。

[0033] 本発明の第 1の記録媒体のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

[0034] 本発明の第 1のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステツプと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1 以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれにつ、て、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスュニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とするプログラム。

[0035] 本発明の第 1の画像処理装置および方法、第 1の記録媒体、並びに、第 1のプログラムにおいては、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位とする画像処理が施される。詳細には、動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理が実行される。また、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値が 1以上検出される。そして、高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値が補正される。

[0036] 本発明の第 2の画像処理装置は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれにつヽての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置であって、他の画像処理装置力供給された動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理を実行する高レート変換手段と、高レート変換手段による高レート変換処理が実行される前または後に、他の画像処理装置から供給された動画像を構成する複数のアクセスユニットのそれぞれにつ、て、他の画像処理装置から供給されたパラメ一タの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。

[0037] 第 1のレ -トは 30Hzであり、第 2のレ -トは 120Hzであるようにすることができる。

[0038] 第 1のレ -トは 60Hzであり、第 2のレ -ト 120Hzであるようにすることができる。

[0039] 第 1のレ -トは 60Hzであり、第 2のレ -トは 240Hzであるようにすることができる。

[0040] 第 1のレ -トは 50Hzであり、第 2のレ -トは 100Hzであるようにすることができる。

[0041] 第 1のレ -トは 50Hzであり、第 2のレ -トは 200Hzであるようにすることができる。

[0042] 本発明の第 2の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法であって、他の画像処理装置から供給された動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、他の画像処理装置力も供給された動画像を構成する複数のアクセスユニットのそれぞれにつ、て、他の画像処理装置力供給されたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

[0043] 第 1のレートは 30Hzであり、第 2のレートは 120Hzであるようにすることができる。

[0044] 第 1のレートは 60Hzであり、第 2のレート 120Hzであるようにすることができる。

[0045] 第 1のレートは 60Hzであり、第 2のレートは 240Hzであるようにすることができる。 [0046] 第 1のレートは 50Hzであり、第 2のレートは 100Hzであるようにすることができる。

[0047] 第 1のレートは 50Hzであり、第 2のレートは 200Hzであるようにすることができる。

[0048] 本発明の第 2の記録媒体のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のノメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

[0049] 本発明の第 2のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれにつヽての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれにつヽて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づ!/、て、処理対象のアクセスユニットを構成する各画素値を補正する補正ステツプとを含むことを特徴とする。

[0050] 本発明の第 2の画像処理装置および方法、第 2の記録媒体、並びに第 2のプロダラムにおいては、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値とが与えられた場合、その動画像に対して画像処理が施される。詳細には、与えられた動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理が実行される。また、高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれにつヽて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づ V、て、処理対象のアクセスユニットを構成する各画素値が補正される。

発明の効果

[0051] 以上のごとぐ本発明によれば、動画像のフレームレートを入力時よりも大きいフレームレートに変換させることができる。特に、撮像ボケに起因する画像劣化 (ボケ画像 )を抑制することで、フレームレート変換後の動画像をより一段と鮮明に表示させることがでさる。

図面の簡単な説明

[0052] [図 1]本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。

[図 2]人間の網膜上で形成される像のボケの周波数特性を示す図である。

[図 3]図 1の画像処理装置が実行する画像処理を説明するフローチャートである。

[図 4]移動ベクトル (移動速度）に応じた撮像ボケの周波数特性を示す図である。

[図 5]図 1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の一例を示すブロック図である。

[図 6]図 1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図 5とは異なる例を示すブロック図である。

[図 7]図 1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図 5と図 6とは異なる例を示すブロック図である。

[図 8]図 7の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。

[図 9]図 1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図 5、図 6、および図 7とは異なる例を示すブロック図である。

[図 10]図 9の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。

[図 11]カメラのシャツタ速度と、撮像ボケの特性とを説明する図である。

[図 12]本発明が適用される画像処理装置の機能的構成の図 1とは異なる例を示すブロック図である。

[図 13]本発明が適用される画像処理装置の機能的構成の図 1と図 12とは異なる例を示すブロック図である。

[図 14]本発明が適用される画像処理装置の機能的構成の図 1、図 12、および図 13 とは異なる例を示すブロック図である。

[図 15]本発明が適用される画像処理装置の機能的構成の図 1、図 12、図 13、および図 14とは異なる例を示すブロック図である。

[図 16]本発明が適用される画像処理装置の全部または一部分のハードウェア構成の一例を示すブロック図である。

符号の説明

[0053] 1 画像処理装置， 11 高フレームレート変換部， 12 撮像ボケ特性検出部， 13 撮像ボケ抑制処理部， 21 移動平均フィルタ（ローパスフィルタ）特性変換部， 22 逆移動平均フィルタ (ノ、ィパスフィルタ）生成部， 23 移動平均フィルタ部（ノ、ィパスフィルタ部）， 31 移動平均フィルタ（ローパスフィルタ）特性変換部， 32 移動平均フィルタ部（ローパスフィルタ部）， 33 加算部， 34 加算部， 51 入力部 , 52 可変 DL部， 53 可変 DL部， 54— 1, 54— 2 補正部， 55 遅延時間変更部， 56 出力部， 101, 102, 112, 131 画像処理装置， 201 CPU, 2 02 ROM, 203 RAM, 208 記憶部， 211 リムーバブル記録媒体発明を実施するための最良の形態

[0054] 次に、図面を参照して、本発明の実施の形態について説明する。

[0055] 図 1は、本発明が適用される画像処理装置の機能的構成の一例を示して!/ヽる。

[0056] この画像処理装置 1は、動画像データに対する各種画像処理をアクセスユニット単位で実行する。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各コマ (静止画像)全体またはその一部分を指す。ただし、以下、説明の簡略上、画像処理装置 1は、動画像データに対する各種画像処理をフレーム単位で実行するとする。

[0057] この画像処理装置 1は、図 1に示されるように、高フレームレート変換部 11、撮像ボケ特性検出部 12、および、撮像ボケ抑制処理部 13から構成される。

[0058] 高フレームレート変換部 11には、例えば、テレビジョン放送信号等の動画像信号が、フレーム単位の動画像データとして入力される。

[0059] なお、以下、動画像と、それに対応する動画像データとを個々に区別する必要がない場合、これらをまとめて動画像と単に称する。同様に、フレームと、それに対応するフレームデータとを個々に区別する必要がない場合、これらをまとめてフレームと単に称する。

[0060] 高フレームレート変換部 11は、第 1のフレームレートの動画像が入力された場合、その動画像に対して高フレームレート変換処理を施し、その結果得られる、第 1のフレームレートよりも高い第 2のフレームレートの動画像を撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13に供給する。

[0061] 高フレームレート変換処理とは、入力時の第 1のフレームレートが出力（表示）時の第 2のフレームレートよりも低い場合に実行される処理であって、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを創造してそれぞれ挿入することで、第 1のフレームレートをそれよりも高、第 2のフレームレートに変換する処理を指す。

[0062] なお、第 1のフレームレートとは、高フレームレート変換部 11に入力された時点の動画像のフレームレートを指す。従って、第 1のフレームレートは、任意のフレームレートとなり得るが、ここでは例えば、図示せぬ撮影装置により動画像が撮影されたときのフレームレート、即ち、撮像フレームレートであるとする。

[0063] 撮像ボケ特性検出部 12は、高フレームレート変換部 11から供給された動画像を構成する各フレームのそれぞれにつヽて、撮像ボケの特性を示すパラメータの値を検出する。

撮像ボケ特性検出部 12の検出結果、即ち、撮像ボケの特性を示すパラメータの値は、撮像ボケ抑制処理部 13に供給される。 [0064] なお、撮像ボケの特性を示すパラメータは、特に限定されず様々なパラメータの採用が可能である。ただし、撮像ボケの特性を示すパラメータの具体例については後述する。

[0065] また、 1つのフレーム内での、撮像ボケの特性を示すパラメータの値の検出個数も特に限定されない。例えば、 1つのフレームに対して、撮像ボケの特性を示すパラメータの値が 1つのみ検出されてもよいし、そのフレームを構成する各画素毎に、撮像ボケの特性を示すパラメータの値が 1つずつ個別に検出されてもよい。或いは、その 1つのフレームが幾つかのブロックに分割され、分割された各ブロック毎に、撮像ボケの特性を示すパラメータの値が 1つずつ個別に検出されてもよい。

[0066] 撮像ボケ抑制処理部 13は、高フレームレート変換部 11から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部 12により検出されたパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームを構成する各画素値を補正する。即ち、撮像ボケ抑制処理部 13は、処理対象のフレームについての撮像ボケの特性 (パラメータの値）に応じて、処理対象のフレ一ムの各画素値を、その撮像ボケが抑制されるように補正する。

[0067] これにより、各フレームの各画素値が補正されることで撮像ボケが抑制された動画像であって、入力時の第 1のフレームレートよりも高い第 2のフレームレートに変換された動画像が、撮像ボケ抑制処理部 13から画像処理装置 1の外部に出力される。

[0068] なお、図 1の例では、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13との組は、高フレームレート変換部 11と組み合わせて用いられているが、当然ながら、その組単体で用いることも可能であるし、また、図示せぬ他のブロック（所定の画像処理を施す他の画像処理部）と組み合わせて用いることも可能である。

[0069] 即ち、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13との組だけで、撮像ボケを抑制するという効果を奏することが可能になる。ただし、この効果をより顕著にするためには、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13との組に対して、上述したように、高フレームレート変換部 11を組み合わせると好適である。以下、この理由について説明していく。

[0070] 図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。

[0071] ここで、う撮像ボケの特性は、図 4等を参照して後述するように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号 (理想的な画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従つて、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。

[0072] ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号 (撮像ボケ後の画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。

従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素 (ホールド)表示装置の時にのみ発生する。

[0073] 従って、周波数特性が撮像ボケのため既に落ちている撮像ボケ後の画像信号に対して、高フレームレート変換処理を施すことで、ホールドボケを抑制すること自体は可能である。しかしながら、このような高フレームレート変換処理を施したとしても、撮像ボケの劣化は変わらず、最終的に人間の網膜上におけるボケを抑制させるという効果は半減してしまう。このことを、図 2を参照して説明する。

[0074] 図 2は、撮影装置 (以下、カメラと称する）の撮影範囲内で移動速度 4 [画素/フレーム]で移動して、る実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図 2において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が 1とされた場合の相対値を示している。 [0075] 図 2にお、て、同図中一点鎖線で示される曲線 h0は、ボケ (撮像ボケもホールドボケも含む)を改善するための処理が特に施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、図 1の例では画像処理装置 1に入力される動画像が、仮に画像処理装置 1に入力されること無く（処理されること無く）そのまま表示装置に供給されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線 h0である。

[0076] これに対して、例えば高フレームレート変換処理により表示速度が倍にされると、ホ一ルドボケのみは改善され、その結果、人間の網膜上で形成される像のボケの周波数特性は、同図中点線で示される曲線 hiになる。即ち、図 1の画像処理装置 1に入力された動画像が、高フレームレート変換部 11により高フレームレート変換処理が施され、その後、仮に撮像ボケ抑制処理部 13に入力されること無く（撮像ボケが改善されること無く）表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線 hiである。

[0077] また、例えば本発明が適用されて、高フレームレート変換処理により表示速度が倍にされ (ホールドボケが改善され)、かつ撮像ボケの度合いが半分に改善されると、人間の網膜上で形成される像のボケの周波数特性は、同図中実線で示される曲線 h2 になる。即ち、図 1の画像処理装置 1に入力された動画像力高フレームレート変換部 11により高フレームレート変換処理が施され、さらに、撮像ボケ抑制処理部 13により撮像ボケが抑制された上で表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線 h2である。

[0078] 曲線 hiと曲線 h2とを比較するに、高フレームレート変換処理によりホールドボケのみが改善されただけでは、人間の網膜上におけるボケの特性の改善は不十分であり、さらに撮像ボケの改善も必要なことがわかる。し力しながら、上述したように、従来の手法では、撮像ボケの改善が必要なことは特に考慮されずに、高フレームレート変換処理が単に行われていた。

[0079] そこで、図 1の実施例の他、後述する図 12や図 13等の実施例で示される本発明の画像処理装置においては、高フレームレート変換部 11の他さらに、撮像ボケの改善を目的として、即ち、人間の網膜上のけるボケの特性を図 2の曲線 h0から曲線 h2のように改善することを目的として、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13とが設けられているのである。ただし、後述する図 14と図 15の実施例で示されるように、撮像ボケ特性検出部 12は、本発明の画像処理装置にとって必須な構成要素ではない。

[0080] 即ち、撮像ボケ抑制処理部 13は、各フレームのそれぞれについて、撮像ボケ特性検出部 12により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する値に基づ、て、処理対象のフレームの各画素値を補正することで、高フレームレート変換後のフレームについての撮像ボケに起因する画像劣化を抑制しているのである。即ち、画像処理装置 1など、本発明の画像処理装置から出力された画像信号を図示せぬ表示装置に供給することで、表示装置は、その画像信号に対応する映像として、画像劣化 (ボケ画像)が抑制された鮮明な映像を表示することが可能になるのである。

[0081] このように、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13との組は、高フレームレート変換部 11と組み合わされると好適である。

[0082] 次に、図 3のフローチャートを参照して、力かる図 1の機能的構成を有する画像処理装置 1の画像処理について説明する。

[0083] ステップ S1において、高フレームレート変換部 11は、第 1のフレームレートの動画像を入力する。

[0084] ステップ S2において、高フレームレート変換部 11は、動画像のフレームレートを、第 1のフレームレートよりも高い第 2のフレームレートに変換する。

[0085] 第 1のフレームレートから第 2のフレームレートに変換された動画像力高フレームレート変換部 11から撮像ボケ検出部 12と撮像ボケ抑制処理部 13とに供給されると、処理はステップ S3に進む。

[0086] ステップ S3において、撮像ボケ特性検出部 12は、動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を 1以上検出する。

[0087] 動画像を構成する各フレームのそれぞれにつヽての撮像ボケの特性を示すパラメータの 1以上の値が、撮像ボケ特性検出部 12から撮像ボケ抑制処理部 13に供給されると、処理はステップ S4に進む。 [0088] ステップ S4において、撮像ボケ抑制処理部 13は、高フレームレート変換部 11から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ検出部 12 により検出されたパラメータの値のうちの処理対象のフレームに対応する 1以上の値に基づいて、処理対象のフレームの各画素値を補正する。

[0089] ステップ S5において、撮像ボケ抑制処理部 13は、各フレームの画素値が補正され、かつ、第 1のフレームレートから第 2のフレームレートに変更された動画像を出力する。

[0090] これにより、図 3の画像処理は終了となる。

[0091] なお、上述した説明では、説明の簡略上、ステップ S1乃至 S5の各ステップの処理は、動画像が処理単位とされた。ただし、実際には、フレームが処理単位となる場合が多々ある。

[0092] 図 3の画像処理において、各ステップの処理単位が動画像であるとは、ステップ S1 乃至 S5のうちの処理対象のステップから次のステップへの移行条件力処理対象のステップの処理が動画像全体に対して施されるという条件になることと等価である。

[0093] これに対して、図 3の画像処理において、各ステップの処理単位がフレームであるとは、ステップ S1乃至 S5のうちの処理対象のステップから次のステップへの移行条件力処理対象のステップの処理が 1つのフレーム全体に対して施されるという条件になることと等価である。換言すると、各ステップの処理単位がフレームであるとは、各フレームのそれぞれに対するステップ S1乃至 S5の連続処理力他のフレームとは独立して（並行して）実行されることと等価である。この場合、例えば、第 1のフレームに対するステップ S3の処理が実行されているときに、それとは異なる第 2のフレームに対するステップ S2の処理が並行して実行されているようなことが起こり得る。

[0094] さらに、実際には、処理対象のフレームを構成する各画素のそれぞれ力処理の対象として注目すべき画素（以下、注目画素と称する）に順次設定されて、その注目画素に対して、少なくともステップ S3と S4の処理が順次個別に施されていくことが多々ある。即ち、ステップ S3と S4の処理単位は画素であることが多々ある。

[0095] そこで、以下の説明においても、ステップ S3と S4の処理は画素単位であるとして説明していく。即ち、ステップ S3の処理とは撮像ボケ特性検出部 12の処理であり、ステップ S4の処理とは撮像ボケ抑制処理部 13の処理である。従って、以下の説明にお V、ては、撮像ボケ特性検出部 12と撮像ボケ抑制処理部 13の処理単位は画素であるとして説明していく。

[0096] 次に、図 1の画像処理装置 1のうちの、撮像ボケ抑制処理部 13の幾つかの実施の形態例について説明していく。具体的には例えば、撮像ボケの特性を示すパラメ一タとして、移動ベクトルの絶対値 (以下、移動速度と称する）を利用する場合の撮像ボケ抑制処理部 13の幾つかの実施の形態例について説明していく。

[0097] 撮像ボケの特性を示すパラメータとして移動速度が利用される場合、撮像ボケ特性検出部 12は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、注目画素における移動ベクトルを順次検出し、それを、注目画素における撮像ボケの特性を示すパラメータの値として撮像ボケ抑制処理部 13に順次供給していくことになる。

[0098] 従って、撮像ボケ抑制処理部 13は、例えば、動画像を構成する各フレームのそれぞれにつ、て、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、撮像ボケ特性検出部 12から供給された移動ベクトルのうちの注目画素における移動ベクトルの絶対値に基づいて、即ち、注目画素における移動速度に基づ、て、注目画素の画素値を順次補正して、くことになる。

[0099] ここで、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由について説明する。

[0100] 撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。

[0101] なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体 (画像)の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体力 Sカメラで撮影されたときの、フレーム内での被写体 (画像)の相対的な移動速度も含む。

[0102] 従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。

[0103] 画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素 (対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に 1つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、 K (Kは、 0以上の任意の整数値)画素分である場合、その画素における移動速度とは、 Κ [画素/フレーム]になる。

[0104] この場合、被写体の画像を構成する各画素のうちの所定の 1つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度 Κ [画素/フレーム]の大小に依存した形態で表すことができる。

[0105] より具体的には例えば、注目画素の移動速度が 2, 3, 4 [画素/フレーム]のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図 4の曲線 Η2 乃至 Η4のそれぞれで表すことができる。

[0106] 即ち、図 4は、注目画素における移動速度が 2, 3, 4 [画素/フレーム]のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図 4において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が 1とされた場合の相対値を示している。

[0107] 以上の内容が、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由である。

[0108] ところで、図 4の周波数特性 Η2乃至 Η4の形態力わ力るように、注目画素における撮像ボケの特性は空間領域で表現すると、移動平均フィルタ（ローパスフィルタ)で表すことが可能である。

[0109] 即ち、この移動平均フィルタ（ローパスフィルタ）を示す伝達関数 (以下、撮像ボケの伝達関数と称する)を Ηと記述し、撮像ボケが仮に発生しな力つた場合の理想的な画像信号 (以下、撮像ボケ前の信号と称する）を周波数領域で Fと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号 (以下、撮像ボケ後の信号と称する）を周波数領域で Ηと記述すると、撮像ボケ後の信号 Gは、次の式（1)のように表される。

[0110] G = H X F · · · (!) [0111] 本発明においては撮像ボケを取り除く（抑制する）ことが目的とされているので、この本発明の目的を達成するためには、既知である撮像ボケ後の信号 Gと、既知である撮像ボケの伝達関数 Hとから、撮像ボケ前の信号 Fを予測演算すればよい。即ち、次の式 (2)の予測演算が実行されればよ!、。

[0112] F = inv(H) X G · · · (2)

[0113] 式（2)において、 inv(H)は、撮像ボケの伝達関数 Hの逆関数を示している。上述したように撮像ボケの伝達関数 Hがローパスフィルタの特性を持つことから、その逆関数 inv(H)も、当然ながらハイパスフィルタの特性を持つ。

[0114] また、上述したように、撮像ボケの伝達関数 Hは、移動速度に応じてその特性が変化する。具体的には例えば、注目画素における移動速度が 2, 3, 4 [画素/フレーム] のそれぞれの場合、注目画素における撮像ボケの伝達関数 Hの周波数特性は、図 4 の曲線 H2,曲線 H3,曲線 H4のそれぞれに示されるような相異な特性となる。

[0115] 従って、撮像ボケ抑制処理部 13は、移動速度に応じて撮像ボケの伝達関数 Hの特性を変更して、特性が変更された伝達関数 Hの逆関数 inv(H)を求め、その逆関数 inv (H)を用いて上述した式 (2)の演算処理を実行すれば、本発明の目的、即ち、撮像ボケを取り除く（抑制する）という目的を達成することが可能になる。

[0116] 或いは、上述した式（2)の演算は周波数領域の演算であるので、本発明の目的を達成するために、撮像ボケ抑制処理部 13は、上述した式（2)の演算処理と等価な空間領域での処理を実行してもよい。具体的には例えば、撮像ボケ抑制処理部 13は、次のような第 1乃至第 3の処理を実行してもよい。

[0117] 第 1の処理とは、撮像ボケ特性検出部 12から供給された注目画素における移動速度に応じて、注目画素における撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換する処理である。具体的には例えば、複数の移動速度毎に移動平均フィルタを 1つずつ予め用意しておき、複数の移動平均フィルタの中から、注目画素における移動速度に対応する 1つを選択する処理が、第 1の処理の一例である。

[0118] 第 2の処理とは、次の第 2—1乃至第 2— 3の処理力なる処理である。

[0119] 第 2— 1の処理とは、第 1の処理により特性が変換された移動平均フィルタに対してフーリエ変換を施すことにより、その移動平均フィルタを周波数表示する処理である。具体的には例えば、注目画素における移動速度が 2, 3, 4 [画素/フレーム]のそれぞれの場合、図 4の曲線 H2,曲線 H3,曲線 H4のそれぞれを得る処理が第 2—1の処理である。即ち、周波数領域で考えると、注目画素における撮像ボケの伝達関数 Hを求める処理が第 2— 1の処理である。

[0120] 第 2— 2の処理とは、第 2— 1の処理により周波数表示された移動平均フィルタの逆数を算出する処理である。即ち、周波数領域で考えると、上述した式 (2)に示される、撮像ボケの伝達関数 Hの逆関数 inv(H)を生成する処理力第 2— 2の処理である。

[0121] 第 2— 3の処理とは、第 2— 2の処理により算出された、周波数表示された移動平均フィルタの逆数に対して逆フーリエ変換を施す処理である。即ち、逆関数 inv(H)に対応するハイパスフィルタ（ウイーナーフィルタ等）を生成する処理が第 2— 3の処理である。換言すると、移動平均フィルタの逆フィルタを生成する処理が第 2— 3の処理である。なお、以下、第 2— 3の処理により生成されるハイパスフィルタを、逆移動平均フィルタと称する。

[0122] 第 3の処理とは、撮像ボケ後の周波数領域の上述した式（2)の信号 Gに対応する空間領域の画像信号 gを入力画像として入力し、その画像信号 gに対して、第 2— 3の処理により生成された逆移動平均フィルタをかける処理である。この第 3の処理により、撮像ボケ前の周波数領域の上述した式 (2)の信号 Fに対応する空間領域の画像信号 fが復元（予測演算）されることになる。具体的には例えば、処理対象のフレームのうちの注目画素を含む所定のブロックに対して逆移動平均フィルタをかけることで、注目画素の画素値を補正する処理が、第 3の処理である。

[0123] 力かる第 1乃至第 3の処理を実行可能な撮像ボケ抑制処理部 13の機能的構成の一実施例が、図 5に示されている。即ち、図 5は、撮像ボケ抑制処理部 13の機能的構成の一実施例を示して、る。

[0124] 図 5の例の撮像ボケ抑制処理部 13には、移動平均フィルタ（ローパスフィルタ）特性変換部 21、逆移動平均フィルタ (ハイパスフィルタ）生成部 22、および、逆移動平均フィルタ部 23 (ノヽィパスフィルタ部 23)が設けられて!/、る。

[0125] 移動平均フィルタ特性変換部 21は、上述した第 1の処理を実行する。逆移動平均フィルタ生成部 22は、上述した第 2の処理を実行する。逆移動平均フィルタ部 23は、上述した第 3の処理を実行する。

[0126] し力しながら、撮像ボケ抑制処理部 13が図 5のように構成された場合、次のような新たな課題が発生してしまう。即ち、図 4の周波数特性 H2乃至 H4にも示されるように、撮像ボケを示す移動平均フィルタ (その周波数特性）には、ゲインが 0となる周波数が含まれている。このため、逆移動平均フィルタ生成部 22は、その移動平均フィルタの完全な逆フィルタ (完全な逆移動平均フィルタ）を生成するのは困難である、 t 、う新たな課題が発生してしまう。

[0127] ところで、図 5の移動平均フィルタ部 23の処理、即ち、逆移動平均フィルタ（ハイパスフィルタ）を入力画像に対してかける処理とは、入力画像の周波数特性のうちの、撮像ボケを示すローパスフィルタによりゲインが減衰してしまった周波数帯において、そのゲインを持ち上げる処理であるとも言える。

[0128] そこで、この新たな課題を解決するためには、図 5の構成の撮像ボケ抑制処理部 1 3を採用する代わりに、ゲインが減衰してしまった周波数帯域において、そのゲインを持ち上げる機能を有する撮像ボケ抑制処理部 13を採用すればよ、。具体的には例えば、図 6の構成の撮像ボケ抑制処理部 13を採用すればよい。即ち、図 6は、撮像ボケ抑制処理部 13の機能的構成の図 5とは異なる実施例を示している。

[0129] 換言すると、図 6の例の撮像ボケ抑制処理部 13には、この機能を実現するために、移動平均フィルタ（ローノスフィルタ)特性変換部 31乃至加算部 34が設けられている

[0130] 移動平均フィルタ特性変換部 31は、図 5の移動平均フィルタ特性変換部 21と基本的に同様の機能と構成を有している。即ち、移動平均フィルタ特性変換部 31は、撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を、処理対象のフレーム（入力画像）内の注目画素の移動速度に応じて変換する。なお、この移動速度は、図 6にお、ては、撮像ボケ特性検出部 12から供給されるパラメータ値として示されてヽる。即ち、この移動速度は、撮像ボケ特性検出部 12から供給される。

[0131] 移動平均フィルタ部 32 (ローパスフィルタ部 32)は、処理対象のフレーム (入力画像 )内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部 31により特性が変換された移動平均フィルタをかけることで、注目画素の画素値を補正する。移動平均フィルタ部 32により補正された注目画素の画素値は、減算部 33に供給される。

[0132] 即ち、減算部 33には、移動平均フィルタ部 32により補正された注目画素の画素値が極性反転されて入力される。減算部 33にはまた、処理対象のフレーム (入力画像）のうちの注目画素の補正前の画素値が入力される。

[0133] そこで、減算部 33は、注目画素の補正前の画素値と、移動平均フィルタ部 32により補正された注目画素の画素値との差分を求め、その差分値を加算部 34に供給する。なお、以下、加算部 33の出力を、移動平均フィルタ前後の差分と称する。

[0134] このようにして、加算部 34には、移動平均フィルタ前後の差分が入力される。加算部 34にはまた、処理対象のフレーム（入力画像）内の注目画素の補正前の画素値が入力される。

[0135] そこで、加算部 34は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分を補正値として加算し、その加算結果を出力画像 (その一部)として出力する。即ち、出力画像とは、補正された各画素値力もなるフレーム、或いは、それらの複数のフレーム力もなる動画像である。

[0136] 以上の内容をまとめると、図 6の例の撮像ボケ抑制処理部 13は、動画像を構成する各フレームのそれぞれにつ、て、処理対象のフレームを構成する各画素値に対して、対応する移動平均フィルタ前後の差分を補正値としてそれぞれ加算することで、各画素値を補正している。

[0137] このような図 6の例の撮像ボケ抑制処理部 13の空間領域での処理は、周波数領域で考えると次のようになる。

[0138] 即ち、加算部 33の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、所定の周波数に着目すると、加算部 33の出力信号のゲインとは、次のようなゲインになる。即ち、着目された周波数において、入力画像信号のゲインと、移動平均フィルタがかけられた後の入力画像信号のゲインとの差分が、加算部 33の出力信号のゲインとなる。以下、加算部 33の出力信号のゲインを、移動平均フィルタ前後の差分ゲインと称する。

[0139] 従って、図 6の例の撮像ボケ抑制処理部 13 (加算部 34)から出力される出力画像信号を周波数領域で考えた場合、所定の周波数に着目すると、出力画像信号のゲインは、入力画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となっている。即ち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられている。

[0140] 換言すると、図 6の例の撮像ボケ抑制処理部 13全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。

[0141] 以上、撮像ボケ抑制処理部 13の実施の形態例として、ハイパスフィルタをかける処理を実行する図 5の例と、ハイパスフィルタをかける処理と基本的に等価な処理を実行する図 6の例とについて説明した。

[0142] ところで、画像信号に対してハイパスフィルタをかける処理とは、エッジを立たせる処理であるとも言える。即ち、撮像ボケ抑制処理部 13の処理とは、結局、いわゆる絵作りのためにエッジを立たせることを目的とするのではなぐ撮像ボケにより鈍ってしまつたエッジを立たせることを目的とする処理であると言える。従って、この目的を達成するため、撮像ボケ抑制処理部 13は、撮像ボケと移動速度との上述した因果関係（撮像ボケの特性は移動速度の大小に依存すると言う関係）を利用して、エッジの立たせ度合 (ェンノ、ンス量)を制御していると言える。即ち、撮像ボケ抑制処理部 13は、エッジ部分 (対応する画素）の移動速度に応じて、エッジの立たせ度合を可変してヽると言える。例えば、上述した図 5と図 6の例では、撮像ボケ抑制処理部 13は、移動速度に応じて、撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換することで、エッジの立たせ度合を可変しているのである。

[0143] また、エッジの立たせ度合と、各画素値に対する補正量とは対応して!/、る。

[0144] 従って、本発明においては、撮像ボケ抑制処理部 13は、注目画素における移動速度に応じて補正量 (エッジの立たせ度合)を可変して、注目画素の補正前の (入力時 )の画素値に対してその補正量を加算する手法が単に適用されていればよいことになる。即ち、撮像ボケ抑制処理部 13の形態は上述した図 5と図 6の例に限定されず、様々な形態を取ることが可能である。

[0145] 例えば、撮像ボケ抑制処理部 13は、次のような第 1の遅延部、第 2の遅延部、補正部、および、遅延時間変更部を備えるように構成することができる。

[0146] 即ち、第 1の遅延部は、処理対象のフレームのうちの、移動ベクトルの方向に連続して並ぶ画素群 (注目画素を含む画素群）に対応する第 1の画像信号が順次入力されると、その第 1の画像信号を第 1の遅延時間だけ遅延させ、その結果得られる第 2 の画像信号を出力する。なお、第 1の遅延時間とは、例えば第 1の画像信号のうちの、N画素 (Nは 1以上の整数値)分に対応する部分信号が第 1の遅延部に入力されるのに要する時間を指す。

[0147] 第 2の遅延部は、第 1の遅延部から出力された第 2の画像信号が順次入力され、その第 2の画像信号を第 2の遅延時間だけ遅延させ、その結果得られる第 3の画像信号を出力する。なお、第 2の遅延時間とは、例えば第 2の画像信号のうちの、 M画素（ Mは、 Nを含む 1以上の整数値)分に対応する部分信号が第 2の遅延部に入力されるのに要する時間を指す。

[0148] 補正部は、第 1の信号乃至第 3の信号を利用して補正量を決定し、その補正量を、注目画素の画素値に加算することで、注目画素の画素値を補正する。

[0149] 遅延時間変更部は、撮像ボケ特性検出部 12から供給された注目画素の移動速度に応じて、第 1の遅延部の第 1の遅延時間を変更するとともに、第 2の遅延部の第 2の遅延時間を変更する。

[0150] このように、注目画素の移動速度に応じて第 1の遅延時間と第 2の遅延時間が適切に変更されると、それに伴い、第 2の信号と第 3の信号の形態 (波形)も変更される。従って、第 1の信号乃至第 3の信号を利用して決定される補正量も、注目画素の移動速度に応じて変更される。これにより、撮像ボケが発生しているエッジ部分を、撮像ボケが発生した分だけ適切に立たせることが可能になり、その結果、フレームレート変換後のフレームについての撮像ボケに起因する画像劣化 (ボケ画像)を抑制することが可能になる。そして、最終的には、鮮明な映像を表示装置に表示させることが可能になるのである。

[0151] かかる第 1の遅延部、第 2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部 13は、具体的には例えば、図 7に示されるように構成することができる。即ち、図 7は、撮像ボケ抑制処理部 13の機能的構成の図 5や図 6とは異なる実施例を示している。

[0152] 図 7の例の撮像ボケ抑制処理部 13は、入力部 51、第 1の遅延部である可変 DL部 52、第 2の遅延部である可変 DL部 53、補正部 54— 1、遅延時間変更部 55、および、出力部 56から構成される。補正部 54—1は、減算部 61乃至加算部 73から構成される。

[0153] 以下、図 8に示される各信号を参照しつつ、図 7の例の撮像ボケ抑制処理部 13の詳細な構成 (各ブロックの接続形態)とその動作について併せて説明する。即ち、図 8は、図 7の例の撮像ボケ抑制処理部 13の各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。

[0154] 図 7において、入力部 51には、高フレームレート変換部 11により高フレームレート変換処理が施された入力画像の信号、例えば、図 8の信号 aが供給される。この入力部 51に入力された信号 aは可変 DL部 52に供給される。すると、可変 DL部 52からは、信号 aに対して第 1の遅延時間 Tだけ遅延された例えば図 8の信号 bが出力される。可変 DL部 52の出力信号 bは可変 DL部 53に供給される。すると、信号 bに対して第 2の遅延時間 Tだけ遅延された例えば図 8の信号 c、即ち、信号 aに対して時間 2Tだけ遅延された信号 cが、可変 DL部 53から出力される。

[0155] 可変 DL部 52の入力信号 aと可変 DL部 53の出力信号 cとが減算部 61に供給される。減算部 61は、信号 cから信号 aを減算し、その結果得られる例えば図 8の信号 dを全波整流部 62に供給する。さらに、この信号 dは、全波整流部 62を介して、正極性の信号を負極性に変換する負号化部 63に供給される。その結果、負号化部 63からは、例えば図 8の信号 eが出力されて、減算部 71に供給される。

[0156] また、可変 DL部 52の入力信号 aと出力信号 bとが減算部 64に供給される。減算部 64は、信号 bカゝら信号 aを減算し、その結果得られる例えば図 8の信号 fを全波整流部 65に供給する。さらに、この信号 fは、全波整流部 65と負号ィ匕部 66を通過することにより、例えば図 8の信号 gに変換されて、 MIN出力部 70に供給される。

[0157] また、可変 DL部 53の入力信号 b (可変 DL部 52の出力信号 b)と出力信号 cとが減算部 67に供給される。減算部 67は、信号 cから信号 bを減算し、その結果得られる例えば図 8の信号 hを全波整流部 68に供給する。さらに、この信号 hは、全波整流部 68 と負号ィ匕部 69を通過することにより、例えば図 8の信号 iに変換されて、 MIN出力部 7 0に供給される。

[0158] MIN (最小値）出力部 70は、供給された信号 gと信号 iとのうちの小さい方を取り出す。従って、 MIN出力部 70からは、例えば図 8の信号 jが出力され減算部 71に供給される。

[0159] 減算部 71は、負号ィ匕部 63から供給された信号 eから、 MIN出力部 70から供給された信号 jを減算し、その結果得られる例えば図 8の信号 kをスライス部 72に供給する。

[0160] スライス部 72に供給された信号 kは、例えば図 8の信号 1に変換されて、加算部 73 に供給される。

[0161] 加算部 73は、可変 DL部 52の出力信号 bに対して、スライス部 72から供給された信号 1を補正信号として加算して、その結果得られる例えば図 8の信号 mを出力画像の信号として出力部 56を介して出力する。

[0162] 換言すると、補正部 54—1においては、可変 DL部 52から出力されて可変 DL部 53 に入力された画像信号 bのうちの注目画素に対応する第 1の部分信号、可変 DL部 5 2に入力された画像信号 aのうちの注目画素に対応する部分信号が入力された略時点よりも第 1の遅延時間 Tだけ前に入力された第 2の部分信号、および、可変 DL部 5 3から出力された画像信号 cのうちの注目画素に対応する部分信号が出力された略時点から第 2の遅延時間 Tだけ後に出力された第 3の部分信号を利用して、第 1の部分信号のレベル (注目画素の画素値)の補正量が決定される。即ち、第 1の部分信号のレベル (注目画素の画素値）に対する補正量とは、スライス部 72から出力され加算部 73に入力される信号 1のうちの注目画素に対応する第 4の部分信号のレベルである。そして、加算部 73において、信号 bのうちの第 1の部分信号のレベル (注目画素の画素値）に対して、信号 1のうちの第 4の部分信号のレベル (補正量)が加算されることで、第 1の部分信号のレベルが補正されるのである。

[0163] 従って、可変 DL部 52の第 1の遅延時間 Tと、可変 DL部 53の第 2の遅延時間 Tとを、注目画素における移動速度に応じて適切に可変させることで、注目画素に対する補正量 (信号 1のうちの第 4の部分信号のレベル)を適切に可変させることができる。 [0164] 換言すると、信号 aのうちの上述した第 2の部分信号のレベルとは、移動ベクトルの方向または逆方向に、第 1の遅延時間 Tに対応する N画素分だけ注目画素力離間した第 1の他の画素の画素値に相当する。同様に、信号 cのうちの上述した第 3の部分のレベルとは、移動ベクトルの方向または逆方向に、第 2の遅延時間 Tに対応する M ( = N)画素分だけ注目画素から離間した第 2の他の画素の画素値に相当する。

[0165] 従って、信号 1のうちの第 4の部分信号のレベルとは、注目画素の画素値、第 1の他の画素の画素値、および第 2の他の画素の画素値に基づ!/、て決定された補正量であると言える。また、可変 DL部 52の第 1の遅延時間 Tと可変 DL部 53の第 2の遅延時間 Tとを、注目画素の移動速度に応じて可変させることとは、結局、第 1の他の画素と第 2の他の画素として採用する画素を、注目画素の移動速度に応じて可変させることであると言える。

[0166] 以上のように、図 7の例の撮像ボケ抑制処理部 13は、注目画素の移動速度に応じて第 1の他の画素と第 2の他の画素とを適切に可変することで、入力画像 (入力信号 a)に比較して、撮像ボケによって鈍った分だけ (必要な分だけ)エッジ部分が立った信号を出力画像（出力信号 m)として出力することが可能になる。これにより、各フレーム内の撮像ボケに起因する劣化部分 (ボケ画像）が劣化前の状態 (ボケ画像がない状態）にほぼ回復し、その結果、鮮明な映像が図示せぬ表示装置に表示されるのである。

[0167] なお、図 7の例の撮像ボケ抑制処理部 13にスライス部 72が仮に設けられな力つた場合には、例えば図 8の信号 nが出力画像の信号として出力部 56から出力されることになる。この場合、例えば上向きのパルスではレベルが高くなつて、図示せぬ表示装置に表示される画像が不自然になる。また下向きのパルスではパルスの中央に大きな凹部が形成されて、図示せぬ表示装置に表示される画像が不自然になる。

[0168] これに対して、図 7の例の撮像ボケ抑制処理部 13においては、スライス部 72が設けられているので、このような不自然な画像の形成を防止することが可能になる。

[0169] また、上述したように、図 7の例の撮像ボケ抑制処理部 13の補正部 54— 1は、可変 DL部 52と可変 DL部 53との入出力信号のうちの所定の 2つの信号を減算して得られる減算信号のうちの、 3つの減算信号をそれぞれ全波整流して負号ィ匕し、これらの 3つの信号に対して所定の演算処理を施した後に、負極性の信号成分である信号 1 のみを取り出して、その信号 1を、注目画素に対する補正量として利用する。これにより、プリシュート及びオーバーシュートが付加されることがない出力信号、例えば図 8 の出力信号 mが得られる。

[0170] 即ち、本発明の目的は、撮像ボケ後の画像信号を撮像ボケ前の画像信号に戻す（近づける）ことである。撮像ボケ前の画像信号のエッジ部分には、当然ながらプリシュートとオーバーシュートとは付加されていない。従って、撮像ボケ抑制処理部 13の出力信号にプリシュートまたはオーバーシュートが付加されている場合、その出力信号は、撮像ボケ前の画像信号が復元された信号であるとは言い難い。即ち、撮像ボケの抑制を目的とする補正としては過補正となっている。そこで、図 7の例の撮像ボケ抑制処理部 13では、プリシュートとオーバーシュートとが付加されていない出力信号、即ち、撮像ボケ前の画像信号により近い画像信号を出力するようにしているのである。

[0171] 以上、第 1の遅延部、第 2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部 13として、図 7の構成を有する撮像ボケ抑制処理部 13につヽて説明したた。ただし、第 1の遅延部、第 2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部 13は、当然ながら図 7の例に限定されず、様々な実施の形態を取ることが可能である。

[0172] 具体的には例えば、第 1の遅延部、第 2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部 13は、上述した図 7の構成の他、図 9に示されるように構成することもできる。即ち、図 9は、撮像ボケ抑制処理部 13の機能的構成の図 5 、図 6、および図 7とは異なる実施例を示している。

[0173] なお、図 9の例の撮像ボケ抑制処理部 13において、図 7の例の撮像ボケ抑制処理部 13と同一の機能と構成を有するブロックについては、図 7と対応する符号を付してある。

[0174] 図 9の例の撮像ボケ抑制処理部 13は、入力部 51、第 1の遅延部である可変 DL部 52、第 2の遅延部である可変 DL部 53、補正部 54— 2、遅延時間変更部 55、および、出力部 56から構成される。補正部 54— 2には、図 7の補正部 54—1にも設けられている減算部 61乃至加算部 73に加えて、極性反転部 74乃至乗算部 84がさらに設けられている。

[0175] 即ち、図 7と図 9とを比較するに、入力部 51、可変 DL部 52、可変 DL部 53、遅延時間変更部 55、出力部 56、および、補正部 54— 2のうちの減算部 61乃至加算部 73までの構成は同一とされている。

[0176] そこで、以下、図 10に示される各信号を参照しつつ、図 9の例の撮像ボケ抑制処理部 13のうちの図 7の例とは異なる部分、即ち、極性反転部 74乃至乗算部 84の詳細な構成 (各ブロックの接続形態）とその動作についてさらに説明する。即ち、図 10は、図 9の例の撮像ボケ抑制処理部 13のうちの図 7の例とは異なる各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。

[0177] 例えばいま、図 9のスライス部 72からは、図 8の信号 1と同一の図 10の信号 aaが出力されているとする。ただし、このスライス部 72の出力信号 aaは、図 9の例では、加算部

73に供給されずに、乗算部 84に供給されている。

[0178] なお、図 10においては、このスライス部 72の出力信号 aaを含む信号 aa乃至信号 nn は、図 8の信号 1を含む信号 a乃至 nに比較して振幅が 2倍にされている。図 10の信号 aa乃至信号 nnの時間変化を明瞭にするためである。

[0179] また、図 9の減算部 64からは、例えば図 8の信号 fと同一の図 10の信号 bbが出力されている。ただし、この減算部 64の出力信号 bbは、全波整流部 65に供給される他さらに、 MAX出力部 75と MIN出力部 76とに供給されている。

[0180] また、図 9の減算部 67の出力信号は、全波整流部 68に供給される他さらに、極性反転部 74に供給されてヽる。極性反転部 74に供給された信号はその極性が反転されて、その結果、例えば図 10の信号 ccが得られ、この信号 ccが MAX出力部 77と Ml

N出力部 78とに供給されている。

[0181] また、 MAX出力部 75、 MIN出力部 76、 MAX出力部 77、および、 MIN出力部 78 のそれぞれには、交流接地電位が供給される。

[0182] これによつて、 MAX出力部 75からは、例えば図 10に示されるような、減算部 64の出力信号 bbの正極性の部分である信号 ddが出力されて、加算部 79に供給される。

MIN出力部 76からは、例えば図 10に示されるような、減算部 64の出力信号 bbの負極性の部分である信号 ggが出力されて、加算部 81に供給される。 MAX出力部 77からは、例えば図 10に示されるような、極性反転部 74の出力信号 ccの正極性の部分である信号 11^出力されて、加算部 81に供給される。 MIN出力部 78からは、例えば図 10に示されるような、極性反転部 74の出力信号 ccの負極性の部分である信号 eeが出力されて、加算部 79に供給される。

[0183] 加算部 79は、 MAX出力部 75の出力信号 ddと、 MIN出力部 78の出力信号 eeとを加算し、その結果得られる例えば図 10の信号 hhをインバーターアンプ 80に供給する加算部 81は、 MIN出力部 76の出力信号 ggと、 MAX出力部 77の出力信号 ffとをカロ算し、その結果得られる例えば図 10の信号 jjをインバーターアンプ 82に供給する。

[0184] インバーターアンプ 80は、加算部 79の出力信号 hhの極性を反転して矩形波に成形し、その結果得られる例えば図 10の信号 iiを加算部 83に供給する。同様に、インバーターアンプ 82は、加算部 81の出力信号 jjの極性を反転して矩形波に成形し、その結果得られる例えば図 10の信号 kkを加算部 83に供給する。

[0185] 加算部 83は、インバーターアンプ 80の出力信号 iiと、インバーターアンプ 82の出力信号 kkとを加算し、その結果得られる例えば図 10の信号 11を乗算部 84に供給する

[0186] このようにして、乗算部 84においては、加算部 83の出力信号 11とスライス部 72の出力信号 aaが供給されるので、それらの信号 11と信号 aaとが乗算され、その結果得られる例えば図 10の信号 mm、即ち、スライス部 72の出力信号 aaの傾きの符号が変化した部分の極性が反転された信号 mmが出力される。

[0187] そしてこの乗算部 84の出力信号 mmが補正信号として加算部 73に供給されて、この加算部 73において、この補正信号 mm力上述した可変 DL部 52の出力信号（図 8 の信号 bと同一の信号）に加算され、その結果得られる例えば図 10の信号 nn力出力画像の信号として出力部 56を介して出力されるのである。

[0188] 以上説明したように、図 9の例の撮像ボケ抑制処理部 13は、図 7の例に対してさらに、減算信号 bb, ccの正極性の部分と負極性の部分とを分離し、これらの信号に対して所定の演算処理を施して、その結果得られる矩形波信号 11を用いて補正信号 aaの極性を制御することによって、さらに出力信号の輪郭を鋭角にした (エッジを急峻にする)補正を行うことができる。

[0189] 以上、本発明が適用される図 1の画像処理装置 1のうちの撮像ボケ抑制処理部 13 の実施の形態として、図 5、図 6、図 7、および図 9の機能的構成をそれぞれ有する撮像ボケ抑制処理部 13につ、て説明した。

[0190] これらの機能的構成を有する撮像ボケ抑制処理部 13は、各画素値の補正を行う際、上述した例では、移動速度 (移動ベクトルの絶対値)をパラメータとして使用した力この移動速度の他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。

[0191] 具体的には例えば、撮像ボケ抑制処理部 13は、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャツタ速度を利用することができる。

なぜならば、例えば図 11に示されるように、シャツタ速度が違うと同図中の時間 Ts分だけ撮像ボケの度合ヽも異なるカゝらである。

[0192] 即ち、図 11において、上側の図は、シャツタ速度がフレーム速度と同一の 1/30秒である場合の図を示しており、下側の図は、シャツタ速度がフレーム速度よりも早い（1/3 0-Ts)秒である場合の図を示している。図 11の両図とも、横軸は時間軸を表しており、縦軸はシャツタ開口時間の割合を表している。シャツタ開口時間の割合とは、例えば、シャツタ速度を V [秒] (Vは、 0以上の任意の値）とし、シャツタが開口された第 1の時刻の割合を 0%とし、第 1の時刻から V [秒]が経過してシャツタが閉じる第 2の時刻の割合を 100%とし、かつ、第 1の時刻力も現時刻までの時間 Ta [秒] (Taは、 0以上 V以下の任意の正値）とした場合に、（Ta/V) X 100[%]で示される割合である。この場合、図 11の両図の縦軸において、時間軸と接する値が 100[%]になり、最大値（各直線の最上位の値）が 0[%]になる。即ち、図 11の両図の縦軸においては、下方にいく程、シャツタ開口時間の割合は大きくなつていくのである。

[0193] 例えばいま、カメラの 1つの検出素子力フレーム内の 1つの画素に対応しているとする。この場合、図 11の上側の図に示されるように、シャツタ速度が 1/30秒であるときには、カメラの 1つの検出素子からは、シャツタが開口している 1/30秒間に入射された光の積分値が、対応する画素の画素値として出力される。これに対して、シャツタ速度が（l/30-Ts)秒である場合には、カメラの 1つの検出素子からは、シャツタが開口している（l/30-Ts)秒間に入射された光の積分値が、対応する画素の画素値として出力される。

[0194] 即ち、シャツタ速度は、検出素子における光の蓄積時間に対応している。従って、例えば、実空間において所定の検出素子の前を横切って移動するオブジェクトが存在する場合、シャツタ速度が（l/30-Ts)秒のときよりも 1/30秒のときの方力その検出素子には、オブジェクトに対応する光とは異なる光、例えば、背景の光が時間 Ts [秒] 分だけ多く入射されてしまうことになる。これにより、シャツタ速度が（l/30-Ts)秒のときよりも 1/30秒のときの方力 1つの検出素子から出力される画素値の中に、オブジェタトとは異なる背景等の光の蓄積値が混合される割合が多くなつてしまう。その結果、撮像ボケの度合ヽが大きくなつてしまう。

[0195] 以上の内容をまとめると、シャツタ速度が遅くなればなるほど、撮像ボケの度合いが大きくなる。即ち、シャツタ速度は、撮像ボケの一特性を示していると言える。従って、シャツタ速度も、移動速度と同様に、撮像ボケの特性を示すパラメータとして利用することが可能である。

[0196] なお、このようなシャツタ速度が、撮像ボケの特性を示すパラメータとして利用される場合には、図 1の撮像ボケ特性検出部 12は、例えば、高フレームレート変換部 11から供給された動画像 (データ）に付加されているヘッダ情報などを解析することで、各フレームのシャツタ速度を検出し、それらを撮像ボケの特性を示すパラメータとして、撮像ボケ抑制処理部 13に供給することができる。撮像ボケ抑制処理部 13は、例えば、移動速度の代わりにこのシャツタ速度を利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。このシャツタ速度を利用する場合の撮像ボケ抑制処理部 13の構成は、移動速度を利用する場合のそれと基本的に同様の構成を取ることができる。即ち、上述した図 5、図 6、図 7、および図 9のいずれの機能的構成を有する撮像ボケ抑制処理部 13も、シャツタ速度をパラメータ値として利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる [0197] 以上、本発明が適用される画像処理装置の実施の形態として、図 1に示される機能的構成を有する画像処理装置 1について説明したが、本発明は、図 1の例に限定されず、その他様々な実施の形態を取ることが可能である。

[0198] 具体的には例えば、図 12乃至図 15のそれぞれには、本発明が適用される画像処理装置の他の実施の形態の機能ブロック図が示されている。

[0199] 例えば、図 12の画像処理装置 101は、図 1の画像処理装置 1と同様に、高フレームレート変換部 11、撮像ボケ特性検出部 12、および、撮像ボケ抑制処理部 13から構成される。

[0200] ただし、図 12の画像処理装置 101においては、撮像ボケ抑制処理部 13の補正処理の対象は、画像処理装置 101の入力動画像、即ち、高フレームレート変換部 11により高フレームレート変換処理が施される前の動画像である。このため、撮像ボケ特性検出部 12も、高フレームレート変換部 11により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、その検出結果を撮像ボケ抑制処理部 13に供給して、る。

[0201] 従って、図 12の画像処理装置 101の画像処理は、図 3の画像処理のうちの、ステツプ Sl、 S3、 S4、 S2、および S5のそれぞれの処理がその順番で実行される処理となる。

[0202] また、例えば、図 13の画像処理装置 102は、図 1の画像処理装置 1や図 12の画像処理装置 101と同様に、高フレームレート変換部 11、撮像ボケ特性検出部 12、および、撮像ボケ抑制処理部 13から構成される。

[0203] この図 13の画像処理装置 102においては、撮像ボケ抑制処理部 13の補正処理の対象は、図 1の画像処理装置 1と同様に、入力動画像に対して高フレームレート変換処理が高フレームレート変換部 11により施された結果得られる動画像である。即ち、撮像ボケ抑制処理部 13は、高フレームレート変換処理が施された後の動画像に対して補正処理を施す。

[0204] ただし、図 13の画像処理装置 102の撮像ボケ特性検出部 12は、入力動画像の中から、即ち、高フレームレート変換部 11により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータを検出し、その検出結果を撮像ボケ抑制処理部 13に供給している。即ち、図 13の画像処理装置 102の撮像ボケ抑制処理部 13は、高フレームレート変換処理が施される前の動画像の中力検出されたパラメータの値を利用して、各画素値を補正して、る。

[0205] 以上のことから、図 13の画像処理装置 102の画像処理も、図 3の画像処理と同様の流れで実行される処理、即ち、ステップ Sl、 S2、 S3、 S4、および S5のそれぞれの処理がその順番で実行される処理となる。ただし、ステップ S3の処理は、「高フレームレート変換処理が施される前の動画像、即ち、ステップ S1の処理で入力された動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を検出する」という処理になる。

[0206] このような図 12の画像処理装置 101と図 13の画像処理装置 102とに対して、図 14 の画像処理装置 112と図 15の画像処理装置 131とは、高フレームレート変換部 11と撮像ボケ抑制処理部 13とから構成され、撮像ボケ特性検出部 12はその構成要素に含んでいない。

[0207] 即ち、図 14と図 15に示されるように、撮像ボケ特性検出部 12は、他の画像処理装置 111 (以下、図面の記載にあわせて、画像信号生成装置 111と称する）内に重畳部 121とともに設けられてヽる。この画像信号生成装置 111に入力された動画像は、撮像ボケ特性検出部 12と重畳部 121とに供給される。撮像ボケ特性検出部 12は、この動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、重畳部 121〖こ供給する。重畳部 121は、この動画像に対して、撮像ボケの特性を示すパラメータの値を重畳し、その結果得られる信号を出力する。

[0208] 従って、図 14の画像処理装置 112と図 15の画像処理装置 131には、撮像ボケの特性を示すパラメータの値が重畳された動画像 (信号)が画像信号生成装置 111から供給されてくる。

[0209] そこで、例えば、図 14の画像処理装置 112では、撮像ボケ抑制処理部 13が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像を構成する各フレームのそれぞれにつヽて、分離された撮像ボケの特性を示すパラメータの値に基づ、て各画素値を補正する。

[0210] 次に、高フレームレート変換部 11が、撮像ボケ抑制処理部 13により補正された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換され、かつ補正がなされた動画像を出力する。

[0211] 以上のことから、図 14の画像処理装置 112の画像処理は、図 3の画像処理のうちの、ステップ Sl、 S4、 S2、および S 5のそれぞれの処理がその順番で実行される処理となる。

[0212] これに対して、例えば、図 15の画像処理装置 131では、高フレームレート変換部 1 1が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換された動画像を撮像ボケ抑制処理部 13に供給する。このとき、高フレームレート変換部 11により分離された撮像ボケの特性を示すパラメータの値も、撮像ボケ抑制処理部 13に供給される。

[0213] 次に、撮像ボケ抑制処理部 13が、高フレームレートに変換された動画像を構成する各フレームのそれぞれにつ、て、撮像ボケの特性を示すパラメータの値に基づ!/ヽて各画素値を補正し、その結果得られる動画像、即ち、補正がなされ、かつ高フレームレートに変換された動画像を出力する。

[0214] ところで、上述した図 1の画像処理装置 1、図 12の画像処理装置 101、図 13の画像処理装置 102、図 14の画像処理装置 112、または、図 15の画像処理装置 131において、高フレームレート変換部 11は、撮像ボケ特性検出部 12で検出されたパラメ一タの値を利用してアップコンバート処理を実行することができる。このアップコンパート処理が実行されているときには、通常、動き補償型フレーム補間が行われていることが多い。また、上述したように、撮像ボケ特性検出部 12は、パラメータの値として移動ベクトルを検出することができる。従って、高フレームレート変換部 11は、撮像ボケ特性検出部 12で検出された移動べ外ルを利用して動き補償型フレーム補間処理を実行することができる。

[0215] ところで、上述した一連の処理（或!/、はそのうちの一部分の処理）は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

[0216] この場合、図 1の画像処理装置 1全体若しくはその一部分 (例えば、撮像ボケ抑制処理部 13等）、図 12の画像処理装置 101全体若しくはその一部分、図 13の画像処理装置 102全体若しくはその一部分、図 14の画像処理装置 112全体若しくはその一部分、および、図 15の画像処理装置 131全体若しくはその一部分は、例えば、図 16に示されるようなコンピュータで構成することができる。

[0217] 図 16において、 CPU (Central Processing Unit) 201 ROM (Read Only Memory) 202に記録されているプログラム、または記憶部 208から RAM (Random Access Mem ory) 203にロードされたプログラムに従って各種の処理を実行する。 RAM203にはまた、 CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。

[0218] CPU201, ROM202,および RAM203は、バス 204を介して相互に接続されている。このバス 204にはまた、入出力インタフェース 205も接続されている。

[0219] 入出力インタフェース 205には、キーボード、マウスなどよりなる入力部 206、デイスプレイなどよりなる出力部 207、ハードディスクなどより構成される記憶部 208、および、モデム、ターミナルアダプタなどより構成される通信部 209が接続されている。通信部 209は、インターネットを含むネットワークを介して他の画像処理装置との通信処理を行う。

[0220] 入出力インタフェース 205にはまた、必要に応じてドライブ 210が接続され、磁気デイスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体 311が適宜装着され、それら力読み出されたコンピュータプログラムが、必要に応じて記憶部 208にインストールされる。

[0221] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

[0222] このようなプログラムを含む記録媒体は、図 16に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD- ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD (Min卜 Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体 (パッケージメディア） 211により構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されている ROM202や、記憶部 208に含まれるハードデイスクなどで構成される。

[0223] なお、本明細書にぉ、て、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0224] また、上述したように、本明細書にぉ、て、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

[0225] さらにまた、上述の各種実施の形態で実行される高フレームレート変換処理において、入力映像信号の第 1のフレームレート（フレーム周波数）と、出力映像信号の第 2 のフレームレート（フレーム周波数）との組み合わせは、特に限定されず任意の組み合わせで良い。具体的には例えば、入力映像信号の第 1のフレームレートとして 60 ( または 30)〔1¾〕を採用し、かつ、出力映像信号の第 2のフレームレートとして 120[H z]を採用することができる。例えば、入力映像信号の第 1のフレームレートとして 60 ( または 30)〔1¾〕を採用し、かつ、出力映像信号の第 2のフレームレートとして 240 [H z]を採用することができる。例えば、入力映像信号の第 1のフレームレートとして、 PA L (Phase Alternation by Line)方式に対応する 50〔Hz〕を採用し、かつ、出力映像信号の第 2のフレームレートとして 100 [Hz]や 200 [Hz]を採用することができる。例えば、入力映像信号の第 1のフレームレートとして、テレシネに対応する 48〔Hz〕を採用し、かつ、出力映像信号の第 2のフレームレートとしてそれ以上の所定の周波数を採用することができる。

[0226] なお、このような既存のテレビジョン方式等に由来する入力映像信号に対して、上述の各種実施の形態における高フレームレート変換処理を施すことで、既存のコンテンッを高品位に表示することが可能になる。

Claims

請求の範囲

[1] 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、

前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換手段と、前記動画像を構成する複数のアクセスユニットのそれぞれにつ、て、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出手段と、

前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする画像処理装置。

[2] 前記高レート変換手段は、前記検出手段で検出された前記パラメータの値を利用して前記高レート変換処理を実行する

ことを特徴とする請求項 1に記載の画像処理装置。

[3] 前記第 1のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである

ことを特徴とする請求項 1に記載の画像処理装置。

[4] 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも 1つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出することを特徴とする請求項 1に記載の画像処理装置。

[5] 前記高レート変換手段は、前記高レート変換処理の少なくとも一部として、前記検出手段で検出された前記移動べ外ルを利用する動き補償型フレーム補間処理を実行する

ことを特徴とする請求項 4に記載の画像処理装置。

[6] 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャツタ速度のそれぞれを、前記パラメータの値として検出する

ことを特徴とする請求項 1に記載の画像処理装置。

[7] 前記補正手段は、

前記動画像を構成する複数の前記アクセスユニットのそれぞれにつ、て、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、

前記検出手段により検出された 1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、

前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、

処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段と

を有することを特徴とする請求項 1に記載の画像処理装置。

[8] 前記補正手段は、

処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第 1の値として出力するフィルタリング手段と、

前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された前記第 1の値との差分を演算し、その結果得られる差分値を第 2の値として出力する減算手段と、

前記減算手段から出力された前記第 2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段と

[9] 前記補正手段は、

処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第 1の画像信号が順次入力され、入力された前記第 1 の画像信号を、 N画素分 (Nは 1以上の整数値）に対応する第 1の遅延時間だけ遅延させ、その結果得られる第 2の画像信号を出力する第 1の遅延手段と、

第 1の遅延手段力出力された前記第 2の画像信号が順次入力され、入力された前記第 2の画像信号を、 M画素分 (Mは、 Nを含む 1以上の整数値）に対応する第 2 の遅延時間だけ遅延させ、その結果得られる第 3の画像信号を出力する第 2の遅延手段と、

前記第 1の遅延手段に入力された前記第 1の画像信号、前記第 1の遅延手段から出力されて前記第 2の遅延手段に入力された前記第 2の画像信号、および、前記第 2の遅延手段から出力された前記第 3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段と、

前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第 1の遅延手段の前記第 1の遅延時間を変更するとともに、前記第 2の遅延手段の前記第 2の遅延時間を変更する遅延時間変更手段と

[10] 前記第 1のレートは 30Hzであり、前記第 2のレートは 120Hzである

ことを特徴とする請求項 1に記載の画像処理装置。 [11] 前記第 1のレートは 60Hzであり、前記第 2のレート 120Hzである

ことを特徴とする請求項 1に記載の画像処理装置。

[12] 前記第 1のレートは 60Hzであり、前記第 2のレートは 240Hzである

ことを特徴とする請求項 1に記載の画像処理装置。

[13] 前記第 1のレートは 50Hzであり、前記第 2のレートは 100Hzである

ことを特徴とする請求項 1に記載の画像処理装置。

[14] 前記第 1のレートは 50Hzであり、前記第 2のレートは 200Hzである

ことを特徴とする請求項 1に記載の画像処理装置。

[15] 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法にぉ、て、

前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、前記動画像を構成する複数のアクセスユニットのそれぞれにつ、て、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出ステップと、

前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと

を含むことを特徴とする画像処理方法。

[16] 前記高レート変換ステップは、前記検出ステップの処理により検出された前記パラメ一タの値を利用して前記高レート変換処理を実行するステップである

ことを特徴とする請求項 15に記載の画像処理方法。

[17] 前記第 1のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである

ことを特徴とする請求項 15に記載の画像処理方法。

[18] 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する各画素のうちの少なくとも 1 つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する処理を含む

ことを特徴とする請求項 15に記載の画像処理方法。

[19] 前記高レート変換ステップは、前記高レート変換処理の少なくとも一部として、前記検出ステップの処理により検出された前記移動ベクトルを利用する動き補償型フレーム補間処理を実行するステップである

ことを特徴とする請求項 18に記載の画像処理方法。

[20] 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャツタ速度のそれぞれを、前記パラメータの値として検出する処理を含む

ことを特徴とする請求項 15に記載の画像処理方法。

[21] 前記補正ステップは、

前記注目画素に対するステップとして、

前記検出ステップの処理により検出された 1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、

前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、

処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップと

を含むことを特徴とする請求項 15に記載の情報処理方法。

[22] 前記補正ステップは、

前記注目画素に対するステップとして、前記検出ステップの処理により検出された 1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第 1の値とし前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第 1の値との差分を演算し、その結果得られる差分値を第 2の値として出力する減算ステップと、

前記減算ステップの処理結果として出力された前記第 2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップと

を含むことを特徴とする請求項 15に記載の情報処理方法。

前記補正ステップは、

前記注目画素に対するステップとして、

処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第 1の画像信号が順次入力され、入力された前記第 1 の画像信号を、 N画素分 (Nは 1以上の整数値）に対応する第 1の遅延時間だけ遅延させ、その結果得られる第 2の画像信号を出力する第 1の遅延ステップと、

第 1の遅延ステップの処理結果として出力された前記第 2の画像信号が順次入力され、入力された前記第 2の画像信号を、 M画素分 (Mは、 Nを含む 1以上の整数値 )に対応する第 2の遅延時間だけ遅延させ、その結果得られる第 3の画像信号を出力する第 2の遅延ステップと、

前記第 1の遅延ステップの処理対象として入力された前記第 1の画像信号、前記第 1の遅延ステップの処理結果として出力されて前記第 2の遅延ステップの処理対象として入力された前記第 2の画像信号、および、前記第 2の遅延ステップの処理結果として出力された前記第 3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップと、

前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第 1の遅延ステップの前記第 1の遅延時間を変更するとともに、前記第 2の遅延ステップの前記第 2の遅延時間を変更する遅延時間変更ステップと

を含むことを特徴とする請求項 15に記載の情報処理方法。

[24] 前記第 1のレートは 30Hzであり、前記第 2のレートは 120Hzである

ことを特徴とする請求項 15に記載の画像処理方法。

[25] 前記第 1のレートは 60Hzであり、前記第 2のレート 120Hzである

ことを特徴とする請求項 15に記載の画像処理方法。

[26] 前記第 1のレートは 60Hzであり、前記第 2のレートは 240Hzである

ことを特徴とする請求項 15に記載の画像処理方法。

[27] 前記第 1のレートは 50Hzであり、前記第 2のレートは 100Hzである

ことを特徴とする請求項 15に記載の画像処理方法。

[28] 前記第 1のレートは 50Hzであり、前記第 2のレートは 200Hzである

ことを特徴とする請求項 15に記載の画像処理方法。

[29] 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、

前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、前記動画像を構成する複数のアクセスユニットのそれぞれにつ、て、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を 1以上検出する検出ステップと、前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと

を含むプログラムを記録していることを特徴とする記録媒体。

[30] 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、

を含むことを特徴とするプログラム。

[31] 所定の撮影装置により撮影された動画像と、

前記動画像を構成する複数のアクセスユニットのそれぞれにつ、ての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値と

が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置において、

前記他の画像処理装置力供給された前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理を実行する高レート変換手段と、前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスュニットのそれぞれにつ、て、前記他の画像処理装置力供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と

を備えることを特徴とする画像処理装置。

[32] 前記第 1のレートは 30Hzであり、前記第 2のレートは 120Hzである

ことを特徴とする請求項 31に記載の画像処理装置。

[33] 前記第 1のレートは 60Hzであり、前記第 2のレート 120Hzである

ことを特徴とする請求項 31に記載の画像処理装置。

[34] 前記第 1のレートは 60Hzであり、前記第 2のレートは 240Hzである

ことを特徴とする請求項 31に記載の画像処理装置。

[35] 前記第 1のレートは 50Hzであり、前記第 2のレートは 100Hzである

ことを特徴とする請求項 31に記載の画像処理装置。

[36] 前記第 1のレートは 50Hzであり、前記第 2のレートは 200Hzである

ことを特徴とする請求項 31に記載の画像処理装置。

[37] 所定の撮影装置により撮影された動画像と、

が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法にぉ、て、

前記他の画像処理装置力供給された前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高、第 2のレートに変換する高レート変換処理を実行する高レート変換ステップと、

前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれにつ、て、前記他の画像処理装置力供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと

を含むことを特徴とする画像処理方法。

[38] 前記第 1のレートは 30Hzであり、前記第 2のレートは 120Hzである

ことを特徴とする請求項 37に記載の画像処理方法。

[39] 前記第 1のレートは 60Hzであり、前記第 2のレート 120Hzである

ことを特徴とする請求項 37に記載の画像処理方法。

[40] 前記第 1のレートは 60Hzであり、前記第 2のレートは 240Hzである

ことを特徴とする請求項 37に記載の画像処理方法。

[41] 前記第 1のレートは 50Hzであり、前記第 2のレートは 100Hzである

ことを特徴とする請求項 37に記載の画像処理方法。

[42] 前記第 1のレートは 50Hzであり、前記第 2のレートは 200Hzである

ことを特徴とする請求項 37に記載の画像処理方法。

[43] 所定の撮影装置により撮影された動画像と、

が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、

与えられた前記動画像におけるアクセスユニットのレートを、現在の第 1のレートからそれよりも高い第 2のレートに変換する高レート変換処理を実行する高レート変換ステツプと、

前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれにつヽて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1 以上の値に基づ!/、て、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップとを含むプログラムを記録してヽることを特徴とする記録媒体。

[44] 所定の撮影装置により撮影された動画像と、前記動画像を構成する複数のアクセスユニットのそれぞれにつ、ての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す 1以上のパラメータの値と

前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれにつヽて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する 1 以上の値に基づ!/、て、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とするプログラム。