WO2007148479A1

WO2007148479A1 - 映像整合装置および映像整合方法

Info

Publication number: WO2007148479A1
Application number: PCT/JP2007/059060
Authority: WO
Inventors: Jun Okamoto; Keishirou Watanabe; Takaaki Kurita
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2006-06-21
Filing date: 2007-04-26
Publication date: 2007-12-27
Anticipated expiration: 2008-12-21
Also published as: KR20090007790A; JP4763525B2; EP2390836A3; CA2654501C; CN101461252B; EP2031882A1; JP2008005107A; US20090303386A1; EP2390836B1; CN101461252A; EP2031882B1; EP2390836A2; CA2654501A1; KR101004064B1; US8195010B2; EP2031882A4

Abstract

　特異点除去処理部（１２）は、人間の目には見えない高周波成分のノイズである特異点を劣化映像信号と基準映像信号から除去する。画素値補正処理部（１３）は、劣化映像信号に付加されている画素値のバイアスを除去する。特異点除去処理部（１２）は、映像信号を空間周波数に変換して高周波成分を除去した後に逆変換を行って映像信号に戻すか、あるいは平均化フィルタもしくはメディアンフィルタを用いて特異点を除去する。画素値補正処理部（１３）は、基準映像信号と劣化映像信号の対応する画素値間の相関関係を求め、劣化映像信号の画素値が基準映像信号の画素値に一致するように基準映像信号又は劣化映像信号の画素値を補正する。

Description

映像整合装置および映像整合方法

技術分野

[0001] 本発明は、評価対象となる劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号の物理的特徴量から、劣化映像信号の主観品質を推定する前に、基準映像信号と劣化映像信号とを整合させる映像整合装置および映像整合方法に関するものである。

背景技術

[0002] 従来より、映像品質評価は、ユーザがその映像を実際に観たときに感じる品質を測定する、いわゆる主観品質評価が基本である。しかしながら、主観品質評価は専用の設備と膨大な時間および労力を要する。そこで、映像品質評価をより効率的に行うために、映像カゝら物理的に測定される量カゝら主観品質を推定する客観評価法の開発が望まれている。

[0003] 従来の客観評価法では、例えば文献「"Objective Perceptual Video Quality Measu rement Techniques for Digital Cable Television in the Presence of a Full Reference" , ITU-T Recommendation J.144, 2004」に記載されているように、対象とする映像信号は例えば放送局での利用などプロユースの安定した信号を扱えればよぐ標準化においても客観評価アルゴリズムのみを決めるだけであった。

そのため、劣化映像信号の主観品質を推定する前に行われる整合処理においては、劣化映像信号と劣化前の基準映像信号のフォーマットを合わせるフォーマット変換処理と、劣化映像信号と基準映像信号の時間と位置を一致させる位置，同期整合処理とを施せば、劣化映像信号と基準映像信号の整合を実現できた (例えば、米国特許第 5446492号明細書参照)。

発明の開示

発明が解決しょうとする課題

[0004] しかし、例えばパーソナルコンピュータ (PC)で視聴する環境にお!、て実際に視聴する信号レベル (モニタ信号)を用いて映像の品質を評価をする場合には、プレイヤの処理やモニタ出力ボードの特性 ·性能などにより映像信号にノイズやバイアスが付カロされることがある。このノイズやバイアスには、人間の目には知覚できず主観品質には影響を与えないものがあり、このような人間の目には知覚できないノイズやバイアスを品質劣化要因として算入してしまうと、映像の品質劣化を過大に見積もってしまうことになり、主観品質の推定精度が落ちてしまうという問題点があった。

[0005] 本発明は、上記課題を解決するためになされたもので、劣化映像信号にノイズゃバィァスが付加された場合でも、このノイズやバイアスを除去することができる映像整合装置および映像整合方法を提供することを目的とする。

課題を解決するための手段

[0006] 本発明の映像整合装置は、劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置，同期整合処理部と、人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号力除去する特異点除去処理部とを備えるものである。

また、本発明の映像整合装置は、劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置 '同期整合処理部と、前記劣化映像信号に付加されて!、る画素値のバイアスを除去する画素値補正処理部とを備えるものである。

[0007] また、本発明の映像整合方法は、劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置 '同期整合ステップと、人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号から除去する特異点除去ステップとを備えるものである。

また、本発明の映像整合方法は、劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置 '同期整合ステップと、前記劣化映像信号に付加されて！ヽる画素値のバイアスを除去する画素値補正ステップとを備えるものである。

発明の効果

[0008] 以上説明したように、本発明によれば、人間の目には見えない高周波成分のノイズである特異点を劣化映像信号から除去する特異点除去処理を行うことにより、プレイャの後処理やモニタ出力ボードの特性'性能によって劣化映像信号にノイズが付カロされた場合でも、このノイズを除去することができる。その結果、本発明では、実際に視聴する信号レベル (モニタ信号)で映像の品質を評価する場合に、劣化映像信号の品質を適切に評価することができる。

[0009] また、本発明では、劣化映像信号に付加されて!、る画素値のバイアスを除去する画素値補正処理を行うことにより、プレイヤのポストフィルタ処理やモニタ出力ボードの色補正機能によって劣化映像信号にバイアスが付加された場合でも、このバイァスを除去することができる。その結果、本発明では、実際に視聴する信号レベル (モニタ信号)で映像の品質を評価する場合に、劣化映像信号の品質を適切に評価することができる。

[0010] また、本発明では、劣化映像信号に加えて、基準映像信号に対して特異点除去処理を行うことにより、劣化映像信号に対する特異点除去処理を加えることによって新たに生じる主観品質推定精度への悪影響を無くすことができる。その結果、劣化映像信号のみに特異点除去処理を行う場合に比べて、主観品質の推定精度を向上させることができる。

[0011] また、本発明では、特異点除去量を次段の主観品質推定ステップへの入力情報として出力することにより、特異点除去処理で想定外の処理が行われた場合に、この想定外の処理が主観品質の推定精度に与える影響を次段の主観品質推定ステップの際に考慮することができる。

[0012] また、本発明では、画素値の補正で用いる補正情報を次段の主観品質推定ステツプへの入力情報として出力することにより、画素値補正処理で想定外の処理が行われた場合に、この想定外の処理が主観品質の推定精度に与える影響を次段の主観品質推定ステップの際に考慮することができる。

図面の簡単な説明

[0013] [図 1]図 1は、本発明の第 1実施例に係る映像整合装置の構成を示すブロック図である。

[図 2]図 2は、本発明の第 1実施例に係る映像整合装置の動作を示すフローチャートである。 [図 3A- 3B]図 3A—図 3Bは、本発明の第 1実施例における位置 ·同期整合処理部の動作を説明するための図であり、基準映像信号と劣化映像信号の画素合わせの概念を示す図である。

圆 4A]図 4Aは、本発明の第 1実施例における特異点除去処理部の動作の 1例を説明するための図であり、劣化映像信号のフレームを示す図である。

圆 4B]図 4Bは、本発明の第 1実施例における特異点除去処理部の動作の 1例を説明するための図であり、劣化映像信号の空間周波数を示す図である。

圆 4C]図 4Cは、本発明の第 1実施例における特異点除去処理部の動作の 1例を説明するための図であり、高周波成分を除去した後の空間周波数力変換した結果の劣化映像信号のフレームを示す図である。

圆 5A]図 5Aは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例である 3 X 3近傍の平均化フィルタを示す図である。

圆 5B]図 5Bは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例である 3 X 3近傍の重み付け平均化フィルタを示す図である。

圆 5C]図 5Cは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例であるクロス型の平均化フィルタを示す図である。

圆 6A]図 6Aは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例である 3 X 3近傍のメディアンフィルタを示す図である。

圆 6B]図 6Bは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例であるクロス型のメディアンフィルタを示す図である。

圆 6C]図 6Cは、本発明の第 1実施例における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去フィルタの 1例であるロングクロス型のメディアンフィルタを示す図である。 [図 7A]図 7Aは、本発明の第 1実施例における画素値補正処理部の動作を説明するための図であり、劣化映像信号に対するデコード時の処理の影響を示す図である。

[図 7B]図 7Bは、本発明の第 1実施例における画素値補正処理部の動作を説明するための図であり、劣化映像信号に対するデコード後の処理の影響を示す図である。

[図 8]図 8は、本発明の第 2実施例に係る映像整合装置の構成を示すブロック図である。

発明を実施するための最良の形態

[0014] [第 1実施例]

以下、本発明の実施例について図面を参照して説明する。図 1は本発明の第 1実施例に係る映像整合装置の構成を示すブロック図である。

映像整合装置は、整合処理部 1と、主観品質推定部 2とを有する。整合処理部 1は、符号ィ匕ゃネットワークでの損失によって劣化した劣化映像信号 DOとこの劣化映像信号 DOの劣化する前の信号である基準映像信号 ROの入力に対して、両者に信号処理を加えて、整合基準映像信号 R4と整合劣化映像信号 D4を出力する。主観品質推定部 2は、整合基準映像信号 R4と整合劣化映像信号 D4の特徴量を測定して、整合劣化映像信号 D4の主観品質を推定する。なお、図 1の装置は、映像整合装置を構成すると同時に、映像品質客観評価装置を構成している。

[0015] 整合処理部 1は、フォーマット変換処理部 10と、位置 ·同期整合処理部 11と、特異点除去処理部 12と、画素値補正処理部 13とを備えている。図 2は映像整合装置の動作を示すフローチャートである。

フォーマット変換処理部 10は、基準映像信号 ROと劣化映像信号 DOのフォーマットを合わせるフォーマット変換処理を行う（図 2ステップ S10)。

位置'同期整合処理部 11は、フォーマット変換処理部 10によって信号処理された基準映像信号 R1と劣化映像信号 D1の時間軸上のずれと位置のずれをなくす位置' 同期整合処理を行う（図 2ステップ S 11)。

[0016] 特異点除去処理部 12は、位置 ·同期整合処理部 11によって信号処理された劣化映像信号 D2から特異点 (ノイズ)を除去する特異点除去処理を行う（図 2ステップ S1 2)。なお、特異点除去処理部 12は、後述する理由により、基準映像信号 R2についても特異点除去処理を行う。

画素値補正処理部 13は、特異点除去処理部 12によって信号処理された劣化映像信号 R3に付加されて、るノィァス (画素値の偏り）を除去する画素値補正処理を行う (図 2ステップ S 13)。

[0017] 以下、整合処理部 1の各処理の動作を詳細に説明する。

フォーマット変換処理部 10は、基準映像信号 ROと劣化映像信号 DOの信号形式、サィズ、アスペクト比が異なる場合に劣化映像信号 DOを変換して、劣化映像信号 DO のフォーマットを基準映像信号 ROに合わせる。例えば基準映像信号 ROが非圧縮の YUV形式であり、劣化映像信号 DOのデータ形式が非圧縮の RGB形式であれば、劣ィ匕映像 f¾号 DOを ITU—R (International Telecommunications Union Radiocommu nication Sector)勧告 BT—601"STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS" で規定された変換式を用いて変換すればよい。なお、劣化映像信号 DOが圧縮形式の場合は事前に非圧縮形式に変換する必要がある。

[0018] また、フォーマット変換処理部 10は、基準映像信号 R0と劣化映像信号 DOのサイズやアスペクト比が異なる場合は、サイズやアスペクト比が同一となるように劣化映像信号 DOを変換する。基準映像信号 R0と劣化映像信号 DOのサイズやアスペクト比が整数倍の関係にあれば単純な整数倍で計算できるが、整数倍の関係にない場合には、劣化映像信号 DOを任意のサイズに変換する必要がある。この場合は、例えば文献「"よくわかるディジタル画像処理一フィルタ処理から DCT&ウェーブレットまで"， CQ 出版， 1996年」の第 7章に記載された画像の解像度変換のように任意のサイズへの変換を行えばよい。なお、フォーマット変換処理部 10は、基準映像信号 R0と劣化映像信号 DOのフォーマットが異なることにより、基準映像信号 R0と劣化映像信号 DOの輝度値の出現範囲や色の出現範囲が異なっている場合には、必要に応じてこれらの出現範囲を合わせる整合処理も行う。

[0019] 位置'同期整合処理部 11は、フォーマット変換処理部 10によりフォーマット変換された基準映像信号 R1と劣化映像信号 D1のフレームと画素の位置を合わせるため、図 3Aに示す劣化映像信号 D1の対象フレーム DFと基準映像信号 R1の対象フレーム RFとの差分値を求める。このとき、位置 ·同期整合処理部 11は、図 3Bに示すように基準映像信号 R1の対象フレーム RFの座標 R(l, 1)を対象領域の左上とし、これに対応する劣化映像信号 D1の対象フレーム DFの対象領域をシフトさせながら、フレーム RFと DFの対象領域間の画素毎の差分値の総和を求める。なお、図 3Bのフレーム RFと DFの桥目は画素を表して！/、る。

[0020] 位置'同期整合処理部 11は、座標 D (l, 1) , D (l, 2) , D (l, 3) , D (2, 1) , D (2 , 2) , D (2, 3) , D (3, 1) , D (3, 2) , D (3, 3)がそれぞれ対象領域の左上となるように劣化映像信号 D1の対象領域をシフトさせ、これらの対象領域の各々について基準映像信号 R1の対象領域との間で画素毎の差分値の総和を求める。図 3Bにおける A1は座標 D (l, 1)を左上とする場合の対象領域、 A2は座標 D (2, 2)を左上とする場合の対象領域、 A3は座標 D (3, 3)を左上とする場合の対象領域である。

[0021] そして、位置'同期整合処理部 11は、基準映像信号 R1の現在の対象フレーム RF について劣化映像信号 D1の対象フレーム DFとの間で画素毎の差分値の総和を求め終えると、この対象フレーム RFの隣のフレームを新たな対象フレーム RFとして、劣化映像信号 D1の対象フレーム DFとの間で画素毎の差分値の総和を求める（以下、画素毎の差分値の総和を差分値と略する)。こうして、位置'同期整合処理部 11は、劣化映像信号 D1の 1つの対象フレーム DFと基準映像信号 R1の複数の対象フレーム RFとの間で差分値をフレーム RF毎及びフレーム DFの対象領域毎に求め、差分値が最小となる状態を基準映像信号 R1と劣化映像信号 D1との間の整合が最もとれた状態 (時間と位置が一致した状態)として、整合がとれた状態の基準映像信号 R2と劣化映像信号 D2を特異点除去処理部 12に出力する。

[0022] 特異点除去処理部 12は、位置 ·同期整合処理部 11により位置 ·同期整合処理された基準映像信号 R2と劣化映像信号 D2を受け取り、人間の目には見えない高周波成分のノイズである特異点を劣化映像信号 D2から除去する。この特異点は、プレイャの後処理やモニタ出力ボードの特性'性能により付加された圧縮伸張に寄らないノィズである。

[0023] 図 4A—図 4Cは、特異点除去処理部 12の動作の 1例を説明するための図であり、劣化映像信号 D2の高周波成分除去の処理例を示す図である。図 4Aと図 4Cの横軸は X軸、縦軸は Y軸である。図 4Βの横軸は水平周波数 Fl、縦軸は垂直周波数 F2である。水平周波数 F1は左方向にいくほど低くなり、右方向にいくほど高くなる。また、垂直周波数 F2は下方向に、くほど低くなり、上方向に!/、くほど高くなる。

[0024] 特異点除去処理部 12は、例えば図 4Aに示す劣化映像信号のフレーム全体あるいはその一部を 2次元フーリエ変換などにより図 4Bのように空間周波数に変換し、高周波成分 HFを除去した後に、 2次元フーリエ変換の逆変換を行って、図 4Cのように劣化映像信号に戻すことにより、劣化映像信号力特異点 Uを除去する。

[0025] あるいは、特異点除去処理部 12は、劣化映像信号のフレーム内の対象画素の値を X(m, n)とするとき、特異点除去後の同対象画素の値 Y(m, n)を次式のように求めて特異点を除去する。

[0026]

[0027] 式（1)における W(i, j)はフィルタ関数である。式（1)の計算を実現するものとしては、 k=l= lを想定すれば、図 5Aに示す 3 X 3近傍の平均化フィルタ、図 5Bに示す 3 X 3近傍の重み付け平均化フィルタ、図 5Cに示すクロス型の平均化フィルタなどが考えられる。

[0028] 3 X 3近傍の平均化フィルタは、図 5Aの水平方向 3画素 X垂直方向 3画素のうち中心の画素を対象画素とするものであり、各画素のフィルタ関数 W(i, j)を図 5Aのように定めて対象画素の値 Y(m, n)を求めるものである。同様に、 3 X 3近傍の重み付け平均化フィルタは、フィルタ関数 W(i, j)を図 5Bのように定めて対象画素の値 Y(m , n)を求めるものである。クロス型の平均化フィルタは、 5個の画素からなるクロスの中心の画素を対象画素とするものであり、各画素のフィルタ関数 W(i, j)を図 5Cのように定めて対象画素の値 Y(m, n)を求めるものである。

[0029] また、式（1)の計算を実現するものとして、図 6Aに示す 3 X 3近傍のメディアンフィルタ、図 6Bに示すクロス型のメディアンフィルタ、図 6Cに示すロングクロス型のメディアンフィルタを用いてもよい。 3 X 3近傍のメディアンフィルタは、図 6Aの水平方向 3 画素 X垂直方向 3画素のうち中心の画素を対象画素とするものであり、 9個の画素値の中央値を対象画素の値 Y(m, n)とするものである。クロス型のメディアンフィルタは、図 6Bの 5個の画素からなるクロスの中心の画素を対象画素とするものであり、 5個の画素値の中央値を対象画素の値 Y(m, n)とするものである。ロングクロス型のメディアンフィルタは、図 6Cの 9個の画素からなるクロスの中心の画素を対象画素とするものであり、 9個の画素値の中央値を対象画素の値 Y(m, n)とするものである。

[0030] なお、特異点除去処理部 12によって信号処理された劣化映像信号 D3は、特異点除去処理部 12に入力される前の劣化映像信号 D2に別の劣化が加わった形になる。したがって、特異点除去処理部 12によって信号処理された劣化映像信号 D3と処理されてヽな、基準映像信号 R2とを用いて主観品質を推定すると、推定精度が落ちてしまう。そこで、特異点除去処理部 12は、位置 ·同期整合処理部 11から入力された基準映像信号 R2につ、ても劣化映像信号 D2と同様の信号処理を行、、特異点を除去する。これにより、後段の主観品質推定部 2で主観品質を推定する際に適切な評価値を導出できるようになる。

[0031] なお、特異点除去処理部 12で用いるフィルタとして、各種低域通過フィルタが想定される力発明者の検討では、特異点除去処理として図 6Bのクロス型のメディアンフィルタを利用することが適切であった。その理由は、計算量がそれほど多くないことと、より多くの方式や機器の組み合わせを考慮した結果、最も良好な推定精度を得ることができた力である。

[0032] 画素値補正処理部 13は、劣化映像信号に付加されているバイアスを除去するために、特異点除去処理 12により特異点除去処理された基準映像信号 R3と劣化映像信号 D3の対応する画素値間の関係を求めて、劣化映像信号 D3の画素値が全体として基準映像信号 R3の画素値に一致するように劣化映像信号 D3の画素値を補正する。劣化映像信号 D3のバイアスは、例えばプレイヤのデコード処理やデコード後のポストフィルタ処理、あるいはモニタ出力ボードの色補正機能によって付加されたものである。

[0033] 画素値補正処理部 13は、基準映像信号 R3と劣化映像信号 D3の対応する画素値間の関係を図 7A、図 7Bのように求める。図 7Aは、劣化映像信号に対するデコード時の処理の影響を示すものであり、横軸を劣化映像信号の輝度値 DL、縦軸を基準映像信号の輝度値 RLとして、基準映像信号の画素値とプレイヤのポストフィルタ処理を通過した後の劣化映像信号の画素値の関係をプロットしたものである。この図 7 Aの例では、基準映像信号と劣化映像信号の対応する画素値間の関係は 2次の回帰式で表される。

[0034] 図 7Bは、劣化映像信号に対するデコード後の処理の影響を示すものであり、基準映像信号の画素値とモニタ出力ボードの色補正機能を通過した後の劣化映像信号の画素値の関係をプロットしたものである。この図 7Bの例では、基準映像信号と劣化映像信号の対応する画素値間の関係は 1次の回帰式で表される。

[0035] 画素値補正処理部 13は、基準映像信号 R3と劣化映像信号 D3の対応する画素値間の関係から回帰式を導出し、この回帰式を用いて劣化映像信号 D3の画素値を補正する。画素値補正処理部 13は、特異点除去処理部 12から入力された基準映像信号 R3を整合基準映像信号 R4として主観品質推定部 2に出力すると共に、画素値を補正した劣化映像信号 D3を整合劣化映像信号 D4として主観品質推定部 2に出力する。画素値補正処理部 13で導出する回帰式としては、線形式、二次式、多項式、指数関数、 log関数やこれらを組み合わせた式が考えられる。発明者の検討では、多くの場合二次式で近似をすれば賄えたことから、ここでは二次式により回帰を行っている。本実施例では、基準映像信号 R3に劣化映像信号 D3を合わせているが、劣化映像信号 D3に合わせて基準映像信号 R3の画素値を補正するようにしてもょ、。

[0036] 主観品質推定部 2は、整合基準映像信号 R4と整合劣化映像信号 D4の特徴量を測定して、劣化映像信号の主観品質を推定する（図 2ステップ S14)。主観品質推定部 2の例としては、例えば文献「岡本，林，高橋，栗田， "映像の時空間的特徴量を考慮した映像品質客観評価法の提案"，電子情報通信学会論文誌， Vol. J88-B, N o. 4, P. 813-823, 2005年」に開示されたちの力 Sある。

[0037] 以上のように、本実施例では、特異点除去処理部 12を設けることにより、プレイヤの後処理やモニタ出力ボードの特性'性能によって劣化映像信号にノイズが付加された場合でも、このノイズを除去することができる。また、本実施例では、画素値補正処理部 13を設けることにより、プレイヤのポストフィルタ処理やモニタ出力ボードの色補正機能によって劣化映像信号にバイアスが付加された場合でも、このバイアスを除去することができる。その結果、本実施例では、劣化映像信号の品質を適切に評価することがでさる。

[0038] [第 2実施例]

次に、本発明の第 2実施例について説明する。図 8は本発明の第 2実施例に係る映像整合装置の構成を示すブロック図であり、図 1と同一の構成には同一の符号を付してある。

本実施例の整合処理部 laの特異点除去処理部 12aは、第 1実施例の特異点除去処理部 12と同様に動作すると共に、特異点除去処理における特異点除去量 S (例えば、劣化映像信号の特異点除去前後のピクセル値変化量の和一基準映像信号の特異点除去前後のピクセル値変化量の和)を主観品質推定部 2への入力情報として出力する。

[0039] また、画素値補正処理部 13aは、第 1実施例の画素値補正処理部 13と同様に動作すると共に、画素値補正処理における補正情報 C (例えば回帰式や回帰式の係数）を主観品質推定部 2への入力情報として出力する。

[0040] これにより、主観品質推定部 2による主観品質推定処理の際に、整合処理部 laによる整合処理によってどの程度劣化映像信号を変化させている力を主観品質推定部 2が考慮できるよう、整合処理の程度を主観品質推定部 2に伝えることができる。第 1 実施例では、人間の目で知覚できるような特異点の除去や画素値の補正を想定していないが、このような想定外の処理が特異点除去処理部 12や画素値補正処理部 13 によって行われた場合、主観品質推定部 2による主観品質推定処理に影響を与えることが考えられる。そこで、本実施例では、整合処理の程度を主観品質推定部 2に伝えることにより、想定外の処理を主観品質推定部 2で考慮できるようになる。

[0041] なお、第 1実施例及び第 2実施例の映像整合装置は、 CPU,記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像整合方法を実現させるためのプログラムは、フレキシブルディスク、 CD-ROM, DV D— ROM、メモリカードなどの記録媒体に記録された状態で提供される。 CPUは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第 1 実施例及び第 2実施例で説明した処理を実行する。

産業上の利用可能性

本発明は、映像信号の物理的特徴量の測定力主観品質を推定する映像品質客観評価技術に適用することができる。

Claims

請求の範囲

[1] 劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置'同期整合処理部と、

人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号から除去する特異点除去処理部とを備えることを特徴とする映像整合装置。

[2] 劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置'同期整合処理部と、

前記劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理部とを備えることを特徴とする映像整合装置。

[3] 請求項 1に記載の映像整合装置において、

さらに、前記位置 ·同期整合処理部及び前記特異点除去処理部によって信号処理された劣化映像信号と基準映像信号の特徴量を測定して、前記劣化映像信号の主観品質を推定する主観品質推定部を備えることを特徴とする映像整合装置。

[4] 請求項 2に記載の映像整合装置において、

さらに、前記位置，同期整合処理部及び前記画素値補正処理部によって信号処理された劣化映像信号と基準映像信号の特徴量を測定して、前記劣化映像信号の主観品質を推定する主観品質推定部を備えることを特徴とする映像整合装置。

[5] 劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置 ·同期整合ステップと、

人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号から除去する特異点除去ステップとを備えることを特徴とする映像整合方法。

[6] 請求項 5に記載の映像整合方法において、

前記特異点除去ステップは、前記劣化映像信号に加えて、前記基準映像信号から前記特異点を除去するステップを含むことを特徴とする映像整合方法。

[7] 劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号との時間軸上のずれ及び位置のずれをなくす位置 ·同期整合ステップと、

前記劣化映像信号に付加されている画素値のバイアスを除去する画素値補正ステップとを備えることを特徴とする映像整合方法。

[8] 請求項 5に記載の映像整合方法において、

さらに、前記劣化映像信号に付加されている画素値のバイアスを除去する画素値補正ステップを備えることを特徴とする映像整合方法。

[9] 請求項 5に記載の映像整合方法において、

前記特異点除去ステップは、映像信号を空間周波数に変換して前記高周波成分を除去した後に逆変換を行って映像信号に戻すことにより前記特異点を除去するステツプ、及び平均化フィルタもしくはメディアンフィルタを用いて前記特異点を除去するステップの一方を含むことを特徴とする映像整合方法。

[10] 請求項 7に記載の映像整合方法において、

前記画素値補正ステップは、前記基準映像信号と前記劣化映像信号の対応する画素値間の相関関係を求めて、前記劣化映像信号の画素値が全体として前記基準映像信号の画素値に一致するように前記基準映像信号及び前記劣化映像信号の一方の画素値を補正するステップを含むことを特徴とする映像整合方法。

[11] 請求項 5に記載の映像整合方法において、

さらに、前記位置 ·同期整合ステップ及び前記特異点除去ステップによって信号処理された劣化映像信号と基準映像信号の特徴量を測定して、前記劣化映像信号の主観品質を推定する主観品質推定ステップを備えることを特徴とする映像整合方法

[12] 請求項 11に記載の映像整合方法にぉ、て、

前記特異点除去ステップは、特異点除去量を次段の前記主観品質推定ステップへの入力情報として出力するステップを含むことを特徴とする映像整合方法。

[13] 請求項 7に記載の映像整合方法において、

さらに、前記位置 ·同期整合ステップ及び前記画素値補正ステップによって信号処理された劣化映像信号と基準映像信号の特徴量を測定して、前記劣化映像信号の主観品質を推定する主観品質推定ステップを備えることを特徴とする映像整合方法

[14] 請求項 13に記載の映像整合方法において、

前記画素値補正ステップは、画素値の補正で用いる補正情報を次段の前記主観品質推定ステップへの入力情報として出力するステップを含むことを特徴とする映像整合方法。