JP4609457B2 - 画像処理装置、及び、画像処理方法 - Google Patents

画像処理装置、及び、画像処理方法 Download PDF

Info

Publication number
JP4609457B2
JP4609457B2 JP2007157762A JP2007157762A JP4609457B2 JP 4609457 B2 JP4609457 B2 JP 4609457B2 JP 2007157762 A JP2007157762 A JP 2007157762A JP 2007157762 A JP2007157762 A JP 2007157762A JP 4609457 B2 JP4609457 B2 JP 4609457B2
Authority
JP
Japan
Prior art keywords
video signal
bit rate
input
filter
average bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007157762A
Other languages
English (en)
Other versions
JP2008311951A (ja
Inventor
博 小林
洋一 廣田
弘章 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007157762A priority Critical patent/JP4609457B2/ja
Priority to US12/137,997 priority patent/US20080310516A1/en
Priority to CN2008101259874A priority patent/CN101325718B/zh
Publication of JP2008311951A publication Critical patent/JP2008311951A/ja
Application granted granted Critical
Publication of JP4609457B2 publication Critical patent/JP4609457B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、所定の入力手段により入力された映像信号に対してフィルタ処理を施す画像処理装置、及び、画像処理方法に関するものである。
映像信号を符号化する符号化方式としては、従来から広く用いられているMPEG(Moving Picture Expert Group)2方式に加えて、近年MPEG−AVC/H.264(以下、AVCという。)などの他の符号化方式も用いられるようになってきている。
また、テレビジョン受像機などの表示装置では、動画像だけでなく、JPEG(Joint Photographic Experts Group)などで符号化された静止画像を表示する使用形態も増えてきている。
また、このような表示装置では、ゲームやコンピュータグラフィックスで作成された映像コンテンツを、DVDなどの記録媒体と同様の視聴環境で使用する形態も増えてきている。
表示装置には、外部から入力した映像信号をより高画質に表示するため、例えば映像に含まれるブロックノイズなどを低減するノイズ低減フィルタや画像の輪郭部を強調する輪郭強調フィルタなどのフィルタ処理を施す画像処理装置が組み込まれている。
このような画像処理装置では、符号化された映像信号の圧縮率と同等の指標として用いることができる量子化情報を、フィルタの特性を決定するための制御指標として、ノイズ除去フィルタや輪郭強調フィルタなどの特性を制御している(特許文献1)。
特開2003―18600号公報
ところで、従来の画像処理装置では、DVDなどの記憶媒体に記憶された映像信号に対してフィルタ処理を施すとき、既知の画像ファイルサイズとその映像の再生時間とから平均化されたビットレートを算出して、この平均ビットレートに応じてフィルタの特性を制御することができる。しかしながら、例えば、ROMコンテンツなどで再生される映像のシーケンスが一意に定まらないとき、具体的には、再生される映像のシーケンスが、ユーザからの操作命令によって選択されたり、プログラミングされているときには、予め平均ビットレートを取得することができなかった。また、ストリーミングなどのピクチャ単位の映像信号が放送波から伝送されるときには、上述した方法により平均ビットレートを算出することができないので、フィルタの特性を適切に制御することができなかった。
本発明は、このような実情に鑑みて提案されたものであり、入力される映像信号の属性に応じて精度良く映像信号の平均ビットレートを算出して、算出した平均ビットレートに応じて映像信号に施すフィルタ処理の特性を制御する画像処理装置、及び、画像処理方法を提供することを目的とする。
上述した課題を解決するための手段として、本発明に係る画像処理装置は、画素ブロック単位で符号化されたピクチャからなり、該ピクチャ内において隣接する画素ブロックの境界部の歪みを除去するデブロッキングフィルタ処理の強さを示すデブロッキングフィルタパラメータが含まれた映像信号を入力する入力手段と、上記入力手段により入力された映像信号を、該映像信号に含まれるデブロッキングフィルタパラメータに応じてデブロッキングフィルタ処理を施した映像信号に復号する復号手段と、上記復号手段により復号された映像信号に対して、画像の輪郭部を強調する輪郭強調フィルタ処理を施す輪郭強調フィルタ手段と、上記復号手段により復号された映像信号から、所定のデータ単位当たりの発生ビット量を該データ単位に対応する映像の再生時間で除した平均ビットレートを算出して、該平均ビットレートに応じて上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の特性を制御する制御手段とを備え、上記制御手段は、上記入力手段により入力される映像信号が画像ファイル単位で入力されるとき、該画像ファイルのファイルサイズを該ファイルサイズに対応する映像の再生時間で除して上記平均ビットレートを算出し、上記入力手段により入力される映像信号がピクチャ単位で逐次入力されるとき、該ピクチャ当たりの発生ビット量を所定フレーム数分加算したビット量を、該所定フレーム数で除し、該除算値に該フレームレートを乗じた値を上記平均ビットレートとして算出し、上記入力手段により入力した映像信号に含まれるデブロッキングフィルタパラメータで示されるデブロッキングフィルタ処理の強度が強いほどビットレートの値が大きくなる重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する
また、本発明に係る画像処理方法は、所定の入力手段により入力された画素ブロック単位で符号化されたピクチャからなる映像信号を、該ピクチャ内において隣接する画素ブロックの境界部の歪みを除去するデブロッキングフィルタ処理の強さを示す該映像信号に含まれたデブロッキングフィルタパラメータに応じて、デブロッキングフィルタ処理を施した映像信号に復号する復号工程と、上記復号工程により復号された映像信号に対して、画像の輪郭部を強調する輪郭強調フィルタ処理を施す輪郭強調フィルタ工程と、上記復号工程により復号された映像信号から、所定のデータ単位当たりの発生ビット量を該データ単位に対応する映像の再生時間で除した平均ビットレートを算出して、該平均ビットレートに応じて上記輪郭強調フィルタ処理の特性を制御する制御工程とを備え、上記制御工程では、上記入力手段により入力される映像信号が画像ファイル単位で入力されるとき、該画像ファイルのファイルサイズを該ファイルサイズに対応する映像の再生時間で除して上記平均ビットレートを算出し、上記入力手段により入力される映像信号がピクチャ単位で逐次入力されるとき、該ピクチャ当たりの発生ビット量を所定フレーム数分加算したビット量を、該所定フレーム数で除し、該除算値に該フレームレートを乗じた値を上記平均ビットレートとして算出し、上記入力手段により入力した映像信号に含まれるデブロッキングフィルタパラメータで示されるデブロッキングフィルタ処理の強度が強いほどビットレートの値が大きくなる重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する
本発明は、デブロッキングフィルタ処理の強度が強いほどビットレートの値が大きくなる重み付けを行った上記平均ビットレートの大きさに対応して、輪郭強調フィルタ処理の強度を強くするようを制御するので、映像信号の符号化情報に含まれているデブロッキングフィルタパラメータを利用して、当該映像信号の特性に応じて最適な輪郭強調フィルタ処理を施すことができる。
本発明が適用された画像処理装置は、所定の入力手段により入力された映像信号に対してフィルタ処理を施す装置である。以下では、本発明を実施するための最良の形態として、上述した画像処理装置が組み込まれた図1に示す光ディスク記録再生装置100を詳細に説明する。
光ディスク記録再生装置100は、例えば、DVDなどに記憶された映像信号を読み出して、読み出した映像信号に所定の画像処理を施して液晶表示ディスプレイなどの表示装置に出力するものである。
具体的に、光ディスク記録再生装置100は、映像信号の入力手段として、外部からアナログ形式の映像信号を入力するためのライン入力端子101と、アナログ放送波を受信してアナログ形式の映像信号に復調するアナログチューナ102と、DVDなどの記憶媒体から映像信号を読み出す光ディスクドライブ103と、映像信号が記憶されたハードディスクドライブ104と、HDV(High-Definition Video)規格の映像信号を入力するためのHDV入力端子105と、デジタル放送波を受信してデジタル形式の映像信号に復調するデジタルチューナ106とを備える。
また、光ディスク記録再生装置100は、映像信号に所定の信号処理を施す手段として、ライン入力端子101とアナログチューナ102とそれぞれ電気的に接続されたセレクタ107と、アナログ映像信号をベースバンドビデオ信号に復号するビデオデコーダ108と、ビデオデコーダ108と後述するビデオグラフィックスプロセッサ115とそれぞれ電気的に接続されたセレクタ109と、ベースバンドビデオ信号を所定の符号化方式に符号化するエンコーダ110と、HDV入力端子105に入力されたデジタル映像信号に所定の処理を施すHDVプロセッサ111と、符号化された映像信号に対して所定の処理を施すストリームプロセッサ112と、ストリームプロセッサ112から出力される映像信号をベースバンドビデオ信号に復号する2つのデコーダ113、114と、ベースバンドビデオ信号に後述するビデオ信号処理を施すビデオグラフィックスプロセッサ115と、ベースバンドビデオ信号をTMDS(Transition Minimized Differential Signaling)信号に変換するHDMI(High-Definition Multimedia Interface)トランスミッタ116と、ベースバンドビデオ信号をアナログコンポーネント映像信号及びアナログコンポジット映像信号に変換するDAC117とを備える。
さらに、光ディスク記録再生装置100は、映像信号を表示装置などに出力するための手段として、HDMIトランスミッタ116で変換されたTDMS信号を外部へ出力するためのHDMIコネクタ119と、DAC117で変換されたアナログコンポーネント映像信号を外部へ出力するためのコンポーネント出力端子120と、DAC117で変換されたアナログコンポジット映像信号を外部へ出力するためのコンポジット出力端子121とを備える。
以上のような構成からなる光ディスク記録再生装置100では、メインCPUから構成される制御部118により上述した各処理部の動作が制御される。
ライン入力端子101は、外部からアナログ映像信号を入力して、入力したアナログ映像信号をセレクタ107を介してビデオデコーダ108に供給する。
アナログチューナ102は、アナログ放送波を受信してアナログ映像信号に復調し、復調したアナログ映像信号をセレクタ107を介してビデオデコーダ108に供給する。
光ディスクドライブ103は、例えばDVDや青紫レーザ光を用いた高密度記録ディスクであるBD(Blu-ray Disc)、HDDVD(High-Definition Digital Versatile Disc)などの記録媒体に記録された映像信号を読み出して、読み出した映像信号をストリームプロセッサ112に供給する。
ハードディスクドライブ104は、符号化された映像信号を記憶しており、映像信号を読み出してストリームプロセッサ112に供給する。
HDV入力端子105は、外部からHDV規格の映像信号を入力して、入力した映像信号をHDVプロセッサ111に供給する。
デジタルチューナ106は、デジタル放送波を受信してデジタル映像信号に復調し、復調したデジタル映像信号をストリームプロセッサ112に供給する。
セレクタ107は、ライン入力端子101及びアナログチューナ102からそれぞれ供給されるアナログ映像信号のうち一方の信号を選択してビデオデコーダ108に供給する。
ビデオデコーダ108は、セレクタ107を介して供給されるアナログ映像信号をデジタル映像信号に変換して、輝度信号と色差信号とに分離するとともに復号処理を施してベースバンドビデオ信号に変換する。そして、ビデオデコーダ108は、ベースバンドビデオ信号をセレクタ109及びビデオグラフィックスプロセッサ115にそれぞれ供給する。
セレクタ109は、ビデオデコーダ108及びビデオグラフィックスプロセッサ115から出力されるベースバンドビデオ信号のうち一方の信号を選択してエンコーダ110に供給する。
エンコーダ110は、セレクタ109を介して供給されるベースバンドビデオ信号を、例えばMPEG1、MPEG2、MPEG4、AVCなどから所望の符号化方式で符号化を行い、符号化したデジタル映像信号をストリームプロセッサ112に供給する。
HDVプロセッサ111は、HDV入力端子105から入力されたIEEE1394規格に準拠した信号が供給され、供給された信号のTS(Transprt Stream)を、デジタル映像信号としてストリームプロセッサ112に供給する。
ストリームプロセッサ112は、エンコーダ110から供給されるデジタル映像信号を記憶用として光ディスクドライブ103及びハードディスクドライブ104に供給する。また、ストリームプロセッサ112は、デジタルチューナ106などから供給されるデジタル映像信号をデコーダ113、114に供給する。
デコーダ113、114は、並列に設けられており、それぞれストリームプロセッサ112から供給されるデジタル映像信号に復号処理を施して、復号処理を施したベースバンドビデオ信号をビデオグラフィックスプロセッサ115に供給する。なお、単一の映像信号を入力して、入力した映像信号を復号するときには、デコーダ113、114のうち1つのみを用いるようにしても良い。
ビデオグラフィックスプロセッサ115は、供給されたベースバンドビデオ信号に対して、後述するように画枠サイズ変換処理などのビデオ信号処理を施して、セレクタ109、HDMIトランスミッタ116及びDAC117に供給する。
HDMIトランスミッタ116は、ビデオグラフィックスプロセッサ115から供給されるベースバンドビデオ信号をTMDS信号に変換して、HDMIコネクタ119から外部へ出力する。なお、HDMIコネクタ119は、制御部118から供給される外部機器と通信を行うための制御信号を外部へ出力する。
DAC117は、ビデオグラフィックスプロセッサ115から供給されるベースバンドビデオ信号をD/A変換して、アナログコンポーネント映像信号及びアナログコンポジット映像信号をそれぞれコンポーネント出力端子120及びコンポジット出力端子121から外部へ出力する。
以上のような構成からなる光ディスク記録再生装置100は、次のようにして、映像信号を表示する受像機と通信を行うことにより映像信号を供給する。
光ディスク記録再生装置100では、図2に示すように、HDMIトランスミッタ116が、HDMIコネクタ119を介して受像機200にTMDS信号を出力するとともに、制御部118がHDMIコネクタ119を介して受像機200との間で通信を行う。
具体的に、制御部118は、受像機200の出力解像度情報を取得するためのDDC(Display Data Channel)信号と、受像機200との間で双方向通信を行うためのCEC(Consumer Electronics Control)信号をHDMIコネクタ119を介して受像機200に出力する。
一方、受像機200は、光ディスク記録再生装置100から出力されるTMDS信号、DDC信号、及び、CEC信号を入力するためのHDMIコネクタ201と、HDMIコネクタ201で入力されたTMDS信号をベースバンドビデオ信号に変換するHDMIレシーバ202と、受像機200全体の動作を制御する制御部203と、制御部203に接続されたEDID(Extend Display Identification Data)ROM204とを備える。
HDMIコネクタ201は、光ディスク記録再生装置100から出力されるTMDS信号、DDC信号、及び、CEC信号を入力し、入力したTMDS信号、及び、DDC信号をHDMIレシーバ202に供給する。
HDMIレシーバ202は、HDMIコネクタ201から入力されたTMDS信号をベースバンドビデオ信号、音声信号、及び、制御信号に分離して、制御信号を制御部203に供給する。また、HDMIレシーバ202は、HDMIコネクタ201から入力されたDDC信号を制御部203に供給する。
制御部203は、HDMIレシーバ202から供給されるDDC信号に基づいて、受像機200の対応解像度情報が記憶されたEDIDROM204からディスプレイ情報を読み出す。そして、制御部203は、HDMIレシーバ202及びHDMIコネクタ201を介して、読み出したディスプレイ情報を光ディスク記録再生装置100に出力する。
次に、ビデオグラフィックスプロセッサ115の具体的な処理について説明する。
ビデオグラフィックスプロセッサ115は、図3に示すように、映像信号を一時的に記憶するメモリ301と、メモリ301に記憶されている映像信号を読み出して画像処理を施す複数の画像処理回路群302、303、304、305と、グラフィックスデータに対してデータ処理を行うグラフィックス処理部306と、JPEGデータなどの静止画に対する画像処理を行う静止画処理部307とを備える。
画像処理回路群302は、映像信号の画枠サイズを変換する画枠サイズ変換部308と、映像信号に対して画像の輪郭部を強調する輪郭強調フィルタ312と、画像の合成を行う合成処理部309と、他の処理部と同期を図って映像信号をベースバンドビデオ信号として出力するビデオエンコーダ310とを備える。なお、画像処理回路群303、304、305も、画像処理回路群302と同様の構成になっている。
また、ビデオグラフィックスプロセッサ115は、他の処理部から供給される映像信号に対して、この信号に含まれるノイズ成分を低減する3つのノイズ低減フィルタ311a、311b、311cを備えている。各ノイズ低減フィルタ311a、311b、311cは、それぞれビデオデコーダ108、デコーダ113、114から入力されるベースバンドビデオ信号に対して、後述するように、ブロックノイズ、フレームノイズ、及びモスキートノイズなどを低減する処理を施してメモリ301に供給する。3つのノイズ低減フィルタ311a、311b、311cに係る具体的な処理内容が同様なので、以下では、便宜上総称して、ノイズ低減フィルタ311として説明する。
メモリ301は、ノイズ低減フィルタ311を介して、ビデオデコーダ108、デコーダ113、114から供給されるベースバンドビデオ信号を所定のビデオ画像用の記憶領域に一時的に記憶する。また、メモリ301は、グラフィックス処理部306から供給されるグラフィックスデータをグラフィックス用の記憶領域に記憶し、静止画処理部307から供給される静止画データを静止画用の記憶領域に記憶する。そして、メモリ301は、各記憶領域に記憶されているデータを映像信号として画像処理回路群302、303、304、305にそれぞれ供給する。
画像処理回路群302は、メモリ301に記憶されているベースバンドビデオ信号などのデータを映像信号として読み出して、読み出した映像信号を画枠サイズ変換部308に供給する。
画枠サイズ変換部308は、制御部118からの制御命令に応じた画枠サイズに変換する4つのスケーラ308a、308b、308c、308dを有している。具体的に、画枠サイズ変換部308は、メモリ301から異なる4つの映像信号を読み出して、同時並列で画枠サイズの変換処理を行う。そして、スケーラ308a、308bは、画枠サイズを変換した映像信号を合成処理部309に供給する。また、スケーラ308c、308dは、画枠サイズを変換した映像信号を輪郭強調フィルタ312に供給する。
輪郭強調フィルタ312は、画枠サイズ変換部308で画枠サイズが変換された映像信号に対して、画像の輪郭部を強調するフィルタ処理を施す。輪郭強調フィルタ312は、例えばスケーラ308c、308dから供給される映像信号に対して、同時並列で輪郭強調を施すためのエンハンサ312a、312bとから構成される。輪郭強調フィルタ312では、エンハンサ312a、312bが輪郭強調処理を施した映像信号をそれぞれ合成処理部309に供給する。
合成処理部309は、画枠サイズ変換部308から同時に供給される2つの映像信号と、輪郭強調フィルタ312から同時に供給される2つの映像信号とを合成して、合成した映像信号をビデオエンコーダ310に供給する。
ビデオエンコーダ310は、合成処理部309から供給される映像信号に同期信号を付加するとともに、所望の仕様のベースバンドビデオ信号、又はコンポジットビデオ信号に変換して、他の処理部へ出力する。
以上のような構成を有する光ディスク記録再生装置100では、ビデオグラフィックスプロセッサ115が、上述した入力手段により入力される各映像信号の属性に応じて、適応的にノイズ除去フィルタ処理や輪郭強調フィルタ処理の特性を制御して、高画質の映像信号を受像機200などに出力するものである。
次に、輪郭強調フィルタ処理について図4を参照して説明する。図4は、輪郭強調フィルタ312のエンハンサ312a、312bの具体的構成を示したブロック図である。なお、エンハンサ312a、312bは、同一の構成なので代表してエンハンサ312aの構成について説明する。
エンハンサ312aは、画像の輪郭部の水平成分を強調する手段として、映像信号から水平方向の高域周波数成分を抽出する水平系フィルタ401と、映像信号に対して振幅成分に制限をかけるリミッタ402と、映像信号のゲインを調整するゲイン調整部403とを備える。また、エンハンサ312aは、画像の輪郭部の垂直成分を強調する手段として、映像信号から垂直方向の高域周波数成分を抽出する垂直系フィルタ404と、映像信号から水平方向の高域周波数成分を抽出する水平系フィルタ405と、垂直系フィルタ404から出力される信号に水平系フィルタ405から出力される信号を減算する減算器406と、減算器406で減算処理を施した信号に対して振幅成分の制限をかけるリミッタ407と、リミッタ407から出力される信号のゲインを調整するゲイン調整部408とを備える。さらに、エンハンサ312aは、メモリ301から読み出した映像信号にゲイン調整部403から出力される信号を加算する加算器409と、加算器409で加算処理が施された映像信号にゲイン調整部408から出力される信号を加算する加算器410とを備える。
水平系フィルタ401は、メモリ301から読み出した映像信号を入力して、この映像信号の水平方向の高域周波数成分を抽出してリミッタ402に供給する。
リミッタ402は、水平系フィルタ401から抽出された映像信号に対して、図5に示すように振幅成分に制限をかける。図5は、横軸に入力した映像信号の振幅値を示し、縦軸にリミッタ402から出力される映像信号の振幅値を示している。すなわち、リミッタ402は、小振幅成分と大振幅成分とのノイズを強調しないようにするため、これらの振幅成分に制限をかけた映像信号をゲイン調整部403に供給する。
ゲイン調整部403は、リミッタ402から供給される映像信号のゲインを図6に示すようにして調整して加算器409に供給する。図6は、横軸にリミッタ402から供給される映像信号の振幅値を示し、縦軸に出力する映像信号の振幅値を示したグラフである。
垂直系フィルタ404は、メモリ301から読み出した映像信号を入力して、この映像信号の垂直方向の高域周波数成分を抽出して水平系フィルタ405及び減算器406にそれぞれ供給する。
水平系フィルタ405は、垂直系フィルタ404から供給される映像信号に対して、この映像信号の水平方向の高域周波数成分を抽出して減算器406に供給する。なお、水平系フィルタ405は、水平系フィルタ401と同様の周波数特性で設計されている。
減算器406は、垂直系フィルタ404から出力される映像信号から、水平系フィルタ405から出力される映像信号を減算してリミッタ407に供給する。このようにして、エンハンサ312aでは、減算器406に係る処理によって、メモリ301から読み出した映像信号に対して水平成分と垂直成分が重なる斜め成分を重複して強調しないようにしている。
リミッタ407は、減算器406から出力された映像信号に対して、上述した図5に示すように振幅成分に制限をかけてゲイン調整部408に供給する。
ゲイン調整部408は、リミッタ407から供給される映像信号のゲインを、上述した図6に示すように調整して加算器410に供給する。
以上のような構成からなるエンハンサ312aでは、制御部118から供給される制御命令に従って、水平系フィルタ401、405、及び垂直系フィルタ404の特性を制御する。また、エンハンサ312aは、制御部118から供給される制御命令に従って、リミッタ402、407及びゲイン調整部403、408の特性を制御している。すなわち、エンハンサ312a、312bの動作特性は、制御部118によって制御される。
なお、輪郭強調フィルタ312では、エンハンサ312aが上述した構成に限定されることなく他の手法による輪郭強調処理を用いるようにしても良い。
次に、制御部118は、輪郭強調フィルタ312の動作特性を適切に制御するための制御指標を次のように求める。
まず、制御部118は、第1の制御指標として、符号化された状態の映像信号における単位データ単位当たりの発生ビット量を、この単位データに対応する映像の再生時間で除した平均ビットレートを次のように算出する。
制御部118は、平均ビットレートを算出する対象となる映像信号の属性を特定する。映像信号のうち、上述した光ディスクドライブ103及びハードディスクドライブ104から読み出される映像信号には、コンテンツのタイトル単位のファイルサイズ(発生ビット量)GB_Fileと、このファイルの映像の再生時間T_Fileが予め含まれている。よって、制御部118は、光ディスクドライブ103及びハードディスクドライブ104から映像信号を読み出すときには、下記式(1)より平均ビットレートBR_Fileを算出する。
Figure 0004609457
すなわち、制御部118は、記憶媒体に記憶された映像信号の平均ビットレートBR_Fileを式(1)により算出するが、放送波のようにピクチャ単位の映像信号がリアルタイムに供給されてくる映像信号に対して、平均ビットレートBR_Streamを下記式(2)よりnフレーム(nは自然数。)毎に逐次算出する。
Figure 0004609457
ここで、発生ビット量Σ(GB_Stream)は、ピクチャ単位の発生ビット量をnフレーム分積算した値である。また、フレームレートFRは、単位時間当たりのフレーム数である。
なお、制御部118は、記録媒体に記憶された映像信号であっても、再生処理が一意に定まらないときは、式(2)より平均ビットレートを算出する。
制御部118は、算出された平均ビットレートを制御指標として、輪郭強調フィルタ312の特性を図7に示すように制御する。
制御部118は、映像信号に輪郭強調を施す強さを頻繁に変化させると画質が劣化してしまうので、例えば1分当たりのフレーム数の発生ビット量から平均ビットレートを算出する。
具体例として1920×1080×60iの映像信号を入力するとき、制御部118は、まず、図7に示すように、基準ビットレートBR_refを22[Mbps]とする。そして、制御部118は、時刻t0からt1までの1分間の平均ビットレートの初期値BR0の値をBR_refとして、輪郭強調フィルタ312の特性を制御する。
制御部118は、時刻t0からt1までの映像の再生時間に、処理対象の映像信号の平均ビットレートを下記式(3)により算出して、これをBR1とする。
Figure 0004609457
制御部118は、算出したBR1を、輪郭強調フィルタ312が時刻t2以降に行う処理の特性を制御するための制御指標とする。したがって、制御部118は、図7に示すように、時刻t1から時刻t2までの映像の再生時間に係る制御指標として、BR0とBR1とを線形補間した値を用いて、輪郭強調フィルタ312の特性を制御する。なお、図7では、実線で映像信号の実際のビットレートの変動値を示しており、破線で上述のようにして線形補間した制御指標として用いる平均ビットレートの値を示している。
以上のようにして、制御部118は、映像信号が符号化された画像ファイルとしてDVDなどの所定の記憶媒体に予め記憶されているとき、画像ファイルのファイルサイズをその映像の再生時間で除して平均ビットレートを算出し、デジタルチューナ106などから映像信号がピクチャ単位で逐次入力されるとき、ピクチャ当たりの発生ビット量を所定フレーム数分加算したビット量を、所定フレーム数とフレームレートとで除して平均ビットレートを算出するので、入力される映像信号の属性に応じて精度良く映像信号の平均ビットレートを算出することができ、さらに算出した平均ビットレートに応じてフィルタ処理の特性を制御するので、映像信号に対して最適なフィルタ処理を施すことができる。
また、制御部118は、上述したようにして算出される平均ビットレートを第1の映像信号の属性とし、さらに次のような映像信号の属性に応じて平均ビットレートに重み付け処理を施し、この重み付け処理を施した平均ビットレートを制御指標としてフィルタの特性を制御する。
まず、制御部118は、第2の映像信号の属性を符号化方式として、符号化方式に応じて平均ビットレートの重み付けを行う。具体的に、制御部118は、符号化方式に応じた重み係数をW_Rate_Codecとして、圧縮効率の低い符号化方式から順にW_Rate_Codecを低く設定する。このように設定する理由としては、同一のビットレートであれば、圧縮効率の高い符号化方式の映像信号の方がより高画質だからである。制御部118は、例えば図8に示すように、符号化方式がMPEG2のときW_Rate_Codecの値を基準値である1として、符号化方式がVC−1のときW_Rate_Codecの値を1.6とし、符号化方式がAVCのときW_Rate_Codecの値を1.8として設定する。このようにして、制御部118は、平均ビットレートに加えて、映像信号の符号化方式に応じて、輪郭強調フィルタ312の特性を制御する。
また、制御部118は、第3の映像信号の属性を画枠サイズとして、画枠サイズに応じて平均ビットレートの重み付けを行う。具体的に、制御部118は、画枠サイズに応じた重み係数をW_Rate_Sizeとして、図9に示すように、画枠サイズの小さいものから順にW_Rate_Sizeの値を低く設定する。このように設定するのは、ビットレートが同じであれば、画枠サイズの大きさが小さい方がより高画質だからである。このようにして、制御部118は、平均ビットレートに加えて、映像信号の画枠サイズに応じて、輪郭強調フィルタ312の特性を制御する。
以上のようにして、制御部118は、平均ビットレートに加えて映像信号の符号化方式や画枠サイズから制御指標を算出して、算出した制御指標に応じて図10に示すように輪郭強調フィルタ312の特性を制御する。
具体的に、制御部118は、時刻t0から時刻t1までの映像の再生時間に、時刻t2以降に処理を行う輪郭強調フィルタ312の特性を制御するための制御指標としての平均ビットレートBR1を、下記式(4)により算出する。
Figure 0004609457
例えば、コーデックタイプがAVCで画枠サイズが1440×1080×60iのとき、制御部118はBR1を下記式(5)のように算出する。
Figure 0004609457
そして、制御部118は、算出したBR1を、輪郭強調フィルタ312が時刻t2以降に行う処理の特性を制御するための制御指標とする。したがって、制御部118は、図10に示すように、時刻t1から時刻t2までの映像の再生時間に係る制御指標としての平均ビットレートを、BR0とBR1とを線形補間した値として、輪郭強調フィルタ312の特性を制御する。なお図10では、実際の映像信号のビットレートの変動値を実線で示し、上述した重み付け処理を施した制御指標としての平均ビットレートの値を破線で示している。
また、制御部118は、図11に示すように、時刻t2以降の制御パラメータを一定とせずに、順次重み付けをした平均ビットレートを算出して、算出結果を直線補間した値を制御指標としてもよい。
制御部118は、例えば時刻t1から時刻t2までの映像の再生時間に係る制御指標としての平均ビットレートBR2を下記式(6)のように算出する。
Figure 0004609457
以後同様にして、制御部118は、任意の映像の再生時間に係る制御指標として平均ビットレートBRXを算出する。
さらに、制御部118は、予め記録媒体に記憶されている映像信号の平均ビットレートを算出するとき、式(1)で求まるBR_Fileに加えて、逐次平均ビットレートBRXを算出して、下記式(7)のように平均ビットレートを加重平均した値Ave_BRに応じて輪郭強調フィルタ312の特性を制御するようにしてもよい。
Figure 0004609457
なお、制御部118は、式(7)より算出したAve_BRから、エンハンサ312aのゲイン特性に係る制御パラメータGain_BRを設定するとき、例えば図12に示すように、Ave_BRに対するGain_BRとの間に非線形特性を持たせるようにしても良い。
また、制御部118は、式(1)で求めた平均ビットレートBR_Fileに対して下記式(8)より符号化方式と画枠サイズとに応じて重み付けした平均ビットレートを、制御指標として輪郭強調フィルタ312の特性を制御するようにしてもよい。
Figure 0004609457
また、制御部118は、上述したように、平均ビットレート、符号化方式、及び、画枠サイズ以外にも、次のような映像信号の属性に応じて輪郭強調フィルタ312の特性を制御してもよい。具体的には、入力された映像信号に付加するボケ量を制御指標として、輪郭強調フィルタ312の特性を制御する。
すなわち、制御部118は、第3の映像信号の属性として、画枠サイズ変換部308により変換される映像信号とこの変換前の映像信号との画枠サイズの対応関係に応じて、輪郭強調フィルタ312の特性を制御する。具体的に、制御部118は、図13に示すような入力画枠サイズと出力画枠サイズとの対応関係を複数設定して、各対応関係毎に重み係数W_Sizeを設定する。
ここで、図13に示す重み係数W_Sizeは、単に1つの制御パラメータの数値を定義するだけでなく、複数種類の制御パラメータの数値を定義したものである。すなわち、制御部118は、フィルタの帯域特性を示すW_Size_F、及びフィルタのゲイン特性を示すW_Size_Gとを含んだ重み係数W_Sizeを、上述した各対応関係毎に設定している。
このようにして、制御部118は、重み係数W_Sizeを用いることによって、画枠サイズ変換部308で画枠サイズを変換するときに生じる映像信号の解像度の劣化の度合いを考慮して、輪郭強調フィルタ312の特性を適切に制御することができる。
また、制御部118は、図14に示すように、映像信号の符号化方式に応じた輪郭強調フィルタ312による輪郭強調の強度を示す制御パラメータW_Gain_Codecを設定して、特にAVCのように、ピクチャ内において隣接する画素ブロックの境界部の歪みを除去するデブロッキングフィルタ処理の強さを示すデブロッキングフィルタパラメータが符号化情報に含まれている映像信号に対して、図14に示すようにデブロッキングフィルタパラメータに応じて制御パラメータを動的に変化させてもよい。
具体的に、制御部118は、例えばAVCのように、処理対象となる映像信号の符号化情報が含まれているとき、ストリームプロセッサ112、及び、復号処理を行うデコーダ113、114から下記のパラメータを取得する。
すなわち、制御部118は、映像信号のピクチャパラメータセットに含まれるdeblocking_filter_control_present_flag(以下、db_flagという。)、及び、スライスヘッダに含まれるdisable_deblocking_filer_idc(以下、db_idcという。)、slice_alpha_c0_offset_div2(以下、db_a_ofstという。)、slice_beta_offset_div2(以下、db_b_ofstという。)を取得する。
制御部118は、上記の4つのパラメータにより、デブロッキングフィルタ処理の有無と、そのフィルタ処理の強度に関する情報を取得する。そして、制御部118は、図15に示すように、db_idc=1すなわちデブロッキングフィルタ処理がOFFのとき、W_filterの値を基準値である1とし、デブロッキングフィルタ処理がONのとき、db_a_ofst、db_b_ofstの値に応じてW_Filerの値を1以上に設定する。
このように設定することで、制御部118は、db_a_ofst、db_b_ofstの値に応じてデブロッキングフィルタが強くなる特性に基づいて、W_Filerの値も大きくして輪郭強調フィルタ312による輪郭強調処理の強度を強くする。
制御部118は、以上のようにして求めた制御パラメータW_Gain_BR、W_Size_G、及び、W_Gain_Codec(Filter)から、下記式(9)により輪郭強調フィルタ312のゲイン特性を示すパラメータであるGainを決定する。
Figure 0004609457
また、制御部118は、入力される映像信号の媒体の種類に応じて、図16に示すような重み係数W_Gain_Mediaを設定して、式(9)で算出されるGainを補正するようにしても良い。
具体的に、制御部118は、BD−ROMやDVD−ROMなどの記憶媒体に対して、ROM以外の媒体に係る制御パラメータW_Gain_Mediaの値を低く設定する。そして、制御部118は、例えばGainとW_Gain_Mediaとの乗算値に応じて輪郭強調フィルタ312による輪郭強調処理の強度を制御する。このような処理を制御部118が行う理由としては、BD−ROMやDVD−ROMなどに記憶された媒体の映像信号が、ROM以外の媒体の映像信号に対してノイズが少ないので、輪郭強調フィルタ312の輪郭強調の強度をより強くしても画質が損なわれないからである。
また、制御部118は、映像信号がコンピュータグラフィックスであるか否かにより、図17に示すような重み係数W_Gain_CGを設定して、式(9)で算出されるGainを補正するようにしても良い。具体的に、制御部118は、映像信号がコンピュータグラフィックスのときW_Gain_CGの値を0にし、映像信号がコンピュータグラフィックス以外のときW_Gain_CGの値を1にする。そして、制御部118は、例えばGainとW_Gain_CGとの乗算値に応じて輪郭強調フィルタ312による輪郭強調の強度を制御する。このような処理を制御部118が行う理由としては、映像信号がコンピュータグラフィックスのとき、コンピュータグラフィックス以外の映像信号に対して画質が元々高精細であり、輪郭強調処理を行わなくてもよいからである。
また、制御部118は、映像信号がデジタルソースかアナログソースであるかにより、図18に示すような重み係数W_Gain_DigAnaを設定しても良い。すなわち、制御部118は、映像信号がデジタルソースのときW_Gain_DigAnaをK_Digにし、映像信号がアナログソースのときW_Gain_DigAnaをK_Anaにする。具体的に、制御部118は、アナログソースの映像信号が比較的デジタルソースの映像信号に対してランダムノイズ成分が大きく周波数特性も劣化しているので、K_Digと比較して、ノイズを強調せずかつ狭周波数帯域に適した映像信号となるようにGainを補正できるようにK_Anaを設定する。
また、制御部118は、映像信号がフィルム素材又はビデオ素材であるかにより、図19に示すような重み係数W_Gain_FlmViを設定して、式(9)で算出されるGainを補正するようにしても良い。すなわち、制御部118は、映像信号がフィルム素材のとき制御パラメータW_Gain_FlmViをK_Flmにし、映像信号がビデオ素材のとき制御パラメータW_Gain_FlmViをK_Viにする。具体的に、制御部118は、フィルム素材が一般的にフィルムグレインノイズを多く含みビデオソースに比べて意図的にぼかして撮影されているので、K_Viと比較して輪郭強調の強度を抑えるようにGainを補正するようにK_Flmを設定する。
また、制御部118は、映像信号が静止画ソースか動画ソースであるかにより、図20に示すような重み係数W_Gain_MovStlを設定して、式(9)で算出されるGainを補正するようにしても良い。すなわち、制御部118は、映像信号が動画ソースのときW_Gain_MovStlをK_Movとし、映像信号が静止画ソースのとき制御パラメータW_Gain_MovStlをK_Stlとする。具体的に、制御部118は、静止画ソースが時間軸方向に変化するノイズがなく、動画ソースに比べて高解像度であるため、K_Movに比べて広帯域の映像信号に適した処理となるようにGainを補正するようにK_Stlの値を設定する。
次に、ノイズ低減処理について説明する。ノイズ低減フィルタ311では、他の処理部から供給されるベースバンドビデオ信号に対して、例えば、次のようなブロックノイズ低減フィルタ処理、フレームノイズ低減フィルタ処理、及び、モスキートノイズ低減フィルタ処理を行う。
ノイズ低減フィルタ311は、制御部118が算出する符号化難易度情報に応じて映像信号におけるブロック境界の歪を補正する。ここで、制御部118は、デコーダ113、114による復号処理に用いられる逆直交変換係数及び動きベクトルから符号化難易度情報を算出する。そして、制御部118は、式(1)又は式(2)から算出される平均ビットレートに応じて、符号化難易度情報を補正する。具体的に、制御部118は、算出した平均ビットレートが低いときには映像信号に発生するブロックノイズが比較的大きくなることを予測して符号化難易度情報の値を高くする補正をし、補正後の符号化難易度情報をノイズ低減フィルタ311に供給する。このとき、ノイズ低減フィルタ311は、補正された符号化難易度情報に応じて、補正されていない情報に比べてブロック歪みの補正強度を高く設定して映像信号にフィルタ処理を施す。
また、ノイズ低減フィルタ311は、制御部118が算出するノイズ成分をフレームノイズとして除去する処理を行う。ここで、制御部118は、例えば時間的に前後するフレームからフレーム差分信号を算出して、算出したフレーム差分信号の各周波数毎に含まれるノイズ成分を検出する。そして、制御部118は、式(1)又は式(2)から算出される平均ビットレートに応じて、検出したノイズ成分を補正する。特に、圧縮又は伸張処理により発生する低周波成分のノイズレベルを精度良く検出することが難しいので、制御部118は、算出した平均ビットレートが低いときには発生する低周波成分のノイズレベルが大きくなることを予測して、検出したノイズレベルのうち、主に低周波成分のレベルを高くする補正をしてノイズ低減フィルタ311に供給する。ノイズ低減フィルタ311では、補正されたノイズ成分をフレームノイズとして除去する処理を行う。
さらに、ノイズ低減フィルタ311は、映像信号に含まれるモスキートノイズを低減するため、例えば、映像信号の小ブロックのダイナミックレンジDRを求めて、求めたダイナミックレンジDRと、制御部118によって算出される閾値Thとを比較してDRがThよりも大きいときモスキートノイズが含まれていると判断して、モスキートノイズを低減する処理を行う。ノイズ低減フィルタ311では、映像信号の小ブロックのダイナミックレンジDRとして、ブロック内の画素の画素値の最大値と最小値とを求め、その最大値から最小値を減算することによりダイナミックレンジDRを算出する。一方、制御部118は、映像信号を復号するときに得られる量子化情報から、量子化ステップが大きいとき閾値Thを大きい値に設定し、量子化ステップが小さいとき閾値Thを小さい値に設定する。また、制御部118は、量子化ステップが小さく式(1)又は式(2)から算出される平均ビットレートが高いとき、モスキートノイズに対して施すフィルタ処理の強度を弱く設定するようにノイズ低減フィルタ311を制御し、量子化ステップが大きく平均ビットレートが低いとき、モスキートノイズに対して施すフィルタ処理の強度を強く設定するようにノイズ低減フィルタ311を制御する。
また、制御部118は、式(2)より平均ビットレートを算出するとき、輪郭強調フィルタ312に係る制御指標として用いた時間間隔である1秒よりも短い時間間隔である0.5〜1秒程度の間隔で加算した発生ビット量を用いることが望ましい。これは、輪郭強調処理に比べて、ノイズ低減フィルタの特性を頻繁に変更しても、映像信号の画質が相対的に損なわれないからである。
このようにして、制御部118は、映像信号から平均ビットレートを算出して、算出した平均ビットレートに応じてノイズ低減フィルタ311に係るノイズ低減処理の強度設定を制御するので、映像信号の属性に応じて適したフィルタ処理を施すことができ、各ノイズ成分が効果的に低減された高画質の映像信号を出力することができる。
なお、制御部118は、単に平均ビットレートに応じてノイズ低減フィルタ311に係るフィルタ処理の強度を制御するのに限定されるものではなく、映像信号の他の属性に応じて重み付けをした平均ビットレートを制御指標として、ノイズ低減フィルタ311の特性を制御するようにしても良い。
以上のようにして、制御部118は、輪郭強調処理、及び、映像信号に含まれるブロックノイズ、フレームノイズ、モスキートノイズなどを低減するノイズ低減処理に係る強度設定を、映像信号のソースの属性に応じて変化させることによって、輪郭強調フィルタ312、ノイズ低減フィルタ311の特性を適切に制御することができ、これにより出力する映像信号の画質を向上させることができる。
光ディスク再生記録装置の全体構成を示すブロック図である。 光ディスク再生記録装置と受像機との接続関係を模式的に示す図である。 ビデオグラフィックスプロセッサの具体的な構成を示す図である。 エンハンサの具体的な構成を示す図である。 リミッタの入出力特性を示すグラフである。 ゲイン調整部の入出力特性を示すグラフである。 制御指標としての平均ビットレートの時間的な変化を示すグラフである。 映像信号の符号化方式に応じた重み係数を示す図である。 映像信号の画枠サイズに応じた重み係数を示す図である。 制御指標としての平均ビットレートの時間的な変化を示すグラフである。 制御指標としての平均ビットレートの時間的な変化を示すグラフである。 Ave_BRに対するGain_BRの特性の変化を示すグラフである。 映像信号の入力画枠サイズと出力画枠サイズとの対応関係に応じた重み係数を示す図である。 映像信号の符号化方式に応じた重み係数を示す図である。 デブロッキングフィルタパラメータに応じた重み係数を示す図である。 入力される映像信号の媒体の種類に応じた重み係数を示す図である。 入力される映像信号の媒体の種類に応じた重み係数を示す図である。 入力される映像信号の媒体の種類に応じた重み係数を示す図である。 入力される映像信号の媒体の種類に応じた重み係数を示す図である。 入力される映像信号の媒体の種類に応じた重み係数を示す図である。
符号の説明
100 光ディスク記録再生装置、101 ライン入力端子、102 アナログチューナ、103 光ディスクドライブ、104 ハードディスクドライブ、105 HDV入力端子、106 デジタルチューナ、107、109 セレクタ、108 ビデオデコーダ、110 エンコーダ、111 HDVプロセッサ、113、114 デコーダ、115 ビデオグラフィックスプロセッサ、116 HDMIトランスミッタ、117 DAC、118、203 制御部、119 HDMIコネクタ、120 コンポーネント出力端子、121 コンポジット出力端子、200 受像機、201 HDMIコネクタ、202 HDMIレシーバ、204 EDIDROM、301 メモリ、302、303、304、305 画像処理回路群、306 グラフィック処理部、307 静止画処理部、308 画枠サイズ変換部、308a、308b、308c スケーラ、309 合成処理部、310 ビデオエンコーダ、311、311a、311b、311c ノイズ低減フィルタ、312 輪郭強調フィルタ、312a、312b エンハンサ、401、405 水平系フィルタ、402、407 リミッタ、403、408 ゲイン調整部、404 垂直系フィルタ、406 減算器、409、410 加算器、

Claims (6)

  1. 画素ブロック単位で符号化されたピクチャからなり、該ピクチャ内において隣接する画素ブロックの境界部の歪みを除去するデブロッキングフィルタ処理の強さを示すデブロッキングフィルタパラメータが含まれた映像信号を入力する入力手段と、
    上記入力手段により入力された映像信号を、該映像信号に含まれるデブロッキングフィルタパラメータに応じてデブロッキングフィルタ処理を施した映像信号に復号する復号手段と、
    上記復号手段により復号された映像信号に対して、画像の輪郭部を強調する輪郭強調フィルタ処理を施す輪郭強調フィルタ手段と、
    上記復号手段により復号された映像信号から、所定のデータ単位当たりの発生ビット量を該データ単位に対応する映像の再生時間で除した平均ビットレートを算出して、該平均ビットレートに応じて上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の特性を制御する制御手段とを備え、
    上記制御手段は、
    上記入力手段により入力される映像信号が画像ファイル単位で入力されるとき、該画像ファイルのファイルサイズを該ファイルサイズに対応する映像の再生時間で除して上記平均ビットレートを算出し、上記入力手段により入力される映像信号がピクチャ単位で逐次入力されるとき、該ピクチャ当たりの発生ビット量を所定フレーム数分加算したビット量を、該所定フレーム数で除し、該除算値に該フレームレートを乗じた値を上記平均ビットレートとして算出し、
    上記入力手段により入力した映像信号に含まれるデブロッキングフィルタパラメータで示されるデブロッキングフィルタ処理の強度が強いほどビットレートの値が大きくなる重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する画像処理装置。
  2. 上記制御手段は、上記入力手段により入力された映像信号の画枠サイズが小さいほどビットレートの値が小さくなるように重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ処理で施す輪郭強調フィルタ処理の強度を強くするように制御する請求項1記載の画像処理装置。
  3. 上記入力手段は、記憶媒体に記憶された上記映像信号を入力し、
    上記制御手段は、上記記憶媒体が読み出し専用光ディスク記録媒体か否かを判断し、読み出し専用光ディスク記録媒体のときには、それ以外のときに比べてビットレートの値が大きくなるように重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する請求項1記載の画像処理装置。
  4. 上記制御手段は、上記入力手段により入力された映像信号がコンピュータグラフィックスか否かを判断し、コンピュータグラフィックスのときは、それ以外のときに比べてビットレートの値が小さくなるように重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する請求項1記載の画像処理装置。
  5. 上記制御手段は、上記入力手段により入力された映像信号がフィルム素材であるか否かを判断し、フィルム素材のときは、それ以外のときに比べてビットレートの値が小さくなるように重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ手段で施す輪郭強調フィルタ処理の強度を強くするように制御する請求項1記載の画像処理装置。
  6. 所定の入力手段により入力された画素ブロック単位で符号化されたピクチャからなる映像信号を、該ピクチャ内において隣接する画素ブロックの境界部の歪みを除去するデブロッキングフィルタ処理の強さを示す該映像信号に含まれたデブロッキングフィルタパラメータに応じて、デブロッキングフィルタ処理を施した映像信号に復号する復号工程と、
    上記復号工程により復号された映像信号に対して、画像の輪郭部を強調する輪郭強調フィルタ処理を施す輪郭強調フィルタ工程と、
    上記復号工程により復号された映像信号から、所定のデータ単位当たりの発生ビット量を該データ単位に対応する映像の再生時間で除した平均ビットレートを算出して、該平均ビットレートに応じて上記輪郭強調フィルタ処理の特性を制御する制御工程とを備え、
    上記制御工程では、上記入力手段により入力される映像信号が画像ファイル単位で入力されるとき、該画像ファイルのファイルサイズを該ファイルサイズに対応する映像の再生時間で除して上記平均ビットレートを算出し、上記入力手段により入力される映像信号がピクチャ単位で逐次入力されるとき、該ピクチャ当たりの発生ビット量を所定フレーム数分加算したビット量を、該所定フレーム数で除し、該除算値に該フレームレートを乗じた値を上記平均ビットレートとして算出し、
    上記入力手段により入力した映像信号に含まれるデブロッキングフィルタパラメータで示されるデブロッキングフィルタ処理の強度が強いほどビットレートの値が大きくなる重み付けを行った上記平均ビットレートの大きさに対応して、上記輪郭強調フィルタ処理の強度を強くするように制御する画像処理方法。
JP2007157762A 2007-06-14 2007-06-14 画像処理装置、及び、画像処理方法 Expired - Fee Related JP4609457B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007157762A JP4609457B2 (ja) 2007-06-14 2007-06-14 画像処理装置、及び、画像処理方法
US12/137,997 US20080310516A1 (en) 2007-06-14 2008-06-12 Image processing apparatus and method
CN2008101259874A CN101325718B (zh) 2007-06-14 2008-06-16 图像处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007157762A JP4609457B2 (ja) 2007-06-14 2007-06-14 画像処理装置、及び、画像処理方法

Publications (2)

Publication Number Publication Date
JP2008311951A JP2008311951A (ja) 2008-12-25
JP4609457B2 true JP4609457B2 (ja) 2011-01-12

Family

ID=40132300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007157762A Expired - Fee Related JP4609457B2 (ja) 2007-06-14 2007-06-14 画像処理装置、及び、画像処理方法

Country Status (3)

Country Link
US (1) US20080310516A1 (ja)
JP (1) JP4609457B2 (ja)
CN (1) CN101325718B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200890B2 (ja) * 2007-12-06 2013-06-05 セイコーエプソン株式会社 画像処理装置及びその制御方法
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP5458746B2 (ja) * 2009-08-27 2014-04-02 三菱電機株式会社 映像再生装置、映像記録再生装置及び映像記録再生方法
JP2011193391A (ja) * 2010-03-16 2011-09-29 Toshiba Corp 画像処理装置及び画像処理方法
JP4762352B1 (ja) 2010-03-17 2011-08-31 株式会社東芝 画像処理装置及び画像処理方法
JP4834776B2 (ja) 2010-03-17 2011-12-14 株式会社東芝 画像処理装置及び画像処理方法
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
JP5002684B2 (ja) * 2010-06-29 2012-08-15 株式会社東芝 画像処理装置、表示装置、および画像処理方法
JP5055408B2 (ja) * 2010-07-16 2012-10-24 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
US8898718B2 (en) * 2011-01-27 2014-11-25 International Business Machines Corporation Systems and methods for managed video services at edge-of-the-network
JP5972687B2 (ja) 2012-07-02 2016-08-17 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US20140192266A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Method and apparatus of reducing compression noise in digital video streams
CN103945230A (zh) * 2013-01-18 2014-07-23 鸿富锦精密工业(深圳)有限公司 影片传输系统及方法
US9924200B2 (en) * 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
US9641809B2 (en) * 2014-03-25 2017-05-02 Nxp Usa, Inc. Circuit arrangement and method for processing a digital video stream and for detecting a fault in a digital video stream, digital video system and computer readable program product
US9826252B2 (en) 2014-07-29 2017-11-21 Nxp Usa, Inc. Method and video system for freeze-frame detection
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
CN111783498B (zh) * 2019-04-03 2021-02-19 邱群 多参数现场采集方法
EP4192006B1 (en) * 2021-12-03 2025-09-10 Axis AB A method for controlling a bitrate of a video stream captured with an image acquisition device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH1070719A (ja) * 1996-08-27 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置、画像符号化手法、画像復号化手法および記録媒体
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
JPH11331777A (ja) * 1998-05-14 1999-11-30 Toshiba Corp 3次元ノイズリダクション装置とこれを用いた光ディスク再生装置
JP2000148113A (ja) * 1998-11-17 2000-05-26 Sony Corp 映像表示装置
WO2002093935A1 (en) * 2001-05-10 2002-11-21 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
JP2004072299A (ja) * 2002-08-05 2004-03-04 Matsushita Electric Ind Co Ltd 映像多重化方法並びに記録媒体
JP2004088194A (ja) * 2002-08-23 2004-03-18 Seiko Epson Corp 情報処理装置、プロジェクタシステム及びプログラム
JPWO2004112378A1 (ja) * 2003-06-10 2006-07-27 ソニー株式会社 テレビジョン受像機および画像処理方法
JP2006005573A (ja) * 2004-06-16 2006-01-05 Matsushita Electric Ind Co Ltd 画像復号装置
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
JP2007129369A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
JP4592562B2 (ja) * 2005-11-01 2010-12-01 シャープ株式会社 画像復号装置
US8009963B2 (en) * 2006-01-26 2011-08-30 Qualcomm Incorporated Adaptive filtering to enhance video bit-rate control performance
US20080049036A1 (en) * 2006-08-24 2008-02-28 Mediatek Inc. Multimedia Playback System, FIFO Memory System, and Method for Storing Multimedia Data

Also Published As

Publication number Publication date
JP2008311951A (ja) 2008-12-25
CN101325718A (zh) 2008-12-17
CN101325718B (zh) 2010-09-29
US20080310516A1 (en) 2008-12-18

Similar Documents

Publication Publication Date Title
JP4609457B2 (ja) 画像処理装置、及び、画像処理方法
US10681306B2 (en) Conversion method and conversion apparatus
CN116095315B (zh) 整合的图像整形和视频编码
JP3943333B2 (ja) 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置
US11212525B2 (en) Encoding device, decoding device, encoding method, and decoding method
KR101176341B1 (ko) 높은 동적범위 이미지의 엔코딩, 디코딩 및 표시
US10223774B2 (en) Single-pass and multi-pass-based polynomial approximations for reshaping functions
JP4983415B2 (ja) 画像信号処理装置、画像信号処理方法及びプログラム
CN1180633C (zh) 视频数据处理设备和视频数据处理方法
US8681877B2 (en) Decoding apparatus, decoding control apparatus, decoding method, and program
US20150085943A1 (en) Video processing device, video processing method, television receiver, program, and recording medium
JP4169768B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法、及び画像処理方法
JP4762352B1 (ja) 画像処理装置及び画像処理方法
US8401322B2 (en) Image recording device, image recording method and program
KR20030005219A (ko) 비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭제공 방법 및 장치
WO2016133865A1 (en) Inter-layer prediction for signals with enhanced dynamic range
US20070285729A1 (en) Image processing apparatus and image processing method
US8665315B2 (en) Signal processing device, reproducing device, signal processing method and program
JP2009010763A (ja) 画像処理装置、及び、画像処理方法
JP2010093627A (ja) 動画像符号化装置
HK40109123A (zh) 整合的图像整形和视频编码
HK40109123B (zh) 整合的图像整形和视频编码
JP2010028315A (ja) 画像信号処理装置及び画像信号処理方法
HK1129181B (en) A method for encoding/decoding a high dynamic range image, and apparatus thereof
HK1129181A1 (en) A method for encoding/decoding a high dynamic range image, and apparatus thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees