JP2009100424A - 受信装置、受信方法 - Google Patents

受信装置、受信方法 Download PDF

Info

Publication number
JP2009100424A
JP2009100424A JP2007272521A JP2007272521A JP2009100424A JP 2009100424 A JP2009100424 A JP 2009100424A JP 2007272521 A JP2007272521 A JP 2007272521A JP 2007272521 A JP2007272521 A JP 2007272521A JP 2009100424 A JP2009100424 A JP 2009100424A
Authority
JP
Japan
Prior art keywords
unit
decoding
information
frame
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007272521A
Other languages
English (en)
Inventor
Takashi Hamano
崇 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007272521A priority Critical patent/JP2009100424A/ja
Priority to US12/248,965 priority patent/US20090103603A1/en
Publication of JP2009100424A publication Critical patent/JP2009100424A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract


【課題】 本発明に係る受信装置は、高解像度データで検出した誤り領域を、同時放送する他の低解像度データから復号データを作成し、静止領域の解像度劣化、フレーム間予測符号化に起因する誤り伝搬に伴う画質劣化が抑制することを目的とする。
【解決手段】 本願発明に係る受信装置は、サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信装置において、該サイマル放送を受信する受信部と、該第一のビットストリームから該第一動画像を復号する第一の復号部と、該第二のビットストリームから該第二動画像を復号する第二の復号部と、該第一動画像における誤り領域を検出する誤り検出部と、該誤り領域に応じて、該第二動画像を構成する連続するフレーム間の差分データを用いて作成した補正データを該第一の復号部に与える補正部とからなることを特徴とする。
【選択図】 図1

Description

本発明はデジタルサイマル放送を受信可能な端末での映像補正に関する。
地上デジタルテレビ放送は極超短波(UHF:Ultra High Frequency)の6メガヘルツの帯域を13のセグメントに分割して送信する方式をとっている。この13セグメントのうち12セグメントを使って行う放送が12セグ放送である。残りの1つのセグメントを使って行う放送が1セグ放送である。12セグ放送はISO(International Organization for Standardization)のMPEG−2に基づく動画像の高画質符号化が行われ、ハイビジョンの高画質の映像を放送することができる。1セグ放送はITU−T(International Telecommunication Union Telecommunication Standardization Sector)のH.264に基づく画像の符号化が行われ、帯域が狭いためデータ量も少なく、12セグ放送に比べると解像度が低い映像の放送である。
そして12セグ放送、1セグ放送の両放送を受信可能な移動端末があり、例えば車載テレビはその代表例である。現在、12セグ放送と1セグ放送はサイマル放送であり、同一の内容を同時に放送している。
12セグ放送は、高画質の映像を放送できるが、伝送エラーが多い。そこで1セグ放送などの低解像度でエラーの少ない移動受信向け放送の映像データを用いて、12セグ放送における高解像度の映像データで発生した誤りを1セグ放送における低解像度の映像データを用いて補正することが行われている。そのような補正手段を開示する特許文献として以下のものがある。
特開2004−336190号公報 特開2002−232809号公報 しかしながら、上記特許文献に記載の補正手段は、以下の課題があった。
高解像度の映像と低解像度の映像の画質の差が大きいことや、細かい絵柄の静止画像領域に誤りが発生した場合、局所的な解像度劣化が目立つ問題がある。さらにデジタル放送で使用される動画像符号化は情報量の圧縮を行うために、フレーム間予測符号化が適用されており、一旦映像データに発生した誤りは次のフレーム以降にも伝搬し、拡散する。これにより画像の復号化後に、誤りが発生したフレームに対して画像補正を行なっても、次フレーム以降の誤りを補正することはできないという課題があった。
本発明に係る受信装置は、高解像度データで検出した誤り領域を、同時放送する他の低解像度データから復号データを作成し、静止領域の解像度劣化、フレーム間予測符号化に起因する誤り伝搬に伴う画質劣化を抑制することを目的とする。
本実施例に係る受信装置は、サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信装置において、該サイマル放送を受信する受信部と、該第一のビットストリームから該第一動画像を復号する第一の復号部と、該第二のビットストリームから該第二動画像を復号する第二の復号部と、該第一動画像における誤り領域を検出する誤り検出部と、該誤り領域に応じて、該第二動画像を構成する連続するフレーム間の差分データを用いて作成した補正データを該第一の復号部に与える補正部とからなることを特徴とする。
また本実施例に係る受信装置は、該第一の復号部が該補正部から受信した補正データに基づいて、該第一ビットストリームの復号に際し再生される連続するフレーム間の差分データを補正することを特徴とする。
また本実施例に係る受信装置は、該補正部が該誤り領域に応じて、該第一動画像と該第二画像との解像度の違いをスケーリングして該補正データを作成することを特徴とする。
また本実施例に係る受信装置は、該補正部が該誤り領域に応じて、該第一動画像と該第二画像との動きベクトル解像度の違いをスケーリングして該補正データを作成することを特徴とする。
また本実施例に係る受信装置は、該補正部が該誤り領域が動画部分か静止部分かを判定し、該誤り領域が静止部分である場合、第一の復号部は誤り発生前のフレームを出力することを特徴とする。
また本実施例に係る受信方法は、サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信方法において、該サイマル放送を受信する受信手順と、該第一のビットストリームから該第一動画像を復号する第一の復号手順と、該第二のビットストリームから該第二動画像を復号する第二の復号手順と、該第一フレームにおける誤り領域を検出する検出手順と、該誤り領域に応じて、該第一動画像を構成する連続するフレーム間の差分データを該第二動画像を構成する第二フレーム間の差分データで補正する補正手順とからなることを特徴とする。
本発明に係る受信装置は、高解像度の画像符号化データで検出された誤り領域を、同時放送する他の低解像度の画像符号化データから作成した復号データをエラー発生した高解像度データに合成することにより、静止領域における解像度劣化、フレーム間予測符号化に起因する誤り伝搬に伴う画質劣化が抑制することができる。
(実施例1)
本実施例では、12セグ放送と1セグ放送の同時放送を例として、サイマル放送における画像補正について説明する。12セグ放送は、1セグ放送に比べて高解像度な放送である。これは12セグ放送で使用する帯域が1セグ放送で使用する帯域に比べ広く、多くのデータを送受信できるためである。また12セグ放送の動画像符号化方式はISO/IECによるMPEG−2であり、また1セグ放送の動画像符号化方式はITU−TによるH.264(ISO/IECによるMPEG−4 Part10)である。
そして本実施例における画像補正は、12セグ放送で発生する伝送エラーを1セグ放送で受信する情報により補正する画像補正である。
[画像補正システム100の構成図]
図1は本実施例に係る画像補正システム100の構成図である。
画像補正システム100は、第1デコーダ101、第2デコーダ102、補正手段103、補正制御手段104から構成されている。
第1デコーダ101は第1ビットストリーム105を、第2デコーダ102が第2ビットストリーム110を同時に受信する。
本実施例において第1デコーダ101は、第1ビットストリーム105を受信する。第1ビットストリーム105は、符号化された動画像データであり、具体的には12セグ放送で送信される動画像のビット列である。第1ビットストリーム105の動画像データに適用される動画像符号化方式はISO/IECによるMPEG−2である。換言すると第1ビットストリーム105は、ISO/IECによるMPEG−2方式により圧縮された画像のビット列である。第1ビットストリーム105は、第1フレーム間の差分データを符号化したデータである。第1フレームは第1デコーダ101が第1ビットストリーム105を復号したフレームである。またフレームは、第1デコーダ101が第1ビットストリーム105を復号した動画像データを構成する画像をいう。つまり動画像データは複数の連続するフレームから構成されている。ISO/IECによるMPEG−2は画像圧縮を行うために、動き補償フレーム間予測符号化を採用しており、動き補償された第1フレーム間の差分データを符号化して画像圧縮を行っている。
第1デコーダ101は、受信する第1ビットストリーム105を復号して、復号映像106を出力する。第1デコーダ101は、復号状態情報107、第1の復号情報108を補正手段103へ出力する。また第1デコーダ101は、第1の復号制御情報109を補正制御手段104へ出力する。
第1デコーダ101は、補正手段103から受信する補正復号情報114に含まれる復号画素データに基づいて、復号映像106として出力する。補正復号情報114は、補正手段103が生成する符号化モード情報、補正手段103が生成する復号画素データ、補正手段103が生成する動きベクトル情報で構成される。また直前フレームは、第1デコーダ101が有するフレームメモリに格納されている。
復号状態情報107は、復号位置情報と復号エラー情報である。復号位置情報108は、第1デコーダ101が復号しているフレーム内の位置を示す情報である。復号エラー情報は、復号位置において第1ビットストリーム105にエラーが発生したか否かを示す情報である。
第1の復号情報108は、第1の符号化モード情報、第1の動きベクトル情報、第1の復号画素データである。
第1の符号化モード情報は、フレーム内符号化のモードであるか、フレーム間予測の符号化のモードであるかを示す情報である。第1の動きベクトル情報は、映像の中の各画素が、どの方向へどのくらい動いているかを示す情報である。第1の復号画素データは、第1の符号化モード情報がフレーム内符号化の場合、第1フレームの画素データを示し、第1の符号化モード情報がフレーム間予測の符号化の場合、動き補償された第1フレーム間の差分データを示す情報である。
第1の復号制御情報109は、第1フレームの画面サイズの情報である。本実施例において第1デコーダ101で復号する第1フレームの画面サイズは、640画素×480ラインである。またマクロブロックは輝度ブロックと2つの色差ブロックから構成される。マクロブロックにおける輝度ブロックサイズは16画素×16画素である。色差ブロックサイズは8画素×8画素である。これより第1フレームの画面内におけるマクロブロック数は40×30である。またDCT(離散コサイン変換)処理は、輝度ブロックにおいて8画素×8ラインの単位で行われる。
第2デコーダ102は、第2ビットストリーム110を受信する。第2ビットストリーム110も、符号化された動画像データの流れであり、具体的には1セグ放送で送信される画像のビット列である。第2ビットストリーム110の動画像データに適用される動画像符号化方式はITU−TのH.264である。換言すると第2ビットストリーム110は、ITU−TのH.264方式により圧縮された画像のビット列である。第2ビットストリーム110は、第2ストリームの連続するフレーム間の差分を符号化したデータの差分データを符号化したデータである。第2フレームは第2デコーダ102が第2ビットストリーム110を復号したフレームである。ITU−TのH.264は画像圧縮を行うために、動き補償フレーム間予測符号化を採用しており、動き補償された第2フレーム間の差分データを符号化して画像圧縮を行っている。
第2デコーダ102は、受信するビットストリーム110を復号化して、第2の復号情報111を補正手段103へ出力する。また第2デコーダ102は、第2の復号制御情報112を補正制御手段104へ出力する。
第2の復号情報111は、第2の符号化モード情報、第2の動きベクトル情報、第2の復号画素データである。第2の符号化モード情報は、第2のフレーム内符号化のモードであるか、フレーム間予測の符号化のモードであるかを示す情報である。第2の動きベクトル情報は、映像の中の各画素が、どの方向へどのくらい動いているかを示す情報である。第2の復号画素データは、第2の符号化モード情報がフレーム内符号化の場合、第2フレームの画素データを示し、第2の符号化モード情報がフレーム間予測の符号化の場合、動き補償された第2フレーム間の差分データを示す情報である。
第2の復号制御情報112は、第2デコーダ102が復号する画像の画面サイズの情報である。本実施例において第2デコーダ102で復号する画像の画面サイズは、320画素×240ラインである。またマクロブロックは輝度ブロックと2つの色差ブロックから構成される。マクロブロックにおける輝度ブロックサイズは16画素×16ラインである。色差ブロックサイズは8画素×8ラインである。これより第2デコーダ102の画像の画面内におけるマクロブロック数は20×15である。またDCT処理は、輝度ブロックにおいて4画素×4画素の単位で行われる。
第2デコーダ102が第2ビットストリーム102を復号し、第2フレーム間の差分データを算出する。第2デコーダ102は該差分データに直前の第2フレームと合成して1セグ放送における第2復号映像を生成する。
補正制御手段104は、第1の復号制御情報109と第2の復号制御情報112から補正制御情報113を生成する。そして補正制御手段104は、補正制御情報113を補正手段103へ出力する。補正制御手段104は、第1の復号制御情報109と第2の復号制御情報112とから第1フレームと第2フレームの画面サイズの相違に起因するそれぞれのマクロブロック位置の対応付けを行う。補正制御手段104は、第1フレームと第2フレームのマクロブロック位置の対応を示す補正制御情報113を補正手段103に送信する。
補正手段103は、第1の復号情報108、第2の復号情報111、補正制御情報113に基づいて、補正復号情報114を生成する。補正手段103は補正復号情報114を出力する。
補正制御情報113は、第1フレームのマクロブロック位置と第2フレームのマクロブロック位置を対応付けるブロック位置対応情報と、第1フレームと第2フレームとの解像度の相違に因るスケーリング情報である。換言するとブロック位置対応情報は、第1デコーダ101が復号する位置と、その復号位置に対応する第2デコーダ102で復号するフレームの位置を示す情報である。つまりブロック位置対応情報は、第1デコーダで復号する第1フレームと第2デコーダで復号する第2フレームとを対応付け、第1画像における伝送エラーの発生位置に対応する第2画像の位置を特定する情報である。
またスケーリング情報は、第1フレームと第2フレームの解像度の違いを補間する情報である。スケーリング情報は、マクロブロック位置を示すパラメータを第1フレームの位置を示すパラメータに換算するとともに、第2フレームの復号画素データや動きベクトルを、第1フレームの画面サイズにあわせて拡大するための拡大率を示す情報である。マクロブロック位置を示すパラメータは、例えば第1フレーム、第2フレームそれぞれの画面における基準点からのx座標、y座標である。
本実施例では、第1フレームの画面サイズとマクロブロック数はそれぞれ、640×480と40×30、第2フレームの画面サイズとマクロブロック数はそれぞれ、320×240と20×15なので、第2フレームの1つのマクロブロックは、第1フレームの縦横2つのマクロブロックに対応するとともに、拡大率は、縦横2倍となる。
補正復号情報114は、補正手段103が補正制御情報113に基づき、第1の復号情報108と第2の復号情報111から生成する情報である。補正復号手段114は補正手段103が生成する符号化モード情報、補正手段103が生成する復号画像データ、補正手段103が生成する動きベクトルで構成される。
本実施例におけるサイマル放送する第1ビットストリーム105と第2ビットストリーム110を受信する受信装置は、第1デコーダ101が該第1ビットストリーム105から第1フレームを復号し、第2デコーダ102が該第2ビットストリームから第2フレームを復号する。第1デコーダ101における可変長復号手段は、該第1フレームにおける誤り領域を検出する。そして補正手段103は、該誤り領域に応じて、該第2フレームと第2デコーダ102が過去に復号した過去の第2フレームとの間の差分に基づいて第1フレーム間の差分データを補正して復号画素データを生成する。第1デコーダ101は、該複合画素データに基づいて、復号映像106を出力する。
これにより、本実施例における画像補正システム100は、第1フレームの復号において伝送エラーが発生しても、出力映像の画質劣化を抑制することができる。
[受信装置200の構成図]
図2は本実施例に係るサイマル放送の受信装置200の構成図である。
本実施例に係る受信装置200は、第1デコーダ201、第2デコーダ202、補正手段203、補正制御手段204、アンテナ205、復調装置206、表示装置207から構成されている。第1デコーダ201、第2デコーダ202、補正手段203、補正制御手段204は、図1に記載の画像補正システム100の構成と同等の機能を有するものである。
以下画像補正システム100における説明で記載した事項をより詳細に示しつつ、受信装置200の動作について説明する。
本実施例において、受信装置200は、アンテナ205を用いて12セグ放送と1セグ放送の符号化データ208を受信する。復調装置206は、アンテナ205が受信した符号化データ208を復調し、第1ビットストリーム209、第2ビットストリーム210を生成する。第1ビットストリーム209は12セグ放送に対応する画像のビット列である。また第2ビットストリーム210は1セグ放送に対応する画像のビット列である。
第1デコーダ201は、第1ビットストリーム209を受信する。また第2デコーダ202は、第2ビットストリーム210を受信する。
第1デコーダ201は、第1ビットストリームを受信すると、復号状態情報211を補正手段203へ送信する。第1デコーダ201は、第1の復号情報212を補正手段203へ送信する。第1デコーダ201は、第1の復号制御情報213を補正制御手段204へ送信する。
第2デコーダ202は、第2ビットストリーム210を受信すると、第2の復号情報214を補正手段203に送信する。また第2デコーダ202は第2の復号制御情報215を補正制御手段204に送信する。
第1ビットストリーム209は、12セグ放送に対応する画像のビット列であり、ISO/IECによるMPEG−2で圧縮された画像のビット列である。そのため第1ビットストリーム209は、動きベクトルを用いて生成される予測画面と対象フレームとの間の予測誤差(差分データ)を符号化したビット列である。動きベクトルは対象フレーム内で被写体などがどれだけ動いたかを示す情報である。また動きベクトル解像度は、対象フレームにおける動きベクトルの解像度である。予測画面は対象フレーム内の被写体を動きの分ずらした画面である。第1ビットストリーム209は、予測画面を生成するための動きベクトルの符号化データを含む。
動き補償フレーム間予測では、1つのフレームを複数のブロックに区切って、ブロックごとに動きベクトルを定義する。そしてエンコーダは動きベクトルから符号化しようとするブロックに最も似ている予測ブロックを予測画面の中を探索して見つけて、予測誤差を算出する。そしてエンコーダはこの予測誤差を符号化する。
第2ビットストリーム210は、1セグ放送に対応する画像のビット列であり、ITU−TのH.264で圧縮された画像のビット列である。そのため第2ビットストリーム210は、動きベクトルを用いて生成される予測画面と対象フレームとの間の予測誤差(差分データ)を符号化したビット列である。動きベクトルは対象フレーム内で被写体などがどれだけ動いたかを示す情報である。予測画面は対象フレーム内の被写体を動きの分ずらした画面である。第2ビットストリーム210は、予測画面を生成するための動きベクトルの符号化データを含む。
動き補償フレーム間予測では、1つのフレームを複数のブロックに区切って、ブロックごとに動きベクトルを定義する。そしてエンコーダは動きベクトルから符号化しようとするブロックに最も似ている予測ブロックを予測画面の中を探索して見つけて、予測誤差を算出する。そしてエンコーダはこの予測誤差を符号化する。
第1デコーダ201は、受信する第1ビットストリーム209を復号し、補正手段203から受信する補正復号情報216を適用して、復号映像218を生成し出力する。表示装置207は第1デコーダ201から受信した復号映像218を画面表示する。
[補正手段203の構成図]
次に図2に記載の補正手段203の構成及び補正手段203が行う処理について詳細に説明する。補正手段203は、第1デコーダ201が受信する第1ビットストリーム209において発生する伝送エラーを第2デコーダ202が第2ビットストリーム210から生成する情報を用いて補正する。
補正手段203は、第1デコーダ201から復号状態情報211、第1の復号情報212を受信する。また補正手段203は第2デコーダ202から第2の復号情報214を受信する。さらに補正手段203は、補正制御手段204から補正制御情報217を受信する。そして補正手段203はこれら受信した情報(復号状態情報211、第1の復号情報212、復号情報214、補正制御情報217)から補正復号情報216を生成し、補正復号情報216を第1デコーダ201へ出力する。
図3は本実施例に係る補正手段203の詳細な構成図である。
補正手段203は、ブロック対応付け手段301、スケーリング手段302、303、符号化モード書き換え手段304、復号画素データ置き換え手段305、動きベクトル置き換え手段306から構成される。
また図3に記載の可変長復号手段307、IQ/IDCT(逆量子化/逆離散コサイン変換)308、加算器309、動き補償手段310、フレームメモリ311、選択手段312は第1デコーダ201に含まれる構成である。なお図4は第2デコーダ202の構成図である。
第2の復号情報214は、第2の符号化モード情報314、第2の復号画素データ315、第2の動きベクトル情報316から構成される情報である。第2の符号化モード情報314は、フレーム内符号化のモードであるか、フレーム間符号化のモードであるかを示す情報である。第2の復号画素データ315は、第2フレーム間の予測誤差(差分データ)を示す情報である。第2の動きベクトル情報316は、映像の中の各画素が、どの方向へどのくらい動いているかを示す情報である。
補正制御手段204は、第1の復号制御情報213と第2の復号制御情報215を受信すると、ブロック位置対応情報320、スケーリング情報321、322を生成する。そして補正制御手段204はブロック位置対応情報320をブロック位置対応付け手段301へ送信する。また補正制御手段204はスケーリング情報321をスケーリング手段302へ、スケーリング情報322をスケーリング手段303へ送信する。
ブロック位置対応情報320は、第1フレームのマクロブロック位置と第2フレームのマクロブロック位置との対応関係を示す情報である。スケーリング情報321は、第1フレームと第2フレームの解像度の違いを補間するための拡大率を示す情報である。さらにスケーリング情報322は、第1フレームの動きベクトルと第2フレームの動きベクトルとの縮尺の違いを補間する拡大率を示す情報である。
そしてブロック対応付け手段301は、第2デコーダ202から受信する第2の符号化モード情報314を受信する。ブロック対応付け手段301は、ブロック位置対応情報320を用いて、第1フレームのマクロブロック位置と第2フレームのマクロブロック位置とを対応付け、第1フレームにおけるマクロブロック位置に対応する第2フレームのマクロブロック位置を特定する。そしてブロック対応付け手段301は、特定した第2フレームのマクロブロック位置における符号化モードを第2の符号化モード情報314より特定する。特定した第2フレームの符号化モードは、第1フレームのマクロブロック位置に対応する第2フレームのマクロブロック位置の符号化モードである。そしてブロック対応付け手段301は、符号化モード書き換え手段304へ特定した第2フレームのマクロブロック位置に対応する符号化モードを送信する。
符号化モード書き換え手段304は、可変長復号手段307から第1の符号化モード情報317を受信する。符号化モード書き換え手段304は、復号状態情報323を受信する。符号化モード書き換え手段304は、ブロック対応付け手段301より、第1フレームに対応する第2フレームの符号化モードを受信する。これより符号化モード書き換え手段304は、第1の符号化モード情報317のうち、復号状態情報により伝送エラーが発生したマクロブロック位置では、符号化モードを対応する第2フレームの符号化モードに置き換えて符号化モード情報326を選択手段312に出力する。符号化モード情報326は、第1フレーム内符号化のモードであるか、第1フレーム間予測の符号化のモードであるかを示す情報であり、伝送エラーの発生したマクロブロック位置は第2フレームの符号化モードである情報である。
スケーリング手段302は、第2デコーダ202から第2の復号画素データ315を受信する。またスケーリング手段302は、補正制御手段204からスケーリング情報321を受信する。スケーリング手段302は、スケーリング情報321より、第2フレームのマクロブロック位置を示すパラメータを第1フレームのマクロブロック位置を示すパラメータに換算して、第2フレームのマクロブロック位置を第1フレームのマクロブロック位置に拡大し、スケーリング復号画素データ329を生成する。
そして復号画素データ置き換え手段305は、IQ/IDCT308から第1の復号画素データ318を受信する。復号画素データ置き換え手段305は、復号状態情報324を受信する。復号画素データ置き換え手段305は、スケーリング手段302よりスケーリング情報329を受信する。復号画素データ置き換え手段305は、スケーリング情報329と第1の復号画素データ318を用いて、第1フレームで伝送エラーの発生したマクロブロックを第2フレームの拡大したマクロブロックに置き換え、復号画素データ327を生成する。復号画素データ置き換え手段305は、復号画素データ327を選択手段312、加算器309に送信する。
スケーリング手段303は、第2デコーダ202から第2の動きベクトル情報316を受信する。またスケーリング手段303は、補正制御手段204からスケーリング情報322を受信する。スケーリング手段303は、第2の動きベクトル情報316を用いて、第1フレームのマクロブロック位置に対応する動きベクトルを補正するための第2フレームのマクロブロック位置の動きベクトルを特定する。スケーリング手段303は、特定した第2フレームのマクロブロック位置の動きベクトルを第1フレームのマクロブロック位置の動きベクトルの縮尺に拡大し、動きベクトル情報330を生成する。スケーリング手段303は、動きベクトル情報330を動きベクトル置き換え手段306へ送信する。
動きベクトル置き換え手段306は、可変長復号手段307から第1の動きベクトル情報319を受信する。動きベクトル置き換え手段306は、復号状態情報323を受信する。また動きベクトル置き換え手段306は、スケーリング手段303から動きベクトル情報330を受信する。そして動きベクトル置き換え手段306は、動きベクトル情報328を動き補償手段310へ送信する。動きベクトル情報328は、第1の動きベクトル情報319のうち、伝送エラーの発生したマクロブロック位置の動きベクトルを、対応する第2フレームの動きベクトルを第1フレームのマクロブロック位置の動きベクトルの縮尺に拡大した動きベクトルに置き換えた情報である。補正手段203は、動きベクトル情報319から伝送エラー箇所が(誤り領域)が動画部分か静止部分かを判定することを特徴とする。より具体的には動きベクトル置き換え手段306が動きベクトル情報319から伝送エラーの発生したマクロブロックが動画部分か静止部分かを判定する。補正手段204が伝送エラーの発生した箇所が静止部分であると判定する場合には、第1デコーダ201はフレームメモリ311に格納するエラー発生前の第1フレームを出力する。補正手段203は第1フレーム間の差分データを第2フレーム間の差分データで補正するので、第1フレームの画質の劣化は差分データ分だけであり、補正による画質劣化を抑制することができる。
可変長復号手段307は、第1ビットストリームを復号して、復号したマクロブロックをIQ/IDCT308に送信する。可変長復号手段307は第1ビットストリームにおいて発生した伝送エラーを検出する。伝送エラーは第1ビットストリームを復号したマクロブロックの伝送エラーである。
また可変長復号手段307は、復号状態情報323、324、325を符号化モード書き換え手段304、復号画素データ置き換え手段305、動きベクトル置き換え手段306に送信する。さらに可変長復号手段307は、第1の符号化モード情報317を符号化モード書き換え手段304へ送信する。また可変長復号手段307は、第1の動きベクトル情報319を動きベクトル置き換え手段306へ送信する。復号状態情報323、324、325は、復号エラー情報と復号位置情報を含む情報である。これにより符号化モード書き換え手段304、復号画素データ置き換え手段305、動きベクトル置き換え手段306は、第1フレームにおける伝送エラーの有無、エラー発生位置を特定することができる。本願発明における誤り検出部が行う処理は、本実施例における可変長復号手段307が処理に含まれるものである。
IQ/IDCT308は、復号化した第1ビットストリームをさらに逆量子化、逆離散コサイン変換をして復号処理を行う。そしてIQ/IDCT308は、復号画素データ置き換え手段305へ第1の復号画素データ318を送信する。
フレームメモリ311は、第1ビットストリームを復号したフレーム332を保持する。フレーム332は、復号画素データ置き換え手段305が選択手段312、加算器309に送信する復号画素データ327の直前に送信された復号画素データに基づくフレームである。
動き補償手段310は、動きベクトル置き換え手段306から動きベクトル情報328を受信する。動き補償手段310は、フレームメモリ311よりフレーム332を読み出す。そして動き補償手段310は、動きベクトル情報328を用いて、フレーム332を動き補償処理して、復号映像331を生成する。動き補償手段310は、復号映像331を加算器309に送信する。
加算器309は、復号画素データ327と復号映像331とを加算処理する。伝送エラーが発生したマクロブロック位置では、第1ビットストリームの伝送エラー箇所の予測誤差(復号画素データ)を第2ビットストリームの予測誤差(復号画素データ)によって補う処理である。つまり復号映像331に伝送エラーの発生位置を対応する第2フレームで補間したフレーム間の差分データ(復号画素データ327)を加算することによって、復号映像の劣化を防ぐものである。第1ビットストリームにおいて伝送エラーの発生した箇所が静止部分である場合には、エラー箇所に対応する第2フレーム間の差分データは「0」である。そのため受信装置200は、画質が劣化することなくこの伝送エラーの発生箇所を補正することができる。また加算器309はエラー発生箇所に対応する第2フレーム間の差分データを復号映像331に加算する。そのため伝送エラーの発生箇所が動画部分であっても、受信装置200は当該エラーの発生箇所に対応した第2フレームの部分にそのまま置き換える画像補正よりも画質の劣化を抑えて補正することができる。
選択手段312は、復号画素データ327もしくは、加算器309が出力する復号映像331のいずれかを選択する。選択手段312は、符号化モード書き換え手段304から受信する符号化モード情報321に基づいて選択する。
また補正手段203では、補正制御手段204からの置き換え制御情報のみに従った置き換えだけでなく、例えば、第2の復号情報を用いて、局所的な動静判定を行い、動きがある領域のみ動きベクトルのみ置き換えるなどの、一部の置き換えも可能である。
従来の画像補正技術では、エラーが発生した復号化後の映像に対して画像補正を行なっているため、次フレーム以降のエラーを補正することは原理的にできない。これに対して受信装置200は、第1ビットストリームの復号過程でエラーの発生した第1フレーム間の差分データを対応する第2フレーム間の差分データに置き換えると、画像補正の効果が、以降の画像にも継続するので、エラーの伝播や拡散を防ぐことができる。
[第2デコーダ202]
図4は本実施例に係る第2デコーダ202の構成図である。
第2デコーダ400は、可変長復号手段401、IQ/IDCT402、加算器403、動き補償手段404、フレームメモリ405、選択手段406から構成される。
可変長復号手段401は、第2ビットストリーム407を復号化する。復号化した情報は、第2の符号化モード情報314、第2の復号画素データ315、第2の動きベクトル情報316である。
第2デコーダ400は、第2の符号化モード情報314、第2の復号画素データ315、第2の動きベクトル情報316を補正手段203へ送信する。つまり第2の復号情報214が、第2の符号化モード情報314、第2の復号画素データ315、第2の動きベクトル情報316からなる情報である
IQ/IDCT402は、マクロブロックを逆量子化、逆離散コサイン変換をして第2の復号画素データ315を生成する。第2の復号画素データ315は、第2の符号化モード情報がフレーム内符号化の場合、第2フレームの画素データを示し、第2の符号化モード情報がフレーム間予測の符号化の場合、動き補償された第2フレーム間の差分データを示す情報である。またフレームメモリ405は、選択手段406が出力する直前フレームを保持している。そして動き補償手段404は、フレームメモリ405から直前フレームを読み出し、第2の動きベクトル情報316を用いて動き補償処理を行い、復号映像を生成する。加算器403は第2の復号画素データ315と復号映像を加算する。選択手段406は、第2の復号画素データ315もしくは、加算器403が出力する復号映像のいずれかを選択する。選択手段406は、第2の符号化モード情報314に基づいて選択する。
(実施例2)
次に受信装置500における画像補正について説明する。受信装置500も12セグ放送で発生する伝送エラーを1セグ放送で受信する情報により補正する画像補正である。
[受信装置500の構成図]
図5に、本実施例に係る受信装置500の構成図である。
受信装置500は、第1デコーダ501、第2デコーダ502、補正手段503、補正制御手段504、アンテナ505、復調装置506、復号時刻制御部507、表示装置508から構成される。受信装置500は、第1デコーダ501が第1ビットストリームを復号する時間と、第2デコーダ502が第2ビットストリームを復号する時間を調整する復号時刻制御部507を有する。復号時刻制御部507の有無において、受信装置500は受信装置200と異なる。
<復号時刻制御部507>
第1ビットストリーム509と第2ビットストリーム510は、再生時刻情報511を含んでいる。再生時刻情報511は、第1ビットストリーム509と第2ビットストリーム510による12セグ放送と1セグ放送の再生時刻を示す情報である。
復号時刻制御部507は、再生時刻情報511を用いて、第1ビットストリーム509と第2ビットストリーム510を同期してそれぞれ、第1デコーダ501と第2デコーダ502に送信する。つまり復号時刻制御部507は第1ビットストリーム509と第2ビットストリーム510の待ち合わせ処理を行う。第1デコーダ501と第2デコーダ502は、同時にそれぞれ第1ビットストリーム501と第2ビットストリーム502を復号する。
これにより補正手段503は、第1デコーダ501から第1の復号情報512、第2デコーダ502から第2の復号情報513を同期して取得することができる。また受信装置500は、再生時刻情報511の替わりに、第1ビットストリーム509と第2ビットストリーム510のシーンチェンジを検出し、同期あわせを行ってもよく、これにより受信装置500は第1デコーダ501と第2デコーダ502の同期あわせを実現することができる。
受信装置500は、アンテナ505を用いて12セグ放送と1セグ放送の符号化データ514を受信する。復調装置507は、アンテナ505が受信した符号化データ514を復調し、第1ビットストリーム509、第2ビットストリーム510を生成する。第1ビットストリーム509は12セグ放送に対応する画像のビット列である。また第2ビットストリーム510は1セグ放送に対応する画像のビット列である。
復号時刻制御部507は、第1ビットストリーム509と第2ビットストリーム510を同期してそれぞれ、第1デコーダ501、第2デコーダ502へ送信する。
第1デコーダ501は、第1ビットストリーム509を受信する。第1デコーダ501は、第1の復号情報512を補正手段503に送信する。第1デコーダ501は、第1の復号状態情報515を補正手段503へ送信する。第1デコーダ501は、補正制手段504へ第1の補正制御情報を送信する。
また第2デコーダ502は第2ビットストリーム510を受信する。第2のデコーダ502は第2の復号情報513へ送信する。第2デコーダ502は第2の復号制御情報517を補正制御手段504に送信する。
また第1ビットストリーム509は、12セグ放送に対応する画像のビット列であり、ISO/IECによるMPEG−2で圧縮された画像のビット列である。そのため第1ビットストリーム509は、動きベクトルを用いて生成される予測画面と対象フレームとの間の予測誤差(差分データ)を符号化したビット列である。同様に第2ビットストリーム510は、1セグ方法に対応する画像のビット列であり、ITU−TのH.264で圧縮された画像のビット列である。そのため第2ビットストリーム510は、動きベクトルを用いて生成される予測画面と対象フレームとの間の予測誤差(差分データ)を符号化したビット列である。
第1デコーダ501は、受信する第1ビットストリーム509を復号し、補正手段503から受信する補正復号情報519を適用して、復号映像520を生成し出力する。表示装置508は第1デコーダ501から受信した復号映像520を画面表示する。
[エラー検出処理のフローチャート]
図6は本実施例に係る可変長復号手段307における伝送エラー検出処理のフローチャートである。
可変長復号手段307は、第1ビットストリーム313を受信すると、ピクチャ処理を開始する。ピクチャ処理はピクチャレイヤにおける処理であり、第1ビットストリーム313に復号エラーがあるか否かを判別する処理である。可変長復号手段307は、1つの画面を16ライン幅でスライスして、さらにそれぞれのスライスを複数のマクロブロック(16画素×16画素の輝度ブロックと2つの8画素×8画素の色差ブロック)に分割する。そして可変長復号手段307は、マクロブロックの輝度ブロックをさらにブロック(8画素×8画素)に分割する。
まず可変長復号手段307は、第1ビットストリーム313を構成するピクチャの復号状態を初期化して「正常」に設定する(S601)。
そして可変長復号手段307は、ピクチャ単位のヘッダ解析を行う(S602)。可変長復号手段307は、ピクチャ単位のヘッダを解析して復号エラーの有無を解析するピクチャを特定する。
可変長復号手段307は、S602で特定したピクチャにおけるスライス単位のヘッダ解析を行う(S603)。可変長復号手段307は、ピクチャを16ライン幅の複数のスライスに分割する。そして可変長復号手段307は、スライス単位でヘッダ解析を行い、復号エラーの有無を解析するスライスを特定する。
可変長復号手段307は、S603で特定したスライスを構成するマクロブロックのデータ解析を行う(S604)。可変長復号手段307が、マクロブロックのデータ解析において、マクロブロックに復号エラーが存在するか否かを判別する(S605)。
可変長復号手段307がマクロブロックに復号エラーがあると判別した場合(S605 YES)、可変長復号手段307は復号状態を「異常」に設定する(S606)。そして可変長復号手段307は、ヘッダ検索を行う(S607)。可変長復号手段307は、ヘッダがスライスヘッダであるか否かを判別する(S610)。可変長復号手段307が、ヘッダがスライスヘッダであると判別する場合(S610 YES)、可変長復号手段307は再びスライス単位のヘッダ解析を行う(S603)。可変長復号手段307が、ヘッダがスライスヘッダでないと判別する場合(S610 NO)、可変長復号手段307はピクチャ処理を終了する。
可変長復号手段307がマクロブロックに復号エラーが存在しないと判別した場合(S605 NO)、可変長復号手段307は復号状態を「正常」のままとする(S608)。そして可変長復号手段307は、次に解析する対象がヘッダであるか否かを判別する(S609)。
可変長復号手段307が、解析する対象がヘッダであると判別する場合(S609 YES)、可変長復号手段307は解析対象がスライスヘッダであるか否かを判別する(S610)。可変長復号手段307が、解析対象がスライスヘッダであると判別する場合(S610 YES)、可変長復号手段307は再びスライス単位のヘッダ解析を行う(S603)。可変長復号手段307が、解析対象がスライスヘッダでないと判別する場合(S610 NO)、可変長復号手段307はピクチャ処理を終了する。また可変長復号手段307が、解析する対象がヘッダでないと判別する場合(S609 NO)、可変長復号手段307はマクロブロック単位のデータ解析を行う(S604)。
[画像補正処理のフローチャート]
図7は本実施例に係る受信装置200が行う画像補正処理のフローチャートである。
まず第1デコーダ201は、第1ビットストリーム209の復号処理を開始する(S701)。第2デコーダ202は、第2ビットストリーム210の復号処理を開始する(S702)。第1デコーダ201は補正制御手段204へ第1の復号制御情報213を送信する(S703)。第2デコーダ202は補正制御手段204へ第2の復号制御情報215を送信する(S704)。補正制御手段203は、第1の復号制御情報213と第2の復号制御情報215から補正制御情報217を生成する(S705)。
第1デコーダ201は、補正手段203へ第1の復号情報212を送信する(S706)。第2デコーダ202は、補正手段203へ第2の復号情報214を送信する(S707)。
補正手段203は、補正制御情報217を用いて、第2デコーダ202からの第2の復号情報214のスケーリングと復号画素データの対応付け処理する(S708)。第1デコーダ201は復号状態情報211を補正手段203へ送信する(S709)。補正手段203は復号情報211を参照して、第1ビットストリーム209の復号状態が「正常」であるか否かを判別する(S710)。
補正手段203が、復号状態が「正常」であると判別する場合(S710 YES)、補正手段203は第1の復号情報212を補正復号情報216として第1デコーダ201へ送信する。補正手段203が、復号状態が「異常」であると判別する場合(S710 NO)、補正手段203はスケーリングした第2の復号情報を補正復号情報216として第1デコーダ201へ送信する(S712)。
そして第1デコーダ201は復号映像218を出力する(S713)。
[補正手段800の構成図]
図8は本実施例に係る補正手段800の構成図である。
補正手段800は、ブロック対応付け手段801、スケーリング手段802、スケーリング手段803、選択手段804、符号化モード書き換え手段805、復号画素データ置き換え手段806、動きベクトル置き換え手段807から構成されている。
補正制御手段(図示せず)は、第1の復号制御情報と第2の復号制御情報を受信すると、ブロック位置対応情報808、スケーリング情報809、810を生成する。ここで補正制御手段は、第1の復号制御情報は第1デコーダより受信し、第2の復号制御情報は第2デコーダより受信する。
そして補正制御手段はブロック位置対応情報808をブロック位置対応付け手段801へ送信する。また補正制御手段204はスケーリング情報809をスケーリング手段802へ、スケーリング情報810をスケーリング手段803へ送信する。
ブロック位置対応情報808は、第1フレームのマクロブロック位置と第2フレームのマクロブロック位置との対応関係を示す情報である。スケーリング情報809は、第1フレームと第2フレームの解像度の違いを補間する情報を示す情報である。さらにスケーリング情報810は、第1フレームの動きベクトルと第2フレームの動きベクトルとの縮尺の違いを補間する情報である。
そしてブロック対応付け手段801は、第2デコーダから受信する第2の符号化モード情報811を受信する。ブロック対応付け手段801は、ブロック位置対応情報808を用いて、第1フレームのマクロブロック位置と第2フレームのマクロブロック位置とを対応付け、第1フレームにおけるマクロブロック位置に対応する第2フレームのマクロブロック位置を特定する。そしてブロック対応付け手段801は、第2の符号化モード情報811より、特定した第2フレームのマクロブロック位置における符号化モードを特定する。特定した第2フレームの符号化モードは、第1フレームにおけるマクロブロック位置に対応する第2フレームのマクロブロック位置における符号化モードである。そしてブロック対応付け手段801は、符号化モード書き換え手段805と選択手段804へ特定した第2フレームのマクロブロック位置と特定した第2フレームのマクロブロック位置に対応する符号化モードを送信する。
符号化モード書き換え手段805は、第1デコーダの可変長復号手段から第1の符号化モード情報812を受信する。符号化モード書き換え手段812は、ブロック対応付け手段801より、第1フレームのマクロブロック位置に対応する第2フレームの符号化モードを受信する。これより符号化モード書き換え手段805は、第1の符号化モード情報812のうち、伝送エラーの発生したマクロブロック位置の符号化モードを対応する第2フレームの符号化モードに置き換えて符号化モード情報813を第1デコーダの選択手段に出力する。符号化モード情報813は、第1フレーム内符号化のモードであるか、第1フレーム間予測の符号化のモードであるかを示す情報であり、伝送エラーの発生したマクロブロック位置は第2フレームの符号化モードである情報である。
スケーリング手段802は、第2デコーダから第2の復号画素データ814を受信する。またスケーリング手段802は、補正制御手段からスケーリング情報809を受信する。スケーリング手段802は、スケーリング情報809より、第2フレームのマクロブロック位置を示すパラメータを第1フレームのマクロブロック位置を示すパラメータに換算して、第2フレームのマクロブロック位置を第1フレームのマクロブロック位置に拡大し、スケーリング情報815を生成する。スケーリング手段802は、スケーリング復号画素情報815を選択手段804へ送信する。
そして復号画素データ置き換え手段305は、第1デコーダのIQ/IDCTから第1の復号画素データ816を受信する。復号画素データ置き換え手段806は、選択手段804よりスケーリング復号画素情報817を受信する。復号画素データ置き換え手段806は、スケーリング復号画素情報817と第1の復号画素データ816を用いて、第1フレームで伝送エラーの発生したマクロブロックを第2フレームの拡大したマクロブロックに置き換え、復号画素データ818を生成する。復号画素データ置き換え手段806は、復号画素データ818を第1デコーダが有する選択手段と加算器に送信する。ここで選択手段804は、符号化モードがフレーム間の場合は、スケーリング情報817として「0」を復号画素データ置き換え手段806に送信する。また選択手段804は、符号化モードがフレーム内の場合は、スケーリング情報817として「スケーリング情報815」を復号画素置き換え手段806に送信する。
スケーリング手段803は、第2デコーダから第2の動きベクトル情報819を受信する。またスケーリング手段803は、補正制御手段からスケーリング情報810を受信する。スケーリング手段803は、第2の動きベクトル情報819を用いて、第1フレームのマクロブロック位置に対応する動きベクトルを補正するための第2フレームのマクロブロック位置の動きベクトルを特定する。スケーリング手段803は、特定した第2フレームのマクロブロック位置の動きベクトルを第1フレームのマクロブロック位置の動きベクトルの縮尺に拡大し、動きベクトル情報330を生成する。スケーリング手段303は、動きベクトル情報820を動きベクトル置き換え手段807へ送信する。
動きベクトル置き換え手段807は、第1デコーダの可変長復号手段から第1の動きベクトル情報821を受信する。また動きベクトル置き換え手段807は、スケーリング手段803から動きベクトル情報820を受信する。そして動きベクトル置き換え手段807は、動きベクトル情報822を第1デコーダの動き補償手段へ送信する。動きベクトル情報822は、第1の動きベクトル情報821のうち、伝送エラーの発生したマクロブロック位置の動きベクトルを、対応する第2フレームの動きベクトルを第1フレームのマクロブロック位置の動きベクトルの縮尺に拡大した動きベクトルに置き換えた情報である。補正手段800は、動きベクトル情報821から伝送エラー箇所(誤り領域)が動画部分か静止部分かを判定することを特徴とする。より具体的には動きベクトル置き換え手段807が動きベクトル情報821から伝送エラーの発生したマクロブロックが動画部分か静止部分かを判定する。補正手段800が伝送エラーの発生した箇所が静止部分であると判定する場合には、第1デコーダはフレームメモリに格納するエラー発生前の第1フレームを出力する。補正手段800は第1フレーム間の差分データを第2フレーム間の差分データで補正するので、第1フレームの画質の劣化は差分データ分だけであり、補正による画質劣化を抑制することができる。
そして第1デコーダは符号化モード書き換え手段805、復号画素データ置き換え手段806、動きベクトル置き換え手段807に復号状態情報823、824、825を送信する。これにより符号化モード書き換え手段805、復号画素データ置き換え手段806、動きベクトル置き換え手段807は、第1フレームにおける伝送エラーの有無、エラー発生位置を特定することができる。
本実施例におけるサイマル放送の受信装置200、500または補正手段800を搭載する受信装置は、12セグ放送を1セグ放送で補正して出力するものであるが、1セグ放送を12セグ放送で補正する構成であっても構わない。
次に、以上述べた受信装置の実施形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない
(付記1) サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信装置において、
該サイマル放送を受信する受信部と、
該第一のビットストリームから該第一動画像を復号する第一の復号部と、
該第二のビットストリームから該第二動画像を復号する第二の復号部と、
該第一動画像における誤り領域を検出する誤り検出部と、
該誤り領域に応じて、該第二動画像を構成する連続するフレーム間の差分データを用いて作成した補正データを該第一の復号部に与える補正部と、
からなることを特徴とする受信装置。
(付記2) 付記1に記載の受信装置において、
該第一の復号部は、該補正部から受信した補正データに基づいて、該第一ビットストリームの復号に際し再生される連続するフレーム間の差分データを補正することを特徴とする受信装置。
(付記3) 付記1に記載の受信装置において、
該補正部は、該誤り領域に応じて、該第一動画像と該第二画像との解像度の違いをスケーリングして該補正データを作成することを特徴とする受信装置。
(付記4) 付記1に記載の受信装置において、
該補正部は、該誤り領域に応じて、該第一動画像と該第二画像との動きベクトル解像度の違いをスケーリングして該補正データを作成することを特徴とする受信装置。
(付記5) 付記1に記載の受信装置において、
該補正部は、該誤り領域が動画部分か静止部分かを判定し、該誤り領域が静止部分である場合、第一の復号部は誤り発生前のフレームを出力することを特徴とする受信装置。
(付記6) サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信方法において、
該サイマル放送を受信する受信手順と、
該第一のビットストリームから該第一動画像を復号する第一の復号手順と、
該第二のビットストリームから該第二動画像を復号する第二の復号手順と、
該第一フレームにおける誤り領域を検出する検出手順と、
該誤り領域に応じて、該第一動画像を構成する連続するフレーム間の差分データを該第二動画像を構成する第二フレーム間の差分データで補正する補正手順と、
からなることを特徴とする受信方法。
(付記7) 付記1に記載の受信装置において、
該補正部は、該誤り領域に応じて、該第一動画像の画素データを該第二動画像の画素データで補正する補正データを該第一の復号部に与えることを特徴とする受信装置。
(付記8) 付記1に記載の受信装置において、
該補正手段は、該誤り領域に応じて、該第一動画像を構成する第一フレームに対応する符号化モードを該第二動画像を構成する第二フレームに対応する符号化モードに書き換えて作成した補正データを該第一の復号部に与えることを特徴とする受信装置。
(付記9) 付記8に記載の受信装置において、
該第一の復号部は、該誤り領域を検出した該第一動画像を構成するフレームの直前フレームであって、動き補償した該直前フレームに対して、該第二画像を構成する連続するフレーム間の差分データで補正した該第一動画像を構成する連続するフレーム間の差分データを合成すること特徴とする受信装置。
(付記10) 付記9に記載の受信装置において、
該第一の復号部は、該直前フレームを保持することを特徴とする受信装置。
(付記11) 付記10に記載の受信装置において、
該補正部は、該第一動画像と該第二動画像を構成するマクロブロックを対応付けることを特徴とする受信装置。
(付記12) 付記7に記載の受信装置において、
該補正部は、該第二動画像の動きベクトルを該第一動画像の動きベクトルの縮尺に合わせた動きベクトルを生成することを特徴とする受信装置。
(付記13) 付記7に記載の受信装置において、
該補正部は、該第二動画像のマクロブロック位置を該第一動画像のマクロブロック位置の縮尺に合わせることを特徴とする受信装置。
(付記14) 付記7に記載の受信装置は、
該第一の復号部から該第一動画像の画面サイズ情報を受信し、該第二の復号部から該第二動画像の画面サイズ情報を受信する補正制御部をさらに有することを特徴とする受信装置。
(付記15) 付記14に記載の受信装置において、
補正制御部は、該第一動画像の画面サイズ情報と該第二動画像の画面サイズ情報に応じて、該第一動画像と該第二動画像の拡大率を補正制御情報として生成することを特徴とする受信装置。
本実施例に係る画像補正システム100の構成図である。 本実施例に係る受信装置200の構成図である。 本実施例に係る補正手段203の構成図である。 本実施例に係る第1デコーダ201の構成図である。 本実施例に係る受信装置500の構成図である。 本実施例に係る可変長復号手段307における伝送エラー検出処理のフローチャートである。 本実施例に係る受信装置200が行う画像補正処理のフローチャートである。 本実施例に補正手段800の構成図である。
符号の説明
100…画像補正システム
101…第1デコーダ
102…第2デコーダ
103…補正手段
104…補正制御手段
200…受信装置
201…第1デコーダ
202…第2デコーダ
203…補正手段
204…補正制御手段
205…アンテナ
206…復調装置
207…表示装置
301…ブロック対応付け手段
302…スケーリング手段
303…スケーリング手段
304…符号化モード書き換え手段
305…復号画素データ置き換え手段
306…動きベクトル置き換え手段
307…可変長復号手段
308…IQ/IDCT
309…加算器
310…動き補償手段
311…フレームメモリ
312…選択手段

Claims (6)

  1. サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信装置において、
    該サイマル放送を受信する受信部と、
    該第一のビットストリームから該第一動画像を復号する第一の復号部と、
    該第二のビットストリームから該第二動画像を復号する第二の復号部と、
    該第一動画像における誤り領域を検出する誤り検出部と、
    該誤り領域に応じて、該第二動画像を構成する連続するフレーム間の差分データを用いて作成した補正データを該第一の復号部に与える補正部と、
    からなることを特徴とする受信装置。
  2. 請求項1に記載の受信装置において、
    該第一の復号部は、該補正部から受信した補正データに基づいて、該第一ビットストリームの復号に際し再生される連続するフレーム間の差分データを補正することを特徴とする受信装置。
  3. 請求項1に記載の受信装置において、
    該補正部は、該誤り領域に応じて、該第一動画像と該第二画像との解像度の違いをスケーリングして該補正データを作成することを特徴とする受信装置。
  4. 請求項1に記載の受信装置において、
    該補正部は、該誤り領域に応じて、該第一動画像と該第二画像との動きベクトル解像度の違いをスケーリングして該補正データを作成することを特徴とする受信装置。
  5. 請求項1に記載の受信装置において、
    該補正部は、該誤り領域が動画部分か静止部分かを判定し、該誤り領域が静止部分である場合、第一の復号部は誤り発生前のフレームを出力することを特徴とする受信装置。
  6. サイマル放送する第一動画像を符号化した第一のビットストリームと第二動画像を符号化した第二のビットストリームを受信する受信方法において、
    該サイマル放送を受信する受信手順と、
    該第一のビットストリームから該第一動画像を復号する第一の復号手順と、
    該第二のビットストリームから該第二動画像を復号する第二の復号手順と、
    該第一フレームにおける誤り領域を検出する検出手順と、
    該誤り領域に応じて、該第一動画像を構成する連続するフレーム間の差分データを該第二動画像を構成する第二フレーム間の差分データで補正する補正手順と、
    からなることを特徴とする受信方法。
JP2007272521A 2007-10-19 2007-10-19 受信装置、受信方法 Pending JP2009100424A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007272521A JP2009100424A (ja) 2007-10-19 2007-10-19 受信装置、受信方法
US12/248,965 US20090103603A1 (en) 2007-10-19 2008-10-10 Simulcast reproducing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007272521A JP2009100424A (ja) 2007-10-19 2007-10-19 受信装置、受信方法

Publications (1)

Publication Number Publication Date
JP2009100424A true JP2009100424A (ja) 2009-05-07

Family

ID=40563444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007272521A Pending JP2009100424A (ja) 2007-10-19 2007-10-19 受信装置、受信方法

Country Status (2)

Country Link
US (1) US20090103603A1 (ja)
JP (1) JP2009100424A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091478A (ja) * 2009-10-20 2011-05-06 Panasonic Corp 記録装置及び再生装置
US8879872B2 (en) 2011-06-27 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for restoring resolution of multi-view image

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5174623B2 (ja) * 2008-11-07 2013-04-03 パナソニック株式会社 放送受信回路および放送受信装置
US8532174B2 (en) * 2009-01-27 2013-09-10 General Instrument Corporation Method and apparatus for distributing video program material
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
JP6653522B2 (ja) * 2015-02-04 2020-02-26 シナプティクス・ジャパン合同会社 表示装置、表示パネルドライバ、表示パネルの駆動方法
JP6686541B2 (ja) * 2016-03-04 2020-04-22 日本電気株式会社 情報処理システム
CN107948745A (zh) * 2017-12-04 2018-04-20 常州浩瀚万康纳米材料有限公司 智能化机顶盒

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260606A (ja) * 2004-03-11 2005-09-22 Fujitsu Ten Ltd デジタル放送受信装置
WO2007058113A1 (ja) * 2005-11-21 2007-05-24 Pioneer Corporation デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム並びにデジタル放送受信装置
WO2007063890A1 (ja) * 2005-12-02 2007-06-07 Pioneer Corporation デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム、並びにデジタル放送受信装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367544A (en) * 1989-05-04 1994-11-22 Northern Telecom Limited Data stream frame synchronisation
US5144424A (en) * 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
US5717725A (en) * 1992-03-12 1998-02-10 Ntp Incorporated System for wireless transmission and receiving of information through a computer bus interface and method of operation
US6931058B1 (en) * 2000-05-19 2005-08-16 Scientific-Atlanta, Inc. Method and apparatus for the compression and/or transport and/or decompression of a digital signal
US6785564B1 (en) * 1999-08-31 2004-08-31 Broadcom Corporation Method and apparatus for latency reduction in low power two way communications equipment applications in hybrid fiber coax plants
JP2001145113A (ja) * 1999-11-17 2001-05-25 Sony Corp 画像情報変換装置及び方法
JP2005507620A (ja) * 2001-10-29 2005-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 圧縮
KR100447200B1 (ko) * 2002-07-30 2004-09-04 엘지전자 주식회사 Pvr 지원 비디오 디코딩 시스템
US7797691B2 (en) * 2004-01-09 2010-09-14 Imec System and method for automatic parallelization of sequential code
JP4887750B2 (ja) * 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム
US20080040759A1 (en) * 2006-03-06 2008-02-14 George Geeyaw She System And Method For Establishing And Maintaining Synchronization Of Isochronous Audio And Video Information Streams in Wireless Multimedia Applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260606A (ja) * 2004-03-11 2005-09-22 Fujitsu Ten Ltd デジタル放送受信装置
WO2007058113A1 (ja) * 2005-11-21 2007-05-24 Pioneer Corporation デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム並びにデジタル放送受信装置
WO2007063890A1 (ja) * 2005-12-02 2007-06-07 Pioneer Corporation デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム、並びにデジタル放送受信装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091478A (ja) * 2009-10-20 2011-05-06 Panasonic Corp 記録装置及び再生装置
US8879872B2 (en) 2011-06-27 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for restoring resolution of multi-view image

Also Published As

Publication number Publication date
US20090103603A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
US9888258B2 (en) Image coding and decoding system for removal of coding distortion by comparing pixel difference values with thresholds
US9900614B2 (en) Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
US8953678B2 (en) Moving picture coding apparatus
JP4615958B2 (ja) デジタル放送の送出装置、受信装置およびデジタル放送システム
US9462296B2 (en) Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP3630474B2 (ja) 動画像伝送システム及び動画像伝送装置
JP2009100424A (ja) 受信装置、受信方法
US20100046623A1 (en) Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP2009296300A (ja) 画像符号化装置および方法
US6040875A (en) Method to compensate for a fade in a digital video input sequence
JPWO2013191193A1 (ja) 映像圧縮伝送システム
US20060120449A1 (en) Method of coding and decoding moving picture
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
JP4383844B2 (ja) 映像表示装置及び映像表示装置の制御方法
JP4672734B2 (ja) デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム、並びにデジタル放送受信装置
JP2002016924A (ja) トランスコーダ装置およびトランスコード方法
KR100557047B1 (ko) 동영상 디코딩 방법
US20120263240A1 (en) Video encoding and decoding device
JP2004007736A (ja) 画像復号化装置、画像復号化方法
HK1141377B (en) A method and system for processing signal
JP2012004660A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
JP2016213698A (ja) 映像符号化装置及びプログラム
JP2006086863A (ja) 画像ストリーム変換装置
HK1149661A (en) Method and system for signal process
KR20050026110A (ko) 동영상 디코더 및 디코딩 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113