JP2012109720A - 画像変換装置、画像再生装置及び画像変換方法 - Google Patents

画像変換装置、画像再生装置及び画像変換方法 Download PDF

Info

Publication number
JP2012109720A
JP2012109720A JP2010255841A JP2010255841A JP2012109720A JP 2012109720 A JP2012109720 A JP 2012109720A JP 2010255841 A JP2010255841 A JP 2010255841A JP 2010255841 A JP2010255841 A JP 2010255841A JP 2012109720 A JP2012109720 A JP 2012109720A
Authority
JP
Japan
Prior art keywords
image
decoded
unit
decoding
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010255841A
Other languages
English (en)
Inventor
Kenji Kobayashi
健二 小林
Masahiro Wakamori
正浩 若森
Hiroyuki Ueyasu
博之 上保
Akira Kubota
亮 久保田
Takayuki Suzuki
孝幸 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010255841A priority Critical patent/JP2012109720A/ja
Priority to US13/296,614 priority patent/US20120128072A1/en
Publication of JP2012109720A publication Critical patent/JP2012109720A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】逆方向再生時でも、即応性が高く、高速に逆方向再生ができるとともに、データ量も必要以上に大きくならない画像再生装置を提供すること。
【解決手段】エンコーダ側イントラ予測部141において、画像ストリームのGOPの初端と終端のデコード画像をトランスコードし、エンコーダ側動き補償部142において、画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードする。これにより、GOPの構成枚数を全てデコードするのではなく、1枚のみのデコードで所望の逆方向再生ができる。
【選択図】図1

Description

本発明は、デジタル圧縮された画像の変換装置及び再生装置に関し、とくに、巻き戻し再生等の特殊再生を行うときに用いられる技術に関する。
MPEG2やH.264等のデジタル圧縮方式により圧縮された画像を再生する画像再生装置において、逆方向再生(巻き戻し)を行う場合には、再生する画像(ピクチャ)の順序に関わらず、その画像を含むGOP(グループ・オブ・ピクチャ)内のすべてのピクチャ(I、Pピクチャ)を復号しなければならない。そのため、大容量のフレームメモリが必要となるので、一般的に順方向再生に比べ、デジタル圧縮された画像の逆方向再生は比較的困難とされ、これまでに多くの技術が提案されている。
たとえば、復号された画像を再符号化(トランスコード)することにより、元符号化画像のGOPの構成枚数(ピクチャ)を減らし、逆方向再生する際のメモリ容量を削減するものが考案されている(特許文献1)。
特開平11−252507号公報(段落[0041]−[0063]、第2図等)
しかしながら、再符号化(トランスコード)することにより、元符号化画像のGOPの構成枚数を減らしたとしても、GOPの構成枚数分(ピクチャが2枚の場合は2回)復号する必要が有る。このため、監視用途で想定される16CH(CH:チャネル)等の多画面での逆方向再生時においては、依然として必要な即応性を得られないと言う課題があった。
また、この即応性の課題を回避するために、GOP構成をさらに減らし、GOPの構成枚数を1枚(Iピクチャ)とした場合には、時間相関を用いるPピクチャを使用した時と比べて、画像のデータ量が大きくなると言う別の課題が生じる。
本発明は、かかる点に鑑みてなされたものであり、監視用途等の多画面での逆方向再生時に好適な、即応性が高く、高速に逆方向再生ができるとともに、データ量も必要以上に大きくならない、画像変換装置、画像再生装置及び画像変換方法を提供することを目的とする。
本発明の画像変換装置の一つの態様は、デジタル圧縮された画像ストリームをトランスコードする画像変換装置であって、前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測手段と、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測手段と、を有し、前記イントラ予測手段は、前記画像ストリームのGOPの初端と終端のデコード画像を、トランスコードし、前記動き補償予測手段は、前記画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードする。
本発明の画像変換装置の画像再生装置の一つの態様は、デジタル圧縮された画像ストリームのデコード画像を生成するデコード装置と、前記デコード画像をトランスコードする画像変換装置と、を有する画像再生装置であって、順方向再生する場合は、トランスコードされた画像を前記デコード装置により順次デコード再生するとともに、GOPの終端は動き補償予測画像をデコード再生し、逆方向再生する場合は、トランスコードされた画像のうち、GOP終端はイントラ予測画像を用いて前記デコード装置によりデコード再生する。
本発明の画像変換方法の一つの態様は、デジタル圧縮された画像ストリームをトランスコードする画像変換方法であって、前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測ステップと、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測ステップと、を含み、前記イントラ予測ステップは、前記画像ストリームのGOPの初端と終端のデコード画像を、トランスコードし、前記動き補償予測ステップは、前記画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードする。
さらに、本発明の画像再生装置の一つの態様は、ネットワーク経由の複数のカメラからのデジタル圧縮された画像ストリームを取り込むインターフェースと、デジタル圧縮された画像ストリームのデコードを行い、デコード画像を生成するデコード装置と、前記デコード装置より出力されるデコード画像を格納する画像格納メモリと、前記画像格納メモリ中のデコード画像を入力とし、トランスコードストリームを生成するトランスコード装置と、前記インターフェースより入力されるデジタル圧縮された画像ストリーム及び、前記トランスコード装置でトランスコードされたトランスコードストリームを保存する記憶媒体と、前記画像格納メモリに格納されている画像データを合成し、監視モニタへ出力する画像合成部とを有する。ここで、前記デコード装置は、内部に前記インターフェース及び前記記憶媒体より入力されたデジタル圧縮された画像ストリームのエントロピー復号化を行うエントロピー復号化部と、前記エントロピー復号化部より入力されるエントロピー符号化を解かれたデータの逆量子化を行うデコーダ側逆量子化部と、前記デコーダ側逆量子化部で逆量子化されたデータの逆DCTを行うデコーダ側逆DCT部と、前記デコーダ側逆DCT部で逆DCTされたデータより、イントラ予測か動き保障予測かのどちらの予測モードが使われているかを判断するデコーダ側予測方法判断部と、前記デコーダ側予測方法判断部でイントラ予測データだと判断された場合、イントラ予測を用いてマクロブロック(MB)単位での画像デコードを行うデコーダ側イントラ予測部と、前記デコーダ側予測方法判断部で動き保障予測を使用したデータだと判断された場合、MB単位での画像のデコードを行い、差分データを算出するデコーダ側動き保障部と、現在のデコード方向により、前記動き保障部で算出した差分データの正負の符号の反転を行うかを判定し、デコーダ側参照画像格納メモリ内に格納されている参照デコード画像を用いて、動き保障有りのデータのMB単位での画像デコードを行う符号反転部と、前記デコーダ側イントラ予測部及び前記符号反転部において、MB単位でデコードされたデコード画像を格納し、前記デコーダ側イントラ予測部でのデコード済みの周辺MB情報への入力としても使用するデコード画像生成部と、1フレーム内の全てのMBデコードが終わった時点で、前記デコード画像生成部にあるデコード画像を格納する前記デコーダ側参照画像格納メモリとを有する。また、前記トランスコード装置は、前記画像格納メモリから入力されるデコード画像と、ローカルデコード画像生成部より得られるローカルデコード画像とを用いてイントラ予測画像を生成するエンコーダ側イントラ予測部と、前記画像格納メモリから入力されるデコード画像と、エンコーダ側参照画像格納メモリより得られる参照デコード画像より、動き保障演算を行うエンコーダ側動き保障部と、前記エンコーダ側イントラ予測部及び、前記エンコーダ側動き保障部より得られる予測画像を比較し、予測モードを決定するエンコーダ側予測方法判断部と、前記エンコーダ側予測方法判断部で判断された予測方法を用いて、画像の差分情報を生成する差分情報生成部と、前記差分情報生成部より得られた差分情報のDCT変換を行うDCT部と、前記DCT部より得られたデータの量子化を行う量子化部と、前記量子化部より得られたデータのエントロピー符号化を行い、トランスコードストリーム合成部へ転送するエントロピー符号化部と、前記量子化部より得られたデータの逆量子化を行うエンコーダ側逆量子化部と、前記エンコーダ側逆量子化部より出力されたデータの逆DCT処理を行うエンコーダ側逆DCT部と、前記エンコーダ側逆DCT処理部より出力されたデータ及びエンコーダ側参照画像格納メモリ中の参照デコード画像を用いて、マクロブロック単位でローカルデコード画像を生成するローカルデコード画像生成部と、前記ローカルデコード画像生成部でデコードされたMB単位の画像データが、1フレーム分揃った段階で、参照用のデコード画像を格納する前記エンコーダ側参照画像格納メモリとを有する。
この構成により、デジタル圧縮された動画像符号化に対してトランスコーディングを行い記憶媒体にトランスコーディングされたデータを格納しておくことで、逆方向の再生を行う際にも、順方向に全ての参照ピクチャをデコードすること無く、逆方向に順にデコードが可能なデータ構造を提供し、順方向のデコード動作に影響を与えること無く、逆方向に高速にデコードを行うことが可能となる。
本発明によれば、デジタル圧縮された動画像に対し、動きベクトルを0としたトランスコード(再符号化)を行うことにより、逆方向再生をある任意の時点から行う際に、従来のようにGOPの構成画像の枚数分を必ず復号するのではなく、直前の画像1枚のみを参照画像とし、その画像を用いた1枚分のデコード(復号化)のみで、所望の逆方向再生ができる。
これにより、監視用途で想定されるような16CH等の多画面再生においても、再生方向が任意の時点から順方向、逆方向どちらに切替えられても、1枚のみのデコードで所望方向の再生を実現できる。
本発明の実施形態1における画像再生装置の構成を示すブロック図 画像再生装置の各ブロックにおける画像ストリームを示す図 デコード装置の動作を示すフローチャート トランスコード装置の動作(GOP終端以外の時の動作)を示すフローチャート トランスコード装置の動作(GOP終端時の動作)を示すフローチャート トランスコードストリームの例を示す図
以下、本発明の実施の形態について図面を参照して詳細に説明する。
[1]全体構成
図1は、本発明の実施形態に係る画像再生装置の構成を示すブロック図である。画像再生装置100は、逆方向再生等の特殊再生を行うものである。
図において、画像再生装置100は、大きく分けて、インターフェース101と、デコード装置120と、画像格納メモリ103と、トランスコード装置140と、記憶媒体102と、画像合成部104と、を有する。
インターフェース101は、ネットワーク111経由で複数のカメラ110a〜dからのデジタル圧縮された画像ストリームを取り込む。デコード装置120は、画像ストリームのデコードを行い、デコード画像を生成する。画像格納メモリ103は、デコード装置120より出力されるデコード画像を格納する。トランスコード装置140は、画像格納メモリ103に格納されているデコード画像を入力とし、トランスコードストリームを生成する。記憶媒体102は、インターフェース101より入力される画像ストリーム及びトランスコード装置140でトランスコードされたトランスコードストリームを保存する着脱可能な記録媒体である。画像合成部104は、画像格納メモリ103に格納されている複数のカメラの画像データを合成し、監視モニタ112へ出力する。
デコード装置120は、エントロピー復号化部121と、デコーダ側逆量子化部122と、デコーダ側逆DCT部123と、デコーダ側予測方法判断部124と、デコーダ側イントラ予測部125と、デコーダ側動き補償部126と、符号反転部127と、デコード画像生成部128と、デコーダ側参照画像格納メモリ129と、を有する。
エントロピー復号化部121は、インターフェース101及び記憶媒体102より入力されたデジタル圧縮された画像ストリームのエントロピー復号化を行う。デコーダ側逆量子化部122は、エントロピー復号化部121より入力されるエントロピー符号化を解かれたデータの逆量子化を行う。デコーダ側逆DCT部123は、デコーダ側逆量子化部122で逆量子化されたデータの逆DCTを行う。デコーダ側予測方法判断部124は、デコーダ側逆DCT部123で逆DCTされたデータから、イントラ予測か動き補償のどちらの予測モードが使われているかを判断する。デコーダ側イントラ予測部125は、デコーダ側予測方法判断部124でイントラ予測データと判断された場合には、イントラ予測を用いてマクロブロック(MB)単位での画像デコードを行う。デコーダ側動き補償部126は、デコーダ側予測方法判断部124で動き補償を使用したデータだと判断された場合には、動き補償有りのデータの、MB単位での画像のデコードを行い、差分データを算出する。符号反転部127は、現在のデコードの方向により、動き補償部126で算出した差分データの正負の符号の反転を行うか否かを判定し、デコーダ側参照画像格納メモリ129に格納されているデコード画像情報を用いて、動き補償有りのデータのMB単位でのデコードを行う。デコード画像生成部128は、デコーダ側イントラ予測部125及び符号反転部127において、MB単位でデコードされたデコード画像を格納するとともに、デコーダ側イントラ予測部125に対しデコード済周辺MB情報をフィードバックする。デコーダ側参照画像格納メモリ129は、1フレーム内の全てのMB単位での画像のデコードが終わった時点で、デコード画像生成部128にあるデコード画像を格納する。
トランスコード装置140は、エンコーダ側イントラ予測部141と、エンコーダ側動き補償部142と、エンコーダ側予測方法判断部143と、差分情報生成部144と、DCT部145と、量子化部146と、エントロピー符号化部147と、エンコーダ側逆量子化部148と、エンコーダ側逆DCT部149と、ローカルデコード画像生成部150と、エンコーダ側参照画像格納メモリ151と、を有する。
エンコーダ側イントラ予測部141は、画像格納メモリ103から入力されるデコード画像と、ローカルデコード画像生成部150より得られるローカルデコード画像と、を用いてイントラ予測画像を生成する。エンコーダ側動き補償部142は、画像格納メモリ103のデコード画像と、エンコーダ側参照画像格納メモリ151より得られる参照ローカルデコード画像と、を用いて動き補償演算を行う。エンコーダ側予測方法判断部143は、エンコーダ側イントラ予測部141及びエンコーダ側動き補償部142より得られる予測画像を比較し、予測モードを決定する。差分情報生成部144は、エンコーダ側予測方法判断部143で判断された予測方法を用いて、画像の差分情報を生成する。DCT部145は、差分情報生成部144より得られた差分情報のDCT変換を行う。量子化部146は、エンコーダ側DCT部145より得られたデータの量子化を行う。エントロピー符号化部147は、量子化部146より得られたデータのエントロピー符号化を行い、符号化データをトランスコードストリーム合成部152へ転送する。エンコーダ側逆量子化部148は、量子化部146より得られたデータの逆量子化を行う。エンコーダ側逆DCT部149は、エンコーダ側逆量子化部148より出力されたデータの逆DCT処理を行う。ローカルデコード画像生成部150は、エンコーダ側逆DCT処理部149より出力されたデータ及びエンコーダ側参照画像格納メモリ151中の参照デコード画像を用いて、MB単位でローカルデコード画像を生成する。エンコーダ側参照画像格納メモリ151は、ローカルデコード画像生成部150でデコードされたMB単位の画像データが1フレーム分揃った段階で、参照用のローカルデコード画像を格納する。
[2]動作
以上のように構成された画像再生装置100について、図面を用いて、その動作を説明する。
図2は、画像再生装置100の各ブロックにおける画像ストリームを示す図であり、例えば、カメラ110aより出力されるデジタル圧縮された入力ストリーム200、入力された画像ストリームをデコード装置120(デコード画像生成部128)によりデコードして得られたデコード画像群210、及びトランスコード装置140によりデコード画像群210を再エンコードして得られた(トランスコードストリーム合成部152から出力される)トランスコードストリーム220を示している。
入力ストリーム200において、IはIピクチャ、PはPピクチャの画像を示している。また、図において、左からカメラによりエンコードされた順に画像ストリームがフレーム順に並んでいる。通常のGOPではBピクチャも含まれているが、監視用途では、Bピクチャを使わないケースが一般的であるため、ここでは、Bピクチャを使わない画像ストリームを用いている。なお、Iピクチャ及びPピクチャで構成されたGOPでは、エンコードされた順番がモニタでの表示順となる。カメラ110aより出力された画像ストリームは、蓄積の為、インターフェース101を経由して記憶媒体102に送られて保存される一方、デコード装置120にも送られる。
次に、デコード装置120によるデコード画像群の生成、及びトランスコード装置140によるトランスコードストリームの生成について説明する。
(1)デコード画像群の生成について:
図3は、デコード装置120の動作フローを示すフローチャートである。ここでは、時刻T1の画像201から時刻T6の画像206までのデコードを行い、デコード画像211からデコード画像216までのデコード画像群を生成する過程を、フローチャートを用いて説明する。
<Iピクチャの画像301のデコード>
デコード装置120は、記憶媒体102より、時刻T1の画像ストリームである画像201(Iピクチャ)を入力すると(S301)、エントロピー復号化部121で画像201のエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像201の全マクロブロック(MB)のデコード処理が終了するまで繰り返される(R303)。
次に、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。すなわち、イントラ符号化されたマクロブロックであるか否か判断する。ここで、動き補償を使用していればS307に遷移し、動き補償を使用しておらずイントラ予測を使用している場合はS308に遷移する。ここで、画像201はIピクチャであるため、全てのMBでS308へ遷移することになる。そして、デコーダ側イントラ予測部125において、デコード画像生成部128からフィードバックされる既にデコードしたMB情報を周辺情報として使用しイントラ予測を行い、デコードを行う(S308)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまで、デコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺デコード情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像211が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像211を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する(S315)。
<Pピクチャの画像202のデコード>
次に、画像202(Pピクチャ)のデコード画像を生成する過程をフローチャートにしたがって説明する。
デコード装置120は、記憶媒体102より、時刻T2の画像ストリームである画像202(Pピクチャ)を入力すると(S301)、エントロピー復号化部121で画像202のエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像202の全マクロブロック(MB)のデコード処理が終了するまで繰り返される(R303)。
次に、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き保障を使用しているかどうかを判断する(B306)。すなわち、イントラ符号化されたマクロブロックであるか否か判断する。ここで、動き補償を使用していればS307に遷移し、動き補償を使用しておらずイントラ予測を使用している場合はS308に遷移する。ここでは、画像202はPピクチャであるため、MB単位でS307かS308のどちらかに遷移することになる。そして、デコーダ側動き補償部126において、MB単位で動き補償データの処理を行い、画像の差分情報を取得する(S307)。また、デコーダ側イントラ予測部125において、デコード画像生成部128からフィードバックされる既にデコードしたMB情報を周辺情報として使用しイントラ予測を行い、デコードを行う(S308)。
ここで、Pピクチャの場合はIピクチャの場合と違い、符号反転部127において、現在のデコード方向を判定する(B309)。なお、デコード方向とは、デコードの順序が時間的に見て過去から未来方向の場合は順方向、未来から過去方向の場合は逆方向である。そして、順方向のデコードを行っている場合はS310に、逆方向の場合はS311に遷移する。ここでは、時刻T1の画像ストリームである画像201(Iピクチャ)のデコード後、時刻T2の画像ストリームである画像202(Pピクチャ)のデコードを行っているため、順方向デコードであり、S310へと遷移することになる。順方向のデコードであるので、符号反転部127において、デコーダ側動き補償部126より得られた差分情報をそのまま使用し、デコーダ側参照メモリ129に格納されているデコード画像を参照画像として動き補償を行い、デコードを行う(S310)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまで、デコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像212が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像212を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する(S315)。
以上は、時刻T2の画像ストリームである画像202(Pピクチャ)をデコードし、デコード画像212を生成する過程を説明しているが、それ以降のPピクチャの画像203、204、205、206に関しても、同様のデコード処理を行うことで、デコード画像213、214、215、216が生成される。生成されたデコード画像は、一旦画像格納メモリ103に保存され、次段のトランスコード装置140へ送られる。
(2)トランスコードストリームの生成について:
トランスコードストリーム220の生成について説明する。図4はトランスコード装置140の動作(GOP終端以外)を示すフローチャートである。ここでは、時刻T1のデコード画像群の画像211から時刻T6のデコード画像群の画像216を入力とし、GOPの構成枚数を6とした再エンコードによるトランスコードストリーム221の生成過程を、フローチャートを用いて説明する。なお、トランスコードは大きく分けて、(i)イントラ予測のみを用いたIピクチャのトランスコード、(ii)動き補償のみを用いたPピクチャのトランスコード、(iii)イントラ予測と動き補償の双方を用いるGOP終端のトランスコード、の3つに分けられる。以下、それぞれの場合について説明する。
<(i)イントラ予測のみのトランスコードの生成>
トランスコード装置140は、画像格納メモリ103より、時刻T1のデコード画像211を取得する(S401)。なお、以降のS403からS413までの処理ステップは、デコード画像211の全マクロブロック(MB)の処理が終了するまで繰り返される(R402)。
次に、エンコーダ側イントラ予測部141において、デコード画像211とローカルデコード画像生成部150の出力とから周辺情報を取得し、MB毎にイントラ予測画像を生成する(S403)。生成する時刻T1のトランスコードストリームのトランスコード画像231は、Iピクチャであるので、エンコーダ側動き補償部142ではとくに何も行わない(S404)。
次に、エンコーダ側予測方法判断部143において、S403及びS404の各ステップにおける予測画像の生成結果と画像格納メモリ103より入力されたデコード画像211とを比較し、予測誤差をそれぞれ算出する(B405)。そして、算出した予測誤差を比較し、動き補償による予測の誤差の方がイントラ予測による誤差よりも小さい場合にはS406へと遷移し、イントラ予測の誤差の方が動き補償による予測誤差よりも小さい場合にはS407へと遷移する。ここでは、トランスコード画像231はIピクチャであるため、全てのマクロブロックでS407へ遷移することになる。そして、差分情報生成部144において、B405の判定結果を元に画像格納メモリ103より入力されたデコード画像211とイントラ予測画像との差分情報の算出を行い(S407)、DCT部145において、差分情報のDCT演算を行う(S408)。
次に、量子化部146において、DCT部145より出力されたデータに対して量子化演算を行い(S409)、エントロピー符号化部147において、量子化部146より出力されたデータのエントロピー符号化を行い(S410)、トランスコード画像231の1MB分のデータとしてトランスコードストリーム合成部152の図示されないメモリに一旦保存する。また、量子化部146より出力されたデータは、エントロピー符号化部147に入力される一方、エンコーダ側逆量子化部148において逆量子化処理が施される(S411)。エンコーダ側逆DCT部149において、エンコーダ側逆量子化部148より出力されたデータに対して逆DCT演算を行い(S412)、ローカルデコード画像生成部150においてMB単位のデコードデータを1枚の画像データとしてまとめる(S413)。なお、この画像データは上述したイントラ予測(S403)において周辺情報として使用されるため、エンコーダ側イントラ予測部141に出力される。
S403からS413までの処理ステップが、画像中の全MBに対して終了した際にループ処理を抜ける(R414)。画像中の全MBに対して終了した後は、ローカルデコード画像生成部150において1枚分のローカルデコード画像が完成しており、そのローカルデコード画像を次のトランスコード時に使用する参照画像データとして、エンコーダ側参照画像格納メモリ151に格納する(S415)。最後に、トランスコードストリーム合成部152に格納されている、MB毎のトランスコード画像を1つにまとめ、トランスコードストリームのトランスコード画像231(Iピクチャ)を生成する(S416)。生成されたトランスコード画像231は記憶媒体102に保存される。
<(ii)動き補償予測のみを用いたトランスコードの生成>
次に、動き補償のみを用いたPピクチャのトランスコードについて説明する。トランスコード装置140は、画像格納メモリ103より時刻T2のデコード画像212を取得する(S401)。なお、以降のS403からS413までの処理をステップは、デコード画像212の全マクロブロック(MB)の処理が終了するまで繰り返される(S402)。
次に、生成する時刻T3のトランスコードストリームのトランスコード画像232は、動き補償予測のみを用いたPピクチャであるため、エンコーダ側イントラ予測部141ではとくに何も行わない(S403)。エンコーダ側動き補償部142において、時刻T2のデコード画像212を画像格納メモリ103から取得し、エンコーダ側参照画像格納メモリ151から参照画像を取得し、MB毎に動き補償による予測画像を生成する(S404)。ただし、本実施形態の動き補償の算出方法は、動きベクトル(MV)をゼロとし、時間として直前の画像のみを使用する。
次に、エンコーダ側予測方法判断部143において、S403及びS404の各ステップにおける予測画像の生成結果と画像格納メモリ103より入力されたデコード画像212とを比較し、予測誤差をそれぞれ算出する(B405)。そして、算出した予測誤差を比較し、動き補償による予測の誤差の方がイントラ予測による誤差よりも小さい場合にはS406へと遷移し、イントラ予測の誤差の方が動き補償による誤差よりも小さい場合にはS407へと遷移する。ここでは、トランスコード画像232は動き補償予測のみを用いたPピクチャであるため、全てのMBでS406へ遷移することになる。そして、差分情報生成部144において、B405の判定結果を元に画像格納メモリ103より入力されたデコード画像212と、動きベクトル(MV)をゼロとし、時間として直前のT1の参照画像(デコード画像211)のみを使用した動き補償による予測結果と、の差分情報の算出を行う(S406)。
次に、DCT部145において、差分情報のDCT演算を行い(S408)、量子化部146において、DCT部145より出力されたデータに対して量子化演算を行い(S409)、エントロピー符号化部147において、量子化部146より出力されたデータに対してエントロピー符号化を行い(S410)、符号化結果をトランスコード画像232の1MB分のデータとして、トランスコードストリーム合成部152の図示されない格納メモリに一旦保存する。また、量子化部146より出力されたデータは、エントロピー符号化部147に入力される一方、エンコーダ側逆量子化部148において、逆量子化処理が施される(S411)。エンコーダ側逆DCT部149において、エンコーダ側逆量子化部148より出力されたデータに対して逆DCT演算を行い(S412)、ローカルデコード画像生成部150において、MB単位のデコードデータを1枚の画像データとしてまとめる(S413)。
S403からS413までの処理ステップが画像中の全MBに対して終了した際に、ループ処理を抜ける(R414)。画像中の全MBに対して終了した際には、ローカルデコード画像生成部150において1枚分のローカルデコード画像が完成しており、そのローカルデコード画像を次のトランスコード時に使用する参照画像として、エンコーダ側参照画像格納メモリ151に格納する(S415)。最後に、トランスコードストリーム合成部152に格納されている、MB毎のトランスコード画像を1つにまとめ、トランスコード画像232(Pピクチャ)を生成する(S416)。生成されたトランスコード画像232は記憶媒体102に保存される。
以上は、時刻T2のデコード画像群であるデコード画像212(Pピクチャ)をトランスコードし、トランスコード画像232を生成する過程を説明しているが、時刻T3、時刻T4、時刻T5の時刻のPピクチャのトランスコード画像233、234、235の生成に関しても処理の内容は同様である。
<(iii)GOP終端のトランスコードの生成>
次に、イントラ予測と動き補償の双方を用いるGOP終端のトランスコードについて説明する。図5はトランスコード装置140の動作(GOP終端時)を示すフローチャートである。
トランスコード装置140は、画像格納メモリ103より、時刻T6のデコード画像216を取得する(S501)。なお、以降のS503からS510までの処理ステップは、デコード画像216の全マクロブロック(MB)の処理が終了するまで繰り返され、トランスコードストリームのトランスコード画像236b(Iピクチャ)が生成される。
まず、エンコーダ側イントラ予測部141において、ローカルデコード画像生成部150より既にエンコード済みの情報である周辺情報を取得し、MB毎にイントラ予測画像を生成する(S503)。差分情報生成部144において、画像格納メモリ103より入力されたデコード画像216とS503で得たイントラ予測結果とを用いて、差分情報の算出を行い(S504)、DCT部145において、差分情報のDCT演算を行う(S505)。
次に、量子化部146において、DCT部145より出力されたデータに対して量子化演算を行い(S506)、エントロピー符号化部147において、量子化部146より出力されたデータに対してエントロピー符号化を行い(S507)、符号化結果をトランスコード画像235bの1MB分のデータとして、トランスコードストリーム合成部152の図示されない格納メモリに一旦保存する。また、量子化部146より出力されたデータは、エントロピー符号化部147に入力される一方、エンコーダ側逆量子化部148において、逆量子化処理が施される(S508)。エンコーダ側逆DCT部149において、エンコーダ側逆量子化部148より出力されたデータに対して逆DCT演算を行い(S509)、ローカルデコード画像生成部150において、MB単位のデコードデータを1枚の画像データとしてまとめる(S510)。このデータは、上述したS503のイントラ予測において、周辺情報として使用される。
S503からS510までの処理ステップが画像中の全MBに対して終了した際に、ループ処理を抜ける(R511)。この時点で、トランスコードストリーム合成部152に格納されているMB毎のトランスコード画像は1枚にまとめられ、Iピクチャのトランスコード画像236bが生成されている事となる。
また、以降のS513からS519までの処理ステップも、デコード画像216の全マクロブロック(MB)の処理が終了するまで繰り返される(R512)。
まず、エンコーダ側動き補償部142において、時刻T6のデコード画像216を画像格納メモリ103から取得し、エンコーダ側参照画像格納メモリ151から参照画像を取得し、MB毎に動き補償による予測画像を生成する(S513)。ただし、動き補償の算出方法は、動きベクトル(MV)をゼロとし、エンコーダ側参照画像格納メモリ151に格納されている、時間として直前の時刻T5のローカルデコード画像のみを参照画像として使用する。
そして、差分情報生成部144において、画像格納メモリ103より入力されたデコード画像216と、動きベクトル(MV)をゼロとし、時間として直前の時刻T5の参照画像(デコード画像215)のみを使用した動き補償による予測結果と、の差分情報の算出を行う(S514)。
次に、DCT部145において、差分情報のDCT演算を行い(S515)、量子化部146において、DCT部145より出力されたデータに対して量子化演算を行い(S516)、エントロピー符号化部147において、量子化部146より出力されたデータに対してエントロピー符号化を行い(S517)、符号化結果をトランスコード画像236aの1MB分のデータとして、トランスコードストリーム合成部152の図示されない格納メモリに一旦保存する。最後に、トランスコードストリーム合成部152にMB単位で格納されているPピクチャのトランスコード画像をまとめ、トランスコード画像236a(Pピクチャ)とするとともに、同じくMB単位で格納されているIピクチャのトランスコード画像をまとめ、トランスコード画像236bとし、更にトランスコード画像236aと236bとを1つの画像に合成し、画像236を生成する(S519)。
なお、合成のベースは、Pピクチャのトランスコード画像236aとし、Iピクチャのトランスコード画像236bは、H.264等で規定されるユーザー定義の拡張領域にある、通常のデコードでは使用されない領域に格納する。合成された画像236は記憶媒体102に保存される。
(3)順方向の再生(デコード)について:
続いて、記憶媒体102に保存したトランスコードストリーム221の順方向の再生について説明する。
<Iピクチャのトランスコード画像231の順方向再生>
図6はトランスコードストリームの例を示す図であり、以下、図1、3、6を用いて、トランスコード画像231の順方向再生(デコード)について説明する。
デコード装置120には、記憶媒体102より、時刻T1のIピクチャのトランスコード画像231が入力される(S301)。エントロピー復号化部121は、トランスコード画像231のエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像231の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。
次に、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像231はIピクチャであるため、全てのMBでS308へ遷移することになる。そして、デコーダ側イントラ予測部125において、デコード画像生成部128からフィードバックされる既にデコードしたMB情報を周辺情報として使用してイントラ予測を行い、デコードを行う(S308)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまでデコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBの処理で終了し、デコード画像611が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像611を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する(S315)。画像格納メモリ103に送られた画像は、画像合成部104を介して監視モニタ112へ出力され、再生表示される。
<Pピクチャのトランスコード画像232の順方向再生>
次に、トランスコード画像202の順方向再生(デコード)について説明する。
デコード装置120には、記憶媒体102より、時刻T2のPピクチャのトランスコード画像232が入力される(S301)。エントロピー復号化部121は、トランスコード画像232に対してエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像232の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。
次に、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像232は全て動き補償予測を用いて生成したPピクチャであるため、全てのMBでS307へと遷移する。そして、デコーダ側動き補償部126において、MB単位で動き補償データの処理を行い、画像の差分情報を取得する(S307)。
また、符号反転部127において、現在のデコード方向を判断する(B309)。デコード方向とは、デコード順序が時間的に見て、過去から未来方向へ行っている場合は順方向、未来から過去方向へ行っている場合は逆方向である。そして、時間的に順方向のデコードを行っている場合はS310に、時間的に逆方向のデコードを行っている場合はS311に遷移する。
トランスコード画像232については、時刻T1のIピクチャのトランスコード画像231をデコードした後、時刻T2のPピクチャのトランスコード画像232のデコードを行っているため順方向デコードであり、S310へと遷移することになる。順方向のデコードであるので、符号反転部127において、動き補償部126より得られた差分情報を符号を反転することなくそのまま使用し、デコーダ側参照メモリ129に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う(S310)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまでデコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像612が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像612を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する(S315)。
以上は、時刻T2のPピクチャのトランスコード画像232をデコードし、Pピクチャのデコード画像612を生成する過程を説明しているが、それ以降の時刻T3〜T5のPピクチャのトランスコード画像233〜235に関しても、同様の処理を行うことで、順方向のデコード画像613〜615を得られる。
<GOP終端のトランスコード画像236の順方向再生>
次に、GOP終端のトランスコード画像236の順方向再生(デコード)について説明する。
デコード装置120には、記憶媒体102より、時刻T6のトランスコード画像236が入力される(S301)。エントロピー復号化部121は、トランスコード画像236に対してエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、トランスコード画像236の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。また、順方向デコードにおけるデコード対象は236aのみであり、ユーザー定義の拡張領域に格納している236bは、この時点で破棄する。
デコード装置120は、まず、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像236aはPピクチャであり、トランスコード時にイントラ予測は使用していないため、全てのMBでS307へと遷移する。そして、デコーダ側動き補償部126において、MB単位で動き補償データの処理を行い、画像の差分情報を取得する(S307)。
また、符号反転部127において、現在のデコード方向を判断する(B309)。トランスコード画像236については、時刻T5のPピクチャのトランスコード画像235のデコードを行った後であるため、順方向デコードであり、S310へと遷移することになる。順方向のデコードであるため、符号反転部127において、動き補償部126より得られた差分情報を符号を反転することなくそのまま使用し、デコーダ側参照メモリ129に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う(S310)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまで、デコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像616が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像616を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送し、トランスコードストリーム221の全ての順方向デコードを完了する。画像格納メモリ103に送られた画像は、画像合成部104を介して監視モニタ112へ出力され(S315)、再生表示される。
(4)逆方向の再生(デコード)について:
続いて、記憶媒体102に保存したトランスコードストリーム221の逆方向の再生について説明する。逆方向再生(デコード)のため、トランスコードストリーム221の中のデコード順序は、時刻T6のトランスコード画像236が最初となり、時刻T1のトランスコード画像231が最後のデコードとなる。
なお、時刻T6のトランスコード画像236は、時刻T6のデコード画像216のイントラ予測のトランスコード画像236bと、時刻T5と時刻T6のデコード画像215、216の差分情報でもある動き補償予測を用いたトランスコード画像236aと、の2つの情報を含んでおり、トランスコード画像236b、236aの順番でデコードすることで、時刻T6のデコード画像626と、時刻T5のデコード画像625とが得られる。
<GOP終端のトランスコード画像236の逆方向再生(1回目)>
デコード装置120には、記憶媒体102より、時刻T6のトランスコード画像236が入力される(S301)。エントロピー復号化部121は、トランスコード画像236に対してエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像236の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。
また、逆方向再生(デコード)の1回目のデコード対象は、ユーザー定義の拡張領域に格納しているイントラ予測のトランスコード画像236bであり、通常デコードに使用する動き補償予測を用いたトランスコード画像236aは、この時点では使用しない。
デコード装置120は、まず、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像236bはイントラ予測を用いたIピクチャであるため、全てのMBでS308へ遷移する。そして、デコーダ側イントラ予測部125において、デコード画像生成部128からフィードバックされる既にデコードしたMB情報を周辺情報として使用してイントラ予測を行い、デコードを行う(S308)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまでデコード画像生成部128に一時的に保存される。デコード画像生成部128に一時的に保存された画像は、上述したようにS308の処理において、デコード対象のMBの周辺情報として使用される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像626が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像626を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する。画像格納メモリ103に送られた画像は、画像合成部104に送られる。画像格納メモリ103に送られた画像は、画像合成部104に送られ、監視モニタ120へ出力され(S315)、再生表示される。
<GOP終端のトランスコード画像236の逆方向再生(2回目)>
デコード装置120には、記憶媒体102より、時刻T6のトランスコード画像236が入力される(S301)。エントロピー復号化部121は、トランスコード画像236に対してエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像236の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。
また、逆方向デコードの2回目のデコード対象は、動き補償予測を用いたトランスコード画像236aであり、ユーザー定義の拡張領域に格納しているイントラ予測のトランスコード画像236bは、上述するように既にデコード済みであるため使用しない。
デコード装置120は、まず、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で、逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像236aは動き補償予測のみを用いたPピクチャであるため、全てのMBでS307へ遷移する。そして、デコーダ側動き補償部126において、MB単位で動き補償データの処理を行い、画像の差分情報を取得する(S307)。ここで、差分を計算する画像は、デコーダ側参照画像格納メモリ129に格納されている、トランスコード画像236bのデコード画像626である。
次に、符号反転部127において、現在のデコード方向を判断する(B309)。そして、時間的に順方向のデコードを行っている場合はS310に、時間的に逆方向のデコードを行っている場合はS311に遷移する。トランスコード画像236aについては、時刻T6のIピクチャのトランスコード画像236bのデコードを行い、時刻T5のデコード画像625を生成するため、逆方向デコードであり、S311へと遷移することになる。逆方向のデコードであるため、符号反転部127において、動き補償部126より得られた差分情報の正負の符号を反転して使用し、デコーダ側参照メモリ129に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う(S311)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまで、デコード画像生成部128に一時的に保存される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像625が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像625を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する。画像格納メモリ103に送られた画像は、画像合成部104を介して監視モニタ112へ出力され(S315)、再生表示される。
<Pピクチャのトランスコード画像235の逆方向再生>
次に、デコード装置120には、記憶媒体102より、時刻T5のトランスコード画像235が入力される(S301)。エントロピー復号化部121は、トランスコード画像235に対してエントロピー復号化を行う(S302)。なお、以降のS304からS312までの処理ステップは、画像235の全マクロブロック(MB)の処理が終了するまで繰り返される(R303)。
デコード装置120は、まず、デコーダ側逆量子化部122で、エントロピー復号化されたデータの逆量子化処理をMB単位で行い(S304)、デコーダ側逆DCT部123で,逆量子化されたデータの逆DCT処理を行うことにより、画像データの差分情報をMB単位で生成する(S305)。
生成した差分情報を用いて、デコーダ側予測方法判断部124において画像の情報を解析し、MB単位で動き補償を使用しているかどうかを判断する(B306)。ここで、イントラ予測を使用しておらず、動き補償を使用していればS307に遷移し、イントラ予測を使用している場合はS308に遷移する。ここでは、画像235は動き補償予測のみを用いたPピクチャであるため、全てのMBでS307へ遷移する。そして、デコーダ側動き補償部126において、MB単位で動き補償の処理を行い、画像の差分情報を取得する(S307)。ここで、差分を計算する画像は、デコーダ側参照画像格納メモリ129に格納されている、トランスコード画像235のデコード画像626である。
次に、符号反転部127において、現在のデコード方向を判断する(B309)。トランスコード画像235については、時刻T6のPピクチャのトランスコード画像236aのデコードを行い、時刻T4のデコード画像624を生成するため、逆方向デコードであり、S311へと遷移することになる。逆方向のデコードであるため、符号反転部127において、動き補償部126より得られた差分情報の正負の符号を反転して使用し、デコーダ側参照画像格納メモリ129に格納されているデコード画像を参照画像として動き補償の処理を行い、MBデータのデコードを行う(S311)。
デコードされた画像は、画像中の全てのMBのデコードが完了するまで、デコード画像生成部128に一時的に保存される(S312)。S304からS312までの処理ステップが画像中の全MBに対して終了し、デコード画像625が生成された後、ループ処理を抜ける(R313)。最後に、デコード画像生成部128で生成したデコード画像624を、デコーダ側参照画像格納メモリ129へ格納するとともに(S314)、画像格納メモリ103に転送する(S315)。画像格納メモリ103に送られた画像は、画像合成部104に送られる。
以上は、時刻T5のPピクチャのトランスコード画像235をデコードし、時刻T4のPピクチャのデコード画像624を生成する過程を説明しているが、それ以降の時刻T4のPピクチャのトランスコード画像234、時刻T3のトランスコード画像233に関しても、同様の処理を行うことで、デコード画像623、622を得られる。なお、時刻T2のPピクチャのデコード画像622は、逆方向のデコードには使用しない。
<Iピクチャのトランスコード画像231の逆方向再生>
デコード画像621の生成手順は、トランスコード画像231の順方向デコードと全く同じである。すなわち、デコード画像621はデコード画像611と同じものである。
以上は、順方向のデコードと逆方向のデコードで説明を分けたが、例えば、順方向デコードで時刻T4のデコード画像614を基準として考えた場合には、時刻T4と時刻T5の差分情報であるトランスコード画像235を用いて順方向デコードを行えば時刻T5のデコード画像615を得られ、時刻T3と時刻T4の差分情報であるトランスコード画像234を用いて逆方向デコードを行えば時刻T3のデコード画像615を得られる。つまり、ある時刻のデコード画像に対して、現在のGOP構成に関係なく、1回のデコード処理のみで、時刻的に1つ前の画像や1つ後の画像のデコードを得ることができる。
[3]実施の形態の効果
以上のように、本実施形態によれば、エンコーダ側イントラ予測部141において、画像ストリームのGOPの初端と終端のデコード画像をトランスコードし、エンコーダ側動き補償部142において、画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードしたことにより、逆方向再生(デコード)をある時点から行う際に、時間相関を用いたPピクチャを含んだGOP構成であっても、GOPの構成枚数分デコードすること無く、直前の画像1枚のみを参照画像とし、その画像を用いた1枚分のデコードのみで所望の逆方向再生(デコード)ができる。すなわち、デコード再生方向がある時点から順方向、逆方向どちらに切替えられても、1枚のみのデコードで所望方向の再生を順方向のデコード動作に影響を与えることなく実現できる。
[4]他の実施の形態
なお、本実施形態では、入力されるストリームが1つの例で説明したが、その他の任意の数のストリームが入力される場合についても、同様に実施可能であることはいうまでもない。また、入力ストリーム200をBピクチャを含まないGOP構成の例で説明したが、Bピクチャを含む一般的なGOP構成についても同様に実施可能である。また、トランスコードストリーム生成開始位置を時刻T1のIピクチャのデコード画像211とした例について説明したが、その他の任意の開始時刻についても同様に実施可能である。また、トランスコードストリームのGOP構成枚数を6枚とした例について説明したが、その他の任意のGOP構成枚数についても同様に実施可能である。
本発明は、上述の実施形態において示された形態に限定されず、この明細書の記載、並びに周知の技術に基づいて、当業者がその構成や動作の一部分に変更を加える、もしくは応用することも可能であることはいうまでもない。
本発明にかかる画像変換装置、画像再生装置及び画像変換方法は、逆方向の再生を行う際に、予め順方向に全ての参照画像をデコードする必要がなく、逆方向の順にデコードが可能であり、順方向、逆方向ともに高速な再生(デコード)ができるという効果を有し、巻き戻し再生等の特殊再生を行う画像再生装置に適用して有用である。
100 画像再生装置
102 記憶媒体
103 画像格納メモリ
104 画像合成部
120 デコード装置
121 エントロピー復号化部
122 デコーダ側逆量子化部
123 デコーダ側逆DCT部
124 デコーダ側予測方法判断部
125 デコーダ側イントラ予測部
126 デコーダ側動き補償部
127 符号反転部
128 デコード画像生成部
129 デコーダ側参照画像格納メモリ
140 トランスコード装置
141 エンコーダ側イントラ予測部
142 エンコーダ側動き補償部
143 エンコーダ側予測方法判断部
144 差分情報生成部
145 DCT部
146 量子化部
147 エントロピー符号化部
148 エンコーダ側逆量子化部
149 エンコーダ側逆DCT部
150 ローカルデコード画像生成部
151 エンコーダ側参照画像格納メモリ
152 トランスコードストリーム合成部

Claims (4)

  1. デジタル圧縮された画像ストリームをトランスコードする画像変換装置であって、
    前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測手段と、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測手段と、を有し、
    前記イントラ予測手段は、前記画像ストリームのGOPの初端と終端のデコード画像を、トランスコードし、
    前記動き補償予測手段は、前記画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードする、
    画像変換装置。
  2. デジタル圧縮がH.264で行われたものであり、
    画像ストリームのGOPの終端のデコード画像をトランスコードした動き補償予測画像は、H.264の拡張領域に格納し、前記画像ストリームのGOPの終端以外のデコード画像をトランスコードしたイントラ予測画像及び動き補償予測画像は、H.264のデコード領域に格納する、
    請求項1記載の画像変換装置。
  3. デジタル圧縮された画像ストリームのデコード画像を生成するデコード装置と、前記デコード画像をトランスコードする請求項1または2記載の画像変換装置と、を有する画像再生装置であって、
    順方向再生する場合は、トランスコードされた画像を前記デコード装置により順次デコード再生するとともに、GOPの終端は動き補償予測画像をデコード再生し、
    逆方向再生する場合は、トランスコードされた画像のうち、GOP終端はイントラ予測画像を用いて前記デコード装置によりデコード再生する、
    画像再生装置。
  4. デジタル圧縮された画像ストリームをトランスコードする画像変換方法であって、
    前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測ステップと、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測ステップと、を含み、
    前記イントラ予測ステップは、前記画像ストリームのGOPの初端と終端のデコード画像を、トランスコードし、
    前記動き補償予測ステップは、前記画像ストリームのGOPの初端以外のデコード画像を、動きベクトルを0とし、直前の参照画像のみを用いてトランスコードする、
    画像変換方法。

JP2010255841A 2010-11-16 2010-11-16 画像変換装置、画像再生装置及び画像変換方法 Pending JP2012109720A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010255841A JP2012109720A (ja) 2010-11-16 2010-11-16 画像変換装置、画像再生装置及び画像変換方法
US13/296,614 US20120128072A1 (en) 2010-11-16 2011-11-15 Image converting apparatus, image reproducing apparatus, and image converting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010255841A JP2012109720A (ja) 2010-11-16 2010-11-16 画像変換装置、画像再生装置及び画像変換方法

Publications (1)

Publication Number Publication Date
JP2012109720A true JP2012109720A (ja) 2012-06-07

Family

ID=46064361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010255841A Pending JP2012109720A (ja) 2010-11-16 2010-11-16 画像変換装置、画像再生装置及び画像変換方法

Country Status (2)

Country Link
US (1) US20120128072A1 (ja)
JP (1) JP2012109720A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179271A1 (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719308C2 (ru) 2011-04-12 2020-04-17 Сан Пэтент Траст Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений
ES2673180T3 (es) 2011-05-24 2018-06-20 Velos Media International Limited Procedimiento de codificación de imágenes, aparato de codificación de imágenes, procedimiento de decodificación de imágenes, aparato de decodificación de imágenes y aparato de codificación/decodificación de imágenes
BR112013027344B1 (pt) 2011-05-27 2022-05-10 Sun Patent Trust Método de codificação de imagem, aparelho de codificação de imagem, método de decodificação de imagem, aparelho de decodificação de imagem, e aparelho de codificação e decodificação de imagem
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
KR101889582B1 (ko) 2011-05-31 2018-08-20 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 동화상 복호화 장치, 및, 동화상 부호화 복호화 장치
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US9456214B2 (en) 2011-08-03 2016-09-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CN103858428B (zh) 2011-10-19 2018-07-03 太阳专利托管公司 图像编码方法、图像编码装置、图像解码方法及图像解码装置
CN117692651A (zh) * 2018-10-08 2024-03-12 华为技术有限公司 用于译码块的几何划分块的帧间预测的装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141447A (en) * 1996-11-21 2000-10-31 C-Cube Microsystems, Inc. Compressed video transcoder
US6222979B1 (en) * 1997-02-18 2001-04-24 Thomson Consumer Electronics Memory control in trick play mode
US20030099293A1 (en) * 1999-12-15 2003-05-29 Shigeyuki Okada Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
US6621866B1 (en) * 2000-01-28 2003-09-16 Thomson Licensing S.A. Method for inserting a visual element into an MPEG bit stream
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
US7245821B2 (en) * 2001-05-31 2007-07-17 Sanyo Electric Co., Ltd. Image processing using shared frame memory
US8311095B2 (en) * 2002-07-17 2012-11-13 Onmobile Global Limited Method and apparatus for transcoding between hybrid video codec bitstreams

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179271A1 (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法
JP2017191984A (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法

Also Published As

Publication number Publication date
US20120128072A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
JP2012109720A (ja) 画像変換装置、画像再生装置及び画像変換方法
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
CN107105277B (zh) 视频解码方法
KR20150003196A (ko) 비디오 랜덤 액세스를 간단하게 하기 위한 제한사항 및 유닛 타입
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
JP2011087195A (ja) 画像処理装置および画像処理方法
CN101188765A (zh) 用于对rgb图像编码和解码的方法和设备
CN1998242A (zh) 编码流记录介质、图像编码装置和图像解码装置
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
JP4767916B2 (ja) 動画像符号化データ変換装置
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP7378035B2 (ja) 変換装置、復号装置、変換方法および復号方法
JP4700992B2 (ja) 画像処理装置
JP2000023096A (ja) データ符号化方法、復号化方法及び装置
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
JP2015106837A (ja) 画像復号装置、画像符号化装置、撮像装置、画像復号方法、画像符号化方法、及びプログラム
JP2005064897A (ja) 動画像圧縮符号化装置
KR101609798B1 (ko) 동영상 판독 장치
JPWO2005101829A1 (ja) 符号化データ復号再生装置