JP2010200357A - トランスコーダ、記録装置及びトランスコード方法 - Google Patents

Abstract

【課題】変換前のストリームに付加されている符号化情報（Ｉｎｔｅｒ／Ｉｎｔｒａ符号化モード）を用いて、使い勝手を向上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供する。
【解決手段】フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動画像ストリームをデコードし、第２の符号化方式でエンコードし、フレーム内符号化で符号化されたのかフレーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変えるエンコーダと、を有する。
【選択図】図１

Description

本発明は，動画像ストリームのビットレート変換やフォーマット変換を可能とするトラ
ンスコーダに関する。

トランスコード技術は，変換前の動画像ストリームをデコードし，そのデコード画を入
力画像とし，変換後のフォーマットに再エンコードするのが一般的である。このトランス
コードにおいて，変換前の動画像ストリームから動き探索結果であるベクトルを，エンコ
ード情報で動き情報として利用する事でエンコード側の処理負荷の低減をする技術が特許
文献１に開示されている。

特開2004-23444号公報

しかしながら、上記特許文献１には、符号化されたフレームがIntraで符号化されてい
るのかInterで符号化されているのかの情報を用いて、トランスコードすることについて
の開示がない。

ここで、Interで符号化されている場合には、参照フレームと符号化しようとするフレ
ームには相関性があるため、変換前のストリームの関係と同様の関係で参照フレームを決
定することができる。

一方、Intraで符号化されている場合には、変換前のストリームの関係と同様の関係で
参照フレームを決定してしまうと、相関性があまりないため、効率的な圧縮を行うことが
できない。

また、一度、変換前のストリームの関係と同様の関係であるフレームを検索してから、
別のフレームを検索してしまうと、余分な処理が必要となってしまい、回路規模の小型化
や消費電力を低減に好ましくない。

本発明では、上記課題を解決するため、変換前のストリームに付加されている符号化情
報のInterかIntraのどちらのモードで符号化されているかの情報を用いて、使い勝手を向
上したトランスコードするトランスコーダ、記録装置及びトランスコード方法を提供する
ことを目的とする。

上記目的は、特許請求の範囲に記載の発明により解決される。

本発明により、使い勝手を向上したトランスコーダ、記録装置及びトランスコード方法
を提供できる。

実施例１のブロック図 実施例１の概念図 実施例１の概念図 アンカバードエリアの例 参照メモリ構成例 参照メモリ構成例 実施例１を適用した製品例 参照画像選択の際のフローチャート

以下の実施例では、MPEG2からH.264に変換するものを例として説明する。しかしながら
、これに限らず、フレーム内符号化及びフレーム間予測符号化を行い、フレーム情報とし
て該フレームがフレーム内符号化されているかフレーム間符号化されているかを示す情報
を有する符号化方式で圧縮された動画ストリームをトランスコードする場合に適用できる
。この符号化方式としては、上記MPEG2やH.264以外に、MPEG4、H.261、H.263，SMPTEのVC
1などがある。

なお、H.264（ITE/ISO 14496-10/H.264AVC）などでは，動き補償の際の参照フレームを
既に復号済みのフレームから任意に選択できるマルチフレーム動き補償が可能である。

図１を用いて実施例の構成を説明する。図の上部は，放送や記録媒体等から読み出した
デジタル動画像ストリームを供給するストリーム供給部001，デコードのシンタックスを
解読するVLD部002，周波数変換領域から画像領域への変換を行う逆周波数変換部003，VLD
部でデコードされたベクトル情報で参照画像から動き補償を行い，逆周波数変換部からの
出力と足し合わせて復号画像（出力画像）を作成する動き補償部004を備えたデコーダ（
デコード装置）005を表している。

図の下部は，デコーダから出力された出力画像を入力画像としてバッファに蓄えるバッ
ファ部006，入力画像と既に符号化済みの複数枚の参照画像との間で動き補償を行う事が
可能な動き補償部007，動き補償後の誤差画像を周波数変換する周波数変換部008，規格に
準拠したシンタックスで符号化を行うVLC部009, 符号化画像を後の動き補償の参照画像と
する参照画像保存部である参照メモリ部010を備えたエンコーダ（エンコード装置）011を
示している。

そして，デコーダでは，フレーム毎にフレームヘッダのデコードを行い，マクログロッ
ク（MB）と呼ばれる矩形領域毎にデコード処理を行う。その際に，後述するピクチャの符
号化タイプや，MB単位毎にデコードしたベクトル情報・Intra/Inter情報は，エンコーダ
の動き補償部で使用できる様になっている。

本実施例では，例えば上部デコーダを，動画像符号化の国際標準方式MPEG2（ISO/IEC 1
3813-2, International Standard）に準拠した装置，下部エンコーダをH.264（ISO/IEC 1
4496-10/ITU H.264 AVC）に準拠したエンコーダとして説明する。

図２に，本実施例の概要を示す。上段はトランスコード変換前となるMPEG2ストリーム
のデコードを示し，I,B,Pはそれぞれピクチャの符号化タイプ(picture_coding_type)を示
し，Iは画面内の情報のみを利用した符号化(intra-coded)，Pは過去の情報も利用可能な
符号化(predictive-codec)，Bは過去と未来の情報を利用可能な符号化(bidirectionally-
predictive-codec)を行うタイプを表している。

一方，下段はH.264のエンコードを表している。エンコードの入力画像はMPEG2のデコー
ド画像とし，符号化のタイプは変換元のMPEG2と同様にする。
この様な構成にする事で，H.264エンコードでは，MPEG2に付加されているベクトル情報を
利用することが可能となる。H.264のエンコード時に符号化対象となるMBに対応するMPEG2
のベクトル情報を取得して利用する。この様にする事でH.264のエンコーダでは，計算量
の多い動き探索の回路を削減する事ができ，エンコーダの回路規模を削減する事が可能と
なる。

この際に図３の様にMPEG2のMBがベクトル情報をも持たないIntraで符号化されている場
合には，H.264のエンコーダではベクトル情報はMPEG2から取得できない。この様な場合に
は，H.264のエンコーダ側もIntraとする事もできるが，小回路規模・低消費電力を前提と
した構成での画質の向上を考えるとH.264で新たに以下の探索を行う方法が有効である。

MPEG2のストリームにおいてIntraが選らばれているMBでは，MPEG2が本来参照関係にあ
った参照画像とは相関関係が少なかったと判断し，H.264のエンコーダではその参照フレ
ームは新たに探索を行う対象から除外する。

図８に，参照画像選択の際のフローチャートを示す。H.264でMB毎にエンコードを行う
際に，MPEG2のMB毎のIntraかInterかの情報を参照して（S801），IntraであればMPEG2の
参照関係にあったであろう参照画像はH.264の動き補償の対象から除外し、MPEG2で参照関
係にあった参照画像と異なる参照画像を選択し（S802）、選択した参照画像で動き補償を
行う（S804）。Interであれば，MPEG２のデコード情報を利用してMPEG2で参照関係にあっ
た参照画像を選択し（S803）、H.264の動き補償を行う（S804）。

低消費電力のH.264エンコーダLSIにおいて，マルチフレームエンコードを実現する為に
複数枚の参照画像に対して実際に探索を試みて，効率の良い参照画像を選択する手法は，
回路規模・消費電力の増大を招き実現的ではない。よって、回路規模や消費電力を削減す
るため、H.264エンコーダであっても動き補償を行う参照フレーム数は既存技術であるMPE
G2と同様となる。本実施例では，Intraが選ばれた相関の少ない参照画像は参照の対象か
ら効率の面で除外する事が有効である。

また，MPEG2でIntraが選ばれる場合には，図４の様なアンカバード領域と言われる状況
が考えられる。これは，隠れていた領域が表れた時に生じる現象であり，この表れた領域
が参照画像には無いので時間的な相関が低下してしまう現象である。図では，星が右上か
ら左下に移動する際に隠れていた顔が表れた際に，ピクチャnがn-1を参照している場合に
は相関は少なくなる。しかし，更に過去の画像n-2では，相関の高いものが見つかる可能
性がある。本実施例では，この効果を期待してMPEG2がIntraの時には更に過去の画像を参
照画像として選択する。

この際の参照画像としては，以下の例が考えられる。エンコードでは，図５の様に符号
化した画像を後の参照画像として用いる為，参照メモリに蓄えて置く必要がある。MPEG2
と同様の参照関係では，参照メモリは２面を用いてそこに保存されている画像を用いてエ
ンコードを行う。本実施例ではこのメモリを一面増やして図６の様に参照画像を増やし，
Intraで動き補償情報が得られなかった場合には増やしたことでメモリに記録されること
となったI2フレームから参照を行う。

なお，上記一面増やしたメモリ領域には既にデコードの完了しているフレームであれば
，どのフレームであっても保存しておき参照の対象とする事も可能である。この場合は，
例えばエンコードを行うある単位の（例えばGOP）の始めのフレームを保存しておき，そ
ちらを参照対象とする使用法が考えられる。 更にこのメモリを増やす事で参照をする候
補を増やす事も可能であるが、回路規模の小型の観点からは、図６に示すように参照メモ
リ部は３面を記憶するように構成した方が良い。

またこの参照画像上の探索の範囲は，アンカバード領域を考慮すると必ずしも広範囲に
設定する必要はなく対応する周り数画素を探索の範囲とする事も可能である。

本実施例により相関関係の少ない参照画像を除去する事で低消費電力・小回路規模でマ
ルチエンコードの効果を得る事が可能となる。

次に本実施例を用いた製品実用例をしめす。本実施例は，アナログやデジタルのテレビ
放送を，また既に記録してある番組をHDDやDVDなどの記録媒体に符号化フォーマット，符
号化レートを変えて保存する場合に有効である。図７にデジタル放送を記録媒体に保存す
る際のブロック図を示す。チューナ部701で受信したデジタル放送は，復調部702にて復号
処理が行われ，デマルチプレクサ部703にて動画像情報，音声情報等に分解される。動画
像情報は，デコーダ705でデコード処理が行われ，画像をディスプレイに出力するのであ
ればデコード画像は，表示部710に送られる。デコーダがデコードした再生画像，サブ情
報をエンコーダで取得して，符号化を行いストリームの生成を行う。

また、以上の実施例により、動画像のビットレート変換，フォーマット変換の高画質化
を実現する事ができる。

Claims (14)

1. フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動
   画像ストリームをデコードし、第２の符号化方式でエンコードするトランスコーダであっ
   て、
   入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレ
   ーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、
   前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測
   符号化されたことを示す情報である場合とで、符号化するときに参照するフレームを変え
   るエンコーダと、
   を有することを特徴とするトランスコーダ。
2. 請求項１に記載のトランスコーダであって、
   入力された動画像ストリームは、ある入力F0フレームを参照対象としてフレーム間予測
   符号化かフレーム内符号化を符号化処理単位毎に切り替えながら符号化された第１の入力
   F1フレームと、
   前記第１の入力F1フレームを参照対象としてフレーム間予測符号化かフレーム内符号化を
   符号化処理単位毎に切り替えながら符号化された第２の入力F2フレームと、
   を有し、
   前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム間予測符号化され
   たことを示す情報である場合、
   前記第１の入力F1フレームに対応する第１の出力F1フレーム画像を参照して、前記第２の
   入力F2フレームに対応する第２の出力F2フレームをフレーム間予測符号化し、前記第２の
   入力F2フレームのサブ情報がフレーム内符号化されたことを示す情報である場合、前記入
   力F0フレームに対応する出力F0フレームを参照して、前記第２の出力F2フレームをフレー
   ム間予測符号化する
   ことを特徴とするトランスコーダ。
3. 請求項２に記載のトランスコーダであって、
   前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたこ
   とを示す情報である場合、前記第１の出力F1フレームを参照せずに前記出力F0フレームを
   参照して、前記第２の出力F2フレームをフレーム間予測符号化することを特徴とするトラ
   ンスコーダ。
4. 請求項２に記載のトランスコーダであって、
   前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたこ
   とを示す情報である場合、前記第１の出力F1フレームを参照せずに
   既デコードフレームのいずれかを参照する事を特徴とするトランスコーダ。
5. フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動
   画像ストリームをデコードし、第２の符号化方式でエンコードするトランスコーダであっ
   て、
   入力された動画像ストリームをデコードし、フレーム内符号化で符号化されたのかフレ
   ーム間予測符号化で符号化されたのかを示すサブ情報を検出するデコーダと、
   前記サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間予測
   符号化されたことを示す情報である場合とで、符号化するときの参照するフレームの検索
   順番を変えるエンコーダと、
   を有することを特徴とするトランスコーダ。
6. 請求項５に記載のトランスコーダであって、
   入力された動画像ストリームは、フレーム内符号化されたＩピクチャである入力Ｉフレ
   ームと、前記入力Ｉフレームを参照してフレーム間予測符号化されたＰピクチャである第
   １の入力Ｐフレームと、前記第１の入力Ｐフレームを参照してフレーム間予測符号化され
   たＰピクチャである第２の入力Ｐフレームと、を有し、
   前記エンコーダは、前記第２の入力Ｐフレームのサブ情報がフレーム間予測符号化され
   たことを示す情報である場合、前記第１の入力Ｐフレームに対応する第１の出力Ｐフレー
   ム画像を参照して、前記第２の入力Ｐフレームに対応する第２の出力Ｐフレームをフレー
   ム間予測符号化し、前記第２の入力Ｐフレームのサブ情報がフレーム内符号化されたこと
   を示す情報である場合、前記第１の出力Ｐフレーム以外のフレームから参照するフレーム
   を検索して、前記第２の出力Ｐフレームをフレーム間予測符号化する
   ことを特徴とするトランスコーダ。
7. 請求項２乃至４及び６のいずれかに記載のトランスコーダであって、
   前記入力F0フレームは、フレーム内符号化されたIピクチャである入力Iフレームであり
   、
   前記第1の入力F1フレームは、前記入力Iフレームを参照してフレーム間予測符号化され
   たＰピクチャである第1の入力Ｐフレームであり、
   前記第２の入力F2フレームは、前記第１の入力Ｐフレームを参照してフレーム間予測符
   号化されたＰピクチャである第２の入力Ｐフレームであることを特徴とするトランスコー
   ダ。
8. 請求項１に記載のトランスコーダであって、
   前記エンコーダは、参照のために用いるフレームを３面記憶する参照メモリ部を有する
   ことを特徴とするトランスコーダ。
9. 請求項１に記載のトランスコーダであって、
   前記エンコーダは、参照するフレームを１つしか探索しないことを特徴とするトランス
   コーダ。
10. 請求項１乃至９のいずれかに記載のトランスコーダであって、
    前記サブ情報は、フレーム内のデコード処理単位であるマクロブロック毎に付加されて
    いることを特徴とするトランスコーダ。
11. 請求項１乃至１０のいずれかに記載のトランスコーダであって、
    前記第１の符号化方式はＭＰＥＧ方式であり、前記第２の符号化方式はＨ．２６４方式
    であることを特徴とするトランスコーダ。
12. 請求項２乃至４及び６のいずれかに記載のトランスコーダであって、
    前記エンコーダは、前記第２の入力F2フレームのサブ情報がフレーム内符号化されたこ
    とを示す情報である場合，フレーム間予測符号化する際のベクトル情報検出時の探索範囲
    は探索対象位置の周辺数画素とする事を特徴とするトランスコーダ。
13. 記録媒体に記録され、前記第１の符号化方式で符号化された動画像ストリームを読み出
    す記録媒体インターフェースと、
    前記記録媒体インターフェースで読み出された動画像ストリーム入力される請求項１乃
    至１２のいずれかに記載のトランスコーダと、を有し、
    前記記録媒体インターフェースは、前記トランスコーダから出力され、前記第２の符号
    化方式で符号化された動画像ストリームを記録媒体に記録することを特徴とする記録装置
    。
14. フレーム内符号化及びフレーム間予測符号化を行う第１の符号化方式で符号化された動
    画像ストリームをデコードし、第２の符号化方式でエンコードするトランスコード方法で
    あって、
    デコードするフレームは、フレーム内符号化で符号化されたのかフレーム間予測符号化
    で符号化されたのかを示すサブ情報が付加されており、
    該サブ情報がフレーム内符号化されたことを示す情報である場合と、フレーム間符号化
    されたことを示す情報である場合とで、符号化するときに参照フレームを変えることを特
    徴とするトランスコード方法。

Images