JP6008043B2 - 動画像符号化装置 - Google Patents

Description

本発明は、原画像を画面分割した複数の基準サイズ映像をそれぞれ符号化する動画像符号化装置に関する。

近年、ＨＤＴＶ（High Definition TeleVision）画像（基準サイズ映像）より多い画素数を持つ画像が用いられている。例えば、ＱＨＤＴＶ（Quad High Definition TeleVision）画像はＨＤＴＶ画像の４倍の画素数（３８４０ｘ２１６０画素）を持つ。従って、ＱＨＤＴＶ画像の動画像を伝送するにはＨＤ−ＳＤＩ（Serial Digital Interface）を４系統必要とし、その情報量は１．４８５Ｇｂｐｓ×４となる。このような画素数の多い動画像を記録又は伝送するのに高速大容量の記録再生装置や伝送装置が必要となる。

一般的なＭＰＥＧ（Moving Picture Experts Group）エンコーダで符号化できる画像サイズは最大でＨＤＴＶ画像である。従って、それを上回る動画像を符号化するには何組かのＨＤＴＶサイズに変更し、複数のＭＰＥＧエンコーダを用いて符号化する。例えばＱＨＤＴＶでは４台のＭＰＥＧエンコーダが必要になる。このように圧縮を利用することで、容量が小さく速度が遅い記録再生装置や、狭い帯域や低いビットレートの伝送路でも取り扱うことができる。

日本特開２００４−１２０４９９号公報

従来は、一般的な４Ｋカメラ等から出力される原画像を４分割し、それぞれを符号化していた。しかし、分割した画像の間で画質差が生じ、それらのつなぎ目が分かってしまうという問題があった。

これに対して、画面分割する際に原画像に特殊なマスクをかけてサンプリングすることで、つなぎ目を分からなくする方法が提案されている（例えば、特許文献１参照）。しかし、分割した複数の画像についてサンプリングとは逆のサンプリングをデコーダ側で行う必要があるという問題があった。

本発明は、上述のような課題を解決するためになされたもので、その目的はデコーダ側での特殊な処理を必要とせず、符号化した画像同士のつなぎ目を分からなくすることができる動画像符号化装置を得るものである。

本発明に係る動画像符号化装置は、原画像を画面分割した複数の基準サイズ映像をそれぞれ符号化して符号化データを得る複数の符号化装置を備え、前記複数の符号化装置は、与えられた符号化パラメータに基づいて前記複数の基準サイズ映像のうちの１つを符号化して前記符号化データと、符号化時の前記符号化パラメータと統計値である符号化結果とを得る符号化部と、前記符号化部に前記符号化パラメータを与えて制御する制御部と、自符号化装置の符号化部が符号化した前記符号化データと他の符号化装置の符号化部が符号化した前記符号化データとを多重化して出力する多重化部とをそれぞれ有し、前記複数の符号化装置の１つがマスター装置であり、残りがスレーブ装置であり、前記マスター装置の前記制御部は、全ての前記スレーブ装置の前記符号化結果を取り込み、前記マスター装置自身の前記符号化結果と合わせて、前記複数の符号化データの互いの画質差が低減されるように各符号化装置の符号化部で用いる前記符号化パラメータを決定し、前記複数の符号化装置の間の接続はシリアル接続であり、前記マスター装置から順にシリアル接続された前記複数の符号化装置の最後のスレーブ装置の出力が前記マスター装置に戻され、前記多重化部は、シリアル接続された１つ前の前記符号化装置で多重化された全ての前記符号化データ及び前記符号化結果と、自符号化装置の符号化部が符号化した前記符号化データ及び前記符号化結果とを多重化して出力することを特徴とする。

本発明により、デコーダ側での特殊な処理を必要とせず、符号化した画像同士のつなぎ目を分からなくすることができる。

本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。 本発明の実施の形態２に係る動画像符号化装置を示すブロック図である。

本発明の実施の形態に係る動画像符号化装置について図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。

実施の形態１．
図１は、本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。カメラ１は一般的な４Ｋカメラであり、原画像を４分割して４つの基準サイズ映像ＳＤＩａ〜ＳＤＩｄに画面分割して出力する。基準サイズ映像ＳＤＩａ〜ＳＤＩｄはＨＤＴＶ画像である。なお、カメラ１は、４分割に限らず、原画像を複数の基準サイズ画像に画面分割して出力すればよい。ただし、原画像の画素数は基準サイズ映像の画素数の整数倍に限られる。

基準サイズ映像ＳＤＩａ〜ＳＤＩｄはそれぞれ符号化装置Ａ，Ｂ，Ｃ，Ｄに入力される。各符号化装置は、符号化部２、制御部３、情報ＴＳパケット生成・解析部４、及びＴＳ多重化部５を有する。符号化装置Ａがマスター装置であり、残りの符号化装置Ｂ，Ｃ，Ｄがスレーブ装置である。

符号化部２はＭＰＥＧエンコーダであり、入力された基準サイズ映像を符号化パラメータに基づいて符号化して符号化データと符号化結果を得る。この際に制御部３は符号化部２を制御する。ここで、符号化データはＨ．２６４など映像圧縮規格に準拠した圧縮されたデータである。符号化結果は、符号化時のビットレート、量子化パラメータ平均値、符号量平均値、時刻情報など、符号化パラメータと統計値である。

情報ＴＳパケット生成・解析部４は、任意の情報をＴＳ（Transport Stream）パケット化する機能（情報ＴＳパケット生成機能）と、ＴＳパケットから情報ＴＳパケットを抽出して任意の情報を取得する機能（情報ＴＳパケット解析機能）とを持つ。ＴＳ多重化部５は、自身の装置内の情報ＴＳパケット生成・解析部４から出力されたＴＳと、自身の装置内の符号化部からのＴＳを多重化して出力する。

マスター装置である符号化装置Ａの制御部３は、全てのスレーブ装置の符号化結果を取り込み、マスター装置Ａ自身の符号化結果と合わせて、全ての符号化装置Ａ，Ｂ，Ｃ，Ｄから出力される複数の符号化データの互いの画質差が低減されるように各符号化装置Ａ〜Ｄの符号化部２で用いる符号化パラメータを決定し、スレーブ装置Ｂ，Ｃ，Ｄに指示する。この符号化装置Ａからの指示は、装置Ａから全装置への指示情報と、各装置への個別の指示情報とを有する。

続いて動作を説明する。まず、マスター装置Ａは各符号化装置Ａ〜Ｄの符号化部２で用いる符号化パラメータを含む指示と、マスター装置自身の符号化データとをスレーブ装置Ｂに渡す。スレーブ装置Ｂは、マスター装置Ａの指示から自装置向けの符号化パラメータを取り込み、スレーブ装置Ｂの符号化データ及び符号化結果とマスター装置Ａの符号化データを多重化し、マスター装置Ａからの指示と合わせてスレーブ装置Ｃに渡す。スレーブ装置Ｃは、マスター装置Ａの指示から自装置向けの符号化パラメータを取り込み、スレーブ装置Ｃの符号化データ及び符号化結果とマスター装置Ａ，Ｂの符号化データとスレーブ装置Ｂの符号化結果を多重化し、マスター装置Ａからの指示と合わせてスレーブ装置Ｃに渡す。最後のスレーブ装置Ｄは、マスター装置Ａの指示から自装置向けの符号化パラメータを取り込み、マスター装置Ａ及び自らも含む全スレーブ装置Ｂ〜Ｄの符号化データをデコーダに向けて出力し、かつ自装置の符号化データ及び符号化結果と合わせて多重化してマスター装置Ａに戻す。

ここで符号化パラメータとは、フィルタ強度、量子化マトリクス、ピクチャ構造（ピクチャタイプ等）、ビットレートである。前三者は各装置の符号化結果を基に、例えば全装置の符号化結果平均値から各パラメータを求め全装置で同じ値とする。また、ビットレートについては各装置の符号化結果を基に各装置で個別の値を設定する。具体的には、各装置の複雑さ指標と全装置の複雑さ指標の合計値との比に応じて各装置に与えるビットレートを求める。ここで、複雑さ指標とは符号量と量子化スケールの積である。

分割した画像は互いに異なるため、従来は各符号化装置が異なる符号化パラメータを自ら設定していた。これにより、分割した画像の間で画質差が生じ、それらのつなぎ目が分かってしまっていた。これに対して、本実施の形態では、符号化装置Ａ，Ｂ，Ｃ，Ｄから出力される複数の符号化データの互いの画質差が低減されるように各符号化装置Ａ，Ｂ，Ｃ，Ｄの符号化部２で用いる符号化パラメータを決定するため、各画像の画質が全体として均一になる。この結果、符号化した画像を復号して結合した際に画像同士のつなぎ目を分からなくすることができる。

また、本実施の形態では、原画像を画面分割した複数の基準サイズ映像を符号化する。即ち、先行技術のように原画像に特殊なマスクをかけてサンプリングすることはない。従って、デコーダ側での特殊な処理を必要としない。これにより、一般的なデコーダを使用することができる。

また、本実施の形態では、マスター装置Ａがスレーブ装置Ｂにデータを送信し、スレーブ装置Ｂがスレーブ装置Ｃにデータを送信し、スレーブ装置Ｃがスレーブ装置Ｄにデータを送信し、最後のスレーブ装置Ｄがマスター装置Ａにデータを返す。即ち、各装置の符号化データと符号化結果を合わせたものが順に多重化され、最後にマスター装置に戻される。このように符号化装置Ａ，Ｂ，Ｃ，Ｄの間の接続がシリアル接続であるため、接続数を減らすことができる。

実施の形態２．
図２は、本発明の実施の形態２に係る動画像符号化装置を示すブロック図である。各符号化装置Ａ，Ｂ，Ｃ，Ｄは、符号化前の基準サイズ映像を解析して映像の特徴量抽出を行う映像解析部６を更に有する。具体的には映像解析部６はフレーム探索を行ってフレーム補償ＳＡＤ累算値と動きベクトル累算値を求める。マスター装置Ａの制御部３は、各符号化装置の映像解析部６の解析結果に基づいて各符号化装置の符号化部２による符号化のビットレートを決定する。映像解析部６が符号化部２に対して数フレーム分先行した映像解析を行うことにより、シーンチェンジ等への対応のリアルタイム性が向上する。

Ａ，Ｂ，Ｃ，Ｄ 符号化装置、１ カメラ、２ 符号化部、３ 制御部、４ 情報ＴＳパケット生成・解析部、５ ＴＳ多重化部、６ 映像解析部

Claims (3)

1. 原画像を画面分割した複数の基準サイズ映像をそれぞれ符号化して符号化データを得る複数の符号化装置を備え、
   前記複数の符号化装置は、
   与えられた符号化パラメータに基づいて前記複数の基準サイズ映像のうちの１つを符号化して前記符号化データと、符号化時の前記符号化パラメータと統計値である符号化結果とを得る符号化部と、
   前記符号化部に前記符号化パラメータを与えて制御する制御部と、
   自符号化装置の符号化部が符号化した前記符号化データと他の符号化装置の符号化部が符号化した前記符号化データとを多重化して出力する多重化部とをそれぞれ有し、
   前記複数の符号化装置の１つがマスター装置であり、残りがスレーブ装置であり、
   前記マスター装置の前記制御部は、全ての前記スレーブ装置の前記符号化結果を取り込み、前記マスター装置自身の前記符号化結果と合わせて、前記複数の符号化データの互いの画質差が低減されるように各符号化装置の符号化部で用いる前記符号化パラメータを決定し、
   前記複数の符号化装置の間の接続はシリアル接続であり、
   前記マスター装置から順にシリアル接続された前記複数の符号化装置の最後のスレーブ装置の出力が前記マスター装置に戻され、
   前記多重化部は、シリアル接続された１つ前の前記符号化装置で多重化された全ての前記符号化データ及び前記符号化結果と、自符号化装置の符号化部が符号化した前記符号化データ及び前記符号化結果とを多重化して出力することを特徴とする動画像符号化装置。
2. 前記多重化部は、１つ前の前記符号化装置で多重化された全ての前記符号化データと、自符号化装置の符号化部が符号化した前記符号化データとをそれぞれＴＳパケットに格納して多重化することを特徴とする請求項１に記載の動画像符号化装置。
3. 各符号化装置は符号化前の前記基準サイズ映像を解析する映像解析部を有し、
   前記マスター装置の前記制御部は、前記複数の符号化装置の前記映像解析部の解析結果に基づいて、各符号化装置の前記符号化部で用いる符号化パラメータを決定することを特徴とする請求項１又は２に記載の動画像符号化装置。

Images