JP6146471B2 - 符号化装置、符号化方法、および符号化プログラム - Google Patents

Description

本発明は、符号化装置、符号化方法、および符号化プログラムに関する。

実況中継による映像を配信する動画配信サイトや、駅構内における乗客を監視する監視システム等においては、端末へ映像がリアルタイムに配信される。ここ最近では、映像配信サービスを受けるユーザの要求により、配信映像の高画質化が進んできており、高画質化を実現するため、配信する映像データのデータ量が増加している。

映像を配信するサーバは、配信する映像データおよび音声データを符号化して、多重化と音声データおよび映像データの同期とに使用するデータを、端末へ送信する。この際、受信端末ではバッファに送信された符号化データを一時的に蓄積し、デコーダ蓄積時間が経過したときに符号化データを復号する。

ところが、配信映像の高画質化に伴い、端末でのデコーダ蓄積時間が増えており、遅延時間が増加する原因となっている。デコーダ蓄積時間が増加すると、端末が配信された符号化データを復号するまでの待ち時間が増加することになる。このため、端末側で配信した映像が実際に撮影された映像よりも遅延して表示されることになり、中継映像との同時進行性が損なわれる。

こうした遅延時間の増加は、ユーザの要求に応えられないだけでなく、システムによっては問題となる場合がある。例えば、駅構内における乗客の監視システムにおいて、端末での映像の変化が実際の撮影映像より遅延することによりホームから転落した乗客の発見が遅れる場合がある。このように、リアルタイム映像配信システムにおいては、配信映像の高画質化だけでなく、遅延時間の短縮も求められている。遅延時間は以下の式（１）で計算できる。

遅延時間 ＝ エンコード時間＋ネットワークジッタ吸収時間＋デコーダ蓄積時間＋デコード時間 ・・・（１）

式（１）において、エンコード時間は、配信サーバにおいて配信データを符号化するための時間である。ネットワークジッタ吸収時間は、配信サーバにおいて配信するパケットにデータを格納するための時間である。デコーダ蓄積時間は、受信データをバッファに蓄積してからデコードを開始するまでの時間である。そして、デコード時間は、符号化データを復号するための時間である。遅延時間うち、デコーダ蓄積時間が占める割合が大きく、デコーダ蓄積時間を短くすることが配信映像の低遅延化に寄与する。

特願平０９−２９８７３４号公報 特開２００２−０８４３３９号公報

しかしながら、リアルタイムで配信される映像データをエンコードするためのデコーダ蓄積時間を端末側で把握できないという問題がある。

配信映像に変化が少ない場合、配信サーバは端末に差分データを送信すればよいため、配信するデータ量が少なくて済み、デコーダ蓄積時間を短縮しても配信映像の品質に影響は少ない。ところが、映像が急に変化した場合、映像の変化にエンコードが追従できない場合がある。このとき、デコーダ蓄積時間が小さいと、端末側で映像を再生するためのデータが不足し、配信映像の品質が劣化することがある。特に最近では配信映像の高画質化が進んでいるため、端末側で映像を再生するための映像データのデータ量がより大きくなる傾向がある。

すなわち、配信される映像データに基づいて動画を再生するためのデコーダ蓄積時間に関する情報を、端末が取得できない。このため、端末側で設定されたデコーダ蓄積時間が小さすぎる場合、配信映像の品質が劣化する。一方、デコーダ蓄積時間が大きすぎる場合、配信映像の遅延時間が大きくなる。よって、１つの側面では、本発明は、配信映像の品質の向上および遅延時間の短縮を加味したデコード蓄積時間を、端末側が取得可能とする符号化装置、符号化方法、および符号化プログラムを提供することを目的とする。

１つの態様では、符号化装置は、データを符号化して端末へ送信するときの第１のシステムレートと、端末でデータを再生するレートを示す第２のシステムレートとに基づき、端末が受信した符号化データを蓄積するデコーダ蓄積時間を算出する第１計算部を備える。さらに、符号化装置は、符号化データに、デコーダ蓄積時間の情報を付加して端末へ送信する送信部を備える。

一つの側面として、リアルタイムで配信される映像データに基づいて高品質で遅延なく動画を再生するためのデコーダ蓄積時間を端末側で把握できるという効果を奏する。

図１は、実施例１に係る符号化装置の構成を示す機能ブロック図である。 図２は、各時間におけるシステムレートおよび通常の符号化処理を開始する時期の一例を示す図である。 図３は、各時間におけるシステムレートおよび本実施態様の符号化処理を開始する時期の一例を示す図である。 図４は、受信端末における通常のデコーダ蓄積データ量の推移の一例を示す図である。 図５は、受信端末における本実施態様のデコーダ蓄積データ量の推移の一例を示す図である。 図６は、符号化装置の処理の流れを説明するためのフロー図である。 図７は、符号化装置に係るコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する符号化装置、符号化方法、および符号化プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［符号化装置の機能構成］
実施例１に係る符号化装置の機能構成の一例について説明する。図１は、実施例１に係る符号化装置の構成を示す機能ブロック図である。図１に示すように、この符号化装置１００は、通信Ｉ／Ｆ１１０と、制御部１２０、記憶部１３０とを有する。

記憶部１３０は、符号化装置１００に設定された各パラメータを記憶する。例えば、記憶部１３０は、予め設定されている第１のシステムレート、ビデオレート、オーディオレート、およびデコーダ蓄積時間を記憶する。記憶部１３０は、例えば、ＲＡＭ（Random access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスクや光ディスクなどの記憶装置に対応する。

制御部１２０は、取得部１２１と、第１計算部１２２と、第２計算部１２３と、第１符号化部１２４と、第２符号化部１２５と、送信部１２６とを有する。制御部１２０の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現することができる。また、制御部１２０の機能は、例えば、ＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

取得部１２１は、記憶部１３０から符号化装置における各動作パラメータを取得する。例えば、取得部１２１は、予め設定されている第１のシステムレート、ビデオレート、オーディオレート、および第１のデコーダ蓄積時間を取得する。第１のシステムレートとは、映像データ、音声データ、および、映像データと音声データの同期データ等を多重化して送信するための１秒あたりの送信速度（ｂｐｓ）であり、外部より予め設定されている。また、当該第１のシステムレートは符号化装置のエンコード時間に基づいて設定してもよい。ビデオレートは、端末へ映像配信するための１秒あたりの送信速度（ｂｐｓ）に相当し、配信映像の画質により増減する。オーディオレートは、端末へ音声配信するための１秒あたりの送信速度（ｂｐｓ）に相当し、配信音声の音質により増減する。そして、第１のデコーダ蓄積時間は、受信端末のバッファに符号化データを蓄積する時間の初期設定値であり、外部により予め設定されている。

第１計算部１２２は、端末において映像音声を再生するためのレートを示す第２のシステムレートと、第１のシステムレートとの比に基づき、第２のデコーダ蓄積時間を算出する。第２のデコーダ蓄積時間は、本実施態様に係る符号化装置１００より新たに設定されるデコーダ蓄積時間である。具体的には、第１計算部１２２は、第２のデコーダ蓄積時間を以下の式（２）で計算する。なお、第２のシステムレートは後述する第２計算部１２３が計算してもよい。

第２のデコーダ蓄積時間 ＝ 第１のデコーダ蓄積時間／（第１のシステムレート／第２のシステムレート） ・・・（２）

例えば、第１計算部１２２は、第１のデコーダ蓄積時間が５００ｍｓ、第１のシステムレートが２０Ｍｂｐｓ、第２のシステムレートが１０Ｍｂｐｓであるとき、これらを式（２）に代入する。そして、第１計算部１２２は、第２のデコーダ蓄積時間、５００ｍｓ／（２０Ｍｂｐｓ／１０Ｍｂｐｓ）＝２５０ｍｓを算出する。

第２計算部１２３は、ビデオレート、オーディオレート、および多重化と映像データと音声データの同期のためのＡＶ同期データに係るレートに基づき、第２のシステムレートを算出する。第２計算部１２３は、定期的に第２のシステムレートを算出し、記憶部１３０に記憶してもよい。具体的には、第２計算部１２３は、第２のシステムレートを以下の式（３）で計算する。

第２のシステムレート ＝ ビデオレート＋オーディオレート＋多重化およびＡＶ同期データに係るレート ・・・（３）

例えば、第２計算部１２３は、ビデオレートが８Ｍｂｐｓ、オーディオレートが３８４ｋｂｐｓ、多重化およびＡＶ同期のデータのレートが１．６１６Ｍｂｐｓであるとき、式（３）にそれぞれ代入して第２のシステムレートを計算する。そして、第２計算部１２３は、第２のシステムレートとして、８Ｍｂｐｓ＋３８４ｋｂｐｓ＋１．６１６Ｍｂｐｓ＝１０Ｍｂｐｓを算出する。

第１符号化部１２４は、端末に配信するデータのうち、映像データを符号化する。第１符号化部１２４は、受信端末におけるバッファの蓄積データ量分の符号化が終了したときに処理を一旦終了し、次の符号化の対象となるデータが得られるまで符号化を停止してもよい。そして、第１符号化部１２４は、データの符号化が終了した時点で、符号化データを送信部１２６に渡す。なお、後述する第２符号化部１２５についても同様にバッファ蓄積データ量分の符号化をおこない、符号化が終了する度に送信部１２６に符号化データを渡してもよい。

第１符号化部１２４は、映像データを圧縮するためのコーデックを用いて、映像データに用いられる画像データの各コマを空間圧縮する。さらに、第１符号化部１２４は、画像データのコマ間の差分値を取得する時間圧縮を、空間圧縮に並行しておこなってもよい。例えば、第１符号化部１２４は、映像データをＭＰＥＧ−２ＶｉｄｅｏやＨ．２６４／ＭＰＥＧ４ＡＶＣ等の規格により符号化をおこなう。

第２符号化部１２５は、端末に配信するデータのうち、音声データを符号化する。例えば、第２符号化部１２５は、配信する音声データを圧縮するためのコーデックを用いて、音声データを圧縮することにより符号化する。例えば、第２符号化部１２５は、音声データをＭＰＥＧ−１Ａｕｄｉｏ、ＭＰＥＧ２／４ＡＡＣ、およびＭＰＥＧ４ＨＥ−ＡＡＣ等の規格により符号化をおこなう。

送信部１２６は、映像データと音声データの同期をとるためのＡＶ同期データを生成する。例えば、送信部１２６は、同期をとるために、ＭＰＥＧ２ＴＳストリームにおいて基準となるクロックとなるＰＣＲを設定する。さらに、送信部１２６は、例えば、ＭＰＥＧ２ＴＳストリームにおいてＰＡＴ、ＰＭＴ等のＴＳパケットを送信してもよい。さらに、送信部１２６は、第２のデコーダ蓄積時間に係る情報を符号化データに付加する。

また、送信部１２６は、符号化された映像データおよび音声データと、ＡＶ同期データとを、端末に送信するために多重化して送信する。例えば、送信部１２６は、符号化映像データ、符号化音声データ、およびＡＶ同期データを、各チャネルに分け、８ビットずつ区切り、時間をずらして各チャネルに時間を割り当てることにより、時分割多重化して送信してもよい。

通信Ｉ／Ｆ１１０は、符号化映像データと、符号化音声データと、ＡＶ同期データとを、インターネットを介して端末へ配信するための通信インターフェースである。

［各時間におけるシステムレート］
次に、図２および図３を用いて、各時間におけるシステムレートについて説明する。図２は、各時間におけるシステムレートおよび通常の復号化処理を開始する時期の一例を示す図である。図２の横軸は時間Ｔ［ｍｓ］であり、縦軸はシステムレート［Ｍｂｐｓ］を示す。図２のように、システムレートは各時間において一定のＸ［ｂｐｓ］で連続的に推移している。一方、端末は、時刻ｔ１および時刻ｔ２において復号化処理をおこなう。

一方、図３は、各時間におけるシステムレートおよび本実施態様の符号化処理を開始する時期の一例を示す図である。図３の横軸は時間Ｔ［ｍｓ］であり、縦軸はシステムレート［Ｍｂｐｓ］を示す。図３のように、図２と同様にシステムレートは各時間において一定のＸ［ｂｐｓ］で連続的に推移している。一方、端末は、時刻ｔ１より早い時刻ｔ１’、および時刻ｔ２より早い時刻ｔ２’において復号化処理をおこなう。

すなわち、本実施態様において端末は、通常のデコードを開始する時刻であるｔ１よりも早いｔ１’に復号化処理を開始する。これにより、遅延時間を短縮することができる。

［各時間におけるデコーダ蓄積データ量］
次に、図４および図５を用いて、符号化データを受信した端末における通常のデコーダ蓄積データ量および本実施態様のデコーダ蓄積データ量の推移を比較する。図４は、受信端末における通常のデコーダ蓄積データ量の推移の一例を示す図である。図４の横軸は時間Ｔ［ｍｓ］であり、縦軸はバッファへの蓄積データ量［ｂｉｔ］を示している。また、図４の横軸に記載されているｔ１は、１回目の復号化開始時刻を示している。また、端末での１回目のデータ蓄積時間は、０−ｔ１間となる。一方、ｔ２は、２回目の復号化開始時刻を示している。また、端末での２回目のデータ蓄積時間は、ｔ１−ｔ２間である。

図４において、バッファへの蓄積データ量は、復号化開始時刻ｔ１に至るまでの時間に比例して増加している。蓄積データ量は、復号化開始時刻ｔ１に至るとデコードが開始されるので減少する。その後、蓄積データ量は、復号化開始時刻ｔ２に至るまで時間に比例して増加する。なお、時刻０から復号化開始時刻ｔ１に至るまでの時間であるデコーダ蓄積時間は、デコードを開始するまでの待ち時間となるため、遅延時間に加算される。

一方、図５は、受信端末における本実施態様のデコーダ蓄積データ量の推移の一例を示す図である。図５の横軸は時間Ｔ［ｍｓ］であり、縦軸はバッファへの蓄積データ量［ｂｉｔ］を示している。また、図５の横軸に記載されているｔ１’は、本実施態様における１回目の復号化開始時刻を示している。また、端末での１回目の第２のデコーダ蓄積時間は、０−ｔ１’間である。一方、ｔ２’は、本実施態様における２回目の復号化開始時刻を示している。また、端末での２回目の第２のデコーダ蓄積時間は、ｔ１−ｔ２’間である。なお、図４におけるｔ１は図５におけるｔ１に対応しており、図４におけるｔ２は図５におけるｔ２に対応している。

本実施態様は通常の実施態様と同様に、バッファへの蓄積データ量が復号化開始時刻ｔ１’に至るまでの時間に比例して増加するが、本実施態様においては端末が復号化を開始する復号化開始時刻ｔ１’が時刻ｔ１よりも早くなる。例えば、本実施態様においては、時刻ｔ１より早い時刻ｔ１’に至るまで蓄積データ量が時間に比例して増加し、時刻ｔ１’に至ると端末が復号化を開始する。このとき、蓄積データ量が減少する。次いで、時刻ｔ２よりも早い時刻ｔ２’に至るまで蓄積データ量が時間に比例して増加し、時刻ｔ２’に至ると端末が復号化を開始する。このとき、蓄積データ量が減少する。

すなわち、端末は、第１のデコーダ蓄積時間より短い第２のデコーダ蓄積時間を経過した時に、復号化データの復号を開始する。これにより、デコーダ蓄積時間を短くし、遅延時間を短くできる。

［全体の処理の流れ］
次に、符号化装置１００がおこなう全体の処理の流れについて説明する。図６は、符号化装置１００の処理の流れを説明するためのフロー図である。図６のように、まず、取得部１２１は、記憶部１３０から第１のシステムレート、ビデオレート、オーディオレート、および第１のデコーダ蓄積時間を含む動作パラメータを取得する（ステップＳ１０）。次に、第２計算部１２３は、ビデオレート、オーディオレート、および多重化とＡＶ同期データに係るレートに基づき、第２のシステムレートを算出する（ステップＳ１１）。次に、第１計算部１２２は、取得した第１のデコーダ蓄積時間、取得した第１のシステムレート、および第２のシステムレートに基づき第２のデコーダ蓄積時間を計算する（ステップＳ１２）。

次に、第１符号化部１２４は、映像データの符号化をおこない、第２符号化部１２５は、音声データの符号化をおこなう（ステップＳ１３）。次に、送信部１２６は、映像データと音声データの同期をとるためのＡＶ同期データを生成する（ステップＳ１４）。次に、送信部１２６は、符号化映像データと、符号化音声データと、ＡＶ同期データとを、端末に送信するために多重化する（ステップＳ１５）。次に、送信部１２６は、第１符号化部１２４および第２符号化部１２５における符号化を停止するかを判定する（ステップＳ１６）。送信部１２６は、符号化を開始してから第２のデコード蓄積時間を経過していない場合（ステップＳ１６No）は符号化を続行し、ステップＳ１３からステップＳ１５の処理を繰り返す。一方、送信部１２６は、第２のデコード蓄積時間を経過していた場合（ステップＳ１６Yes）は符号化を停止し、端末へ多重化したデータを送信する（ステップＳ１７）。

［効果］
次に、本実施態様の効果について説明する。符号化装置１００は、データを符号化して端末へ送信するときの第１のシステムレートと、端末で前記データを再生するレートを示す第２のシステムレートとに基づき、端末が受信した符号化データを蓄積するデコーダ蓄積時間を算出する第１計算部１２２を備える。また、符号化装置１００は、符号化データに、デコーダ蓄積時間の情報を付加して端末へ送信する送信部１２６を備える。これにより、デコーダ蓄積時間を短縮しても画質が劣化しないという効果が得られる。

また、符号化装置１００は、データと、データを多重化および同期するのに用いるデータとに基づき、第２のシステムレートを算出する第２計算部１２３をさらに備える。これにより、実際のビデオレートおよびオーディオレートを反映した第２のシステムレートを算出し、これを用いてデコーダ蓄積時間を精度よく取得できる。

なお、実施例１においては、コーデックにＭＰＥＧ−２を使用したが、ＭＰＥＧ−１、ＭＰＥＧ−４等の他のコーデックにより映像データ等の圧縮をおこなってもよい。

図７は、符号化装置１００に係るコンピュータ２００のハードウェア構成の一例を示す図である。図７が示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、データ入力を受け付ける際、モニタ等に情報を表示する表示装置２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、他の装置と接続するためのインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。また、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７には、図１に示した制御部１２０の取得部１２１、第１計算部１２２、第２計算部１２３、第１符号化部１２４、第２符号化部１２５、および送信部１２６と同様の機能を有するプログラムが記憶される。また、ハードディスク装置２０７は、記憶部１３０に対応し、システムレート、ビデオレート、オーディオレート、およびデコーダ蓄積時間等の動作パラメータを記憶する。また、入力装置２０２は、各種動作パラメータの入力を受け付ける。

ＣＰＵ２０１は、ハードディスク装置２０７に記憶された各プログラムを読み出して、ＲＡＭ２０６に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示した取得部１２１、第１計算部１２２、第２計算部１２３、第１符号化部１２４、第２符号化部１２５、および送信部１２６として機能させることができる。

なお、上記の符号化プログラムは、必ずしもハードディスク装置２０７に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）等に接続された装置にこのプログラムを記憶させておき、コンピュータ２００がこれらからプログラムを読み出して実行するようにしてもよい。

１００ 符号化装置
１１０ 通信Ｉ／Ｆ
１２０ 制御部
１２１ 取得部
１２２ 第１計算部
１２３ 第２計算部
１２４ 第１符号化部
１２５ 第２符号化部
１２６ 送信部
１３０ 記憶部

Claims (4)

1. 映像データと、該映像データを多重化および同期するのに用いるデータとに基づき、前記映像データを符号化した符号化データを受信した端末が前記映像データを再生するレートを示す再生レートを算出し、前記符号化データを前記端末へ送信する際のレートを示す伝送レートと、前記再生レートとに基づき、前記端末が受信した前記符号化データを蓄積するデコーダ蓄積時間を算出する計算部と、
   前記符号化データに、前記デコーダ蓄積時間の情報を付加して前記端末へ送信する送信部と
   を備えたことを特徴とする符号化装置。
2. 符号化データを端末へ送信する符号化装置と、受信した前記符号化データを復号する前記端末とを有するシステムであって、
   前記符号化装置は、
   映像データと、該映像データを多重化および同期するのに用いるデータとに基づき、前記映像データを符号化した符号化データを受信した前記端末が前記映像データを再生するレートを示す再生レートを算出し、前記符号化データを前記端末へ送信する際のレートを示す伝送レートと、前記再生レートとに基づき、前記端末が受信した前記符号化データを蓄積するデコーダ蓄積時間を算出する第１計算部と、
   前記符号化データに、前記デコーダ蓄積時間の情報を付加して前記端末へ送信する送信部と、を備え、
   前記端末は、受信した前記符号化データを記憶領域に蓄積し、デコーダ蓄積時間経過時に復号することを特徴とするシステム。
3. コンピュータが実行する符号化方法であって、
   映像データと、該映像データを多重化および同期するのに用いるデータとに基づき、前記映像データを符号化した符号化データを受信した端末が前記映像データを再生するレートを示す再生レートを算出し、前記符号化データを前記端末へ送信する際のレートを示す伝送レートと、前記再生レートとに基づき、前記端末が受信した前記符号化データを蓄積するデコーダ蓄積時間を算出し、
   前記符号化データに、前記デコーダ蓄積時間の情報を付加して前記端末へ送信する
   処理を実行することを特徴とする符号化方法。
4. コンピュータに、
   映像データと、該映像データを多重化および同期するのに用いるデータとに基づき、前記映像データを符号化した符号化データを受信した端末が前記映像データを再生するレートを示す再生レートを算出し、前記符号化データを前記端末へ送信する際のレートを示す伝送レートと、前記再生レートとに基づき、前記端末が受信した前記符号化データを蓄積するデコーダ蓄積時間を算出し、
   前記符号化データに、前記デコーダ蓄積時間の情報を付加して前記端末へ送信する
   処理を実行させることを特徴とする符号化プログラム。

Images