JP4808377B2

JP4808377B2 - 映像キャプチャ装置及び低速リンクを介した高画質映像送信方法

Info

Publication number: JP4808377B2
Application number: JP2003531745A
Authority: JP
Inventors: リピンコット，ルイス
Original assignee: インテルコーポレイション
Priority date: 2001-09-27
Filing date: 2002-09-26
Publication date: 2011-11-02
Anticipated expiration: 2022-09-26
Also published as: WO2003028382A2; AU2002340029A1; CN1288913C; US20030058935A1; JP2005528813A; WO2003028382A3; KR100578438B1; CN1602634A; US6934337B2; EP1433331A2; KR20040037190A; TWI231144B

Description

発明の詳細な説明

［発明の技術分野］
本発明は、映像圧縮、特に圧縮映像データの送信に関し、より詳細には高画質映像をキャプチャするための低速インターフェースを介した圧縮映像データの送信に関する。
［発明の背景］
マルチメディアシステムの発達により、コンピュータシステムにおける高画質映像のキャプチャへの期待が望まれるようになってきた。しかしながら、通常映像キャプチャ装置は、ユニバーサルシリアルバス（ＵＳＢ）のような低速のインターフェースを利用して映像データをコンピュータに送信しているため、高画質映像のキャプチャは困難である。例えば、ＵＳＢインタフェースは、実際の映像データスピードよりはるかに低速なデータ速度であり、また高画質映像をキャプチャするのに要求されるものよりはるかに低速なデータ速度である。

一般に、各画像フレームは、各々が数バイトのデータにより表される数千画素より構成される。例えば、従来の映像フレームは７２０×４８０画素から構成され、各画素は３バイトで表現されている。圧縮技術を利用することなく、１秒あたり３０フレームである従来の速度では、従来映像の送信には少なくとも１秒あたり２５０メガビット（Ｍｂｐｓ）のデータ速度が必要である。現在のＵＳＢインタフェースでは、約１２Ｍｂｐｓの最大データ速度がサポートされており、そのうちの約５〜８Ｍｂｐｓしか保持することができない。ＵＳＢインタフェースを介した送信前に映像データの圧縮に利用される従来の圧縮技術では、データの損失により低い画質の映像しか得ることができない。

例えば、圧縮映像画像の情報量を減少させる従来方法の１つとして、当該映像画像の高周波数要素が破棄される。この方法は、人間の視覚システムが低周波数要素と比較して高周波数要素に対し感度が高くないという理由により利用される。この方法によると伝達される情報量を減少させることはできるが、映像画像は詳細を損ない、ぼやけて見え始めるかもしれない。圧縮映像画像中の情報量を減少させる他の従来技術による方法は、画像パラメータの量子化に関するものである。この方法は符号化処理を改善するが、映像画像における段階的変化の様相に関し漸次的変化が取られるため、画像にはブロックひずみが現れる。

従って、低速データ速度インタフェースを利用することによる高画質映像の取得を提供する方法及び装置の必要性がある。また、低速データ速度インタフェースを介し高画質映像の送信を行う映像キャプチャ装置及び方法の必要性がある。また、高画質映像のキャプチャのためＵＳＢインタフェースを介し映像の圧縮及び送信を行う方法及び映像キャプチャ装置の必要性がある。

本発明は、特に添付されたクレームにより示される。しかしながら、本発明のより完全な理解は、図面と共に詳細な説明を参照することにより導かれるかもしれない。ここで、図面を通じて同一の参照番号は同一の要素を参照する。

ここで与えられる説明は本発明の様々な実施例を示しているが、そのような説明は任意の方法での限定として解釈されることを意図したものではない。
［詳細な説明］
本発明は、映像キャプチャ方法及び映像キャプチャ装置に関する。一実施例において、パーソナルコンピュータのような映像受信装置は、ＵＳＢインタフェースのような低速の通信インタフェースを介し受信した２つの圧縮係数群から高画質映像を生成する。映像は２つのパスで映像受信装置に転送される。第１のパスは低周波数係数部分を提供し、第２のパスは高周波数係数部分を提供する。これらの係数は、画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行し、各画素ブロックに対し係数部分を圧縮することにより生成される。一実施例では、受信装置は第１パスの間に受信したフレームと第２パスの間に受信したフレームとを一致させ、映像キャプチャ装置に以降のフレームに対し低周波数係数の圧縮から高周波数部分の圧縮にスイッチするよう合図する。他の実施例では、第１及び第２パスで受信したフレームが受信装置に格納され、キーフレームを利用して各パスから受信したフレームの同期がとられる。

図１は、本発明の一実施例による映像キャプチャシステムの機能ブロック図を示す。映像キャプチャシステム１００は、映像リンク１０４により映像キャプチャ装置１０６に接続された映像ソース１０２を有する。映像キャプチャシステム１００はまた、映像キャプチャ装置１０６を映像受信装置１１０に接続するリンク１０８を有する。映像受信装置１１０は、ディスプレイ１１１と接続されてもよい。一実施例によると、映像ソース１０２は映像リンク１０４を介し映像キャプチャ装置１０６にアナログ映像を提供する。映像ソース１０２は、高画質形式で映像を提供することができる任意の映像ソースであってもよい。映像ソース１０２は、映像リンク１０４を介しアナログまたはデジタル何れの形式でも映像を提供するようにしてもよい。映像ソース１０２は、映像を磁気テープあるいは他の記憶手段に格納する映像カセットレコーダ（ＶＣＲ）、ビデオカメラまたは他の装置を含んでいてもよい。映像リンク１０４は同軸ケーブルでもよいが、高画質映像を通信することが可能な任意の通信リンクが適しているかもしれない。映像ソース１０２は、ＮＴＳＣやＰＡＬフォーマットのようなアナログ形式で高画質映像を提供するようにしてもよい。映像ソース１０２は、本発明での利用に等しく適した他の速度があるが、例えば、１秒あたり３０フレームの速度で映像の提供が行われてもよい。各映像フレームは、垂直帰線消去期間（ＶＢＩ）により分けられている。各フレームは複数の画素から構成される。例えば、１つのフレームは７２０×４８０画素の配列から構成される。

映像キャプチャ装置１０６は、映像ソース１０２から受信した映像を、リンク１０８を介した映像受信装置１１０への送信に適した形式に変換する。本発明の一実施例によると、映像は２つのパスで映像受信装置１１０に転送される。第１パスにおいて、映像キャプチャ装置１０６は、画素ブロックから係数を生成し、当該係数の第１部分を圧縮し、圧縮された係数の第１部分を映像受信装置１１０に送信する。第２パスでは、映像キャプチャ装置１０６は、画素ブロックから係数を生成し、当該係数の第２部分を圧縮し、圧縮された係数の第２部分を映像受信装置１１０に送信する。この係数は画素ブロックを符号化することにより生成されてもよい。符号化には、８×８画素ブロックに対するＤＣＴの実行が含まれる。

特に、受信装置１１０は、第１及び第２係数部分を個別に受信及び解凍し、解凍された第１係数部分と第２係数部分とを合成することにより、画素ブロックに対応する合成係数行列を生成する。受信装置１１０は、ここで述べられる機能を有するパーソナルコンピュータまたは他の装置であってもよい。リンク１０８は任意の通信リンクであってもよいが、低速リンクが利用されてもよい。例えば、リンク１０８は、ＵＳＢインタフェースのような低速通信インタフェースにより提供されてもよい。

図２は、本発明の他の実施例による映像キャプチャシステムの機能ブロック図を示す。図２に示された実施例において、映像記録装置１２０は、映像記録要素１１２、映像ソース１１４及び映像キャプチャチップ１１８を有する。本実施例では、映像記録装置１２０は、ＶＣＲ、ビデオカメラあるいは携帯型映像記録装置であってもよい。映像キャプチャチップ１１８は映像キャプチャ装置１０６（図１）に応じた機能を提供し、映像ソース１１４は映像ソース（図１）に応じた機能を提供する。映像記録要素１１２は、高画質形式での映像の記録及び保存と、映像ソース１１４への高画質映像の転送を提供する。内部リンク１１６は、高画質映像の映像キャプチャチップ１１８への転送に適した映像記録装置１２０内のバスまたは他の通信パスであってよい。

図３は、本発明の一実施例による映像キャプチャ装置の機能ブロック図を示す。映像キャプチャ装置１０６は、アナログ映像フレームをデジタル映像フレームに変換し、当該デジタル映像フレームを符号化する符号化要素３０２を有するよう構成されてもよい。圧縮要素３０４は、デジタル映像フレームを処理し、当該デジタル映像フレームを表す圧縮された係数を提供するよう構成されてもよい。シリアルインタフェース３０６は、リンク１０８上にこの圧縮された係数を転送してもよい。コントローラ３０８は、圧縮要素３０４と符号化要素３０２の動作を制御し、ソフトウェアにより構成可能な１以上のプロセッサにより実現されてもよい。

一実施例によると、高画質アナログ映像フレーム系列の１フレームが符号化要素３０２により受信される。符号化要素は、このアナログ映像フレーム系列のフレームをデジタル映像フレームに変換する。例えば、フレームの各画素は、白黒映像では１バイトで、カラー映像では３バイトで表現されるかもしれない。本発明の一実施例では、映像キャプチャ装置１０６は、デジタル形式でフレーム系列を受信し、符号化要素３０２がアナログ・デジタル変換を実行しないようにしてもよい。符号化要素３０２は、各フレームの画素ブロックを符号化し、係数ブロックを生成する。一実施例では、符号化要素３０２は、このフレームの各８×８画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行し、対応する８×８ＤＣＴ係数行列が得られる。典型的には、ＤＣＴ処理は２次元であり、ブロックの画素の各行各列に対しＤＣＴが実行される。

圧縮要素３０４は、各係数行列の一部を圧縮する。本発明の一実施例によると、圧縮要素３０４は、第１パスにおいて係数の低周波数部分を、第２パスにおいて係数の高周波数部分を圧縮する。コントローラ３０８は、圧縮要素３０４に係数の低周波数部分と高周波数部分との圧縮処理をスイッチするよう指示する。圧縮要素３０４はまた、圧縮された係数を映像受信装置に送るため、シリアルインタフェース３０６に当該圧縮係数を提供するようにしてもよい。

図４は、本発明の一実施例による映像受信装置の機能ブロック図を示す。映像受信装置１１０は、映像キャプチャ装置から圧縮された係数を受信するためのシリアルインタフェース４０２を有する。プロセッサ４０４は、映像キャプチャソフトウェア４０６に従って当該圧縮係数に処理を施し、高画質映像を表すビットストリーム４１２を提供する。映像受信装置１１０は、ここで述べられた処理の実行に必要とされるソフトウェア及びハードウェアにより構成されたコンピュータであってもよい。一般に、映像受信装置１１０は、映像キャプチャ装置から受信される係数から高画質映像を生成するよう構成される。

本発明の一実施例によると、映像は２つのパスで映像受信装置１１０に転送される。第１のパスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。映像キャプチャ装置は、フレーム内の各画素ブロックに対し画素ブロックを符号化し、係数部分を圧縮することにより係数を生成する。復号合成要素４１０は、各画素ブロックの対応する係数を合成し、この合成された係数行列を復号する。プロセッサ４０４は、復号された行列を映像を表すビットストリームに変換してもよい。メモリ４０８は、第１パスにおいて圧縮または解凍形式で受信した係数を、第２パスにおいて受信した係数の処理での利用のため格納するよう構成されてもよい。

復号合成要素４１０は、合成復号処理の実行に特化したハードウェアアクセラレータから構成されてもよいし、ソフトウェアで構成可能なプロセッサから構成されてもよい。本発明の一実施例では、復号合成要素４１０は、ソフトウェアにより構成されるプロセッサ４０４の一部として実現される。高画質映像を表すビットストリーム４１２は、メモリ４０８に記録されてもよいし、あるいはポート４１４を介しデジタルビデオディスク（ＤＶＤ）または書き込み可能なコンパクトディスク（ＣＤ）のような外部記憶装置に保存されてもよい。一実施例では、ビットストリームは、映像受信装置１１０に接続されたコンピュータのモニタである映像ディスプレイ１１１（図１）に直接表示するのに適した形式に変換されてもよい。

図５は、本発明の一実施例による画素から構成される従来の映像フレームを示す。映像フレーム５００は複数の画素から構成される。一実施例によると、映像フレーム５００は、７２０×４８０画素の行列から構成されるが、より多くの画素またはより少ない画素を有する映像フレームも本発明に等しく適している。例えば、フレーム５００の各画素５０２は、白黒映像に対しては１バイトデータにより、カラー映像に対しては３バイトデータにより表現されるかもしれない。

図６Ａは、本発明の一実施例による画素ブロックを示す。図６Ｂは、本発明の実施例による画素ブロックを表す係数行列を示す。画素ブロック６００は、映像フレーム５００（図５）の一部を構成する。すなわち、映像フレーム５００（図５）は複数の画素ブロックから構成される。画素ブロック６００が８×８ブロック、映像フレーム５００（図５）が７２０×４８０画素である例では、映像フレームあたり５，４００の画素ブロックが存在する。

本発明の一実施例によると、画素ブロック６００は係数行列６１０に変換される。画素ブロック６００の画素の多くが係数行列６１０の各係数に寄与している。すなわち、係数行列６１０のすべての係数がすべての画素ブロック６００を表している。係数行列６１０は、水平方向周波数成分６１２と垂直方向周波数成分６１４とを有する係数から構成されている。より高い水平方向周波数を表す水平方向周波数成分６１２は、係数行列６１０に示されるように、左から離れた位置に現れる。より高い垂直方向周波数を表す垂直方向周波数成分６１４は、係数行列６１０に示されるように、上方から離れた位置に現れる。係数行列６１０の斜線部は、より高い垂直及び水平方向周波数成分を有する係数を表し、非斜線部はより低い垂直及び水平方向周波数成分を有する係数行列６１０を表す。係数行列６１０は、画素ブロック６００にＤＣＴのような変換を行うことにより生成されうる。

本発明の実施例によると、係数行列６１０の一部が第１パスにおいて圧縮され、その他の部分が第２パスにおいて圧縮される。例えば、低周波数部分は第１パスにおいて圧縮され、高周波数部分が第２パスにおいて圧縮されるかもしれない。本実施例では、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスにおいて２５の低周波数係数（非斜線により図示）が圧縮及び送信され、第２パスにおいて３９の高周波数係数（斜線により図示）が圧縮及び送信される。他の実施例では、２つのパスで必ずしもすべての係数が送信されないかもしれない。

本発明の他の実施例によると、第１パスと第２パスにおいて等しい数の係数が圧縮される。この実施例では、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスにおいて２５の低周波数係数と共に７つの高周波数係数が圧縮され、第２パスでは３２の高周波数係数が圧縮及び送信されるかもしれない。

本発明の他の実施例によると、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスでは２５の低周波数係数と追加的な５つの高周波数成分が圧縮され、第２パスでは残りの３４の高周波数係数が圧縮及び送信される。この５つの高周波数係数はブロック６１６の係数であってもよい。本発明の各実施例での利用に適した係数圧縮の他の組み合わせが利用されてもよい。

図７は、本発明の一実施例による映像キャプチャ送信手続きのフローチャートである。一般に、映像キャプチャ送信手続き７００は、高画質映像を生成するため、映像受信装置に映像を提供する。手続き７００で説明される実施例によると、映像は２つのパスで受信装置に転送される。第１パスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。各画素ブロックを符号化し、係数の一部を圧縮することにより係数は生成される。映像キャプチャ送信手続き７００は、他の装置が適切であるかもしれないが、映像キャプチャ装置１０６（図３）のような映像キャプチャ装置により実行されてもよい。

処理７０２において、アナログ映像フレーム系列のフレームが映像キャプチャ装置に受信される。アナログ映像フレームの受信速度は映像ソースに依存する。一般に、アナログ映像フレームは１秒あたり３０フレームの速度で受信されるが、本発明の利用に対し他の受信速度も等しく適している。一般に、各アナログ映像フレームはＶＢＩにより分割される。各フレームは複数の画素から構成される。例えば、１つのフレームは７２０×４８０画素の配列から構成されているかもしれない。ＮＴＳＣ及びＰＡＬアナログ形式を含めた多くの映像アナログ形式が本発明での利用に適している。

処理７０４において、アナログ映像フレーム系列のフレームがデジタル映像フレームに変換される。例えば、フレームの各画素は、白黒映像に対しては１バイトにより、カラー映像に対しては３バイトにより表されているかもしれない。処理７０４は、映像キャプチャ装置のアナログ・デジタル変換要素により実行されるかもしれない。本発明の一実施例では、映像キャプチャ装置は、処理７０２でデジタルフレーム系列を受信し、処理７０４は実行されないようにしてもよい。

処理７０６において、デジタル映像フレーム系列のフレームが符号化され、フレームを表す係数ブロックが生成される。一実施例では、各画素ブロックに対しＤＣＴが実行され、対応するＤＣＴ係数行列が得られる。各係数は水平及び垂直方向周波数成分を有する。係数の一部は高周波数係数としてみなされ、他の部分は低周波数係数としてみなされるかもしれない（例えば、図６Ｂを参照）。一般に、行列の各係数は画素ブロックの少なくとも複数の画素により生成される。すなわち、係数ブロック全体は、画素ブロック全体を表している。他のタイプの変換及び圧縮アルゴリズムが、本発明の実施例での利用に適しているかもしれない。

処理７０８において、係数行列の係数の一部が圧縮される。一実施例によると、処理７０８において圧縮される係数部分は、主に係数の低周波数部分から構成されている。処理７０８はフレームの各係数ブロックに対し実行される。

処理７１０において、係数の圧縮された部分が通信リンクを介し映像受信装置に送信される。一実施例によると、ＤＣＴ係数行列の圧縮された低周波数部分が、低速インタフェースを介し映像受信装置に送信される。この低速インタフェースは、例えば、ＵＳＢインタフェースや無線インタフェースにより提供されるナローバンド（ｎａｒｒｏｗｂａｎｄ）通信リンクを含む任意の通信リンクであってもよい。本発明の一実施例によると、映像受信装置へのデータ送信速度は１〜２０Ｍｂｐｓであるかもしれない。これは、１秒あたり３０フレームの速度の処理７０２から７１２でのフレーム処理速度と対応するかもしれない。処理７１０は、フレームの各係数ブロックに対し実行される。

処理７１２は、系列のすべてのフレームが処理７０２から７１０によりいつ処理されたかを判断する。系列のすべてのフレームが処理されていなければ、各フレームが処理されるまで処理７０２から７１０が各フレームに対し繰り返される。フレーム系列が完了すると、処理７１４が実行される。処理７１２の完了に応じて、手続き７００映像の第１パスを終了する。

処理７１４において、フレーム系列が再開される。例えば、映像がＶＣＲまたはビデオカメラにより与えられる場合、当該映像は巻き戻され、再生される。当該映像がメモリまたはディスクにより与えられる場合、フレーム系列は始めから再び読み込まれる。本発明の一実施例では、「再生」信号が映像受信装置から受信され、映像キャプチャ装置がこの再生信号に応答し、自動的に当該映像を再生する。

処理７１６において、アナログ映像フレームはデジタル変換及び符号化され、係数の一部が圧縮される。フレームの各画素ブロックの係数の圧縮部分が映像受信装置に送信される。好ましくは、処理７０８で圧縮された係数部分と同じものが処理７１６において圧縮される。処理７１６は、映像の各開始フレームに対し繰り返される。一実施例では、処理７１６は映像の各開始フレームに対し処理７０２から７１２の繰り返しを含んでもよい。

処理７１６の実行中、映像受信装置は、受信した係数を処理し、処理７１６で送信したフレームと第１パスで送信した基準フレームとをマッチさせる（すなわち、処理７０２から７１２）。基準フレームが特定されると、受信装置はビデオキャプチャ装置にモードの切り替えを通知する。処理７１８において、映像キャプチャ装置は、マッチしたフレーム以降のフレーム間の垂直帰線消去期間中「スイッチモード」信号を受信するかもしれない。「スイッチモード」信号の受信に応答して、映像キャプチャ装置はモードの切り替えを行い、処理７１６で圧縮及び送信された係数の異なる部分の圧縮を開始する。

本発明の一実施例によると、低周波数係数が第１パスにおいて圧縮された場合、映像キャプチャ装置は高周波数係数を圧縮するよう切り替えを行う。映像キャプチャ装置は、「スイッチモード」信号に応答し、係数行列の異なる係数部分の圧縮を行うハードウェアアクセラレータやソフトウェアにより設定されたプロセッサを実現するかもしれない。

処理７２０において、アナログ映像フレームがデジタル変換及び符号化され、その他の係数部分が圧縮される。一実施例では、係数の高周波数部分が圧縮される。この実施例では、係数の高周波数部分は第１パスにおいて圧縮された低周波数部分の係数を含まない。

処理７２２において、処理７２０において圧縮された係数部分が映像受信装置に送信される。処理７１０で利用されたものと同一の通信リンクが処理７２２において利用されてもよい。一十しれによると、ブロック７２０と７２２が映像フレームの各画素ブロックに対し実行される。

処理７２４では、基準フレーム以降の当該系列のすべてのフレームがいつ処理７２０及び７２２によって処理された判断する。系列のすべてのフレームが処理されていなければ、処理７２０と７２２が系列の各フレームの処理が完了するまで各フレームに対し繰り返される。フレーム系列が完了すると、処理７２６が実行される。処理７２４の完了に応答して、手続き７００での当該映像の第２パスが完了される。処理７２６において、映像キャプチャ送信手続き７００が完了される。

手続き７００の完了に応じて、映像受信装置は、対応フレームの画素ブロックに対応させるため、２つの係数部分を合成して、映像の各フレームの各画素ブロックに対する完全な係数行列を生成する。受信装置は、各フレームの係数を復号し、当該映像を表すビットストリームの生成と、所望の表現形式での当該ビットストリームの格納を行う。

図８Ａ及び８Ｂは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。映像キャプチャ受信手続き８００は、手続き８００の処理の実行に必要とされるソフトウェア及びハードウェアにより構成されたコンピュータのような映像受信装置により実行されてもよい。映像受信装置１１０（図４）はまた、手続き８００の実行に適したものであってもよい。一般に、手続き８００を実現する映像受信装置は、映像キャプチャ装置から受信した係数から高画質映像を生成するかもしれない。手続き８００で説明された実施例によると、映像は２つのパスで映像受信装置に転送される。第１パスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。映像キャプチャ装置は、画素ブロックを符号化し、フレームの各画素ブロックに対し係数の一部を圧縮することにより係数を生成する。手続き８００によると、各フレームの各画素ブロックの対応する係数が、合成、復号及び当該映像を表すビットストリームに変換される。

処理８０２において、映像キャプチャ受信手続きが開始される。例えば、映像受信装置の要素を構成するためソフトウェアを利用して、手続き８００の以降の処理が実行されるかもしれない。処理８０２はまた、映像キャプチャ装置に信号を送信し、手続き８００のための映像データの受信準備がなされたことを通知する。

処理８０４において、映像受信装置は、映像フレームの画素ブロックを表す係数の圧縮された部分を受信する。一実施例によると、フレーム系列のあるフレームの各画素ブロックに対し、圧縮係数の第１部分が映像キャプチャ装置から受信される。この係数部分は画素ブロックの圧縮ＤＣＴ係数の低周波数部分であるかもしれない。

処理８０６において、フレームの各画素ブロックに対する圧縮係数部分が解凍され、画素ブロックを表す係数部分が生成される。処理８０８において、フレームの各画素ブロックを表す解凍された係数部分は、例えば、映像受信装置に格納されてもよい。本発明の一実施例では、圧縮された係数が格納される。

処理８１０では、当該系列のすべてのフレームがいつ処理８０４から８０８により処理されたか判断される。系列のすべてのフレームが処理されていなければ、系列の各フレームの処理が完了するまで各フレームに対し処理８０４から８０８が繰り返される。フレーム系列が完成すると、処理８１２が実行される。処理８１０の完了に応じて、映像受信装置は当該映像の第１パスに対し受信手続き８００の実行を終える。映像受信装置は、受信したフレームがブランクであるか、あるいはノイズから構成されている判断することにより処理８１０を実行するようにしてもよい。他の実施例では、映像受信装置は、所定期間あるいは所定数のフレームの受信後待機することにより、処理８１０の実行においてすべてのフレームが受信されたか判断するようにしてもよい。本発明の一実施例では、映像キャプチャ装置は、当該映像を通じて第１パスが完了したことを示す表示を映像受信装置に送信するようにしてもよい。

処理８１２において、基準フレームが特定される。基準フレームは映像開始近くの系列の開始フレームの１つであってもよく、フレーム同期化のため以降に受信したフレームとの比較に利用される。受信装置は、容易な同期化を可能にする特徴を有する基準フレームを特定するよう構成される。例えば、基準フレームは、シーン変更から得られるフレームであってもよいし、以前のフレームと比較して大きな動きを有するフレームであってもよい。本発明の一実施例では、基準フレームの系列が特定されてもよい。ここで、処理８１２は、処理８０６以降の手続き８００の実行中の任意の時点において実行され、当該系列の開始フレームのいくつかの受信後処理８０４から８１０と同時に実行されてもよい。

処理８１４において、映像受信装置は、フレーム系列の圧縮された係数の第２部分の受信準備ができたことを示す。すなわち、映像受信装置は第２パスの圧縮された係数の受信準備ができている。一実施例では、処理８１４では、映像受信装置が映像キャプチャ装置での映像が再生されるか、あるいは巻き戻し再生されるかを示す表示をオペレータに表示するようにしてもよい。他の実施例では、処理８１４では、受信装置が映像キャプチャ装置に映像の再生を行わせるための「再生」信号を通信リンクを介し映像キャプチャ装置に送信するようにしてもよい。

処理８１６において、当該系列の開始フレームの画素ブロックの圧縮された係数部分が、映像受信装置において受信される。処理８１６において受信された圧縮された係数部分は、フレームが容易にマッチするよう処理８０４で受信された圧縮された係数部分と対応すべきである。圧縮された低周波数係数部分が処理８０４で受信されている場合、当該係数の圧縮された低周波数部分が処理８１６で受信される。

処理８１８において、基準フレームに対応するフレームが特定される。処理８１８では、圧縮された係数部分の解凍と当該係数の復号が行われ、マッチするフレームが特定されるまで初期フレーム群における各フレームの画素ブロックが生成される。本発明の一実施例では、処理８１８において、基準フレームの系列にマッチする初期フレーム群のフレーム系列を特定するようにしてもよい。処理８１６及び８１８は、基準フレームにマッチするフレームが特定されるまで実行されるようにしてもよい。基準フレームにマッチするフレームが特定されると、処理８２０が実行される。

処理８２０において、受信装置は映像キャプチャ装置にモードの切り替えを支持する「スイッチモード」信号を提供する。処理８２０において、この信号は、マッチしたフレーム以降のフレーム間の垂直帰線消去期間において送信されるようにしてもよい。「スイッチモード」信号に応答して、映像キャプチャ装置は、処理８０４において受信した係数の異なる部分の圧縮に切り替える。本発明の一実施例によると、低周波数成分が処理８０４において受信されていたとき、映像キャプチャ装置は画素ブロックを表す係数行列の高周波数係数の圧縮に切り替える。

処理８２２において、当該フレーム系列のフレームの各画素ブロックに対し圧縮された係数のその他の部分が受信される。一実施例によると、処理８２２では、各画素ブロックの圧縮された高周波数係数部分の受信が行われる。処理８２４において、処理８２２で受信された各画素ブロックの圧縮された係数が、現在処理されているフレームに対して保存される。本発明の一実施例において、当該係数は格納前に解凍される。

処理８２６では、当該系列のすべてのフレームが処理８２２及び８２４によりいつ処理されたか判断される。系列のすべてのフレームの処理が完了されていなければ、系列の各フレームの処理が完了するまで、各フレームに対し処理８２２及び８２４が繰り返される。フレーム系列が完成すると、処理８２８が実行される。処理８２６の完了に応じて、手続き８００は当該映像の第２パスの圧縮された係数を受信し、高画質映像の構築が開始が可能になる。

処理８２８において、処理８０８及び８２４において以前に格納された２つの係数部分が、もし圧縮された形式で格納されていれば、解凍される。係数が解凍された形式で格納されていれば、処理８２８は実行されなくてもよい。

処理８３０において、各部分からの解凍された係数が対応するフレームの画素ブロックに対応するよう合成され、フレームの各画素ブロックに対し完全な係数行列が生成される。一実施例では、第１パスにおいて受信した低周波数係数部分が、第２パスにおいて受信された高周波数係数部分と合成され、フレームを構成する各画素ブロックに対し完全な係数行列が生成される。

処理８３２において、フレームの完全な各係数行列が、当該フレームを表すビットストリームのビットに変換される。処理８３２では、例えば、ＤＣＴが映像キャプチャ装置における係数ブロックに対し実行されていた場合、完全な各係数行列に対し逆ＤＣＴが実行される。

本発明の他の実施例では、処理８１２から８２０はスキップされてもよい。この実施例では、映像受信装置は、第１パスにおいて受信した低周波数係数からなるフレーム系列だけでなく、第２パスにおいて受信した高周波数係数からなるフレーム系列も格納する。１以上のキーフレームを利用して、処理８３０で対応するフレームを合成する前に各パスからのフレームの同期がとられる。キーフレームは映像ストリームにおいてタグ付けされ、シーン変更のように容易に識別できるフレームであってもよい。この実施例では、第２パスのフレームの受信後任意の時点で処理８２８から８３２が実行されてもよい。本発明の一実施例では、両方のパスで映像と共に音声トラックが受信される。この実施例では、音声トラックを利用して、第１パスで受信したフレームと第２パスで受信したフレーム合わせられる。

本発明の一実施例によると、第２パスにおいて受信した係数は格納されず、処理８２４は実行されなくてもよい。この実施例では、圧縮された係数が各フレームに対し受信されるに従い、処理８２８から８３２が実行される。この実施例では、処理８２６が処理８３２以降に実行されてもよい。処理８３４において、系列フレームを表すビットストリームが受信装置に格納される。

映像キャプチャ装置、映像受信装置及び高画質映像生成方法が説明された。高画質映像は、ＵＳＢインタフェースのような低速通信インタフェースを介し受信される２つの係数群から生成される。様々な実施例によると、これらの係数は２つのパスで受信装置に転送される。第１のパスは低周波数係数部分を提供し、第２のパスは高周波数係数部分を提供する。これらの係数は、画素ブロックに変換を施し、係数部分を圧縮することにより生成されるかもしれない。受信装置は、第１パスで受信したフレームと第２パスで受信したフレームとをマッチさせ、映像キャプチャ装置に低周波数係数の圧縮から高周波数係数の圧縮に切り替えるよう合図する。

ここで説明された実施例は、他者が本知識を適用することにより、一般的概念を逸脱することなく様々な適用事例のために容易に修正及び／または適応させることが可能となるくらい発明の一般的性質を十分開示したものであり、そのような修正及び適応は開示された実施例の意義及び均等の範囲内で理解されることを意図したものである。

ここで使用された表現及び用語は説明のためのものであり、限定を意図したものではない。従って、本発明は、添付されたクレームの趣旨及び範囲内のすべての代替、改良、均等及び変形を包括することを意図している。

図１は、本発明の一実施例による映像キャプチャシステムの機能ブロック図を示す。図２は、本発明の他の実施例による映像キャプチャシステムの機能ブロック図を示す。図３は、本発明の一実施例による映像キャプチャ装置の機能ブロック図を示す。図４は、本発明の一実施例による映像受信装置の機能ブロック図を示す。図５は、本発明の一実施例による画素からなる従来の映像フレームを示す。図６Ａは、本発明の一実施例による画素ブロックを示す。図６Ｂは、本発明の一実施例による画素ブロックを表す係数行列を示す。図７は、本発明の一実施例による映像キャプチャ送信手続きのフローチャートである。図８Ａは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。図８Ｂは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。

Claims

インタフェースを介し第１パス及び第２パスの２つのパスによりフレームシーケンスからなる映像を送信する方法であって、
前記第１パスは、
係数ブロックの第１係数部分を圧縮するステップと、
前記圧縮された第１係数部分を前記インタフェースに送信するステップと、
各画素ブロックが前記係数ブロックによって表され、各フレームが複数の画素ブロックを有するフレームシーケンスのフレームに対して、前記第１係数部分の圧縮と前記圧縮された第１係数部分の送信とを繰り返すステップと、
を有し、
前記第２パスは、
前記係数ブロックの第２係数部分を圧縮するステップと、
前記圧縮された第２係数部分を前記インタフェースに送信するステップと、
前記フレームシーケンスのフレームに対して、前記第２係数部分の圧縮と前記圧縮された第２係数部分の送信とを繰り返すステップと、
を有し、
前記第２係数部分に対する圧縮及び送信は、前記フレームシーケンスのフレームの第１係数部分に対する圧縮及び送信の実行後に実行され、
各フレームの係数マトリックスの第１係数部分と第２係数部分とが、前記インタフェースを介し受信装置により受信され、
リファレンスフレームに基づき、前記受信装置は、前記フレームシーケンスに対応する送信映像を生成するため、各フレームの対応する係数マトリックスの前記第１係数部分と前記第２係数部分とを合成し、
各係数ブロックは、対応する画素ブロックを変換することから生成される係数マトリックスから構成され、各マトリックスの前記第１及び第２係数部分は、相互排他的なものであり、
各画素ブロックに対応する係数マトリックスを生成するため、前記フレームシーケンスのフレームの各画素ブロックに対して変換が実行され、
前記変換の実行は、各画素ブロックに対して離散コサイン変換（ＤＣＴ）を実行し、前記画素ブロックのＤＣＴ係数マトリックスを生成し、
ＤＣＴ係数の各マトリックスは、低周波数部分と高周波数部分とを有し、
前記第１パスに対して、前記係数の低周波数部分が各係数マトリックスについて圧縮され、前記圧縮された係数の低周波数部分が前記インタフェースに送信され、
前記第２パスに対して、前記係数の高周波数部分が各係数マトリックスについて圧縮され、前記圧縮された係数の高周波数部分が前記インタフェースに送信される方法。
前記第２係数部分は、対応する係数マトリックスの第１係数部分の係数と相互排他的なものであり、
前記係数マトリックスの第１及び第２係数部分は、対応する画素ブロックの周波数コンポーネントを表す、請求項１記載の方法。
前記フレームシーケンスは、デジタルフレームシーケンスであり、
前記映像は、前記デジタルフレームシーケンスから構成され、
当該方法は、
前記フレームシーケンスのフレームの各画素ブロックに対して変換を実行し、前記画素ブロックに対応する係数マトリックスを生成するステップと、
アナログ映像フレームシーケンスを受信するステップと、
前記アナログ映像フレームシーケンスを前記デジタルフレームシーケンスに変換するステップと、
を有し、
各画素は、少なくとも１バイトによって表される、請求項１記載の方法。
前記インタフェースは、１〜２０Ｍｂｐｓのデータレートを有し、受信装置に通信リンクを提供する低データレートインタフェースである、請求項１記載の方法。
前記インタフェースは、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェースである、請求項４記載の方法。
インタフェースを介し第１パス及び第２パスの２つのパスにより受信した係数から高品質映像ビットストリームを生成する方法であって、
フレームシーケンスの各フレームは画素ブロックから構成され、各画素ブロックは係数マトリックスにより表され、
当該方法は、
前記フレームシーケンスの各フレームの係数マトリックスの第１係数部分を解凍するステップと、
前記第１係数部分の受信後の前記フレームシーケンスの各フレームについて受信される前記係数マトリックスの第２係数部分を解凍するステップと、
前記画素ブロックに対応する合成された係数マトリックスを生成するため、各フレームの対応する係数マトリックスの前記第１及び第２係数部分を合成するステップと、
前記フレームシーケンスから構成される映像を表すビットストリームを生成するため、各フレームシーケンスの各画素ブロックについて前記合成された係数マトリックスを変換するステップと、
前記ビットストリームを格納するステップと、
を有し、
各フレームの係数マトリックスの第１係数部分が、前記第１パスにより前記インタフェースを介し受信装置により受信され、
各フレームの係数マトリックスの第２係数部分が、前記第２パスにより前記インタフェースを介し前記受信装置により受信され、
リファレンスフレームに基づき、前記受信装置は、前記フレームシーケンスに対応する送信映像を生成するため、各フレームの対応する係数マトリックスの前記第１係数部分と前記第２係数部分とを合成し、
各係数ブロックは、対応する画素ブロックを変換することから生成される係数マトリックスから構成され、各マトリックスの前記第１及び第２係数部分は、相互排他的なものであり、
各画素ブロックに対応する係数マトリックスを生成するため、前記フレームシーケンスのフレームの各画素ブロックに対して変換が実行され、
前記変換の実行は、各画素ブロックに対して離散コサイン変換（ＤＣＴ）を実行し、前記画素ブロックのＤＣＴ係数マトリックスを生成することから構成される方法。
映像が、前記フレームシーケンスから構成され、
当該方法はさらに、
前記フレームシーケンスのフレームの各画素ブロックの第１係数部分を前記インタフェースを介し受信するステップと、
前記フレームシーケンスのフレームの各画素ブロックの第１係数部分を格納するステップと、
前記第１係数部分の受信を完了すると、前記フレームシーケンスのフレームの各画素ブロックの第２係数部分を受信するステップと、
を有する、請求項６記載の方法。
高品質映像を表すビットストリームを生成するシステムであって、
第１パスによりフレームシーケンスのフレームの複数の係数マトリックスの第１係数部分を受信し、さらに前記第１係数部分の受信後に第２パスにより前記フレームの係数マトリックスの第２係数部分を受信するシリアルインタフェースと、
前記第１及び第２係数部分を解凍する解凍要素と、
画素ブロックに対応する合成された係数マトリックスを生成するため、基準フレームに基づき対応するフレームの前記第１及び第２係数部分を合成する合成要素と、
前記フレームシーケンスのフレームを表す合成された係数マトリックスから前記ビットストリームを生成するさらなる処理要素と、
前記ビットストリームを格納する格納要素と、
を有し、
各フレームは、複数の画素ブロックを有し、
各画素ブロックは、前記係数マトリックスの１つにより表され、
各フレームの係数マトリックスの第１係数部分と第２係数部分とが、前記インタフェースを介し受信装置により受信され、
前記受信装置は、前記フレームシーケンスに対応する送信映像を生成するため、各フレームの対応する係数マトリックスの前記第１係数部分と前記第２係数部分とを合成し、
各係数ブロックは、対応する画素ブロックを変換することから生成される係数マトリックスから構成され、各マトリックスの前記第１及び第２係数部分は、相互排他的なものであり、
各画素ブロックに対応する係数マトリックスを生成するため、前記フレームシーケンスのフレームの各画素ブロックに対して変換が実行され、
前記変換の実行は、各画素ブロックに対して離散コサイン変換（ＤＣＴ）を実行し、前記画素ブロックのＤＣＴ係数マトリックスを生成することから構成されるシステム。
第１パス及び第２パスの２つのパスによりフレームシーケンスからなる映像を転送する映像キャプチャ装置であって、
画素ブロックを対応する係数マトリックスに変換し、フレームシーケンスのフレームの第１係数部分を圧縮する圧縮要素と、
前記フレームシーケンスの各フレームについて前記圧縮された第１係数部分をシリアルリンクを介し送信するシリアルインタフェースと、
前記圧縮された第１係数部分の送信後、前記圧縮要素に前記第２係数部分を圧縮するよう指示し、前記フレームシーケンスの各フレームの前記圧縮された第２係数部分を前記シリアルインタフェースに送信するコントローラと、
を有する映像キャプチャ装置であって、
前記フレームシーケンスの各フレームは複数の画素ブロックを有し、各画素ブロックは係数ブロックにより表され、
各フレームの係数マトリックスの第１係数部分が、前記第１パスにより前記インタフェースを介し受信装置により受信され、
各フレームの係数マトリックスの第２係数部分が、前記第２パスにより前記インタフェースを介し前記受信装置により受信され、
リファレンスフレームに基づき、前記受信装置は、前記フレームシーケンスに対応する送信映像を生成するため、各フレームの対応する係数マトリックスの前記第１係数部分と前記第２係数部分とを合成し、
各係数ブロックは、対応する画素ブロックを変換することから生成される係数マトリックスから構成され、各マトリックスの前記第１及び第２係数部分は、相互排他的なものであり、
各画素ブロックに対応する係数マトリックスを生成するため、前記フレームシーケンスのフレームの各画素ブロックに対して変換が実行され、
前記変換の実行は、各画素ブロックに対して離散コサイン変換（ＤＣＴ）を実行し、前記画素ブロックのＤＣＴ係数マトリックスを生成し、
各ＤＣＴ係数マトリックスは、低周波数部分と高周波数部分とを有し、
前記低周波数部分は、前記第１パス中に前記インタフェースを介し転送され、前記高周波数部分は、前記第２パス中に前記インタフェースを介し転送される映像キャプチャ装置。
前記圧縮要素は、各画素ブロックを該画素ブロックに対応する係数マトリックスに変換する、請求項９記載の映像キャプチャ装置。
前記圧縮要素は、前記フレームシーケンスのフレームの各マトリックス係数の低周波数係数部分を圧縮し、
前記インタフェースは、前記フレームシーケンスのフレームの各画素ブロックの圧縮された高周波数係数部分の送信前に、前記フレームシーケンスのフレームの各画素ブロックの圧縮された低周波数係数部分を送信する、請求項１０記載の映像キャプチャ装置。
前記フレームシーケンスは、アナログ映像フレームシーケンスであり、
当該装置はさらに、前記アナログ映像フレームシーケンスを受信し、該アナログ映像フレームシーケンスをデジタル映像フレームシーケンスに変換する復号化要素を有し、
各画素は、少なくとも１バイトにより表される、請求項１０記載の映像キャプチャ装置。
前記シリアルインタフェースは、受信装置に通信リンクを提供し、１〜２０Ｍｂｐｓのデータレートを有するＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェースであり、
前記圧縮要素は、前記画素ブロックに対して離散コサイン変換（ＤＣＴ）を実行し、各画素ブロックに対応するＤＣＴ係数マトリックスを生成するハードウェアアクセラレータを有する、請求項９記載の映像キャプチャ装置。