JP4097586B2

JP4097586B2 - データ処理装置

Info

Publication number: JP4097586B2
Application number: JP2003345852A
Authority: JP
Inventors: 智志田中
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2003-10-03
Filing date: 2003-10-03
Publication date: 2008-06-11
Anticipated expiration: 2023-10-03
Also published as: CN1604636A; JP2005117156A; EP1521474A2; US20050073892A1; EP1521474A3

Description

この発明は、データ処理装置に関し、特にたとえば、画像データをＪＰＥＧ２０００方式に従って階層符号化して処理する、データ処理装置に関する。

ＪＰＥＧ２０００符号化方式では、エンコード時、画像信号をウェーブレット変換，量子化およびエントロピー符号化し、符号化データの各々に優先度を付与する。そして、符号化データを優先度順に並べてストリームを形成する。

優先度には、レイヤ（Ｌ），解像度（Ｒ），位置（Ｐ）および色成分（Ｃ）の４種類がある。ストリームは、４つの階層からなる階層構造を有し、各々の階層にＬ，Ｒ，ＣおよびＰのいずれかを割り当てる。４つの階層にそれぞれどの優先度を割り当てるかによって、互いに異なる複数のスケーラビリティが実現される。

例えば、最上位の階層にＬを、次の階層にＲを、その次の階層にＣを、最下位の階層にＰを割り当てたＬＲＣＰ配列のストリームを形成した場合、デコードの際に最上位レイヤから順番にレイヤ単位で符号化データが復号されていくので、ＳＮＲ（Ｓ／Ｎ比）のスケーラビリティが実現される。

また、最上位の階層にＲを、次の階層にＬを、その次の階層にＣを、最下位の階層にＰを割り当てたＲＬＣＰ配列のストリームを形成した場合、デコード時、最低解像度レベルから順番に解像度レベル単位で符号化データが復号されていくので、解像度のスケーラビリティが実現される。

従来、上記のような特徴を持つＪＰＥＧ２０００符号化方式を用いた画像記録装置の一例が、特許文献１に開示されている。この従来技術は、画像信号をＪＰＥＧ２０００方式で符号化し、符号化データからＲＬＣＰ配列のストリームを形成する。そして、形成されたストリームを記録媒体に記録する。その後、再生要求に応じて記録媒体からストリームを読み出し、読み出されたストリームを画像信号に復号する。

要求が低解像度画像の場合、ストリームの先頭部分つまり低解像度レベルの符号化データだけを復号する。要求が高解像度画像の場合、さらにストリームの残りの部分つまり高解像度レベルの符号化データをも復号する。これにより、ユーザ一人一人の希望に応じて、最低域の低解像度画像から原画像と同等の高解像度画像まで、互いに異なる解像度の画像を再生することができる。
特開２０００−２９５５７７号公報［Ｈ０４Ｎ５／９２，５／２２２，５／２２５，５／９０７，５／９１］

しかし、上記の従来技術では、互いに異なるＳＮＲの画像を再生することはできない。なぜなら、記録媒体に記録されているのはＲＬＣＰ配列ストリームだからである。他の従来技術においても、択一的に選択された配列のストリームだけしか取り扱うことができない。

そこで、ＲＬＣＰ配列ストリームとＬＲＣＰ配列ストリームとの両方を生成することができるデータ処理装置が所望される。しかし、そのためには、同一画像を２回にわたって符号化しなければならないので、符号化を行う際の処理時間が長くなり、その結果、利用者の快適性が損なわれる。

特にＪＰＥＧ２０００方式による符号化は、従前のＪＰＥＧ方式と比べて２〜３倍程度の処理時間を要するため、快適性が著しく損なわれる結果となる。動画像を構成する複数の静止画像を立て続けにＪＰＥＧ２０００で符号化する場面では、なおさらである。

それゆえに、この発明の主たる目的は、快適さを損なうことなく、画像を様々な画質で再生することができる、データ処理装置を提供することである。

この発明は、静止画像データである入力データを解像度およびＳＮＲを含む複数の画質パラメータに基づいて階層符号化して複数の画質パラメータの１つを最優先とする第１態様で配列された複数のデータブロックを含む第１データブロック列を生成する符号化手段、符号化手段によって符号化された第１データブロック列を記録媒体に記録する記録手段、データブロック列の送信要求を受け付ける受け付け手段、受け付け手段によって受け付けられた送信要求が第１データブロック列および複数の画質パラメータの他の１つを最優先とする第２態様で配列された複数のデータブロックを含む第２データブロック列のいずれを要求しているかを判別する第１判別手段、受け付け手段によって受け付けられた送信要求がいくつのデータブロックを要求しているかを判別する第２判別手段、第１判別手段の判別結果が第２データブロック列を示すとき、記録手段によって記録媒体に記録された第１データブロック列から第２態様に従う順序で第２判別手段の判別結果に応じた数のデータブロックを抽出し、そして抽出されたデータブロックを先頭から順にメモリに配列する並び替え手段、および第１判別手段の判別結果が第２データブロック列を示すとき、並び替え手段によってメモリに配列されたデータブロック列を送信する送信手段を備える、データ処理装置である。

この発明のデータ処理装置では、静止画像データが入力されると、符号化手段はこの入力データを解像度およびＳＮＲを含む複数の画質パラメータに基づいて階層符号化して複数の画質パラメータの１つを最優先とする第１態様で配列された複数のデータブロックを含む第１データブロック列を生成し、記録手段は生成された第１データブロック列を記録媒体に記録する。受け付け手段がデータブロック列の送信要求を受け付けると、第１判別手段は受け付けられた送信要求が第１データブロック列および複数の画質パラメータの他の１つを最優先とする第２態様で配列された複数のデータブロックを含む第２データブロック列のいずれを要求しているかを判別し、第２判別手段は受け付けられた送信要求がいくつのデータブロックを要求しているかを判別する。並び替え手段は、第１判別手段の判別結果が第２データブロック列を示すとき、記録手段によって記録媒体に記録された第１データブロック列から第２態様に従う順序で第２判別手段の判別結果に応じた数のデータブロックを抽出し、そして抽出されたデータブロックを先頭から順にメモリに配列する。送信手段は、第１判別手段の判別結果が第２データブロック列を示すとき、並び替え手段によってメモリに配列されたデータブロック列を送信する。

一般に、データブロックの並び替えにかかる時間は、符号化を行ってデータブロック列を生成するのに要する時間よりも短い。この発明によれば、符号化により得られた第１データブロック列に並び替えを施すことによって第２ブロック列を生成するので、第１および第２データブロック列を両方とも符号化によって生成する場合と比べ、処理時間が短縮される。また、第１データブロック列だけが記録媒体に記録され、第２データブロック列はこれを要求する送信要求を受けたときに並べ替え処理によってメモリ内に生成されるので、記録媒体の容量を削減できる。並べ替え処理では、送信要求の求めるブロック数を判別し、これと同数のデータブロックを記録媒体内の第１データブロック列から抽出して先頭から順にメモリに配列するので、並べ替えの処理量が減り、送信要求に対する応答性が向上する。

好ましくは、送信要求は複数の端末の各々によって発せられ、データ処理装置は優先すべき画質パラメータおよび当該画質パラメータの高低を端末毎に記述したテーブルをさらに備え、第１判別手段および第２判別手段の各々はテーブルに基づいて判別を行う。

この発明では、データブロック列の送信先においてデータブロック列の復号化を行ったとき、解像度およびＳＮＲを含む複数のスケーラビリティのいずれかが実現される。上記のようなテーブルを利用すれば、データブロック列を受信して画像を再生する端末は、第１および第２データブロック列のどちらが欲しいか、およびそのデータブロック列を構成するデータブロックのうち何個が必要かを逐一指定しなくても、異なる解像度および異なるＳＮＲの両方を含む様々な画質のうち希望の画質で画像再生を行うことができる。

好ましくは、階層符号化はＪＰＥＧ２０００方式に従う。

すなわち、入力データはＪＰＥＧ２０００方式に従って符号化される。ＪＰＥＧ２０００で符号化を行う場合、長い処理時間、例えば従前のＪＰＥＧ方式で符号化を行う場合の２〜３倍程度の処理時間を要する。よって、第２データブロック列の生成を並べ替えで行うことによる処理時間の短縮効果がより顕著となる。

ある局面では、静止画像データは動画像を形成する１画面の画像データである。

この場合、複数画面の画像データを立て続けに符号化するので、第２データブロック列の生成を並べ替えで行うことによる処理時間の短縮効果がさらに顕著となる。

この発明によれば、互いに異なる配列を有する第１および第２データブロック列を短い処理時間で生成できるので、快適さを損なうことなく、様々な画質で画像を再生することが可能になる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例の監視カメラシステム１０は、カメラ１２と、モニタ１４と、サーバ１６とで構成される。カメラ１２は、被写界を撮影し、サーバ１６に画像信号を出力する。モニタ１４は、サーバ１６から画像信号を入力し、カメラ１２で撮影された被写界を画面に表示する。

サーバ１６は、２本のデータバス４２および４４を含む。データバス４２にはＪＰＥＧ２０００コーデック３０が接続され、データバス４４にはＣＰＵ３８およびフラッシュメモリ３６が接続される。

データバス４２にはさらに、ＩＤＥ−Ｉ／Ｆ２０を介してＨＤＤ１８が、Ｄ−Ｉ／Ｆ２２を介してカメラ１２が、ビデオ出力回路２４を介してモニタ１４が、メモリ制御回路２８を介してＳＤＲＡＭ２６が、データバスＩ／Ｆ３２を介してブロック並べ替え回路３４が、それぞれ接続される。

データバス４４にはさらに、メモリ制御回路２８を介してＳＤＲＡＭ２６が接続される。データバス４４には、必要に応じ、ネットワークＩ／Ｆ４０および図示しないネットワークを介して端末Ｔ１，Ｔ２，…が接続される。

なお、サーバ１６では、ＣＰＵ３８やネットワークＩ／Ｆ４０が接続されているデータバス４２とは別のデータバス４４に、ＪＰＥＧ２０００コーデック３０やブロック並べ替え回路３４といった画像処理専用の高速なハードウエア群を接続することにより、画像処理速度の向上を図っている。データバス４２側のハードウエアとデータバス４４側のハードウエアとは、メモリ制御回路２８を通じて互いにデータのやり取りをすることができる。

以下、サーバ１６を構成する１つ１つの要素について説明する。

Ｄ−Ｉ／Ｆ２２は、カメラからの画像信号をデータバス４２に適合する信号に変換する。ビデオ出力回路２４は、データバス４２からの画像信号をモニタ１４に適合する信号に変換する。

ＩＤＥ−Ｉ／Ｆ２０は、ＣＰＵ３８の指示を受け、ＨＤＤ１８を制御する。ＨＤＤ１８は、ＩＤＥ−Ｉ／Ｆ２０の制御に応じてデータバス４２からのストリームをＨＤ１８ａに記録し、かつＨＤ１８ａからストリームを読み出してデータバス４２に出力する。

ネットワークＩ／Ｆ４０は、ＣＰＵ３８の指示を受け、データバス４４からのストリームをネットワーク経由で端末Ｔ１，Ｔ２，…に送信する。データバスＩ／Ｆ３２は、並べ替え制御回路３４１とデータバス４２との間のデータのやり取りを仲介する。

ＳＤＲＡＭ２６は、複数の記憶領域（バンク）を含んでおり、これら複数の記憶領域に符号化される前の画像信号，符号化して得られたストリーム，およびブロック並べ替え処理を施した後のストリーム等がそれぞれ記憶される。

メモリ制御回路２８は、ＣＰＵ３８の指示を受けて、データバス４２からの画像信号やストリームをＳＤＲＡＭ２６に書き込み、かつＳＤＲＡＭ２６から画像信号やストリームを読み出してデータバス４２またはデータバス４４に出力する。メモリ制御回路２８はまた、並べ替え制御回路３４１の依頼を受けて、ＳＤＲＡＭ２６内の指定された場所（コピー元アドレス）からデータを読み出してデータバス４２に出力し、かつデータバス４２からのデータをＳＤＲＡＭ２６内の指定された場所（コピー先アドレス）に書き込む。

ＪＰＥＧ２０００コーデック３０は、データバス４２から入力される画像信号をＪＰＥＧ２０００方式に従って符号化し、符号化して得られたストリームをデータバス４２に出力する。また、データバス４２から入力されるストリームをＪＰＥＧ２０００方式に従って復号化し、復号化して得られた画像信号をデータバス４２に出力する。なお、符号化および復号化処理の詳細については後述する。

ブロック並べ替え回路３４は、並べ替え制御回路３４１，データバッファ３４２および並べ替え設定値レジスタ３４３を含む。並べ替え制御回路３４１は、並べ替え設定値レジスタ３４３に対し、メモリ制御回路２８がコピーを行うとき参照するパラメータの値を設定する。並べ替え制御回路３４１はまた、自分の指示に応じてメモリ制御回路２８がＳＤＲＡＭ２６からデータバス４２に出力したデータを取り込み、取り込んだデータをデータバッファ３４２内に一時保持する。

並べ替え設定値レジスタ３４３の内容が図２に示されている。図２を参照して、並べ替え設定値レジスタ３４３には、今から行われるコピー処理の対象となるブロックの個数を示す対象ブロック数３４３ａと、コピー対象ブロックの各々が今記憶されている場所を示すコピー元アドレス３４３ｂと、コピー対象ブロックの各々のデータサイズを示すコピー元サイズ３４３ｃと、読み出され一纏めにされたコピー対象ブロックが新たに書き込まれる場所を示すコピー先アドレス３４３ｄとが設定される。なお、この実施例におけるコピー対象ブロック数は３であり、従って、コピー元アドレス３４３ｂおよびコピー元サイズ３４３ｃにはそれぞれ３個の値が設定される。

このように構成されたブロック並べ替え回路３４は、ＳＤＲＡＭ２６に記憶されているストリームをブロック単位でコピーして並べ替えを行うことにより、別の配列のストリームをＳＤＲＡＭ２６内に生成する。これにより、ＳＤＲＡＭ２６内には、同一画像についてＬＲＣＰ配列およびＲＬＣＰ配列の２種類のストリームが記憶される結果となる。なお、ブロック並べ替え処理の詳細については後述する。

フラッシュメモリ３６は、ＣＰＵ３８の処理手順を記述したプログラム３６１と、以下に説明する録画用テーブル３６２および再生用テーブル３６３とが格納される。

録画用テーブル３６２の一例が図３に示されている。図３を参照して、録画用テーブル３６２には、符号化を行う際に参照されるパラメータとして、解像度レベル数３６２ａ，レイヤ数３６２ｂおよびスケーラビリティ３６２ｃが設定される。解像度レベル数３６２ａおよびレイヤ数３６２ｂには、１以上の任意の整数がそれぞれ設定される。ここでは一例として両パラメータの値をそれぞれ３とする。スケーラビリティ３６２ｃとしては、“解像度優先”および“ＳＮＲ優先”のどちらか一方が選択される。

再生用テーブル３６３の一例が図４に示されている。図４を参照して、再生用テーブル３６３は、端末Ｔ１，Ｔ２，…の専用欄３６３ａ，３６３ａ，…に区分される。そして、これらの専用欄３６３ａ，３６３ａ，…の各々に、実現したいスケーラビリティに関連して解像度３６３ｂおよびＳＮＲ３６３ｃが設定される。解像度３６３ｂおよびＳＮＲ３６３ｃの設定値としては、高，中，低および非優先がある。なお、値の設定は、例えば端末Ｔ１，Ｔ２，…の各々を通じて行われる。設定に当たっては、解像度３６３ｂおよびＳＮＲ３６３ｃのどちらか一方について高，中および低のうち１つを選択し、他方は非優先とする。この実施例では、端末Ｔ１に“高解像度”が、端末Ｔ２には“低ＳＮＲ”が設定されている。

ＣＰＵ３８は、フラッシュメモリ３６内のプログラム３６１に従い、上記の各構成要素を制御する。これにより、サーバ１６において、画像記録や画像再生、画像配信といった様々な画像処理が実現される。

以下、上記の符号化処理および復号化処理について詳細に説明する。ＪＰＥＧ２０００コーデック３０は、具体的には、画像信号を次のような手順で符号化する。最初、ＪＰＥＧ２０００コーデック３０は、画像信号にウェーブレット変換を施す。これにより画像信号は、水平および垂直方向に所定回数のサブバンド分解を施される。

ウェーブレット変換の一例を図５に示す。図５を参照して、例えば、サブバンド分解を行う回数すなわち分解レベル数が３の場合、まず原画像（０ＬＬ）が４つのサブバンド（１ＬＬ，１ＨＬ，１ＬＨおよび１ＨＨ）に分解され、次に１ＬＬサブバンドが４つのサブバンド（２ＬＬ，２ＨＬ，２ＬＨおよび２ＨＨ）に分解され、さらに２ＬＬサブバンドが４つのサブバンド（３ＬＬ，３ＨＬ，３ＬＨおよび３ＨＨ）に分解される。つまり、原画像は、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨおよび１ＨＨの１０個のサブバンドに分解されることになる。

次に、ＪＰＥＧ２０００コーデック３０は、ウェーブレット変換により得られたサブバンドの各々を量子化する。そして、量子化されたサブバンドの各々に対してエントロピー符号化を行う。エントロピー符号化では、量子化されたサブバンドの各々が、再生画像におけるＳＮＲ向上への寄与の度合いに応じて所定数のレイヤに分割される。この実施例でのレイヤ数は３である。

ＳＮＲ向上への寄与度が最も高いレイヤから降順にレイヤ１，レイヤ２，…と呼ぶ。最上位のレイヤ１に属するデータによって最低限のＳＮＲを有する画像が再生され、これに下位レイヤのデータを順次追加することによって、画像のＳＮＲが段階的に向上していく。

こうして、レイヤ１に属する１０個のサブバンド３ＬＬ〜１ＨＨと、レイヤ２に属する１０個のサブバンド３ＬＬ〜１ＨＨと、レイヤ３に属する１０個のサブバンド３ＬＬ〜１ＨＨとの合計３０個のデータブロックが生成される。

次に、ＪＰＥＧ２０００コーデック３０は、上記のようにして生成された３０個のデータブロックを所定の順序に並べ、さらにヘッダ等の付加情報を添付することによってストリームを形成する。

ＪＰＥＧ２０００コーデック３０によって形成されるストリームのデータ構造を図６に示す。図６（Ａ）に示されているのはＬＲＣＰ配列ストリーム、図６（Ｂ）に示されているのはＲＬＣＰ配列ストリームである。Ｌはレイヤ、Ｒは解像度、Ｐは位置、Ｃは色成分を意味する。位置および色成分は省略されている。

図６（Ａ）を参照して、ＬＲＣＰ配列ストリームでは、ヘッダに続く先頭部分に、レイヤ１に属する１０個のサブバンド３ＬＬ〜１ＨＨがこの順番で配置される。これに続いてレイヤ２に属する１０個のサブバンド３ＬＬ〜１ＨＨ、さらに続いてレイヤ３に属する１０個のサブバンド３ＬＬ〜１ＨＨが配置される。

図６（Ｂ）を参照して、ＲＬＣＰ配列ストリームでは、ヘッダに続く先頭部分に、サブバンド３ＬＬを構成する３つのレイヤ１〜３がこの順番で配置される。これに続いて、サブバンド３ＬＨを構成する３つのレイヤ１〜レイヤ３が配置され、以降、サブバンド３ＨＬから最後のサブバンド１ＨＨまで同様の配置が繰り返される。

なお、ＪＰＥＧ２０００ストリームを復号化する際には、ＪＰＥＧ２０００コーデック３０は、上記の符号化とは逆の処理を行う。

以下、上記のブロック並べ替え処理について詳細に説明する。本発明のブロック並べ替えによるＬＲＣＰ配列ストリームからＲＬＣＰ配列ストリームへの変換が図７に示されている。図７を参照して、最初、ＬＲＣＰ配列ストリームを構成するレイヤ１〜レイヤ３の各々から３ＬＬのブロックが取り出される。取り出された３個のブロックは一纏めにされ、ヘッダの直後に配置される。

次に、レイヤ１〜レイヤ３の各々から３ＬＨのブロックが取り出される。取り出された３個のブロックは一纏めにされ、３ＬＬのブロック群の直後に配置される。以降、３ＨＬ〜１ＨＨについて同様に、３個ブロックを一纏めにして順番に配置する処理が行われる。こうしてＲＬＣＰ配列ストリームが形成される。

本発明のブロック並べ替えによるＲＬＣＰ配列ストリームからＬＲＣＰ配列ストリームへの変換が図８に示されている。図８を参照して、最初、ＲＬＣＰ配列ストリームを構成する１０個のサブバンド３ＬＬ〜１ＨＨの各々からレイヤ１のブロックが取り出される。取り出された１０個のブロックは一纏めにされ、ヘッダの直後に配置される。

次に、サブバンド３ＬＬ〜１ＨＨの各々からレイヤ２のブロックが取り出される。取り出された１０個のブロックは一纏めにされ、レイヤ１のブロック群の直後に配置される。次に、サブバンド３ＬＬ〜１ＨＨの各々からレイヤ２のブロックが取り出される。取り出された１０個のブロックは一纏めにされ、レイヤ２のブロック群の直後に配置される。こうしてＬＲＣＰ配列ストリームが形成される。

並べ替え制御回路３４１は、具体的には、以下のような手順で上記のブロック並べ替えを実行する。ＣＰＵ３８から並べ替え実行の指示があると、最初、並べ替え設定値レジスタ３４３（図２参照）に対象ブロック数３４３ａ，コピー元アドレス３４３ｂ，コピー元サイズ３４３ｃおよびコピー先アドレス３４３ｄの値を順次設定する。次に、メモリ制御回路２８にデータ読み出しを依頼する。

応じてメモリ制御回路２８は、並べ替え設定値レジスタ３４３に設定されている対象ブロック数３４３ａ，コピー元アドレス３４３ｂおよびコピー元サイズ３４３ｃを参照して、ＳＤＲＡＭ２６から対象ブロックのデータを読み出す。次に、読み出したデータを並べ替え回路３４内のデータバッファ３４２に転送する。

並べ替え制御回路３４１は、対象ブロックのデータがデータバッファ３４２に記憶されたのを受け、並べ替えるべきブロックが他にもあるか否かを判定する。この判定結果が肯定的であれば、再び並べ替え設定値レジスタ３４３に値を設定し、メモリ制御回路２８に読み出しを依頼する。

上記の判定結果が否定的となる、つまり並べ替え対象である全てのブロックのデータがデータバッファ３４２内に記憶されると、並べ替え制御回路３４１は、メモリ制御回路２８にデータ書き込みを依頼する。応じてメモリ制御回路２８は、並べ替え設定値レジスタ３４３に設定されているコピー先アドレス３４３ｄを参照して、ＳＤＲＡＭ２６に全ての対象ブロックのデータを一纏めにして書き込む。

ＬＲＣＰ配列からＲＬＣＰ配列への並べ替えを行うときのＳＤＲＡＭ２６のマッピング状態が図９および図１０に示されている。図９を参照して、当初、ＳＤＲＡＭ２６には、図６（Ａ）のような構造を持つＬＲＣＰ配列ストリームだけが記憶されている。図９に示す３本の実線矢印は、並べ替え設定値レジスタ３４３に設定されている３つのコピー元アドレス３４３ｂを指す。点線矢印は、コピー先アドレス３４３ｃを指す。

並べ替え処理では、最初、３つの実線矢印の示す場所にばらばらに記憶されている３個の３ＬＬのブロックが、１つの点線矢印の示す場所に纏めてコピーされる。次に、３個の３ＬＨのブロックが上記３個の３ＬＬの直後の位置に纏めてコピーされる。以降、同様にして３ブロックを１箇所に纏めて順番にコピーしていく。その結果、図１０に示されるように、ＳＤＲＡＭ２６には、ＬＲＣＰ配列ストリームに加え、図６（Ｂ）のような構造を持つＲＬＣＰ配列ストリームがさらに記憶されることとなる。

ＲＬＣＰ配列からＬＲＣＰ配列への並べ替えを行うときのＳＤＲＡＭ２６のマッピング状態が図１１および図１２に示されている。図１１を参照して、当初、ＳＤＲＡＭ２６には、図６（Ｂ）のような構造を持つＲＬＣＰ配列ストリームだけが記憶されている。３本の実線矢印は、並べ替え設定値レジスタ３４３に設定されている３つのコピー元アドレス３４３ｂを指す。点線矢印は、コピー先アドレス３４３ｃを指す。

並べ替え処理では、最初、３つの実線矢印の示す場所にばらばらに記憶されている３ＬＬ，３ＬＨおよび３ＨＬの３ブロックが、１つの点線矢印の示す場所に纏めてコピーされる。次に、３ＨＨ，２ＬＨおよび２ＨＬが上記３ブロックの直後の位置に纏めてコピーされる。以降、同様にして３ブロックを１箇所に纏めて順番にコピーしていく。その結果、図１２に示されるように、ＳＤＲＡＭ２６には、ＲＬＣＰ配列ストリームに加え、図６（Ａ）のような構造を持つＬＲＣＰ配列ストリームがさらに記憶されることとなる。

以上のように構成された監視カメラシステム１０の全体動作を、図１３および図１４に示されたＣＰＵ３８の処理フローに基づき以下に説明する。

この監視カメラシステム１０は、例えばオフィスビルや集合住宅などで用いられる。カメラ１２は、例えば玄関や通路に設置され、サーバ１６およびモニタ１４は、例えば管理室に設けられる。なお、カメラ１２は１台とは限らない。複数のカメラ１２を設置する場合、各カメラ１２，１２，…は、図示しないマルチプレクサを介してＤ−Ｉ／Ｆ２２に接続される。

サーバ１６は、必要に応じ、イントラネットやインターネットを介してビルの内外にある端末Ｔ１，Ｔ２，…と接続される。従って、ユーザは、管理室内のモニタ１６だけでなく、外部の端末Ｔ１，Ｔ２，…からも監視画像を閲覧することができる。

ＣＰＵ３８は、具体的には、フラッシュメモリ３６のプログラム３６１に従い、図１３および図１４のフロー図を処理する。図１３を参照して、サーバ１６が起動されると、ステップＳ１でＣＰＵ３８は、初期処理を行う。初期処理には、例えばメモリ制御回路２８にＳＤＲＡＭ２６の初期化を指示したり、ネットワークＩ／Ｆ４０にネットワークとの接続確立を命じたり、ＪＰＥＧ２０００コーデック３０に初期パラメータを設定したりする処理などが含まれる。

その後、カメラ１２が起動され、カメラ１２から出力された画像信号がＤ−Ｉ／Ｆ２２を通じてサーバ１６内に取り込まれる。ステップＳ３でＣＰＵ３８は、カメラ１２からの画像信号がＤ−Ｉ／Ｆ２２に入力された否かを判定する。この判定結果が肯定的であればステップＳ５に、否定的であればステップＳ７に進む。

ステップＳ５でＣＰＵ３８は、メモリ制御回路２８およびＪＰＥＧ２０００コーデック３０に対し、符号化処理の実行を指示する。この指示では、ＬＲＣＰ配列およびＲＬＣＰ配列の一方が指定される。応じて、メモリ制御回路２８およびＪＰＥＧ２０００コーデック３０は、以下のような処理を行う。

メモリ制御回路２８は、取り込まれた画像信号をいったんＳＤＲＡＭ２６に書き込み、その後、この画像信号をＳＤＲＡＭ２６から読み出して、ＪＰＥＧ２０００コーデック３０に入力する。なお、このとき読み出された画像信号は、ビデオ出力回路２４にも与えられ、モニタ１４にライブ画像が表示される。

ＪＰＥＧ２０００コーデック３０は、入力された画像信号を、ＬＲＣＰ配列およびＲＬＣＰ配列のうちＣＰＵ３８により指定された方のストリームに符号化する。ＪＰＥＧ２０００コーデック３０から出力されたストリームは、メモリ制御回路２８によって再びＳＤＲＡＭ２６に書き込まれる。

ステップＳ７でＣＰＵ３８は、メモリ制御回路２８およびＩＤＥ−Ｉ／Ｆ２０を通じ、ＳＤＲＡＭ２６に一時記憶されているストリームをＨＤ１８ａに書き出す。

ところで、端末Ｔ１，Ｔ２，…は、画像を閲覧する際の画質を予めサーバ１６に申告しており、サーバ１６のフラッシュメモリ３６には、端末Ｔ１，Ｔ２，…の各々が申告した画質を記載した再生用テーブル３６３（図４参照）が格納されている。

端末Ｔ１，Ｔ２，…は、カメラ１２によって撮影された画像を閲覧したい場合、サーバ１６に要求信号を送信する。要求信号には、端末自身の識別子と、画像の識別子すなわち例えばカメラ１２の番号および撮影日時とが添付される。

ステップＳ９でＣＰＵ３８は、端末Ｔ１，Ｔ２，…からネットワークＩ／Ｆ４０へ要求信号が送られてきたか否かを判定する。この判定結果が肯定的であればステップＳ１１に、否定的であればステップＳ１３に進む。

ステップＳ１１でＣＰＵ３８は、ネットワークＩ／Ｆ４０が受信した要求信号の内容を解析し、この解析結果に基づいて、送信元の端末を特定する。ステップＳ１３では、ＩＤＥ−Ｉ／Ｆ２０，メモリ制御回路２８，ＪＰＥＧ２０００コーデック３０，並べ替え制御回路３４１およびネットワークＩ／Ｆ４０に対し、特定端末への画像送信の実行を指示する。その後、ステップＳ１５に進む。

ステップＳ１５でＣＰＵ３８は、処理を継続するか否かを判断する。継続する場合はステップＳ３に戻り、上記と同様の処理を繰り返す。

上記ステップＳ１３の画像送信指示は、図１４のサブルーチンに従って実行される。図１４を参照して、ステップＳ５１でＣＰＵ３８は、ステップＳ１１で特定された端末が解像度を指定しているか否かを再生用テーブル３６３（図４参照）に基づいて判定する。この判定結果が肯定的であればステップＳ５３に進み、否定的であればステップＳ６３に進む。

ステップＳ５３では、ＳＤＲＡＭ２６もしくはＨＤ１８ａ内に指定画像のＲＬＣＰ配列ストリームが記憶されているか否かを判定する。この判定結果が否定的であればステップＳ５５に、肯定的であればステップＳ５９に進む。

ステップＳ５５でＣＰＵ３８は、再生用テーブル３６３に基づいて、並べ替えの対象となるブロック数を計算する。例えば、端末Ｔ１からの閲覧要求に対しては、再生用テーブル３６３に“高解像度”が登録されていることから、図６（Ｂ）のように構成されたＲＬＣＰ配列ストリームの全てのサブバンド（３ＬＬ〜１ＨＨ）を送信しなければならない。１サブバンド当たりのブロック数は３個なので、並べ替えブロック数は、３×１０＝３０個のように計算される。もし“中解像度”が登録されていればサブバンド３ＬＬ〜２ＨＨを送信しなければならないので、並べ替えブロック数は３×７＝２１となる。同様に、“低解像度”が登録されていればサブバンド３ＬＬ〜３ＨＨを送信すればよいので、並べ替えブロック数は３×４＝１２となる。

ステップＳ５７でＣＰＵ３８は、メモリ制御回路２８およびブロック並べ替え回路３４に対し、ブロック並べ替え処理の実行を指示する。実行指示では、並べ替えの対象となるブロック数が指定される。その後、ステップＳ５９に進む。

応じて、メモリ制御回路２８およびブロック並べ替え回路３４は、以下のような並べ替え処理を実行する。最初、並べ替え制御回路３４１が、並べ替え設定値レジスタ３４３（図２参照）にパラメータの値を設定する。具体的には、まず対象ブロック数３４３ａに、ＣＰＵ３８により指定された対象ブロック数（図２では“３”）をセットし、次いでコピー元アドレス３４３ｂおよびコピー元サイズの各々に対象ブロック数３４３ａと同数（図２では３個）の値をセットし、さらにコピー先アドレス３４３ｄに１個の値をセットする。

メモリ制御回路２８は、並べ替え設定値レジスタ３４３の設定内容を参照して、指定されたコピー元アドレス３４３ｂから対象ブロック数３４３ａと同数のブロックを読み出し、読み出したブロックを一纏めにしてコピー先アドレス３４３ｄに書き込む。

ステップＳ５９でＣＰＵ３８は、メモリ制御回路２８もしくはＩＤＥ−Ｉ／Ｆ２０に対し、ＲＬＣＰ配列ストリームの読み出しを指示する。ステップＳ６１では、ネットワークＩ／Ｆ４０に対し、読み出されたＲＬＣＰ配列ストリームの送信を指示する。具体的には、再生用テーブル３６３の該当欄に“解像度”の値が登録されている端末に向けて、登録解像度のＲＬＣＰ配列ストリームを送信するように、ネットワークＩ／Ｆ４０に指示を出す。その後、ステップＳ６３に進む。

この実施例では、端末Ｔ１欄３６３ａに“高解像度”が登録されていることから、端末Ｔ１宛にＲＬＣＰ配列ストリームの全解像度レベル（サブバンド３ＬＬ〜１ＨＨ）が送信されることとなる。もし“中解像度”が登録されていれば解像度レベル１および２（サブバンド３ＬＬ〜２ＨＨ）が、“低解像度”が登録されていれば解像度レベル１（サブバンド３ＬＬ〜３ＨＨ）が送信される。

ステップＳ６３でＣＰＵ３８は、閲覧要求においてＳＮＲが指定されているか否かを判定する。この判定結果が肯定的であればステップＳ６５に進み、否定的であれば上位階層のルーチンに復帰する。ステップＳ６５では、ＳＤＲＡＭ２６もしくはＨＤ１８ａ内に指定画像のＬＲＣＰ配列ストリームが記憶されているか否かを判定する。この判定結果が否定的であればステップＳ６７に、肯定的であればステップＳ７１に進む。

ステップＳ６７でＣＰＵ３８は、再生用テーブル３６３に基づいて、並べ替えの対象となるブロック数を計算する。例えば、端末Ｔ２からの閲覧要求に対しては、再生用テーブル３６３に“低ＳＮＲ”が登録されていることから、図６（Ａ）のように構成されたＬＲＣＰ配列ストリームの最上位レイヤ（レイヤ１に属する３ＬＬ〜３ＨＨ）だけを送信すればよい。よって、並べ替えブロック数は、１０×１＝１０個のように計算される。もし“中ＳＮＲ”が登録されていればレイヤ１およびレイヤ２を送信しなければならないので、並べ替えブロック数は、１０×２＝２０となる。同様に、“高ＳＮＲ”が登録されていればレイヤ１〜３を送信しなければならないので、並べ替えブロック数は、１０×３＝３０となる。

ステップＳ６９でＣＰＵ３８は、メモリ制御回路２８およびブロック並べ替え回路３４に対し、ブロック並べ替え処理の実行を指示する。その後、ステップＳ７１に進む。なお、ステップＳ６９のブロック並べ替え処理は、上記ステップＳ５７のそれと同様のものである。

ステップＳ７１でＣＰＵ３８は、メモリ制御回路２８もしくはＩＤＥ−Ｉ／Ｆ２０に対し、ＬＲＣＰ配列ストリームの読み出しを指示する。ステップＳ７３では、ネットワークＩ／Ｆ４０に対し、ＬＲＣＰ配列ストリームの送信を指示する。具体的には、再生用テーブル３６３の該当欄に“ＳＮＲ”の値が登録されている端末に向けて、登録ＳＮＲのＬＲＣＰ配列ストリームを送信するように、ネットワークＩ／Ｆ４０に指示を出す。その後、上位階層のルーチンに復帰する。

この実施例では、端末Ｔ２欄３６３ａに“低ＳＮＲ”が登録されていることから、端末Ｔ２宛にＬＲＣＰ配列ストリームのレイヤ１（レイヤ１に属するサブバンド３ＬＬ〜１ＨＨ）だけが送信されることとなる。もし“高ＳＮＲ”が登録されていればレイヤ１〜３が、“中ＳＮＲ”が登録されていればレイヤ１および２が送信される。

以上のように、この実施例では、ＪＰＥＧ２０００コーデック３０がＬＲＣＰ配列およびＲＬＣＰ配列のうちどちらか一方のストリームを形成し、ブロック並べ替え回路３４は、形成されたストリームをデータブロック単位でコピーして再配列することにより他方のストリームに変換する。こうすれば、ＬＲＣＰ配列ストリームおよびＲＬＣＰ配列ストリームの両方をＪＰＥＧ２０００コーデック３０が生成する場合と比べ、処理時間が短縮されるので、快適性を損なうことなく、異なる解像度および異なるＳＮＲの両方を含む様々な画質で画像を再生することができる。

なお、この実施例のように専用のブロック並べ替え回路３４を設ける代わりに、ＣＰＵ３８が同様の並べ替え処理を実行してもよい。この場合、データバッファ３４２および並べ替え設定値レジスタ３４３は、例えばフラッシュメモリ３６内に設けられる。プログラム記憶領域３６１には、並べ替え処理を記述したプログラムがさらに格納され、ＣＰＵ３８は、このプログラムに従い、並べ替え制御回路３４１と同様の動作を行う。

また、この実施例のようにストリーム送信時に並べ替えを行う代わりに、ＬＲＣＰ配列およびＲＬＣＰ配列の両方のストリームをＨＤ１８ａに記録してもよい。この方法は、ＨＤ１８ａが十分な容量を有する場合に有効である。この場合のＣＰＵ３８の処理例を以下に示す。

ＣＰＵ３８は、ＨＤ１８ａの空き容量が閾値以上か否かを判定する。この判定結果が肯定的であれば、ＣＰＵ３８は、ＬＲＣＰ配列ストリームおよびＲＬＣＰ配列ストリームをＨＤ１８ａに記録する。

上記の判定結果が肯定的、すなわちＨＤ１８ａの空き容量が閾値未満であれば、ＣＰＵ３８は、録画用テーブル３６２ａ（図３）を参照して、スケーラビリティ３６２ｄの設定値が“解像度優先”であるか否かを判定する。この判定結果が肯定的であれば、ＣＰＵ３８は、ＲＬＣＰ配列ストリームをＨＤ１８ａに記録し、否定的すなわち“ＳＮＲ優先”であればＬＲＣＰ配列ストリームをＨＤ１８ａに記録する。

画像送信時には、指定された配列のストリームをＨＤ１８ａから読み出して送信する。ＨＤ１８ａに一方の配列のストリームしか記録されていない画像については、図１４に示されているものと同様の送信制御を行えばよい。

この実施例の監視カメラシステムの構成を示すブロック図である。並べ替え設定値レジスタの内容を示す図解図である。録画用テーブルの一例を示す図解図である。再生用テーブルの一例を示す図解図である。ウェーブレット変換の一例を示す図解図である。（Ａ）はＬＲＣＰ配列ストリームのデータ構造を示す図解図、（Ｂ）はＲＬＣＰ配列ストリームのデータ構造を示す図解図である。本発明のブロック並べ替えによるＬＲＣＰ配列ストリームからＲＬＣＰ配列ストリームへの変換を示す図解図である。本発明のブロック並べ替えによるＲＬＣＰ配列ストリームからＬＲＣＰ配列ストリームへの変換を示す図解図である。ＳＤＲＡＭのマッピング状態を示す図解図である。ＳＤＲＡＭの他のマッピング状態を示す図解図である。ＳＤＲＡＭのその他のマッピング状態を示す図解図である。ＳＤＲＡＭのさらにその他のマッピング状態を示す図解図である。ＣＰＵによる処理の一部を示すフローチャートである。ＣＰＵによる処理の他の一部を示すフローチャートである。

符号の説明

１０…監視カメラシステム
１２…カメラ
１４…モニタ
１６…サーバ
１８ａ…ＨＤ（ハードディスク）
２６…ＳＤＲＡＭ
３０…ＪＰＥＧ２０００コーデック
３４…ブロック並べ替え回路
３６…フラッシュメモリ
３８…ＣＰＵ

Claims

静止画像データである入力データを解像度およびＳＮＲを含む複数の画質パラメータに基づいて階層符号化して前記複数の画質パラメータの１つを最優先とする第１態様で配列された複数のデータブロックを含む第１データブロック列を生成する符号化手段、
前記符号化手段によって符号化された第１データブロック列を記録媒体に記録する記録手段、
データブロック列の送信要求を受け付ける受け付け手段、
前記受け付け手段によって受け付けられた送信要求が前記第１データブロック列および前記複数の画質パラメータの他の１つを最優先とする第２態様で配列された複数のデータブロックを含む第２データブロック列のいずれを要求しているかを判別する第１判別手段、
前記受け付け手段によって受け付けられた送信要求がいくつのデータブロックを要求しているかを判別する第２判別手段、
前記第１判別手段の判別結果が前記第２データブロック列を示すとき、前記記録手段によって記録媒体に記録された第１データブロック列から前記第２態様に従う順序で前記第２判別手段の判別結果に応じた数のデータブロックを抽出し、そして抽出されたデータブロックを先頭から順にメモリに配列する並び替え手段、および
前記第１判別手段の判別結果が前記第２データブロック列を示すとき、前記並び替え手段によって前記メモリに配列されたデータブロック列を送信する送信手段を備える、データ処理装置。
前記送信要求は複数の端末の各々によって発せられ、
優先すべき画質パラメータおよび当該画質パラメータの高低を端末毎に記述したテーブルをさらに備え、
前記第１判別手段および前記第２判別手段の各々は前記テーブルに基づいて判別を行う、請求項１記載のデータ処理装置。
前記階層符号化はＪＰＥＧ２０００方式に従う、請求項１または２記載のデータ処理装置。
前記静止画像データは動画像を形成する１画面の画像データである、請求項１ないし３のいずれかに記載のデータ処理装置。