JP2007166406A - 画像処理方法及び画像処理装置及びコンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 あらかじめ画像にＲＯＩを設定し、画像データを送信することで、重要領域をいち早く提示する画像通信方法があるが、従来のこのような方法では、受信側でＲＯＩを先に処理するために、通常のデコード方法とは異なる動作が必要になったり、動的に重要領域を変更するのが難しかった。
【解決手段】 ＪＰＥＧ２０００のタイルパートを利用することで、ＲＯＩを擬似的に作成する。これにより、受信側は通常のＪＰＥＧ２０００と同様のデコード方法で、自動的に重要領域を先に表示することが可能になる。さらに、タイルパートの作成は容易に行うことができるため、クライアントに応じて、動的にＲＯＩを変更することも可能にする。
【選択図】 図１

Description

本発明は、画像データの作成技術に関するものである。

近年、急速に普及したデジタルカメラは、画素数も膨大になり、２００万画素から５００万画素程度のものが、一般的になっている。さらに、プロ向けのデジタルカメラになると、１０００万画素クラスのものも存在する。

さらに、デジタルカメラで撮影した画像を、オンラインのアルバムサービスにアップロードして楽しむユーザも増えている。画像データのサイズが大きくなる一方で、このような高精細画像をダウンロードするには、モバイル通信環境などの細いデータ回線では、ダウンロードに時間がかかる。画像を左上から右下に向かって詳細な画像を順に表示するラスタ表示では、ユーザがダウンロードした画像が必要な画像であったか判断できるようになるまでに、非常に大きな時間がかかる。

そこで、ユーザが画像全体を把握するまでの時間を短縮する画像表示方法として、プログレッシブ表示がある。プログレッシブ表示とは画像全体をまず、低解像度で表示し、その後徐々に詳細な表示をしていくものである。

代表的なものとして、プログレッシブJPEGやインターレースGIFが挙げられる。この方法を使えば、ユーザは比較的早い段階で、その画像が必要な画像であるか判断できる。しかし、この方法では、中央部分や画面の下半分に重要な領域がある場合には、重要な領域の詳細を見るには、やはり画像の全体が表示される必要がある、そのため、重要な領域の詳細が、その画像の要・不要を左右する場合には、結局、画像全体を表示し終えない限り判断できない。

このような問題に対応するために、画像の指定された部分だけを拡大して表示する方法や、重要な領域を先に送信する方法が提案されている。

画像の指定された部分だけを拡大表示する方法は、ISOで標準化されたJPEG2000 Part 9: Interactivity tools, APIs and protocols(以下、JPIP)を使うことで実現できる。JPIPとJPEG2000を利用すれば、部分領域の拡大画像を見ることができる。しかしながら、このような部分表示である場合には、全体のどの部分に位置しているのか、把握するのが難しくなる。さらに、JPIPを用いた場合には、断片的に受信したデータをキャッシュしたり、JPIP特有のデータ構造を解析しなくてはならないため、通常のJPEG2000デコーダだけでは、ダウンロードした画像を表示できない。

重要な領域の画像データをその他の領域よりも先に伝送する方法として以下の文献が知られている。

文献１では、画像データと共に重要領域の位置を送信し、その画像データ送信順序は、重要な領域の低解像度、重要領域以外の低解像度、重要な領域の高解像度、そして重要領域以外の高解像度という順序である。この方法であれば、画像の全体における重要領域の位置の把握も容易になり、かつ、重要領域が画像の中央や下半分の領域にあっても、詳細の確認までの時間を短縮することができる。しかしながら、位置情報と、受信データのレンダリング位置を合わせる必要がある。つまり、プログレッシブJPEGやインターレースGIFなどのように、単純に、受信データに対して通常のデコード処理をするだけでは、画像の表示がうまくいかないという問題が残る。

もう一つの重要な領域を先に送信する方法は、JPEG2000のROIを使った方法である。JPEG2000では、ROI指定した領域をビットシフトすることで、画像データの先頭からデータを送ると、結果的に、ビットシフトされたROI領域が他のデータより早く伝送されることになる。この方法であれば、特開2003-333593と同様に、画像の全体における重要領域の位置の把握も容易になり、かつ、重要領域が画像の中央や下半分の領域にあっても、詳細の確認までの時間を短縮することができる。しかし、ROIを変更するためには、再符号化が必要になり、動的にROIを変えるような場合には、サーバ側に大きな負荷がかかる。
特開２００３−３３３５９３号公報

本発明では、ユーザのリクエストに応じて、重要領域を、再符号化をせず、データの並び替えのみで、動的に変更することができ、なおかつ、受信データを先頭から単純にデコードすることで、重要領域を他の領域よりも早く表示できる送信画像データを作成する。

さらに、そのレンダリングには特別な処理を必要とせず、通常のデコードと同様の動作で、重要領域を他の領域よりも、早い段階で表示できる送信画像データを作成する。

例えば本発明の画像処理方法によれば、タイル分割されており、一つ以上の階層を有する一連の階層符号化データを、１つ以上の論理的なグループに分けて格納する画像処理方法であって、重要な領域を特定する重要領域特定工程と、前記重要領域特定工程によって特定された重要領域を含むタイルを特定する重要タイル特定工程と、各タイルを構成する複数の物理的な符号化データをそれぞれ複数のグループに振り分ける所属グループ特定工程と、グループ毎に各グループを識別するグループ識別手段と共に、各タイルの符号化データを前記所属グループ特定工程によって特定されたグループへ出力する符号出力工程とを備え、各タイルの先頭グループのうち、前記重要タイル特定工程によって特定されたタイルには、それ以外のタイルよりも多くの階層の符号化データを格納することを特徴とする。

以上の構成によれば、重要な部分領域から順に画像が高精細になるように表示できる。そのため、画像全体の表示が終了する前に、重要な部分について高解像度の画像が表示されるようになる。

（実施例１）
以下、図面を用いて具体的に説明する。

図1は、本実施例を実現するシステムの概略を示した図である。CPU101は、システム全体の動作をコントロールし、一次記憶102に格納されたプログラムの実行などを行う。一次記憶102は、主にメモリであり、二次記憶103に記憶されたプログラムなどを読み込んで格納する。

二次記憶103は例えば、ハードディスクなどがこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなければならないデータなども二次記憶に格納される。本実施例では、プログラムを二次記憶103に格納し、プログラム実行時に一次記憶102に読み込んでCPU101が実行処理を行う。

入力デバイス104とは、例えば、マウスやキーボードなどがこれに該当する。プログラムなどに割り込み信号を送ったりするために用いる。出力デバイス105とは例えば、モニタやプリンタなどが考えられる。ネットワーク・インタフェース106を介して画像などのデータを送受信する。この装置の構成方法は他にも様々な形態が考えられるが、本発明の主眼ではないので説明を省略する。

図2は、本実施例を実現するシステムの概略を示した図である。201はユーザ1、202はユーザ2をあらわしており、図1で説明したシステムを有する。ユーザ1またはユーザ2のような複数のユーザが、有線、無線を問わず、ネットワーク203によって、サーバ204と通信することが可能である。

サーバ204は画像ファイルを蓄積する大容量の記憶装置205を持っている。大容量の記憶装置205はたとえば、ハードディスクなどがこれに該当する。このハードディスクには、JPEG2000符号化方式により符号化された画像データが数多く格納されている。ユーザ201、202は、サーバ204が格納しているJPEG2000画像データから、JPEG2000ファイルを受信し、表示デバイスに表示する。

次に、一般的なJPEG2000の符号化データについて、図3を用いて説明する。JPEG2000符号化データは、main headerデータ301と呼ばれる、resolution level数、layer数など画像全体の符号化条件について記述されたデータを先頭部分に持ち、その後ろに、タイルのデータが並ぶ。

タイルデータは、タイルパートヘッダ(Tile-part header)302と呼ばれるタイルのヘッダデータを持ち、その後ろにタイルの符号化データを構成するpacket 303と呼ばれる符号化単位データを持っている。各タイルは独立に符号化されているため、タイル単位でデコードすることができる。

図3は、Layer-resolution level-component-position progression(LRCP)に沿ってpacketデータが記録されたJPEG2000ファイルの構成である。

LRCPに準じた場合、layer / resolution / component / positionの順に記録される。

このようなデータの並び方はprogression orderと呼ばれる。

また、ここで記されているpositionとは、JPEG2000符号化データにおけるprecinctのことである。

図3のようにprogression orderがLRCPなら、各layer内は、resolution番号の小さい順にデータが格納されている。Layer番号は復元する画像の原画に対するS/N比に対応し、layer番号が小さいほどS/N比が悪くなる。

一つのJPEG2000ファイル内でのresolution番号とlayer番号、component番号の最大値は、エンコーダによって予め設定され、そのパラメータにしたがってエンコードされており、その情報は符号化データの中に格納されている。

図3では、JPEG2000の構造について説明を簡単にするために、タイルは一つのまとまったデータの塊としてあらわしているが、実際には、各タイルを複数のタイルパート(tile-part)に分割することができる。タイルとタイルパートの関係を図4に示す。図3では、図4(a)のように、すべてのタイルデータを一つのタイルパートヘッダ400を使って、一塊にしている。

図4(a)のタイルデータを3つの部分、410, 411, 412, に分割し、それぞれに、タイルパートヘッダ、420, 421, 422をつけることで、図4(b)に示すようなタイルパート分割ができる。タイルデータを分割する際には、パケットを単位として分割する。つまり、パケットの途中でタイルデータを分割することはできない。

図4(c)にタイルパートヘッダの構造を示す。図4(c)に示すように、タイルパートヘッダには、タイル番号とそのタイルパートのデータ長、タイルパート番号、そして、そのタイルのタイルパート総数が記述されている。

また、JPEG2000符号化データの中で、すべてのタイルに関するタイルパート 0は、タイル順に並べ、main headerの直後におく必要がある。しかし、それ以外のタイルパートについては、各タイルに関係するタイルパートは昇順に並んでいる必要はあるが、その個々のタイルパートが連続して現れる必要はない。タイルパートの並び順の例を図5に示す。

＜サーバに画像を登録する際のROIを決定する方法＞
本実施例では、サーバ204の大容量ハードディスク205にJPEG2000画像を格納する際に、画像提供者がROIを指定し、その部分を他の領域よりも先にクライアントが受信し、デコードできるような画像データに変換する。

画像提供者が、大容量ハードディスク205に登録する画像は、次のようなデコード条件でJPEG2000符号化データとしてエンコードされている。

画像サイズ：1600×1200[pixel]
タイルサイズ：256×256[pixel]
resolution level数：4
resolution level 0 … 200×150[pixel]
resolution level 1 … 400×300[pixel]
resolution level 2 … 800×600[pixel]
resolution level 3 … 1600×1200[pixel]
layer数：1
position数：1 tileにつき1 position (i.e. position分割なし)
component数：3
図6に本実施例における画像のタイル分割の様子を示す。画像提供者は、図6の領域601に含まれる教会をROIとして指定したものとする。この場合、領域601を他の領域よりも先にクライアントがダウンロードできるファイルに変換することになる。

画像ファイルの変換方法について図7を用いて説明する。

まず、ステップS701でファイル変換をする画像を取得する。ステップS702では、ステップS701で取得した画像のmain headerを解析し、resolution level数Roとタイル総数Ttotalを取得する。本実施例の場合、Ro = 4, Ttotal = 35 (= 7×5)である。ステップS703では、画像提供者が指定したROI領域を取得する。
指定方法は、マウスを使って画面上で指定する方法や、数値で指定する方法など様々な方法が考えられるが、本件の主眼ではないので、詳しい説明を割愛する。本実施例では、図6の領域601に含まれる教会部分をROIとして指定したものとする。

ステップS704では、ステップS703で取得したROI領域を含むタイル番号群Troiに変換する。タイル番号の変換は、ステップS703で指定された座標を最大解像度における値に変換して、タイルサイズで割れば、簡単に求められる。

本実施例では、Troi={ 7, 8, 14, 15, 21, 22}となる。ステップS705では、タイルパート用カウンタTPnに0を代入して初期化する。ステップS706では、タイル用カウンタTに0を代入して初期化する。ステップS707では、タイルパートのデータを作成する。このタイルパートの作成の詳細な説明は、図8を用いて後に示す。

ステップS708では、タイル用カウンタTに1を加える。ステップS709では、タイル用カウンタTをタイル総数Ttotalと比較し、同じであれば、すべてのタイルについてタイルパートTPnを作成し終えたとして、ステップS710へすすみ、タイル総数Ttotalに満たなければ、ステップS707へ進む。

本実施例の場合、ステップS707、S708を35回繰り返すとT=35となり、ステップS710へ進むことになる。ステップS710では、タイルパート用カウンタTPnに１を加える。ステップS711では、タイルパート用カウンタTPnをresolution level数Roと比較し、TPnがRo以下ならステップS706へ戻り、TPnが Roより大きな値であれば、すべてのTPnを作成し終えたとして、このフローを終了する。

本実施例の場合、ステップS706〜ステップS710を5回繰り返すと、TPn = 5 > 4 = Roとなり、このフローを終了する。つまり、各タイルに対して、タイルパートは、resolution level数Roより一つ多い数だけ作成される。

次に、図8を用いて、タイルパートの作成方法を説明する。

ステップS801では、タイルカウンタTがステップS703で取得したTroiに含まれているかどうか判断する。Troiに含まれていれば、ステップS802へ進み、含まれていなければステップS806へ進む。

本実施例の場合、Troi={ 7, 8, 14, 15, 21, 22}であるので、Tが7, 8, 14, 15, 21, 22のいずれかの値の場合ステップS802へ進む。ステップS802では、タイルパート用カウンタTPnの値が0であるか調べ、0であれば、ステップS803へ進み、0以外であれば、ステップS804へ進む。ステップS803では、resolution level 0 〜 (Ro-2)のデータを使って、タイルパート0を作成する。

本実施例であれば、T = 7, TPn = 0のときにステップS803の処理を行うことになる。符号化データの中から、タイル7のresolution level 0, 1, 2のデータを抜き出し、そのデータ長を取得し、図4のIsot 431にタイル番号7を、Psot 432にresolution level 0, 1, 2のデータ長＋タイルヘッダのデータ長(=14)を、Tpsot 433にタイルパート番号0を、Tnsot 434にタイルパートの総数(Ro + 1) = 5を書き込み、タイルヘッダを作成する。

そして、そのタイルヘッダの後ろに先ほど抜きだした、タイル7のresolution level 0, 1, 2のデータを続ける。したがって、タイル7のresolution level 3だけが残ることになる。

ステップS802で、タイルパート用カウンタTPnの値が0でなければ、ステップS804へ進む。ステップS804では、タイルパート用カウンタTPnの値が1であるか判断し、TPn = 1であればステップS805へ進み、TPnが1でなければ、ステップS807へ進む。

本実施例の場合、T = 7, TPn = 1となると、ステップS804へ進むことになる。この場合、タイル7のタイルパート0に含まれなかったresolution level 3のデータのみをタイルパート1のデータとなる。

このときも、上述したように、Isot 431にタイル番号7を、Psot 432にresolution level 3のデータ長＋タイルヘッダのデータ長を、Tpsot 433にタイルパート番号1を、Tnsot 434にタイルパートの総数(Ro + 1) = 5を書き込み、タイルヘッダを作成し、その後ろにresolution level 3のデータを続けることになる。したがって、ROIに含まれるタイルTroiのデータは、すべてタイルパート0とタイルパート1に分割される。

ステップS801でタイルカウンタTがタイル群Troiに含まれない場合には、ステップS806へ進むことになる。ステップS806では、タイルパート用カウンタTPnが0であれば、ステップS807へ進み、0でなければステップS808へ進むことになる。

つまり、Troiに含まれるタイルのうちタイルパート番号が2以上の場合と、Troiに含まれないタイルのうちタイルパート番号が0の場合に、ステップS807の処理が行われる。ステップS807では、タイルT、タイルパートTPnのタイルパートヘッダのみ作成する。

本実施例では、ROIに含まれるタイル7のタイルパート2、3、4の時や、ROIの外にあるタイル0のタイルパート0の時にステップS807の処理が行われる。タイル7のタイルパート2であれば、Isot 431にタイル番号7を、Psot 432にタイルヘッダのデータ長である14を、Tpsot 433にタイルパート番号2を、Tnsot 434にタイルパートの総数(Ro + 1) = 5を書き込み、タイルヘッダを作成する。

ステップS806でTPnが0でなければ、ステップS808へ進む。ステップS808では、resolution level (TPn - 1)のデータからタイルパートTPnを作成する。

本実施例の場合、タイル0、タイルパート1の時にステップS808を通ることになる。したがって、タイル0のresolution level 0のデータ長を取得し、Isot 431にタイル番号0を、Psot 432にresolution level 0のデータ長＋タイルヘッダのデータ長(=14)を、Tpsot 433にタイルパート番号1を、Tnsot 434にタイルパートの総数(Ro + 1) = 5を書き込み、タイルヘッダを作成し、タイルヘッダの後ろにresolution level 0のデータを続ける。

したがって、ROIに含まれないタイルは、タイルパート0には、データが入っておらず、タイルパート1以降に、1 resolution levelずつデータが格納されることになる。

以上より、本実施例のデータは図5(a)のようにタイルパート順に並び、ROIに含まれるタイルのresolutionデータは、図9(a)に示すように各タイルパートに分割され、ROIに含まれないタイルのresolutionデータは、図9(b)に示すように各タイルパートに分割される。

このようなデータを、ファイルの先頭から受信し、タイルパート毎にデコードすると、クライアント側での表示は、次のようになる。

1. ROIに含まれる最高解像度の一つ下のresolution levelの画像
2. ROI以外の領域のresolution level 0の画像とROIに含まれる最高解像度の画像
3. ROI以外の領域の高精細画像のプログレッシブ表示
したがって、クライアントはダウンロードの早い段階で、重要領域のある程度高精細な画像を見ることができ、さらに、次の段階では、画像全体の大まかな様子も見ることが出来る。しかも、この符号化データは、JPEG2000の標準的なデコーダを使ってデコードできる。

（実施例２）
上記実施例1では、画像提供者がサーバ側の大容量ハードディスク205に画像を登録する際に、画像提供者の判断でROIを作成したが、これをクライアントに応じて動的にROIを生成しても良い。

たとえば、画像の部分領域にキーワードを付与し、画像検索システムにおいて、ユーザの検索キーワードと画像の部分領域のキーワードを比較して、ROI領域を動的に変更し、送信直前にデータの並び替えを行っても良い。

たとえば、「教会」というキーワードで検索した場合には、領域601をROIとし、人物の名前がキーワードであれば、人物を含む領域602をROIとし、さらに、「花」というキーワードで検索した場合には、領域603をROIとして、データを並び替えて送信しても良い。

また、実施例1では、ROIの領域を1つにしたが、複数のROI領域を指定しても良い。たとえば、図6(a)の教会を含む領域601とチューリップを含む領域603の2箇所をROIと指定することも可能である。

また、実施例1では、resolution levelでデータを分割したが、layerで分割しても良い。つまり、ROI領域に含まれるタイルのタイルパート0には、ある程度画質の良いデータのみを含み、タイルパート1ですべてのlayerデータを含み、ROI領域以外のタイルのタイルパート0には、データが格納されておらず、タイルパート1から順にlayerデータを格納していくようにする。

以上で説明した実施例によれば、重要な部分領域から順に画像が高精細になるように表示できる。そのため、画像全体の表示が終了する前に、重要な部分について高解像度の画像が表示されるようになる。

また、重要な部分領域以外も、早い段階で粗く表示されるので、重要な部分領域の次に全体像を把握できる。また、最終的には、重要な部分領域以外も高解像度で画像が表示される。

さらに、重要な部分領域のデータの作成は、JPEG2000のタイルパートを使い、さらに、すべてのタイルパート0のデータがメインヘッダのすぐ後ろに並ぶので、通常のデコード処理をし、タイル順にレンダリングするだけで、自然に重要領域から表示される。

さらに、タイルパートによって重要領域データを作成は、画像データの再符号化せずに、データを並べかえるだけで容易に実現できる。そのため、クライアントのリクエストに応じて動的にROIを変更することも容易に実現できる。

コンピュータシステムの構成図 サーバ・クライアントの構成図 JPEG2000符号データの構成図 タイルとタイルパートの関係図 タイルパートの並び順の例の図 実施例1における画像のタイル分割の図 実施例1における画像変換フローの図 実施例１におけるタイルパートの作成フローの図 実施利1におけるresolutionデータの分割の例

Claims (13)

1. タイル分割されており、一つ以上の階層を有する一連の階層符号化データを、１つ以上の論理的なグループに分けて格納する画像処理方法であって、
   重要な領域を特定する重要領域特定工程と、
   前記重要領域特定工程によって特定された重要領域を含むタイルを特定する重要タイル特定工程と、
   各タイルを構成する複数の物理的な符号化データをそれぞれ複数のグループに振り分ける所属グループ特定工程と、
   グループ毎に各グループを識別するグループ識別手段と共に、各タイルの符号化データを前記所属グループ特定工程によって特定されたグループへ出力する符号出力工程とを備え、
   各タイルの先頭グループのうち、前記重要タイル特定工程によって特定されたタイルには、それ以外のタイルよりも多くの階層の符号化データを格納することを特徴とする画像処理方法。
2. 前記グループ識別手段は、グループ化された符号データをまとめるヘッダ情報であることを特徴とする請求項１記載の画像処理方法。
3. 前記階層符号化データは、解像度方向の階層を持つことを特徴とする請求項１記載の画像処理方法。
4. 前記階層符号化データは、画質方向の階層を持つことを特徴とする請求項１記載の画像処理方法。
5. 前記重要タイル特定工程によって特定されたタイルの先頭グループに格納される符号化データは、それ以外のタイルの先頭グループよりも高解像度の階層を持つ符号データであることを特徴とする請求項１に記載の画像処理方法。
6. 前記重要タイル特定工程によって特定されたタイルの先頭グループに格納される符号化データは、それ以外のタイルの先頭グループよりも高画質の階層を持つ符号データであることを特徴とする請求項１に記載の画像処理方法。
7. 前記重要領域特定工程によって特定される領域は、領域の付帯情報から特定されることを特徴とする請求項１に記載の画像処理方法。
8. 前記階層符号化データは、ＪＰＥＧ２０００であることを特徴とする請求項１に記載の画像処理方法。
9. 前記物理的な符号化データとは、ＪＰＥＧ２０００のパケットであることを特徴とする請求項７に記載の画像処理方法。
10. 前記グループ識別手段は、Tile-part headerであることを特徴とする請求項７に記載の画像処理方法。
11. タイル分割されており、一つ以上の階層を有する一連の階層符号化データを、１つ以上の論理的なグループに分けて格納する画像処理装置であって、
    重要な領域を特定する重要領域特定手段と、
    前記重要領域特定手段によって特定された重要領域を含むタイルを特定する重要タイル特定手段と、
    各タイルを構成する複数の物理的な符号化データをそれぞれ複数のグループに振り分ける所属グループ特定手段と、
    グループ毎に各グループを識別するグループ識別手段と共に、各タイルの符号化データを前記所属グループ特定手段によって特定されたグループへ出力する符号出力手段とを持ち、
    各タイルの先頭グループのうち、前記重要タイル特定手段によって特定されたタイルには、それ以外のタイルよりも多くの階層の符号化データが格納することを特徴とする画像処理装置。
12. 前記請求項１に記載の画像処理方法をコンピュータに実行させるコンピュータプログラム。
13. 前記請求項１２のコンピュータプログラムを、コンピュータから読取り可能な状態に記憶した記憶媒体。

Images