JP4137923B2 - 画像表示方法および装置 - Google Patents

Description

本発明は、画像を見やすくディスプレイ上に高速表示する方式に関する。特に、多量の画像の３次元空間上への高速表示方法、画像のズームやスクロールで目が疲れない表示方法に関する。例えば、電子美術館システムや目視による画像検索（以下、ブラウジング検索）システムなどに適用できる。

マルチメディア情報化時代を迎え、コンピュータのディスプレイ上に画像を表示する機会が増大している。インターネットの進展とともに、所望の画像情報を簡単にかつ確実に探し出す技術の重要性が増している。インターネット上でテキストを検索対象とする場合には、キーワードによる絞り込みが有効であり、検索サイトとして実用化されている。しかし、画像を代表とするマルチメディア素材を検索対象とする場合においては、キーワードの利用や素材情報の自動抽出はいまだ研究段階であり、現状では検索結果として多数の候補を提示して人間に判断してもらうブラウジング検索が広く利用されている。このブラウジング検索を効率化する技術は重要なキーテクノロジーとなっている。

一方、個人あるいはオフィス環境においても、コンピュータ内に保存されているマルチメディアデータの量は年々増大しており、ここでも所望のデータを探し出したり、効率的に閲覧する技術が重要となっている。従来技術におけるインターネット等の画像データを検索する場合の一般的な処理の流れは概ね次のようになる。

まず、利用者が所望のデータを絞り込むため、キーワード等による絞り込み検索サイト等を利用して、キーワード等である程度検索対象を限定する。次に、色の分布などの画像特徴を利用して、もう少し検索対象を限定する。さらに、上記絞り込みによりある程度絞り込んだ検索対象をディスプレイ上に表示して、利用者が目視によりブラウジング検索を行なう。

従って、画像を対象としたブラウジング検索には次の特徴があると考えられる。

第１の特徴は、ブラウジング検索のため表示対象となる画像データの個数はかなり多く、数百〜数千になりうるということである。表示対象は巨大な母集団の中から選ばれることとなり、どの要素が選ばれるかは、表示直前の絞り込み操作によって定められ、表示の前処理にはあまり時間を掛けられない場合が多い。第２の特徴は、絞り込み処理を行なうためには、一度は母集団をコンピュータに読み込む必要があるので、表示対象は検索を行なうコンピュータの記憶装置に格納されていると仮定できるということである。ブラウジング検索でなく、利用者個人が管理する多量の画像の閲覧を行う場合においても、表示対象にはこれらの性質があると考えられる。

また、多量の画像を表示する際には以下の条件が要求される。

第１の条件は、表示画像に十分な視認性が得られることである。ただし、何が表示されているかが利用者に分かる程度で良く、精密な精細表示は別途行えばよいので、一覧表示においては表示の精密さはそれほど間われない。

第２の条件は、表示画像の一覧性である。表示画像間に一覧性が確保されると、多量の画像についてどこまで目視確認したかという判断が容易になり、また、画像間の比較が容易になるという利点が得られる。

第３の条件は、表示画像の操作性である。多量の画像があるので、表示画像のスクロールやズーム等の操作が十分高速に行えることが要求される。また、操作性が向上すると検索作業を続けてもあまり疲れないという利点も得られる。

ブラウジング検索が行える表示方式として、従来用いられてきた代表的な方式は以下のものがある。

従来の第１のブラウジング検索方式は、画像を縮小して表示する方式（特開昭６２-２４８３７６）である。表示対象となる複数の画像を縮小した画像（サムネイル画像）を作成して、ディスプレイ画面上に配置する。この方式によれば、どこまで見たかが分かりやすいという利点がある。ただし、表示画像の枚数が多くなるにつれて個々の画像を小さくする必要があるため、画像の細部が見えなくなり分かりにくくなる欠点がある。

従来の第２のブラウジング検索方式は、ページに分割して表示する方式である。この方式では、表示画像の縮小は行なわない、または、ある程度の縮小率に留めて表示画像の大きさをある程度確保し、これら表示画像をディスプレイの画面１ページに収まる分量ずつ分けて複数ぺージに編集して、各ページを順番に表示する方式である。個々の画像が分かりやすくなる利点はあるが、一覧性に欠け、どこまで見たかの判断が容易ではなく、また、表示画像間での比較が困難になるという欠点がある。

従来の第３のブラウジング検索方式は、スクロールして表示する方式である。仮想的な大きな画面に一覧表示できるように配置し、実際のディスプレイへの表示処理においては、その仮想大画面の一部としてディスプレイ１枚分のエリアが表示されるようなスクロール機能を持たせるものである。この方式によれば、上記第２のブラウジング検索方式であるぺージ分割方式よりは、他の画像との比較が行ないやすくなるが、まだ十分とは言えるものではない。

従来の第４のブラウジング検索方式は、仮想３次元空間内に配置して表示する方式である。この方式は、仮想的な３次元空間内に各表示画像を仮想的に配置する。その仮想３次元空間内で視点を移動できる機能を持たせる。視点が個々の画像に近づくと、その画像がズームして表示される。我々の３次元空間の把握能力により、どこまで見たかという判断や他の画像との比較が行ないやすく、また、個々の画像の視認性も確保することができ、比較的分かりやすくなるという利点がある。公知例として、特開平９-２５９１３０号がある。これは、情報を階層的に配置してブラウジング検索するという技術を開示している。

この従来技術の仮想３次元空間内に配置して表示する方式は、ディスプレイ（投影面）上の表示画面を得るために、中心投影（透視投影）を用いて３次元物体をディスプレイに投影している。この中心投影とは、図２２のように、３次元物体表面上の点とディスプレイ上の点を以下の関係で結び付けるものである。視線方向をＺ軸とし、ディスプレイを例えば、Ｚ=１の位置に置き、投影中心と３次元物体表面上の１点を結んだ線分がディスプレイと交わる点を対応点とする。ディスプレイを置くＺの値は１以外の任意の値を用いることができる。３次元物体表面上の点の座標を（Ｘ、Ｙ、Ｚ）とすると、対応するディスプレイ上の点の座標（ｘ、ｙ）はｘ=Ｘ/Ｚ、ｙ=Ｙ/Ｚとなる。原理的には、３次元物体表面上のすべての画素を対応するディスプレイ上の点に描くことで、３次元表示が実現できる。ディスプレイは画素から構成されているので、実際にはディスプレイの各画素に対して上記の対応関係に基づいて色を割り当てていく処理になる。この中心投影によれば、投影中心から人間が仮想３次元空間に配置された３次元物体を目視した場合の見た目に近い、臨場感ある表示画面を得ることができる。

従来技術では、この中心投影を用いて、各画像を仮想３次元空間に配置して空間内に設定された視点から表示する場合、図２２の投影中心が、視点となり、当該視点位置から仮想３次元空間内に配置された各画像を目視した場合の見た目に近い、臨場感ある表示画面を得ることができる。

従って、表示対象画像の枚数が比較的多い場合には、ブラウジング検索としては、３次元的に表示する方式が優れているが、この方式には以下のような問題があった。

第１の問題は、３次元表示は、２次元表示と比較して計算量が増大し、表示処理に時間がかかってしまうという問題である。３次元空間表示処理は、特に、多量の画像をディスプレイに表示すると、表示速度が低下して使いにくくなってしまう。視点移動によりブラウジング検索を行なうため、移動に伴う滑らかな表示が必要となるが、表示速度が低下すると移動が滑らかに行なうことができなくなり、使い勝手が非常に低下してしまう。

第２の問題は、視点移動中は個々の画像の内容が分かりにくいという問題である。仮想３次元空間内を視点移動している場合は、視点移動速度が速くなると、高速移動している画像の内容は把握しづらくなってしまう。また、仮想３次元空間内の視点移動なので、各画像に対する視野角の関係上、画像が歪んで表示され、さらに、その歪みが視点移動により変化するため、画像内容を直感的に把握しづらい場合がある。

第３の問題は、多数の小さい画像を仮想的な３次元空間に配置しても、３次元的に見えにくいという問題である。立体的な奥行きを把握しづらく、どちらかと言うと、大きさの異なる画像が２次元的に配置されているように見えてしまう。この場合は３次元空間に配置した意味がなく、むしろ多少の混乱を招くおそれもある。

第４の問題は、視点移動処理を繰り返すと利用者の目が疲れ、使い勝手を低下させてしまうという問題である。利用者は仮想３次元空間内を移動する画像の内容を把握するため、画像の移動に伴って目の視点（注目点）を移動する必要があり、この視点移動が目の疲労の要因の一つとなっている。

本発明は、上記問題点に鑑み、検索対象となる画像を仮想３次元空間内に仮想的に配置して表示する画像表示方法において、仮想３次元空間内に多量の検索対象画像を高速に表示処理ができ、かつ、仮想３次元空間内での視点移動速度を速くしても画像内容が把握しやすい画像表示方法を提供することを目的とする。また、仮想３次元空間内での画像の配置位置が直感的に把握しやすい画像表現技術による画像表示方法を提供することを目的とする。さらに、仮想３次元空間内での視点移動を行なっても利用者の目が疲れにくい画像表示方法を提供することを目的とする。

上記の検索対象となる画像を３次元空間内に高速に表示するという目的を達成するために、本発明の画像表示方法は、仮想３次元空間内に画像を配置して高速表示する画像表示方法であって、１枚以上の画像の画像データを読み込む処理と、各画像の仮想３次元空間内での配置情報を読み込む処理と、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する空間内視点設定・移動処理と、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にして、読み込んだ画像データ原形を、空間内視点から見た各画像の方向に対応した平行移動処理と大きさに対応した拡大・縮小処理とを行なう平行拡大投影処理によって変換し、空間内視点から見える各画像の２次元的配置を、原画像の相似形画像の２次元的配置として表現する簡略化２次元的配置を求める処理と、求められた各画像の簡略化２次元的配置に従って、読み込んだ画像データを処理して表示画像を生成する表示画像生成処理と、生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする。

さらに、上記平行拡大投影処理を利用した表示処理に加え、遠距離画像過剰縮小投影処理、小画像省略処理、遠距離画像省略処理、近距離画像省略処理、はみ出し画像省略処理、隠れ判定の効率処理などの画像表示高速化技術を組み合わせて用いることができる。

上記方法により、平行拡大投影処理による簡略化２次元的配置を用いて、仮想３次元空間内に多量の検索対象画像を高速に表示処理ができる。

上記の検索対象となる画像を３次元空間内に分かりやすい表現により高速に表示するという目的を達成するために、本発明の画像表示方法は、仮想３次元空間内に画像を配置して表示する画像表示方法であって、画像データが１つ以上の解像度の画像データの組からなる多解像度画像データであり、１枚以上の画像の１つ以上の解像度の画像データを読み込む画像データ読み込み処理と、各画像の仮想３次元空間内での配置情報を読み込む処理と、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する空間内視点設定・移動処理と、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える各画像の位置、向き、大きさの２次元的配置を求める処理と、求められた２次元的配置に従って読み込んだ多解像度画像データのうちの１つ以上の解像度画像データを選択して表示画像に書き込み、表示画像を生成する表示画像生成処理と、生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする。

また、検索対象となる画像を３次元空間内に分かりやすい表現により表示するための本発明の画像表示方法として、１枚以上の画像の画像データを読み込む処理と、各画像の仮想３次元空間内での配置情報を読み込む処理と、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する空間内視点設定・移動処理と、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える前記各画像の位置、向き、大きさの２次元的配置を求める処理と、求められた２次元的配置に従って、読み込んだ画像データから２次元的配置の画像の大きさの領域分だけ切り出した切り出し画像データを表示画像に書き込んで表示画像を生成する表示画像生成処理と、生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする。

さらに、多解像度画像合成表示処理、重要領域切出し表示処理に加え、省略時の代替表示処理、視点移動可能範囲の限定処理、特定画像の強調表示処理、座標軸等の表示処理、画像の枠付表示処理、画像配置拡張処理などの画像表現技術を組み合わせて用いることができる。

上記方法により、多解像度合成画像や切り出し画像などを用いて、利用者に分かりやすい仮想３次元空間内への多量の画像表示に適した画像表現を行なうことができる。

上記仮想３次元空間内に配置された各画像の配置位置を分かりやすくするという目的を達成するために、本発明の画像表示方法は、仮想３次元空間内に画像を配置して表示する画像表示方法であって、１枚以上の画像の画像データを読み込む処理と、各画像の仮想３次元空間内での配置情報を読み込む処理と、仮想３次元空間に背景として仮想的に存在する背景画像の画像データを読み込む処理と、背景画像の仮想３次元空間内での配置情報を読み込む処理と、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する空間内視点設定・移動処理と、各画像および背景画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える各画像および背景画像の位置、向き、大きさの２次元的配置を求める処理と、求められた各画像および背景画像の２次元的配置に従って、読み込んだ画像データおよび背景画像データを処理して表示画像を生成する表示画像生成処理と、生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする。

上記方法により、仮想３次元空間内に配置位置を分かりやすくするためのガイドとなる背景物体画像を表示することができ、各画像の仮想３次元空間内での位置が分かりやすく表現することができる。

上記利用者の目が疲れない画像表示方法を提供するという目的を達成するために本発明の画像表示方法は、画像を移動させながら表示する画像表示方法であって、画像データを読み込む処理と、画像の移動方法を指定する移動パラメータを読み込む処理と、前記読み込まれた画像データと移動パラメータに基づいて、時間的に隣接するフレームの表示画像間で定まるオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように、前記移動パラメータまたは画像データの少なくとも一方を調整する移動パラメータ・画像データ調整処理と、前記調整された移動パラメータ・画像データに従って、前記読み込んだ画像データを処理して表示画像を生成する表示画像生成処理と、前記生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする。

上記方法により、本発明の画像表示処理の移動パラメータの最適化処理方法を用い、オプティカルフローを基にして移動パラメータを最適化して、ブラウジング検索や閲覧を行なう利用者の目の疲れを抑えることができる画像表示を行なうことができる。

本発明の画像表示処理の３次元表示処理高速化技術によれば、平行拡大投影処理による簡略化２次元的配置を用いて、仮想３次元空間内に多量の検索対象画像を高速に表示処理ができる。

また、本発明の画像表示処理の３次元画像表現技術によれば、多解像度合成画像や切り出し画像などを用いて、利用者に分かりやすい仮想３次元空間内への多量の画像表示に適した画像表現を行なうことができる。

また、本発明の画像表示処理の背景画像を用いた３次元空間表現技術によれば、仮想３次元空間内に配置位置を分かりやすくするためのガイドとなる背景物体画像を表示することができ、各画像の仮想３次元空間内での位置が分かりやすく表現することができる。

また、本発明の画像表示処理の移動パラメータの最適化処理技術によれば、オプティカルフローを基にして移動パラメータを最適化して、ブラウジング検索や閲覧を行なう利用者の目の疲れを抑えることができる画像表示処理を行なうことができる。

本発明の画像表示方法の実施形態について図面を参照しつつ説明する。

本発明の画像表示方法は、以下の本発明の基本技術を１つ以上組み合わせて３次元仮想空間内に画像を表示するものである。

第１の基本技術は、多量の画像表示に最適化した３次元表示処理高速化技術である。この３次元表示処理高速化技術として、本発明において新しく複数の表示処理高速化技術が開示されており、それらは任意に組み合わせて用いることができる。後述するように、平行拡大投影処理を利用した表示処理、遠距離画像過剰縮小投影処理、小画像省略処理、遠距離画像省略処理、近距離画像省略処理、はみ出し画像省略処理、隠れ判定の効率処理などの画像表示高速化技術を組み合わせて用いる。これら画像表示高速化技術は、下記の実施形態１において詳しく後述する。

第２の基本技術は、多量の画像表示に最適化した３次元画像表現技術である。この３次元画像表現技術として、本発明において新しく複数の画像表現技術が開示されており、それらは任意に組み合わせて用いることができる。後述するように、多解像度画像合成表示処理、重要領域切出し表示処理、省略時の代替表示処理、視点移動可能範囲の限定処理、特定画像の強調表示処理、座標軸等の表示処理、画像の枠付表示処理、画像配置拡張処理などの画像表現技術を組み合わせて用いる。これら画像表現技術は、下記の実施形態２において詳しく後述する。

第３の基本技術は、背景画像を用いた３次元空間表現技術である。この背景画像を用いた３次元空間表現技術は、下記の実施形態３において詳しく後述する。

第４の基本技術は、移動パラメータの最適化処理技術である。本技術は、オプティカルフローを基にして移動パラメータを最適化して目の疲れを抑えるものである。この移動パラメータの最適化処理技術は、下記の実施形態４において詳しく後述する。

なお、上記した本発明の３次元表示処理高速化技術、３次元画像表現技術、背景画像を用いた３次元空間表現技術、移動パラメータの最適化処理技術は、画像表示処理を向上させる技術として、それぞれ独立して適用することが可能であり、また、任意に組み合わせて用いることができる。

以下の説明では、画像とディスプレイという用語を以下の意味で使用する。これは、表示方式においては標準的に用いられているものである。画像とは、画素と呼ばれる小さい長方形の領域を２次元的に敷き詰めた配列である。画素の個数が多い画像を高解像度あるいは大きい画像、画素の個数が少ない画像を低解像度あるいは小さい画像と呼ぶ。各画素には、いくつかの数値の組によって色（ここでは明度も含めている）を設定することができる。数値の組と色の対応方法の１例として、ＲＧＢ表現方式がある。ＲＧＢ表現方式で各色成分を８ビットで表現する場合、最も明るい白は、例えば、（２５５，２５５，２５５）になる。

また、ディスプレイとは、物理的には利用者が見ることができる表示装置である。コンピュータ内の特別なメモリに値を書き込むことで、ディスプレイの対応する箇所に対応する色を表示させることができる。従って、表示方式においては１つの特別な画像と見なすことができる。本発明では、ディスプレイをこの意味で用いる。

以下、本発明の画像表示方法を実現する基本技術を説明する。

（実施形態１）
実施形態１は、本発明の画像表示方法の基本技術の１つである、多量の画像表示に最適化した３次元表示処理高速化技術である。

本発明の多量の画像表示に最適化した３次元表示処理高速化技術の１つとしてまず、平行拡大投影による簡略化２次元的配置に従った画像生成処理について説明する。

従来技術において説明したように、従来技術の中心投影を用いれば、空間内視点を投影中心とし、仮想３次元空間内に配置された各画像を目視した場合の見た目に近い、臨場感ある表示画面を得ることができる。

しかし、従来技術で述べたように、表示処理速度の問題など様々な問題を招いてしまう。本発明では、中心投影を用いず、ブラウジング検索や閲覧処理において十分である簡略化した変換画像を得られる投影方法を用いる。

一般の３次元物体は配置角度によって様々な方向を向く可能性があるが、ブラウジング検索や閲覧では、表示されている各画像が何であるかを分かりやすくすることが優先されるので、各画像が視線方向に対して正対するように表示すれば良い。各画像の向きをこのように定めると、例えば、長方形の画像はディスプレイ上でも長方形に表示される。つまり、ディスプレイ上のある位置を中心として、原画像を拡大・縮小処理、回転処理した変換画像が表示される。ここで外形は原画像の原形と変らないものとなる。特に、各画像の画素の方向（隣接画素を結んだ直線の方向）がディスプレイの画素の方向と平行になる場合、つまり、長方形の画像データがディスプレイに対して傾きがなく、正対している場合には、回転処理は不要となる。また、天地左右を考慮した場合でも、回転角度は９０度の倍数（０度、９０度、１８０度、２７０度）になる。実際のブラウジング検索や閲覧においては、各画像をこのように表示して検索、閲覧することが多く、また、その表示によりブラウジング検索や閲覧という目的を十分に果たす。

そこで、本発明では、仮想３次元空間内に配置する画像のディスプレイへの投影を求めるにあたり、各画像の仮想３次元空間内での配置と空間内視点情報の関係を基にして、画像データに対して、空間内視点から見た各画像の方向に対応した平行移動処理、空間内視点から見た各画像の大きさに対応した拡大・縮小処理のみを行なう平行拡大投影処理によって投影変換する。この平行拡大投影処理として、天地左右を考慮した９０度の倍数の回転処理を含めることもできる。

この平行拡大投影処理によれば、空間内視点から見える各画像の２次元的配置が、原画像の相似形画像の２次元的配置として表現された簡略化２次元的配置を求めることができる。この平行拡大投影処理による簡略化２次元的配置を用いた表示処理は、原画像データの平行移動処理、拡大・縮小処理、９０度の倍数の回転処理だけなので、一般の中心投影処理や任意角度の回転処理よりも高速に実行することができる。このように、画像データの原形の相似形の画像書き込みフレームの表示面への２次元的配置を求めて当該画像書き込みフレームに対して原画像データを用いて表示画像を書き込む場合の処理計算量は小さく高速処理が可能となる。

本発明は、仮想３次元空間に配置された画像が、空間内視点から見た実際の目視の状態にかかわらず、平行拡大投影変換のみにより、ブラウジング検索や閲覧に十分な簡略化した２次元的配置による表示画像を表示することにより、投影処理および表示処理を簡素化し、処理を高速化するものである。

なお、画像から３次元情報を求める処理を研究するコンピュータビジョンの分野では、中心投影の近似として、弱透視投影（weak perspective
projection）や平行透視投影（paraperspective
projection）が用いられている。これらは、ディスプレイと各画像が仮想３次元空間内で平行になる場合には、中心投影と一致する。そうでない場合であっても、各画像の画素の方向がディスプレイの画素の方向と平行になれば、弱透視投影と平行拡大投影は一致する。従って、本発明の平行拡大投影は、任意の３次元配置に対して平行移動処理、拡大・縮小処理、９０度の倍数の回転処理で投影を行えるように、弱透視投影を一般化した投影法であると言える。

この本発明の平行拡大投影処理の基本的流れを図１のフローチャートにより詳しく説明する。

まず、画像中から代表点を決定する（ステップＳ１０１）。表示対象となる各画像毎に１つの代表点を定める。代表点は例えば重心とする。

次に、代表点のディスプレイ上での対応点を決定する（ステップＳ１０２）。ステップＳ１０１で定めた代表点と空間内視点を結んだ線分がディスプレイを通る点（ｘ0、ｙ0）を代表点のディスプレイ上での対応点と定める。

次に、画像全体の拡大・縮小率を決定する（ステップＳ１０３）。ここでは、ステップＳ１０２で定めた代表点のＺの値Ｚ0の逆数を画像全体の拡大・縮小率とする。

次に、各軸の拡大・縮小率を決定する（ステップＳ１０４）。この各軸の拡大・縮小率は以下のように決定する。まず、画像上に直交する座標系ｕ，ｖを導入する。このｕ，ｖ座標系の原点は代表点とする。ｕ、ｖ方向の単位ベクトル（画素間隔長さ）のＸＹＺ座標系での成分表示を（ｕX，ｕY，ｕZ）、（ｖX，ｖY，ｖZ）とする。このとき、|ｕX|≧|ｖX|ならば、ｕ軸をｕX倍してＸ軸に対応づけ、ｖ軸をｖY倍してＹ軸に対応づける。つまり、画像上で（ｕ，ｖ）という点をＸＹＺ座標系で（ｕXｕ，ｖYｖ，Ｚo）という点に対応付ける。逆に、|ｕX|＜|ｖX|ならば、ｖ軸をｖX倍してＸ軸に対応付け。ｕ軸をｕY倍してＹ軸に対応づける。

次に、画像の各画素の対応付け処理を行なう（ステップＳ１０５）。画像の各画素（ｕ，ｖ）は、各軸の拡大・縮小率を掛けてＸ、Ｙ軸での値に変換し、更に画像全体の拡大・縮小率を掛ける。これをδx、δyとする。画素が対応するディスプレイ上の画素は（ｘ0+δx、ｙ0+δy）となる。ただし、各軸の拡大・縮小率を上記以外の値に定義することも可能である。例えば（ｕ2X＋ｕ2Y）1/2、（ｖ2X＋ｖ2Y）1/2でもよい。本発明は、拡大・縮小率の定義の詳細には限定されず、適用することが可能である。

以上が、本発明の平行拡大投影処理の基本的流れである。

次に、投影する画像が長方形の場合を例として、平行拡大投影を用いて長方形画像のディスプレイへの投影計算処理の例を図２のフローチャートに示す。

まず、平行拡大投影処理する各画像を視線方向で見て遠い順に並べ、この順列の先頭の画像を選択する（ステップＳ２０１）。

次に、図１のフローチャートのステップＳ１０１に示したように、画像中から代表点を決定し、図１のフローチャートのステップＳ１０２に示したように、ディスプレイ上に投影される画像の代表点を計算し、さらに４つの頂点の対応点も計算する（ステップＳ２０２）。選択された画像の代表点の座標値から、拡大・縮小率を求め、４頂点の座標値からディスプレイ上に投影される長方形の４頂点の座標（Ｘ1，Ｙ1）、（Ｘ1＋ｗ1，Ｙ1）、（Ｘ1，Ｙ1＋ｈ1）、（Ｘ1＋ｗ1，Ｙ1＋ｈ1）を求める。

次に、処理対象となる画素を初期化する（ステップＳ２０３）。ここでは、処理対象とするディスプレイ上の画素（ｉ，ｊ）を、（Ｘ1、Ｙ1）に設定する。

次に、対応する画像の画素を計算する（ステップＳ２０４）。ディスプレイ上の画素（ｉ，ｊ）に対応する画像上の画素（Ｉ，Ｊ）を求める。

次に、画像上の画素の色をディスプレイ上の画素へ複写する（ステップＳ２０５）。ここでは画像上の画素（Ｉ，Ｊ）の色をディスプレイ上の画素（ｉ，ｊ）に複写する。

次に、処理対象画素を移動させる。まず、Ｘ軸方向への移動を行なう。ｉを１つ増加することにより処理対象画素をＸ軸方向に１つ隣の画素とする（ステップＳ２０６）。もし、ｉ＝Ｘ１＋ｗ１＋１となったら（ステップＳ２０７：Ｙ）、Ｘ軸方向について長方形の画像範囲を超えたことを意味するので、処理対象画素のＸ座標を左端に戻し、次にＹ軸方向への移動を行なう。つまり、ｉ＝Ｘ１に戻し、ｊを１つ増加する（ステップＳ２０８）。もし、ｊ＝Ｙ１＋ｈ＋１となったら（ステップＳ２０９：Ｙ）、Ｙ軸方向について長方形の画像範囲を超えたことを意味するので、長方形の画像範囲全体に渡り、画素を処理対象とし終わったので、次の画像選択の処理ステップＳ２０１に戻ることとなる。

次に、ステップＳ２０７においてｉ＝Ｘ１＋ω１＋１には至っていない場合（ステップＳ２０７：Ｎ）、またはステップＳ２０９においてｊ＝Ｙ１＋ｈ＋１には至っていない場合（ステップＳ２０９：Ｎ）、ステップＳ２０４に戻り、再び、対応する画像の画素の計算、画像上の画素の色のディスプレイ上の画素への複写（ステップＳ２０５）を行う。

上記のステップＳ２０４〜ステップＳ２０９の処理を繰り返し、ステップＳ２０９においてｊ＝Ｙ１＋ｈ＋１には至った場合（ステップＳ２０９：Ｙ）、列の次の画像が残っているか確認し、残っている場合（ステップＳ２１０：Ｙ）、ステップＳ２０１に戻り、上記処理を繰り返す。

選択される画像が残っていない場合（ステップＳ２１０：Ｎ）、処理を終了する。ここで選択される画像が残っていない場合とは、選択した画像の代表点が視点位置の後ろ側（Ｚ＜０）になる場合を含む。

以上が、長方形画像の画像データに対して平行拡大投影を用いてディスプレイ上の２次元的配置画像を求める処理の流れの例である。

図３に、本発明の平行拡大投影処理による簡略化２次元的配置を用いた表示画像の例と、従来技術の中心投影処理による２次元表示画像の例を示す。ここでは、原画像は長方形画像である。図３（ａ）に示すように、本発明の平行拡大投影処理による簡略化２次元的配置を用いた表示画像の例では、表示画像において各画像は、原形の長方形画像を平行移動処理、拡大・縮小処理、回転処理のみの相似形画像となっており、高速に表示処理が可能である。図３（ｂ）の従来技術の中心投影処理による２次元表示画像の例では、仮想３次元空間内において各画像は空間内視点からの目視に近い画像を得られているが、画像処理量が大きく、高速の表示処理が困難となっている。

次に、本発明の第２の３次元表示処理高速化技術を説明する。

第２の３次元表示処理高速化技術は、多解像度画像を利用した３次元表示処理高速化技術である。上記の平行拡大投影処理による簡略化２次元的配置を用いた表示画像処理と組み合わせることにより３次元表示処理の高速化に寄与できる。なお、この多解像度画像を利用した３次元画像表示処理は、実施形態２において後述するように、多量の画像表示に最適化した３次元画像表現技術という観点からも用いることができる。本実施形態１では、３次元表示処理高速化技術としての側面について述べる。

表示対象となる画像の枚数は膨大であるため、すべてを読み込んで主記憶に載せるには、膨大な読み込み時間と記憶容量が必要となる。

表示対象となる画像を仮想３次元空間内に配置する場合、遠方に存在する画像は小さく表示され、低い解像度であっても十分である場合が多い。このように、空間内視点からの距離や、画像の表示サイズに応じて解像度を調整することができる。縮小された画像を用いることで、表示の高速化、省メモリ化が実現できる。この性質を利用し、本発明の多解像度画像を利用する３次元表示処理高速化技術は、表示対象となる画像に対し、解像度の異なる複数の画像データを用意しておき、２次元表示画像として書き込む際に、空間内視点からの距離や、画像の表示サイズに応じた解像度に最も近い解像度の画像データを選択し、当該画像データを利用して画像表示処理を行なうものである。

図４に多解像度画像を用いた表示画像の生成例を示す。図４のように原画像データからサイズの異なる複数の多解像度画像データを用意する。ここでは、画像の内容は、サイズに合わせて単純に拡大縮小を事前に行なっている。投影処理の結果、画像書き込みフレームの位置とサイズが決まった後、多解像度画像のうち当該画像書き込みフレームに対して最も近いサイズを持つものを選択し、必要に応じて拡大縮小の微調整を行なって書き込む。

このように、階層化された多解像度画像から適切な解像度の画像データを選択することにより、画像データ量を低減することができ、計算量が減り、表示処理を高速化することが可能となる。

次に、用いる多解像度画像データについて説明する。この多解像度画像を利用した３次元表示処理高速化技術で用いる多解像度画像は、１つ以上の異なる解像度による画像データを組として用意すれば良く、画像データ容量が異なれば良い。もっとも単純な多解像度画像データとしては、原画像データに対して、画素データを空間的に均等に間引いた低解像度画像を複数生成したものが挙げられる。また、実施形態２で後述するような、重要な局所領域の解像度を高く保ち、他の領域の解像度を低くした合成画像による多解像度画像データや、原画像から重要な局所領域のみを切り出す切り出し画像による多解像度画像データなども挙げることができる。このように、本発明の多解像度画像を用いた３次元表示処理高速化技術に用いられる多解像度画像データはその内容に限定されない。

この多解像度画像を利用する画像表示処理において、本発明は、さらに以下の３次元表示処理高速化技術を開示する。

第１は、多解像度画像データのメモリへの読み込みの調整処理である。

この多解像度画像データ組をまとめて読み込む処理とするか、多解像度画像のうち、表示される解像度が決まった後、該当する解像度の画像データのみを読み込む処理とするかを調整する処理である。つまり、多解像度画像データ読み込み処理において、その読み込み処理の時点が表示画像生成処理の前であり、読み込む画像の多解像画像データの組すべてを読み込む処理とするか、読み込み処理の時点が表示画像生成処理において１つの解像度画像データを選択された時点であり、読み込む画像の多解像画像データのうち選択された解像度画像データのみ読み込む処理のいずれかを選択する処理である。

このように、両者のいずれか処理の選択を可能とすることにより、メモリ容量と表示速度間のバランスが取れるようになる。もし、多解像度画像データの読み込みに利用できるメモリが十分ある場合は、前者のように多解像度画像データのセットをまとめて読み込んでおく処理を選択することができ、利用できるメモリが十分でない場合は、後者のように、用いられる解像度が決まった時点で該当する解像度の画像データを読み込む処理とすれば良い。

第２は、読み込んだ多解像度画像データのメモリからの削除の調整処理である。

読み込み処理によってメモリ上に読み込まれた多解像度画像データを消去する処理も調整することが可能である。

不要となった多解像度画像データをメモリから削除する画像データ削除処理は、画像データ記録容量がメモリ中に設定された容量を越えた時点で不要となっている画像データを削除する処理か、表示画像生成処理において１つの解像度画像データが選択された時点で他の解像度画像データを削除する処理のいずれかを選択できるものとする。

第３は、ブラウジング検索においては、表示前の処理に時間を掛けられないことが多いが、表示可能性のある母集団の要素すべてに対してあらかじめ処理を行っておく処理は可能である。表示対象は母集団のごく一部であるので、ランダムアクセスが効率的に行えるように画像データを１つのファイルにまとめて構造化しておくことで、表示前あるいは表示時の画像データ読み込み処理を高速化できる。

第４は、最大の解像度を指定された値までに制限する処理である。ブラウジング検索に用いる画像としては、過剰に高解像度の画像データは処理速度の低下を招くので、データ量が大きすぎる原画像は表示には使用しない。

第５は、解像度変換の際に、ディスプレイの色表現方法や深さ（１画素あたりのデータ量）への変換も同時に行うことで、表示時の解像度変換処理を省略する処理である。例えば、最近のパソコンでは１６ビット（ＲＧＢ各５ビット）の色表現を用いることができる。ＲＧＢ各８ビットのデータを１６ビットに変換すれば、表示時の変換処理の省略だけでなく、データ量の削減や表示速度の向上も期待できる。

以上が、多解像度画像を利用した３次元表示処理高速化技術である。

次に、本発明の第３の３次元表示処理高速化技術を説明する。

本発明の第３の３次元表示処理高速化技術は、遠距離画像過剰縮小投影処理技術である。この遠距離画像過剰縮小投影処理技術とは、空間内視点から見た仮想３次元空間内に配置された各画像の大きさに応じて、原画像データを拡大・縮小する処理において、各画像の仮想３次元空間内での配置情報と前記空間内視点情報の関係から決まる空間内視点と各画像との距離に比例した縮小率よりも大きい縮小率を適用し、各画像の大きさをさらに縮小する処理である。つまり、仮想３次元空間内で、画像が遠く離れていれば離れている程、縮小率を大きくして過剰に縮小投影処理する技術である。

遠距離画像過剰縮小投影処理の例は、各画像と空間内視点との距離に応じた拡大・縮小処理計算の際に、代表点の奥行き座標値のＺ0で割る代りに例えば、Ｚ02で割る。この処理により、距離の二乗に比例して縮小率が定められるので、視点から遠い画像は過剰に縮小されることとなり、後述する小画像省略処理により画像書きこみが効率的に省略されることとなり、表示処理が高速化される。

本発明の第４の３次元表示処理高速化技術は、小画像省略処理である。この小画像省略処理は、表示画像生成処理における、各画像の画像データの書き込み処理において、各画像の２次元的配置上での大きさに閾値を設けておき、大きさが当該閾値以下であれば、画像自体の書き込み処理を省略する処理である。省略される画像データは、投影計算が省略されるので画像処理量を低減することができ、高速表示が可能となる。

本発明の第５の３次元表示処理高速化技術は、遠距離画像省略処理である。この遠距離画像省略処理は、仮想３次元空間内において、空間内視点から一定以上遠くに存在する画像の書き込みを省略する処理である。この遠距離画像省略処理の例としては、各画像の奥行きの座標値と空間内視点との差、つまり、空間内視点から各画像までの距離について、ある遠距離閾値を設けておき、空間内視点からの距離が当該遠距離閾値を超えている画像は遠距離画像として、画像自体の書き込み処理を省略する。省略される画像データは、投影計算が省略されるので画像処理量を低減することができ、高速表示が可能となる。

本発明の第６の３次元表示処理高速化技術は、近距離画像省略処理である。この近距離画像省略処理は、空間内視点に対してかなり近い画像の表示を省略する処理である。ブラウジング検索や閲覧の過程において、仮想３次元空間内を移動してゆき、検索の結果、興味がないと判った画像は、詳しい画像表示の処理は行なわず、仮想３次元空間の奥などに存在する他の画像をブラウジングするため、さらに奥方向などに進む。その際、空間内視点は、興味がない画像の近辺を通過して行くので、距離が近く、大きく表示されることとなる。このような画像は検索においては興味がないので大きく表示するのは無駄であり、画像書き込みを省略しても差し支えない。そこで、近距離画像省略処理として、空間内視点に対してかなり近い画像を当該興味の無くなった画像とみなすことにより表示を省略する。近距離画像省略処理の例としては、空間内視点から各画像までの距離について、近距離閾値を設けておき、空間内視点からの距離が当該近距離閾値より小さい画像は近距離画像として、画像自体の書き込み処理を省略する。書き込みが省略される画像データは、投影計算が省略されるので画像処理量を低減することができ、高速表示が可能となる。

本発明の第７の３次元表示処理高速化技術は、はみ出し画像省略処理である。このはみ出し画像省略処理は、表示画像生成処理における画像データの書き込み処理において、一定以上周辺にあり表示エリアからはみ出した画像は書き込みを省略する処理である。ここで、はみ出し画像省略処理の例としては、仮想３次元空間内に配置された各画像の方向に対する閾値を設け、当該閾値以内の方向に存在する画像は表示画像に書き込み、当該閾値外の方向、つまり、一定以上周辺に存在する画像は、枠線のみを書き込み、画像自体の書き込み処理を省略する。ここで、画像の方向の例として、空間内視点から見た画像の中心の方向、空間内視点から見た画像の明るさで重み付けした重心の方向、定めた代表点を採用することできる。この画像方向が設定範囲外にあるか否かの判断方法は、画像の代表点の２次元的配置位置が表示画像の定められた範囲外にあるか否かで判断する方法も含む。ここで、通常のＣＧにおけるクリッピング処理であれば、画像のうちディスプレイ内にある部分の画像は表示するのが普通であるが、本発明のはみ出し画像省略処理によれば、書き込み省略する画像は画像全体の書き込みを省略する。ブラウジング検索や回覧においては代表点が見えない画像は表示しない方が妥当であると考えられる。本発明のはみ出し画像省略処理によれば、書き込みが省略される画像データは、投影計算が省略されるので画像処理量を低減することができ、高速表示が可能となる。

本発明の第８の３次元表示処理高速化技術は、隠れ判定の効率処理である。ブラウジング検索や回覧においては、視点に最も近い画像がディスプレイ上でかなり広い表示面積を占める事が多いので、遠距離に存在する画像が、近距離に存在する画像により完全に隠されている場合がある。当該場合において完全に隠されている画像の投影処理を省略することで表示の高速化が図れる。

次に、本実施形態１で説明した本発明の３次元表示処理高速化技術を適用した装置構成例を示す。図５は、本発明の３次元表示処理高速化技術を適用した装置構成例である。図５に示すように、画像入力部１０、配置情報入力部２０、空間内視点設定・移動処理部３０、投影処理部４０、表示画像生成部５０、表示部６０を備えている。

画像入力部１０により、画像データを読み込む。配置情報入力部２０により、各画像の仮想３次元空間内での配置情報を読み込む。空間内視点設定・移動処理部３０により、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する。投影処理部４０により、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にして、画像データ原形に対して上記実施形態１に示した平行拡大投影処理などの投影処理を実行し、空間内視点から見える各画像の簡略化２次元的配置を求める。表示画像生成部５０により、得られた簡略化２次元的配置に基づいて各画像を２次元表示画像として書き込む。表示部６０により生成した２次元表示画像を表示する。

以上、本発明の３次元表示処理高速化技術によれば、仮想３次元空間内に多量の検索対象画像を高速に表示処理ができる。なお、上記に説明した３次元表示処理高速化技術は、任意に組み合わせて利用することができる。

（実施形態２）
実施形態２は、本発明の画像表示方法の第２の基本技術である多量の画像表示に最適化した３次元画像表現技術である。多解像度画像合成表示処理、重要領域切出し表示処理、省略時の代替表示処理、視点移動可能範囲の限定処理、特定画像の強調表示処理、座標軸等の表示処理、画像の枠付表示処理、画像配置拡張処理などの画像表現技術を説明する。なお、それらは任意に組み合わせて用いることができる。

本発明の第１の画像表現技術は、多解像度合成画像を利用した３次元画像表現技術である。

画像を仮想３次元空間に配置して表示する処理において、高速化処理のため、多解像度画像データを用いる場合がある。各画像に対して、解像度の異なる複数の画像データを１セットとした多解像度画像データを生成しておき、表示の際、その大きさに応じて適切な解像度の画像を選択して表示する処理を行う。

画像サイズに合わせて単に縮小した多解像度画像を用いた表示例は実施形態１の図４に示した。しかし、図４に示したような画像のサイズに合わせて縮小した多解像度画像を用いれば、解像度が低い画像データは、縮小されるにつれ、内容を目視で認識することが困難となってくる。仮想３次元空間には、多量の画像の表示が想定され、多くの画像は小さく表示されるので、一覧性を持たせて多くの画像を認識することが難しいものとなっている。

そこで、本発明は、以下の多解像度合成画像を用いた、ブラウジング検索には適した３次元画像表現技術を提供する。

多解像度合成画像とは、原画像のうち、検索利用者にとり、重要な領域部分、画像の内容を端的に表わす領域部分を部分的に抜き出して当該領域部分を高解像度画像部分としてその大きさを大きく維持し、原画像の他の部分を低解像度画像として省略し、両者領域部分を合成して１枚の合成画像としたものである。ただし、高解像度といっても原画像の解像度は越えない。

多解像度画像データの生成処理は、原画像を複数の部分領域に分け、指定された部分領域のみを取り出す処理と、生成する各解像度画像の大きさに合わせた各画像書き込みフレームを生成する処理と、各画像書き込みフレームの大きさに合わせて、取り出した部分領域の大きさをできるだけ大きく維持して各画像書き込みフレームの対応位置に書き込む処理と、各画像書き込みフレームの未書き込み部分にはデータ書き込みを省略して１枚の合成画像データを生成する処理を備える。

上記処理により生成した多解像度合成画像の例を図６に示す。図６に示すように、図６の原画像の「薔薇」という中央部分が重要部分として判断され、多解像度合成画像において、この領域部分が大きく維持されている。図４の単なる縮小画像より、図６の多解像度合成画像の方が目視による情報量が多く、ブラウジング検索や閲覧に適したものとなっていることが分かる
ここで、検索利用者にとって重要な領域部分や、画像の内容を端的に表わす領域部分が原画像のうちどの部分であるかを決定する必要がある。その判断方法の例としては、第１には、人手により判断して高解像度で表現する部分を指定しても良い。また、例えば、指定された部分領域のみを取り出す処理として、原画像を複数の部分領域のうち、画像データの微分値が設定値より大きい部分領域を指定するものとすることができる。この画素の微分により重要部分を判断する処理の例を図７のフローチャートに示す。

まず、注目領域の初期化を行なう（ステップＳ７０１）。現在の注目領域を画像左上端に設定する。最大値を与える領域を記録する変数を用意する。

次に、注目画素の初期化を行なう（ステップＳ７０２）。現在の注目画素を現在の注目領域の左上端に設定する。微分の和を記録する変数Ｓｕｍを０に設定する。

次に、画素値の微分計算を実行する（ステップＳ７０３）。現在の注目画素において、上下左右との画素の値の差の絶対値（あるいは２乗和）を計算する。ＲＧＢ別に計算する。これらをＳｕｍに加える。

次に、注目画素の移動を行なう。ここでは、注目画素をＸ軸方向に１つ隣の画素とする（ステップＳ７０４）。現在の注目画素が注目領域の右端の座標を越えた場合には（ステップＳ７０５：Ｙ）、注目画素を注目領域のＹ軸方向に１つ下の左端の画素とする（ステップＳ７０６）。もし、現在の注目画素が注目領域の右端かつ下端の座標を越えた場合（ステップＳ７０７：Ｙ）は、注目領域の全画素について微分計算が終わったことを意味するのでステップＳ７０８に進む。

現在の注目画素が注目領域の右端でない（ステップＳ７０５：Ｎ）か、または現在の注目画素が注目領域の右端かつ下端ではない場合（ステップＳ７０７：Ｎ）、移動後の注目画素において再度ステップＳ７０３の微分計算を行う。

注目画素が注目領域の下端の座標を越えた場合（ステップＳ７０７：Ｙ）は、微分値の和Ｓｕｍと閾値との比較を実行する（ステップＳ７０８）。微分の和Ｓｕｍが、閾値よりも大きい場合には、現在の注目領域を記録する。

次に、未処理の注目領域が残っているか否かを調べ、残っている場合（ステップＳ７０９：Ｙ）、注目領域を他の領域、例えば、右に隣接する画像領域に移動する。画像の右端の場合には１段下の左端の画像領域に移動する。

次の注目領域において微分値を計算するため、ステップＳ７０２に戻る。

もし、未処理の注目領域が残っていない場合（ステップＳ７０９：Ｎ）、処理を終了する。

上記図７のフローチャートに示した処理により、画像領域のうち、閾値よりも大きい微分値を持つ画像領域を指定することができる。

以上が、本発明の第１の画像表現技術の多解像度合成画像を利用した３次元画像表現技術によれば、画像を低解像度の小さい画像を表示する場合でも、ブラウジング検索に適した情報量を多く含む多解像度合成画像を得ることができる。

次に、本発明の第２の画像表現技術は、重要領域切り出し表示処理を利用した３次元画像表現技術である。この重要領域切り出し表示処理は、上記の多解像度合成画像を利用した表示処理と同様、ブラウジング検索には適したものである。

切り出し画像とは、生成する各解像度画像の大きさに合わせた各画像書き込みフレームに対して、原画像のうち、検索利用者にとり、重要な領域部分、画像の内容を端的に表わす領域部分を中心として抜き出して書き込んだもので、原画像の一部が重要部分を中心に切り出したものとなる。

この処理により生成した重要領域切り出し画像の例を図８に示す。図８に示すように、切り出し画像は、原画像の「薔薇」という中央部分を重要領域として、小さい画像書き込みフレームに切り出したものとなっている。切り出し画像は、原画像の部分画像であるが、「薔薇」という重要部分が効率良く表わされており、ブラウジング検索や閲覧に適したものとなっていることが分かる。

重要な領域部分や、画像の内容を端的に表わす領域部分が原画像のうちどの部分であるかは、多解像度合成画像生成処理の場合と同様、例えば、原画像の部分領域のうち画像データの微分値が最も大きい部分領域であると決定することができる。

次に、本発明の第３の画像表現技術は、画像書き込みを省略する場合の代替表示処理である。

本発明の３次元表示処理高速化技術における、小画像省略処理や、遠距離画像省略処理が実行される場合、書き込みを省略する画像全体あるいは画像部分に対して、書き込む画像の代りの代替図形（例えば白色の四角形）あるいは画像の題名などの文字列を代りに表示する。代替表示される代替画像は、データ量の少ないものとすれば、表示処理の計算量は少なくて済むので、表示処理速度の低下を招くことがない。

この代替表示処理を用いた画像表現技術によれば、表示処理速度をあまり低下させることなく、各画像の仮想３次元空間内での配置を分かりやすくするという効果がある。

次に、本発明の第４の画像表現技術は、空間内視点の移動可能範囲の限定処理である。

空間内視点の移動可能範囲の限定処理とは、空間内視点は、マウス等によるポインティングデバイス等により空間内視点を移動することができるが、この移動可能範囲をあらかじめ設定しておき、視点移動の際にその範囲に収まるように制限する処理である。

このように、空間内視点の移動範囲を限定することにより、空間内視点が画像が配置されていない場所へ誤って移動してしまうなど、ブラウジング検索利用者に混乱を招くような表示が防止できる。

次に、本発明の第５の画像表現技術は、特定画像の強調表示処理である。ブラウジング検索や閲覧において、現在注目している特定領域にある画像についての表示を見やすく強調するものである。さらに、他の領域にある画像は注目度が低いとしてむしろ表示の様子を弱める処理も可能である。

ここで、特定画像とは、ディスプレイの中央付近に存在する画像や、マウスなどのポインタの近辺にある画像とすることができる。これら領域を現在注目している画像とみなす。また、ここで強調表示処理の例としては、当該特定領域の画像明度を明るくし、当該特定領域から離れるに従って次第に明度を暗く表示する処理を挙げることができる。また他には、特定領域の画像は鮮明に表示し、特定画像から離れるに従って次第にぼかし処理を行なって表示する。

このように、特定画像の強調表示処理による画像表現技術によれば、特定領域にある画像だけに注意を促すことができ、検索効率や見易さを高めることが可能となる。

ここで、画像のぼかし処理の例を図９のフローチャートを参照しつつ説明する。

一般には、ぼかし処理は、ぼかし度合いを定める空間定数をパラメータとして持つ空間フィルタと画像データとの畳み込み演算で処理することが多い。空間フィルタの例としては、例えばガウシャンｆ（Ｘ，Ｙ）=ｅｘｐ（−（Ｘ2＋Ｙ2）／２σ2）／２πσ2がある。この場合には、σが空間定数であり、この程度の凹凸までぼかされる。空間フィルタと画像データとの畳み込み演算は、例えば、以下のように計算する。フィルタ処理を行なう画像を入力画像Ｉで表している。

まず、注目画素の初期化を行なう（ステップＳ９０１）。注目画素（ｘ，ｙ）を画像左上に置く。出力画像を用意する。

次に、総和計算パラメータを初期化する（ステップＳ９０２）。計算総和を記憶する総和計算パラメータＳｕｍを０に設定して初期化する。総和を求める画素（ｕ，ｖ）を画像左上に設定する。

次に、空間フィルタとの積を計算する（ステップＳ９０３）。総和画素を（ｕ，ｖ）平行移動した画素の値と空間フィルタとの積Ｉ（ｕ，ｖ）ｆ（ｕ−ｘ，ｖ−ｙ）を計算して、総和計算パラメータＳｕｍに加える。この演算はＲＧＢ別に行なう。

次に、総和画素を移動する。総和画素（ｕ，ｖ）をＸ軸方向に１つ右の画素とする（ステップＳ９０４）。現在の総和画素が注目領域右端の座標を越えた場合には（ステップＳ９０５：Ｙ）、総和画素を注目領域のＹ軸方向に１つ下の左端の画素とする（ステップＳ９０６）。もし、現在の総和画素が右端かつ下端にある場合（ステップＳ９０７：Ｙ）は、空間フィルタと画像データとの畳み込み演算が終了したとしてステップＳ９０８に進む。

現在の総和画素が注目領域の右端の座標を越えていない（ステップＳ９０５：Ｎ）か、または現在の総和画素が下端の座標を越えていない場合（ステップＳ９０７：Ｎ）、移動後の総和画素と空間フィルタとの積を再度計算する（ステップＳ９０３）。総和画素（ｕ，ｖ）が右端かつ下端の座標を越えた場合（ステップＳ９０７：Ｙ）は、総和計算パラメータＳｕｍを注目画素（ｘ，ｙ）の出力画像の値として書き込みを行う（ステップＳ９０８）。

次に、未処理の注目画素（ｘ，ｙ）が残っているか否かを調べ、残っている場合（ステップＳ９０９：Ｙ）、次の注目画素に移動するため（ｘ，ｙ）を１つ右に移動する。右端の場合には１段下の左端に移動する。再度総和計算を行なうため、ステップＳ９０１に戻る。

未処理の注目画素（ｘ，ｙ）が残っていない場合（ステップＳ９０９：Ｎ）、処理を終了する。

以上が、ぼかし処理の流れの例である。

なお、空間定数σを注目画素に応じて変化させることも可能であり、特定画像の強調表示処理が可能となる。

次に、本発明の第５の画像表現技術は、座標軸等の表示処理である。

仮想３次元空間内に配置された画像を表示する場合、画像とは別に座標軸等の３次元物体を表示することにより、利用者にとり仮想３次元空間の把握が容易となる。特に本発明の平行拡大投影による簡略化２次元的配置を用いた表示画像生成処理を用いている場合、仮想３次元空間の把握を容易とする上で有効な画像表現技術である。座標軸をさらに強調するため、座標軸に強調色を付すことも可能である。また、仮想３次元空間内での奥行きに応じて座標軸の色を変化させることも可能であり、この座標軸の色変化により仮想３次元空間の奥行きの把握が容易になる。

次に、本発明の第６の画像表現技術は、画像の枠付表示処理である。

画像の枠付表示処理とは、仮想３次元空間内に配置された画像を表示する場合、各画像に一定の幅（あるいは距離に応じて大きさを変化させてもよい）の枠を付けるという画像表現処理である。ここでさらに各画像枠を強調するために画像枠に色を付けることも可能である。さらに、仮想３次元空間内での奥行きに応じて画像枠の色を変化させることで、仮想３次元空間の奥行きの把握を容易にすることもできる。

次に、本発明の第７の画像表現技術は、画像配置拡張処理である。
この画像配置拡張処理とは、空間内視点からの距離に応じて、各画像のＸ、Ｙの値をディスプレイの中心から遠ざかる方向に補正移動する処理である。つまり、ディスプレイの中心方向に重なり合って存在する各画像の重なり具合を緩和して、それらを上下左右に広げて配置するので、見易くなる。

次に、本実施形態２で説明した本発明の３次元画像表現技術を適用した装置構成例を示す。図１０は、本発明の３次元画像表現技術を適用した装置構成例である。図１０に示すように、画像入力部１０ａ、配置情報入力部２０、空間内視点設定・移動処理部３０、投影処理部４０、表示画像生成部５０、表示部６０を備えている。画像入力部１０ａは、多解像度画像生成部１１を備えている。

本実施形態２では、画像入力部１０ａにより画像データを読み込み、多解像度画像生成部１１により多解像度画像を生成する。もちろん、外部において生成された多解像度画像の組を読み込むことも可能である。配置情報入力部２０により画像の３次元配置情報を読み込む。空間内視点設定・移動処理部３０により、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する。投影処理部４０により、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える各画像の２次元的配置を求める。

表示画像生成部５０は、２次元的配置に従って該当する解像度の画像を選択して表示画像に書き込む。また、上記実施形態２で説明した多解像度合成画像や、切り出し画像など各種３次元画像表現技術を用いて表示画像に書き込む。生成した表示画像を表示処理部６０により表示する。

以上、本発明の３次元画像表現技術によれば、仮想３次元空間内への多量の画像表示に適した画像表現を行なうことができる。なお、上記に説明した３次元画像表現技術は、任意に組み合わせて利用することができる。

（実施形態３）
第３の基本技術は、背景画像を用いた３次元空間表現技術である。

この背景画像を用いた３次元空間表現技術は、各画像が配置されている仮想３次元空間に対して空間内での位置を把握するガイドとなる背景物を背景画像を用いて示す技術である。

仮想的な３次元空間に多数の画像を配置して表示しても、背景物が何もない例えば白色背景、黒色背景では、３次元的空間として把握しづらいという欠点がある。この問題を解決するため、自分の事務所、部屋等の見慣れたシーンを撮影して表示時に背景として用いる。見慣れたシーンを手がかりにして各画像の配置を把握できるため、どこに何があるかが分かりやすくなる。自分の部屋のコタツの周りにすべてのものを置く感覚でブラウジング検索や閲覧が行えるようになる。覚えやすくする観点からは、利用者自らが配置を決めることが望ましいと思われる。

背景とする背景画像を得る方法としては、カメラを回転させながらシーンを何回か撮影し、それらの画像を張り合わせてパノラマ画像を作る技術が知られている。パノラマ画像から、マウス等の操作によって一部分を切り出してディスプレイに表示することで、シーンを見回すという効果を出すことができる。

なお、このパノラマ画像上の特定の個所に対して特定の機能を対応させるように設定することも可能であり、例えばパノラマ画像上の当該箇所をクリックすると、特定の動作（別のパノラマ画像の表示実行やメール発信等のコマンドの実行）を行うように設定することができる。

背景画像を背景に用いた３次元表現技術としてさらに以下の処理を開示する。

第１は、仮想３次元空間内での画像の配置を利用者に行わせる。これは、画像が配置されている位置の覚えやすさを高めるとともに、背景となる実写画像と各画像の対応付けが行ないやすくなる。

第２は、シーンを撮影した映像に基づいて、シーンを３次元化する。この実写画像から被写物体を３次元表示する技術自体は公知技術を用いれば良い。この処理により、パノラマ画像の作成処理を自動化する。

第３は、撮影されるシーンを特定環境（例えばオフィス）に限定し、当該特定環境に存在する物体に関する情報を格納した辞書を利用する。特定環境に限定することにより、シーンに現れる背景物体は限られてくるので、特定環境に存在する物体に関する情報を持つ辞書を用意することが可能となる。当該辞書には、特定環境に存在する物体について実写写真もしくはＣＧデータを多数用意しておく。空間内視点の移動があった場合や、ブラウジング検索の絞り込みで大写しの画像が必要となった場合には、辞書中の画像データを画像表示処理に利用することができる。

第４は、実写画像からパノラマ画像を生成するにあたり、球や円筒面等の既知形状に実写画像を張り合わせる。このように既知形状を用いることにより実写画像の張り合わせ処理が簡単になり、パノラマ画像生成が簡単になる。

次に、本実施形態３で説明した本発明の背景画像を用いた３次元空間表現技術を適用した装置構成例を示す。図１１は、本発明の背景画像を用いた３次元空間表現技術を適用した装置構成例である。図１１に示すように、画像入力部１０、配置情報入力部２０、背景画像入力部７０、空間内視点設定・移動処理部３０、投影処理部４０、表示画像生成部５０、表示部６０を備えている。

画像入力部１０により、画像データを読み込む。配置情報入力部２０により、各画像の仮想３次元空間内での配置情報を読み込む。背景画像入力部７０により、仮想３次元空間に背景として仮想的に存在する背景画像の画像データを読み込む。空間内視点設定・移動処理部３０により、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する。投影処理部４０により、各画像および背景画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える各画像および背景画像の２次元的配置を求める。表示画像生成部５０により、各画像および背景画像の２次元的配置に従って、読み込んだ画像データおよび背景画像データを処理して２次元表示画像を生成する。表示部６０により生成した２次元表示画像を表示する。

以上、本発明の背景画像を用いた３次元空間表現技術によれば、各画像の仮想３次元空間内での位置が分かりやすく表現することができる。なお、上記に説明した３次元画像表現技術は、任意に組み合わせて利用することができる。

（実施形態４）
第４の基本技術は、移動パラメータの最適化処理技術である。本技術は、オプティカルフローを基にして移動パラメータを最適化して目の疲れを抑えるものである。

ディスプレイに画像を表示する場合、利用者の操作によるズームやスクロールなど表示内容が移動・変更を受けることが多い。この際に、表示内容の移動速度等の移動パラメータが不適切であると目が疲れるという問題が発生する。本技術は、移動パラメータを最適化して目の疲れを抑えるものである。本技術は、多数の画像の３次元表示処理高速化技術、３次元画像表現技術、背景画像を用いた３次元空間表現技術とは独立に用いることができ、ズームやスクロールなど動きを伴う任意の画像表示に対して適用できる。

ズームやスクロールは、ディスプレイ上の各画素での画素値の移動として表すことができる。この様子を図１２に示す。３次元表示における他の移動方法も、基本的にはこのように各画素での画素値の移動という形で表すことができる。この画素値移動の仕方を修正することで、目の疲れを抑えることを考える。

まず、目の疲れをコンピュータで扱えるようにモデル化する。一般的なコンピュータ等の表示装置は、インタレース方式、ノンインタレース方式とも表示フレームを次々書き換える方式である。表示内容を書き換えずに連続的変化させるものではなく、表示内容は一定の時間間隔で更新される。いま、図１３に示したように、表示内容のうちある１点に注目した場合、ディスプレイ上では図１３に示したような軌跡を描いて移動する。

人間の目は３次元物体を２次元の網膜に投影して認識を行っている。運動する物体は、網膜上で明度分布の滑らかな変化を引き起こす。明度分布の時間的変化と空間的変化の比から、投影面上での投影像の動き（以下、オプティカルフローという）を求めることができる。図１４はオプティカルフローの概念を表したものである。いま、左側が明るく右側が暗い１枚の画像が、ディスプレイ上で右方向に移動している場合を想定すると、明度分布の空間的変化Ｉxは負の数になる。一方、明度分布の時間的変化Ｉtと単位時間当りの移動量ｄは正の数になり、これらの間には−Ｉx＝Ｉt／ｄの関係が成立する。つまり、図１３中に示した三角形が相似になる。ここで、ｄがオプティカルフローと定義されるものである。上記のオプティカルフローｄの算出は、移動幅の範囲で明度分布が直線関係にあると見なすことのできる場合である。従って、移動幅は十分小さい必要がある。移動幅が大きくなるにつれて実際の動きとの誤差は大きくなる。ただし、実際には明度変化を求める前に投影像をぼかす処理が行われて明度分布の細かな変化の影響を受けないようになっていると考えられている。

人間の目は、このオプティカルフローに基づいて眼球運動を発生させ物体の追跡を行っていると考えられている。この働きのおかげで、多少、本を動かしても文字を読み取ることができる。なお、本節では、画素の値のうち明度（ＲＧＢの平均値あるいは最大値）だけに注目してオプティカルフローを求めるモデルで説明を行なうが、ＲＧＢを個別に求めて平均するようなモデルを用いてもよい。また、オプテイカルフローの算出法には様々な改良が行なわれているが、本発明はオプテイカルフローの算出方法自体には限定されない。

一方、似た形状の２つの物体を少し離して交互に見えるようにすると、１つの物体が動いているように知覚される。例えば、電車の踏み切りのランプの点滅で明かりが動いているように見える。この場合には、オプテイカルフローは求められない（存在しない）が、形状が似ている個所の対応を取ることで動きを知覚していると考えられる。人間の目は、これら２つの方法で動きを知覚していると言える。ディスプレイ上で表示を行う場合においても同様であり、一回の描画での移動幅が十分小さい場合には、オプテイカルフローを求めて動きを知覚すると考えられる。移動幅が大きくなるに従って、オプティカルフローは求めにくくなり、明度変化から算出される値が実際の動きとずれてくる。オプティカルフローが求められる移動幅の上限は、表示対象の複雑さに依存するが概ね表示内容の基本単位（文字画像ならば１文字、絵ならば線幅や構成図形）程度の大きさであると見なすことができる。算出される動きが実際の動きと異なる場合、当該物体の目視追跡を続行するには眼球運動後に形状の対応を取って視覚上での位置補正を行う必要がある。本発明の移動パラメータ最適化技術では、この視覚上での位置補正が目の疲れを生むと考える。

上記考え方に従い、目の疲労度を（数１）で定義する。

［数１］
目の疲労度＝描画回数＊注目点におけるオプティカルフローの誤差
ただし、注目点は求められるとは限らないので、注目点が一意に決まらない場合は、ディスプレイ中央付近やディスプレイ全体でのオプテイカルフロー平均値との誤差で近似する。また、移動速度がある程度大きい領域でのオプテイカルフローの平均値を用いることも有効である。なお、移動幅が大きくオプティカルフローが求められない場合には、上記オプティカルフローの誤差は設定した最大値を取るものと考えれば良い。従って、オプテイカルフローの誤差と一回の描画による移動幅の関係は図１５のように表される。

図１３で示したように、表示内容の１点を固定し、その点における単位時間あたりの描画回数をｎ＝１／ｓ（ｓは描画間隔の時間）とし、移動速度をｖとすると、１回の描画でのオプティカルフローとなる移動幅ｄは、ｄ＝ｖ／ｎで表される。図１５で示したように、移動幅ｄの誤差は、移動幅ｄが小さいときｄ2に比例するような関数になると考えられるので、単位時間あたりの目の疲労度は、ｎｄ2に比例する。これは、ｖ2／ｎ＝ｖｄに等しいので、目の疲労度を下げるには、移動速度が一定ならば描画回数を増やすか、移動速度または移動幅を小さくする必要がある。一方、移動幅ｄがかなり大きい場合には、オプテイカルフローの誤差はほぼ一定になるので、描画回数が少ないほど目の疲労度は小さくなる。

一方、単位時間あたりに新しく提示できる面積（以下、情報の量）は、移動速度ｖに比例する。これはｎｄに等しい。従って、描画回数や移動幅を小さくすると提示できる情報の量が減少してしまう。目の疲労度と情報の量はこのようなトレードオフの関係となっているため、最適な移動パラメータを評価するために以下の（数２）に示す評価関数を導入する。表示対象の移動を行う際に、移動速度や一回の移動幅を変更できるならば、この評価関数を最小化するような値に設定することで、最適な移動を決定することができる。

［数２］
表示の不適切さ=目の疲労度−情報の量
上記（数２）式で定義される「表示の不適切さ」の簡単な性質をまとめておく。

第１の性質は、移動速度ｖが一定のときは、情報の量は一定なので、適切な表示は目の疲労度を下げるものである。これは移動幅ｄが小さい場合には移動幅ｄをより小さくし、大きく場合にはより大きくするものになる。

第２の性質は、描画回数ｎが一定のときは、移動幅ｄが小さい場合には、ｎｄ2−ｎｄの形の最小化となるので、最適な移動幅ｄを求めることが可能となる。移動幅ｄが大きい場合には、大きいほどよいということになる。

また、移動パラメータである移動速度ｖや移動幅ｄを調整する他に、表示内容自体を変更して、目の疲れない最適な表示を行うこともできる。この場合には、元の表示内容からあまり逸脱しないように、以下の（数３）に示す評価関数を導入し、これを最小化するように表示内容を変更する。

［数３］
表示の不適切さ＝元の表示内容との違い＋目の疲労度−情報の量
元の表示内容との違いを図る尺度としては、例えば画素毎の明度差の２乗平均を用いる。（数３）の評価関数は、移動速度ｖや移動幅ｄを変更せず、表示内容だけを変更する場合にも用いることができる。

表示内容自体を変更して、目の疲れない最適な表示を行う処理の例を、図１６のフローチャートを参照しつつ説明する。

まず、表示内容と移動パラメータを記憶する変数を初期化する（ステップＳ１６０１）。前回と今回の表示内容と各点における移動パラメータを記憶する領域を用意する。

次に、移動パラメータを読み込む（ステップＳ１６０２）。もし各点での移動パラメータが指定されている場合には、当該指定された移動パラメータを読み込む。指定されていない場合には、前回の移動パラメータを設定する。

次に、表示内容を読み込む（ステップＳ１６０３）。もし、今回の表示内容が指定されている場合には、当該指定された表示内容を読み込む。指定されていない場合には、前回の表示内容と移動パラメータに従って表示内容を移動する。

次に、オプティカルフローを計算する（ステップＳ１６０４）。前回の表示内容と今回の表示内容から、オプティカルフローを算出する。必要ならば、前処理として画像をぼかす。

次に、評価関数の計算されたオプティカルフローと表示パラメータから、（数３）に示した表示の不適切さを表す評価関数の値を計算する（ステップＳ１６０５）。

次に、評価関数の値を評価する。評価関数の値が十分小さい場合、例えば設定した閾値以下の場合（ステップＳ１６０６：Ｙ）には、表示が不適切ではないとして、今回処理する変更後の表示内容をディスプレイに表示する処理とする。ステップＳ１６０９に進む。

そうでない場合には（ステップＳ１６０６：Ｎ）、読み込んだ移動パラメータを変更する（ステップＳ１６０７）。移動パラメータの変更が可能な場合には、各点の移動パラメータを微少に変化させる。変化量は例えば定められた大きさ分だけ増加あるいは減少させる。

次に、変更後の移動パラメータに従って表示内容を変更する（ステップＳ１６０８）。移動パラメータが変更された場合には、それに従って表示内容を移動する。なお、表示内容の変更が可能な場合には、各画素の明度を微少に変化させてから、表示内容を移動する。変化は例えば定められた大きさだけ増加あるいは減少させる。再度オプティカルフローを計算する（ステップＳ１６０４）。

表示処理を続行する場合は（ステップＳ１６０９：Ｙ）、ステップＳ１６０２に戻り、ステップＳ１６０２からステップＳ１６０８の処理を繰り返し、オプティカルフローの再計算を行なう。表示処理を続行しない場合は（ステップＳ１６０９：Ｎ）、処理を終了する。

なお、上記図１６に示した処理はかなり時間がかかるので、簡便な処理として、移動パラメータの変更を行わず表示内容だけを多少修正する以下の図１７のフローチャートに示す処理方式も可能である。

まず、表示内容と移動パラメータを記憶する変数を初期化する（ステップＳ１７０１）。前回と今回の表示内容と各点における移動パラメータを記憶する領域を用意する。

次に、移動パラメータを読み込む（ステップＳ１７０２）。もし各点での移動パラメータが指定されている場合には、当該指定された移動パラメータを読み込む。指定されていない場合には、前回の移動パラメータを設定する。

次に、表示内容を読み込む（ステップＳ１７０３）。もし、今回の表示内容が指定されている場合には、当該指定された表示内容を読み込む。指定されていない場合には、前回の表示内容と移動パラメータに従って表示内容を移動する。

次に、表示内容の合成を行なう（ステップＳ１７０４）。移動パラメータの各点の移動幅をオプティカルフローとするような表示内容を合成する。例えば、明度分布からオプティカルフローを求める処理の代わりに、オプティカルフローと明度分布の空間的変換から明度分布の時間的を求める処理に変更することで実現できる。

次に、表示内容を修正する（ステップＳ１７０５）。ステップＳ１７０４で合成された表示内容に基づいて、今回の表示内容を修正する。例えば、両者の平均を用いる。修正された表示内容をディスプレイに表示する。

表示を続行する場合は（ステップＳ１７０６：Ｙ）、ステップＳ１７０２に戻り、ステップＳ１７０２からステップＳ１７０５の処理を繰り返し、オプティカルフローの再計算を行なう。表示を続行しない場合は（ステップＳ１７０６：Ｎ）、処理を終了する。

以上が、目の疲れない最適な表示を行う処理の流れである。

ここで、オプテイカルフローを算出する前に、画像をどの程度ばかすかを決める必要がある。画像をぼかす処理は、ほかす程度を定める空間定数をパラメータとして持つような空間フィルタとの畳み込み演算で実現することが可能である。

空間フィルタには、例えばガウシャンがある。画像をぼかすフィルタの空間定数は、例えば以下のように定めることができる。

第１は、指定された値を用いる方式である。表示画像の大きさで調整することが可能である。

第２は、表示対象が文字画像のように構造が判明している場合は、画像中の基本単位（例えば文字の高さ）の値を用いる方式である。もし、文字の高さが指定されていない場合は、画像処理に基づいて文字の高さを推定する。文字の高さの推定は、例えば、水平方向に明度を加算して、１次元のヒストグラムを作成し、ヒストグラムの周期を求めることにより実行することができる。

以上のモデル化では、個人差は考慮されていなかったが、評価関数の各項（元の表示内容との違い、目の疲労度、情報の量）に加える重みを変えることで個人差に対応することができる。例えば、以下の図１８のフローチャートに示す処理により行う。

まず、画像中の基本単位が判明しているいくつかのサンプルを利用者に提示する（ステップＳ１８０１）。

次に、利用者は、移動パラメータを調節して最も読みやすい値に設定する（ステップＳ１８０２）。この移動パラメータを調整・設定する方法として、いくつかのサンプルとなる移動パラメータで読み取りテスト（あるいは読み取りゲーム）を行い、その正答率から移動パラメータを定める方法も可能である。例えば、正答率が悪化し始めたパラメータとすることができる。

次に、評価関数の各項を各移動パラメータに対して個別に計算し、利用者が設定した移動パラメータ値で和が最小となるように、各項の重みを調節する（ステップＳ１８０３）。

以上の処理により、個人差を考慮し、評価関数の各項に加える重みを変えることができる。

次に、本実施形態４で説明した本発明の移動パラメータの最適化処理技術を適用した装置構成例を示す。図１９は、本発明の３次元表示処理高速化技術を適用した装置構成例である。図１９に示すように、画像入力部１０、移動パラメータ入力部８０、移動パラメータ・画像データ調整処理９０、表示画像生成部５０、表示部６０を備えている。

画像入力部１０により、画像データを読み込む。移動パラメータ入力部８０により、画像の移動方法を指定する移動パラメータを読み込む。移動パラメータ・画像データ調整処理９０は、読み込まれた画像データと移動パラメータに基づいてオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように移動パラメータまたは画像データの少なくとも一方を調整する。移動パラメータのみの調整も可能であり、画像データのみの調整も可能であり、移動パラメータおよび画像データの両者を調整することも可能である。表示画像生成部５０により、調整された移動パラメータ・画像データに従って、読み込んだ画像データを処理して２次元表示画像を生成する。表示部６０により生成した２次元表示画像を表示する。

次に、本発明の移動パラメータの最適化処理技術を３次元仮想空間内に配置された画像の画像表示に適用した場合の例を説明する。

図２０は、本発明の３次元仮想空間内に配置された画像の画像表示に本発明の移動パラメータの最適化処理技術を適用した場合の装置構成例である。図２０に示すように、画像入力部１０、配置情報入力部２０、移動パラメータ算出部８１、空間内視点設定・移動処理部３０、移動パラメータ・画像データ調整処理９０、投影処理部４０、表示画像生成部５０、表示部６０を備えている。

画像入力部１０により、画像データを読み込む。配置情報入力部２０により、各画像の仮想３次元空間内での配置情報を読み込む。空間内視点設定・移動処理部３０により、仮想３次元空間内の視点位置と視線方向のパラメータにより空間内視点の設定・移動を指定する。移動パラメータ算出部８１により、画像の移動方法を指定する移動パラメータを算出する。移動パラメータ・画像データ調整処理９０は、読み込まれた画像データと移動パラメータに基づいてオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように移動パラメータまたは画像データの少なくとも一方を調整する。移動パラメータのみの調整も可能であり、画像データのみの調整も可能であり、移動パラメータおよび画像データの両者を調整することも可能である。投影処理部４０により、調整された移動パラメータおよび画像データ、更に、各画像の仮想３次元空間内での配置情報と空間内視点情報の関係を基にした投影処理によって、空間内視点から見える各画像の２次元的配置を求める。表示画像生成部５０により、各画像の２次元的配置と調整された移動パラメータ・画像データに従って、読み込んだ画像データを処理して２次元表示画像を生成する。表示部６０により生成した２次元表示画像を表示する。

以上、本発明の移動パラメータの最適化処理技術によれば、オプティカルフローを基にして移動パラメータを最適化して、ブラウジング検索や閲覧を行なう利用者の目の疲れを抑えることができる。

（実施形態５）
本発明の画像表示方法および装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像表示方法および装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図２１に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１０２やフレキシブルディスク１０３等の可搬型記録媒体１０１だけでなく、ネットワーク上にある記録装置内の記録媒体１００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１０４上にローディングされ、主メモリ上で実行される。

なお、上記した本発明の３次元表示処理高速化技術、３次元画像表現技術、背景画像を用いた３次元空間表現技術、移動パラメータの最適化処理技術は、画像表示処理を向上させる技術として、それぞれ独立して適用することが可能であり、また、任意に組み合わせて用いることができる。

以上の説明および特許請求の範囲に記載した事項に関して更に以下の項を開示する。
（１） すべての画像の向きが表示画面と直交し、すべての画像が表示画面に対して正面を向くように前記各画像の配置情報が設定された請求項１に記載の画像表示方法。
（２） すべての画像の画素の方向が表示画面の画素の方向と平行になるように前記各画像の配置情報が設定された請求項１に記載の画像表示方法。
（３） 前記平行拡大投影処理における、前記空間内視点から見た各画像の大きさに対応した拡大・縮小処理において、前記各画像の仮想３次元空間内での配置情報と前記空間内視点情報の関係から決まる空間内視点と各画像との距離に比例した縮小率よりも大きい縮小率を適用し、遠く離れていれば離れている程、縮小率を大きくして過剰に縮小投影処理する遠距離画像過剰縮小投影処理を加えた上記（２）に記載の画像表示方法。
（４） 前記表示画像生成処理における、各画像の簡略化２次元的配置に従った画像データの書きこみ処理において、
前記簡略化２次元的配置で示された各画像の方向が設定値範囲外であれば、画像の書き込み処理を省略する請求項１に記載の画像表示方法。
（５） 表示画像上の明るさの分布を設定する処理を備え、
前記表示画像生成処理における、各画像の簡略化２次元的配置に従った画像データの書きこみ処理において、前記設定された表示画像上の明るさの分布に従った画像明度により画像の書き込み処理を行なう請求項１に記載の画像表示方法。（６） 表示画像上の画像のぼかし分布を設定する処理を備え、
前記表示画像生成処理における、各画像の簡略化２次元的配置に従った画像データの書きこみ処理において、前記設定された表示画像上のぼかし分布に従った画像のぼかし処理を伴う画像の書き込み処理を行なう請求項１に記載の画像表示方法。
（７） 表示画像上の色分布を設定する処理を備え、
前記表示画像生成処理における、各画像の簡略化２次元的配置に従った画像データの書きこみ処理において、前記設定された表示画像上の色分布に従って、画像の枠線に色を付す処理を伴う画像の書き込み処理を行なう請求項１に記載の画像表示方法。

本発明の実施形態１の平行拡大投影処理の基本的流れを示す示すフローチャート 本発明の実施形態１の平行拡大投影を用いて長方形画像のディスプレイへの投影計算処理の例を示すフローチャート 本発明の実施形態１の平行拡大投影処理による簡略化２次元的配置を用いた表示画像の例と、従来技術の中心投影処理による２次元表示画像の例を示す図 多解像度画像を用いた表示画像の生成例を示す図 本発明の実施形態１の３次元表示処理高速化技術を適用した装置構成例を示す図 本発明の処理により生成した多解像度合成画像の例を示す図 本発明の実施形態２の多解像度画像生成処理における微分により重要部分を判断する処理の流れを示すフローチャート 本発明の処理により生成した切り出し画像の例を示す図 本発明の実施形態２の画像ぼかし処理の流れを示すフローチャート 本発明の実施形態２の３次元画像表現技術を適用した装置構成例を示す図 本発明の実施形態３の背景画像を用いた背景画像を用いた３次元空間表現技術を適用した装置構成例を示す図 ズーム、スクロールによるディスプレイ上の各画素での画素値の移動の様子を示す図 表示内容のうちある１点に注目した場合のディスプレイ上で描かれる軌跡を示した図 オプティカルフローの概念を表した図 オプテイカルフローの誤差と一回の描画による移動幅の関係を説明する図 表示内容自体を変更して、目の疲れない最適な表示を行う処理の流れを示すフローチャート 移動パラメータの変更を行わず表示内容だけを多少修正する場合の処理の流れを示すフローチャート 個人差を考慮した評価関数の各項に加える重みを設定する処理の流れを示すフローチャート 本発明の実施形態４の移動パラメータの最適化処理技術を適用した装置構成例を示す図 本発明の移動パラメータの最適化処理技術を仮想３次元空間の画像表示に適用した場合の装置構成例を示す図 本発明の画像表示処理方法を実現するコンピュータ処理プログラムを記録した記録媒体の例を示す図 従来技術の中心投影による３次元空間内に存在する３次元物体をディスプレイ上に投影する様子を示す図

符号の説明

１０ 画像入力部
２０ 配置情報入力部
３０ 空間内視点設定・移動処理部
４０ 投影処理部
５０ 表示画像生成処理部
６０ 表示部
７０ 背景画像入力部
８０ 移動パラメータ入力部
８１ 移動パラメータ算出部
９０ 移動パラメータ・画像データ調整処理部
１００ 回線先のハードディスク等の記録媒体
１０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１０２ ＣＤ−ＲＯＭ
１０３ フレキシブルディスク
１０４ コンピュータ
１０５ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims (5)

1. 画像を移動させながら表示する画像表示方法であって、
   画像データを読み込む処理と、
   画像の移動方法を指定する移動パラメータを読み込む処理と、
   前記読み込まれた画像データと移動パラメータに基づいて、時間的に隣接するフレームの表示画像間で定まるオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように、前記移動パラメータまたは画像データの少なくとも一方を調整する移動パラメータ・画像データ調整処理と、
   前記調整された移動パラメータ・画像データに従って、前記読み込んだ画像データを処理して表示画像を生成する表示画像生成処理と、
   前記生成された表示画像を表示装置上に表示する処理を備えたことを特徴とする画像表示方法。
2. 前記移動パラメータ・画像データ調整処理が、重み付けされた前記視点移動誤差と、重みづけされた前記画像の移動量の負数とを加算した量を評価関数とし、当該評価関数を最小にするように、移動パラメータおよび画像データを調整する請求項１に記載の画像表示方法。
3. 前記評価関数の重み付けを設定・調整する重み調整処理を備え、
   前記重み調整処理が、利用者に調整テスト用の画像を提示しつつ、空間内視点設定・移動処理により空間内視点を移動させ、利用者にとって視点移動誤差が小さく、かつ、画像移動量の大きくなるよう、利用者自身が前記移動パラメータの調整重みと前記画像データ調整の重みを設定する処理である請求項２に記載の画像表示方法。
4. 画像を移動させながら表示する画像表示装置であって、
   画像データを読み込む画像入力部と、
   画像の移動方法を指定する移動パラメータを読み込む移動パラメータ入力部と、
   前記読み込まれた画像データと移動パラメータに基づいて、時間的に隣接するフレームの表示画像間で定まるオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように、前記移動パラメータまたは画像データの少なくとも一方を調整する移動パラメータ・画像データ調整処理部と、
   前記調整された移動パラメータ・画像データに従って、前記読み込んだ画像データを処理して表示画像を生成する表示画像生成処理部と、
   前記生成された表示画像を表示装置上に表示する表示部を備えたことを特徴とする画像表示装置。
5. 画像を移動させて表示する画像表示方法を実現する処理プログラムを記録したコンピュータ読み取り可能な記憶媒体であって、
   画像データを読み込む処理ステップと、
   画像の移動方法を指定する移動パラメータを読み込む処理ステップと、
   前記読み込まれた画像データと移動パラメータに基づいて、時間的に隣接するフレームの表示画像間で定まるオプティカルフローと各画像の各画素の実際の動きとの違いである視点移動誤差を低減し、かつ、時間的に隣接するフレーム間での画像の移動量を増加するように、前記移動パラメータまたは画像データの少なくとも一方を調整する移動パラメータ・画像データ調整処理ステップと、
   前記移動パラメータ・画像データ調整処理に従って、前記読み込んだ画像データを処理して表示画像を生成する表示画像生成処理ステップと、
   前記生成された表示画像を表示装置上に表示する処理ステップとをコンピュータに実行させるための処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images