JPH04280376A

JPH04280376A - 画像表示装置

Info

Publication number: JPH04280376A
Application number: JP3043415A
Authority: JP
Inventors: Takashi Morihara; 隆森原; Masahiro Mori; 雅博森
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-03-08
Filing date: 1991-03-08
Publication date: 1992-10-06

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化された画像デー
タを復元して表示する画像表示装置に係わり、特に画像
検索を効率的に行える画像表示装置に関する。

【０００２】

【従来の技術】画像データ、特に中間調画像やカラー画
像のデータは、文字・数値データに比べてその情報量（
データ量）が桁違いに大きいため、そのデータを蓄積し
たりまたは高速・高品質で伝送するためには、各画像毎
の階調値を高能率（高効率）に符号化する必要がある。

【０００３】また、画像データベースの検索時において
は、利用者がより早く画像の概略を認識できるように、
高速表示の可能な粗い画像から順次高品質の画像へと段
階的に画質を向上させていく、いわゆる階層復元（この
階層は、画像の解像度により分類される）を用いた効率
的な画像検索が可能な画像の復元方式の実現が強く望ま
れている。そして、その検索時は、本での頁検索のよう
に、本の頁をめくりながら所望の頁を見つける感覚で所
望の画像の画像検索を行える画像表示への要求が極めて
強い。

【０００４】ところで、画像データの高能率な圧縮方式
として、例えば適応離散コサイン変換（Ａｄａｐｔｉｖ
ｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏ
ｒｍ，　以下、ＡＤＣＴと略称する）符号化方式が知ら
れている。

【０００５】このＡＤＣＴ符号化方式は、例えば２５６
　×２５６　画素または５１２　×５１２　画素等に標
本化された２次元の原画像データを、例えば８×８画素
（または１６×１６画素）の複数個のブロックに分割し
、各ブロックの画信号（階調値あるいは濃度値等）を２
次元離散コサイン変換（２次元Ｄｉｓｃｒｅｔｅ　Ｃｏ
ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ，以下２次元ＤＣＴと略
称する）により空間周波数分布の係数に変換し、その係
数を視覚に適応した閾値で量子化し、その求まった量子
化係数を統計的に求めたハフマン・テーブルにより符号
化するものである。

【０００６】ここで、画信号２３を８×８画素のブロッ
クに分割して、各ブロックの画信号をＡＤＣＴにより符
号化して蓄積する回路の基本ブロック図を図１１に示し
、その図１１を参照してその符号化動作を説明する。

【０００７】まず、６４×６４画素の画信号２３は、図
１２に示すように８×８画素から成る８×８個のブロッ
クに分割されて２次元ＤＣＴ変換部２４に入力される。尚、図１１に示す各ブロック値は、階調値を示す。

【０００８】２次元ＤＣＴ変換部２４は、入力された各
ブロックの画信号を２次元ＤＣＴにより、直交変換して
図１３に示す空間周波数分布の２次元ＤＣＴ係数Ｆ（ｕ
，ｖ），（０≦ｕ≦７，０≦ｖ≦７）に変換し、線形量
子化部２５に出力する。２次元ＤＣＴ係数Ｆ（ｕ，ｖ）
は、ｕまたはｖの値が小さいほど、空間周波数が低く解
像度の低いスペクトル成分を表わし、ｕまたはｖの値が
大きくなるほど、空間周波数が高く、解像度の高いスペ
クトル成分を表わす。また、Ｆ（０，０）は直流成分を
示す。

【０００９】線形量子化部２５では、入力された２次元
ＤＣＴ係数Ｆ（ｕ，ｖ）を視覚実験により決められた閾
値で構成される量子化マトリクス２６を参照して線形量
子化する。この量子化の結果、図１４に示すように、閾
値以下の２次元ＤＣＴ係数Ｆ（ｕ，ｖ）は０となり、Ｄ
Ｃ（直流）成分（「５」）とわずかのＡＣ交流成分のみ
が値を持つ量子化係数が生成される。

【００１０】次に、図１４に示すように２次元的に配列
された量子化係数は、図１５に示すように１，２，３，
・・・６１，６２，６３，６４　の数が割り当てられた
順にジグザグスキャンされることにより、１次元のデー
タ列に変換されて可変長符号化部２７に入力される。

【００１１】可変長符号化部２７は、ＤＣ成分について
は前ブロックのＤＣ成分との差分を可変長符号化する。また、ＡＣ成分については有効係数（値が０でない係数
）の値とそこまでの無効係数（値が０の係数）のランの
長さ（零ラン長）を可変長符号化する。そして、次にＤ
Ｃ，ＡＣ各成分は、画像ごとの統計量をもとに作成する
ハフマン・テーブルで構成する符号表２８を用いて符号
化され、符号データ格納部２９に格納される。このとき
、符号データは粗い画像を復元するのに必要なデータが
第１階層、順次より粗細な画像を復元するために順次付
加するデータを第２階層、第３階層、・・・というよう
に階層的な符号データの形式で格納される。すなわち、
前記２次元ＤＣＴ係数Ｆ（ｕ，ｖ）の次数（ｕ，ｖ）の
低い空間周波数の低い成分に対応するものから順に区切
られて階層的に格納される。

【００１２】このようにして、階層別に分けて格納され
た符号データは、低い階層からより高い階層へ、すなわ
ち粗い画像からより精細な画像へと順次復元されていく
。ところで、上述のように標本化された画像の全画素を
適当な数の画素から成る複数のブロックに分割し、各ブ
ロックごとに、標本値から成る数値列を２次元ＤＣＴ等
により直交変換して、ブロック数に等しい数の係数を得
、その係数を所定のルールで量子化することを一般に変
換符号化（Ｔｒａｎｓｆｏｒｍ　Ｃｏｄｉｎｇ）　また
はブロック符号化（Ｂｌｏｃｋ　Ｃｏｄｉｎｇ）　とい
う。

【００１３】この階層化された符号データから画像を復
元する方法を、図１６及び図１７の回路ブロック図を参
照しながら説明する。図１６は、従来の階層化された符
号データ（階層符号データ）から画像を復元する装置の
構成を示す図である。

【００１４】従来技術においては、まず図１６に示した
符号データ格納部１１０に格納された多数の画像の階層
符号データを、画像選択部１２０で、第１の画像の第１
階層の符号データから階層順に順次選択する。画像選択
部１２０により選択された上記第１画像の第１階層の符
号データは、画像復元部１３０に出力され、その画像復
元部１３０で画像信号に復元される。そして、その復元
された画像信号は、画像表示部１４０に表示される。

【００１５】上述のように、第１画像の第１階層符号デ
ータが画像信号に復元終了された後、次に、画像選択部
１２０により符号データ格納部１１０内の第１画像の第
２階層の符号データが選択され、上述と同様の手順で前
記第１階層の符号データと第２階層の符号データを用い
た前画像よりも精細な画像が復元される。

【００１６】ここで、図１７に示す上記画像復元部１３
０のブロック図を参照しながら、上記画像復元部１３０
の動作を説明する。画像復元部１３０は、まず、第１画
像の第１階層の符号データの復元を行う。すなわち、ま
ず、上記符号データ格納部１１０から、上記第１画像の
第１階層の符号データを先頭ブロックから順に、可変長
復号部１３１に読み込み、可変長復号部１３１は、復号
表１３２を参照しつつ、固定長のデータ（２次元ＤＣＴ
係数）に復元する。可変長復号部１３１で復元された２
次元ＤＣＴ係数は、逆量子化部１３３により量子化マト
リクス１３４を用いて逆量子化され、その逆量子化によ
り得られた量子化係数は係数格納部１３５に格納される
。その係数格納部１３５の各値は、初期値では零が与え
られている。従って、前記可変長復号部１３１で零以外
の値に復元され、前記逆量子化部１３３で量子化された
係数のみを係数格納部１３５に新たに書き込む。第１画
像の第１階層の符号データを全て読み込み、可変長復号
化が終了した後、前記係数格納部１３５に格納された第
１画像の第１階層の各係数（量子化係数）を逆ＤＣＴ変
換部１３６で演算して階調データ（画像信号）に変換し
、画像表示部１４０に表示する。

【００１７】上述のようにして第１画像の第１階層の符
号データを復元終了した後、引き続き伝送されてくる第
２、第３、・・・の各階層の符号データを順に全て復元
する。そして、第１の画像について全階層の符号データ
を復元した後、さらに第２画像を同様の手順で第１階層
から順次復元する。

【００１８】このように、第１、第２、・・・・の各画
像毎に、粗い画像から順次精細な画像へと、階層数に等
しい画像表示が行われ、全ての階層の画像表示が終了し
た後、次の画像の第１階層の表示へと移行していく。

【００１９】

【発明が解決しようとする課題】上述したように、従来
は各画像を変換符号化し、その変換符号化により得られ
た符号データを粗い画像から順次より精細な画像が得ら
れるように階層化して記憶していた。そして、各画像に
ついて第１階層、第２階層、・・・というように順次復
号化していくことにより、各画像を粗い画像からより精
細な画像へと順次、復元・表示していた。

【００２０】しかし、この復元・表示においては、前画
像を必要な階層まで復元・表示し終わってから、同一画
面に次の画像の復元・表示を行うため、それぞれの画像
が独立に提示されるようになっていた。このため、例え
ば本の頁をめくりながら検索するような人間にとって慣
れ親しんだ自然な感じでの画像検索を実現することはで
きない等の欠点があった。

【００２１】本発明は、利用者が画像の検索をあたかも
本の頁をめくるような自然な感覚で効率的に行うことが
可能な画像表示装置を実現することを目的とする。

【００２２】

【課題を解決するための手段】図１は、本発明の原理説
明図である。本発明は、符号化された複数の画像の画像
データを復元・表示する画像表示装置を前提とする。

【００２３】検索方向指示手段１は、例えば予め記憶手
段に所定の順序で記憶されている複数の画像の検索方向
、すなわち順方向検索か逆方向検索のいずれかであるか
を指示する。

【００２４】復元手段２は、検索方向指示手段１によっ
て指示される検索方向に従った順序で各種直交変換等に
より符号化された画像データに対し上記符号化と逆変換
の処理を行い表示用画像データに復元する。このとき、
上記符号化画像データは、例えば画像データベースの検
索を能率的に行えるように、各画像毎に粗い画像からよ
り精細な画像へと段階的に表示されるように階層化して
記憶されている。

【００２５】変形手段３は、復元手段２によって復元を
終了した表示用画像データに対し、検索方向指示手段１
によって指示される検索方向に応じて各種変形を行う。この変形は、例えば請求項３記載のように、上記復元終
了した前画像の表示用画像データが横方向または縦方向
等に縮小して表示されるようにする処理である。そして
、その変形においては、例えば請求項４記載のように、
上記前画像が縮小表示されるような変形を、その縮小率
がしだいに大きくなるように複数回に分けて行い、各変
形処理が終了する毎に、その作成した前画像の変形表示
用画像データを後述する表示制御手段４に出力する。そ
して、この場合、例えば請求項５記載のように変形手段
３は、前記前画像の縮小方向が横方向である場合におい
て、検索方向手段１により指示された検索方向が順方向
であるときには、前記横方向に縮小表示されていく前画
像が画面上を左から右または右から左へ移動して表示さ
れるように前記変形処理を行い、一方、前記検索方向指
示手段１により指示された検索方向が逆方向であるとき
には、前記横方向に縮小されていく前画像が上記順方向
検索時とは逆の方向に移動して表示されるように前記変
形処理を行う。また、変形手段３は、例えば請求項６記
載のように、前記前画像の縮小方向が縦方向である場合
において、前記検索方向指示手段１により指示された検
索方向が順方向であるときには、前記縦方向に縮小表示
されていく前画像が画面上を上から下まかは下から上へ
移動して表示されるように前記変形処理を行い、一方、
前記検索方向指示手段１により指示された検索方向が逆
方向であるときには、上記順方向検索時とは逆の方向に
移動して表示されるように前記変形処理を行う。

【００２６】また、表示制御手段４は、復元手段２によ
って新規に復元された次画像の表示用画像データによっ
て得られる画像と、変形手段３によって作成された表示
用画像データによって得られる前画像の変形画像とが合
成して表示されるように制御する。そして、この合成表
示においては、例えば請求項２記載のように変形手段３
によって作成された表示画像データによって得られる前
画像の変形画像が、復元手段２によって復元される表示
用画像データによって得られる新規画像の上画となって
重畳表示されるように制御する。

【００２７】また表示制御手段４は、請求項７記載のよ
うに、変形手段３によって作成された画像データによっ
て得られる前画像と復元手段２によって新規に復元され
た画像データによって得られる新規画像の少なくとも一
方の画像が縁取りされて表示されるように制御する。ま
た、請求項８記載のように、変形手段３によって作成さ
れた画像データによって得られる前画像の変形画像と復
元手段１によって新規に復元された画像データによって
得られる新規画像のデータの輝度とが異なって表示され
るように制御する。

【００２８】

【作用】まず、利用者により、検索方向指示手段１を介
して、画像の検索方向（順方向または逆方向）が指示さ
れる。この場合、順方向検索とは、例えば符号化された
画像データの格納順序の順番に検索することに対応し、
逆方向検索は上記順方向検索とは逆の順序に画像を検索
していくことに対応する。

【００２９】復元手段２は、検索方向指示手段１により
指示された検索方向に対応する順序で、各画像の符号化
された画像データを順次入力していく。そして、任意の
画像の符号化された画像データを入力すると、符号化の
逆変換を行い符号データから画像データ（表示用画像デ
ータ）を復元する。このとき、符号データが粗い画像か
らより精細な画像へと復元・表示されるように第１階層
、第２階層、・・・と階層化されて記憶（蓄積）されて
いれば、第１階層の符号データ、第２階層の符号データ
、・・・というように階層順に画像データを復元してい
く。そして、順方向検索時には第１の画像（最初の画像
）の復元・表示が終了すると、次の第２の画像の画像デ
ータの復元を開始する。

【００３０】一方、逆方向検索においては、第２の画像
の復元・表示が終了した後、第１の画像の復元が開始さ
れる。次に、順方向検索時の作用をまず説明する。

【００３１】復元手段２により復元が終了した第１の画
像データは、表示制御手段４に出力されると共に、変形
手段３に出力される。変形手段３は、上記復元・終了さ
れた第１の画像データに対し、例えば横方向または縦歩
行に縮小表示されるような変形処理を行う。この変形処
理は、例えば縮小割合を段階的（線形的または非線形的
に）に変化させながら複数回行われる。そして、その変
形処理された変形画像データは、処理終了後、順次表示
制御手段４に出力される。

【００３２】このように、変形手段３が、前画像の変形
処理画像データを順次表示制御手段４に出力している間
、復元手段２は、次の新規画像である第２の画像の画像
データの復元を開始し、その復元画像データを表示制御
手段４に出力する。

【００３３】表示制御手段４は、変形手段３から入力す
る第１の画像データの変形画像データと復元手段２から
入力する新たに復元された第２の画像データとを合成し
て画像に表示させる。

【００３４】以上のような動作が、第２の画像、第３の
画像、・・・と順次反復して行われる。従って、変形手
段３が、復元手段２が復元・終了した前画像の画像デー
タを順次、例えば横方向または縦方向に所定の割合（非
線形であってもよい）で縮小していく処理を複数回行う
ことにより、図７または図８に示すような画像表示を行
うことが可能となる。尚、図７及び図８において、画像
Ａが前画像、画像Ｂが新規画像である。

【００３５】一方、逆方向検索時には、復元手段２は、
第ｎ画像、第ｎ−１画像、・・・第２画像、第１画像と
、上記順方向検索時と逆の順序で、符号化された画像デ
ータを順次、復元していく。したがって、変形手段３に
入力する復元・終了した画像データも、上記順方向検索
時とは逆の順序となる。このため、変形手段３が上記順
方向検索時と同様に、前画像の画像データを順次、横方
向または縦方向に所定の割合で縮小していく処理を複数
回行うことにより、図９または図１０に示すような画像
表示を行うことが可能となる。尚、図９及び図１０にお
いては、画像Ｂが前画像、画像Ａが新規画像となる。

【００３６】図７と図９または図８と図１０を対比すれ
ば分かるように、順方向検索時と逆方向検索時とで、前
画像の縮小画像の表示位置（移動方向）を逆にすること
により、あたかも本の頁を順にまたは逆にめくる感覚で
、画像検索を行うことができる。

【００３７】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。図２は、一実施例の画像表示装置のシステム
構成を示すブロック図である。

【００３８】同図において、符号データ格納部２１０に
は、複数の画像について、前述したように各画像を例え
ばＭ×Ｍ（例えばＭ＝２５６　またはＭ＝５１２　）画
素に標本化して得られる各画素の画像信号（階調値）を
Ｎ×Ｎ（例えばＮ＝８またはＮ＝１６）画素から成る複
数のブロックに分割し、各ブロックの画像データｆ（ｍ
，ｎ）（ｍ＝０，１，・・・Ｎ−１；ｎ＝０，１，・・
・Ｎ−１）に対し前記２次元ＤＣＴ、線形量子化、及び
可変長符号化を順次行うことによって符号化したデータ
が前述したように第１階層、第２階層、・・・の各階層
に分割されて格納されている。この上記符号データ格納
部２１０としては、半導体メモリ、磁気記憶装置、光デ
ィスク、光磁気ディスク、ＣＤ−ＲＯＭ等の各種記憶手
段を用いることができる。

【００３９】上記２次元ＤＣＴを用いた符号化には、以
下に示すような種々の方式が適用される。■　　ＤＣ成
分は前ブロックとのＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａ
ｌ　Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）を
行い、ＡＣ成分はジグザグスキャンして零ラン長と非零
係数値の２次元ハフマン符号化を行うＡＤＣＴ符号化方
式。■　　低域成分はフレーム間／フレーム内適応予測
ＤＰＣＭ、高域成分は直接２次元ＤＣＴで符号化する方
式。■　　ＤＣ成分、ＡＣ成分とも、全て２次元ＤＣＴ
で符号化する方式。

【００４０】画像復元部２２０は、まず符号データ格納
部２１０から第１画像の第１階層の符号データを入力す
る。符号データ格納部２１０は、複数の画像の階層化さ
れた符号データを、所定の順序で格納しており、ここで
は、それらの画像を格納順に、それぞれ第１画像、第２
画像、・・・と表現する。

【００４１】そして、前記順方向検索では、第１画像、
第２画像、・・・と格納順に画像検索が行われ、前記逆
方向検索では、例えば第１０画像、第９画像、・・・と
いうように格納順と逆の順序で検索が可能である。

【００４２】利用者による上記順方向検索または逆方向
検索の指示は、検索方向検出部２８０を介して符号デー
タ格納部２１０に与えられる。ここで、検索方向検出部
２８０の一構成例を図３に示す。

【００４３】同図に示す例では、検索方向検出部２８０
は、特に図示していないマウス（ｍｏｕｓｅ）から出力
されるマウスの移動量情報から表示画面上のマウスカー
ソルの位置（座標）を検出するマウスカーソル位置検出
部２８１と、同じくマウスから出力されるマウスボタン
の押下情報からマウスボタンのクリック操作を検出する
マウスボタン入力検出部２８２、そのマウスボタン入力
検出部２８２からクリック操作検出信号を入力したとき
、上記マウスカーソル位置検出部２８１からマウスカー
ソル位置を読み出し、クリック操作されたときのマウス
カーソル位置が予め定められている順方向検索または逆
方向検索を指示する表示領域内にあるかを判定し、順方
向検索または逆方向検索が行われたと判断したとき、当
該検索の指示信号を符号データ格納部２１０へ出力する
領域判定部２８３とから成っている。

【００４４】ここで、図４に検索方向指示用の画面表示
の一例を示し、その表示画面における画像検索方向の指
示方法を説明する。利用者は、マウスを操作し、順方向
検索を希望する場合にはマウスカーソル２９１を「順方
向」の表示領域２９２内まで移動させた後、マウスボタ
ンをクリック操作する。一方、逆方向検索を希望する場
合にはマウスカーソル２９１を「逆方向」の表示領域２
９３内まで移動させた後、マウスボタンをクリック操作
する。マウスボタン入力検出部２８２では、前記マウス
ボタンのクリック操作を検出すると領域判定部２８３に
信号を出す。領域判定部２８３では、マウスボタン入力
検出部２８２３からの信号を入力すると、マウス位置検
出部２８１からマウスの位置情報を読み込み、表示画面
内でのマウスカーソル２９１の位置を判定する。判定は
、マウスカーソル２９１の表示位置が予め定めてある「
順方向」の表示領域２９２内にあるか、あるいは「逆方
向」の表示領域２９３内にあるかを、上記マウスカーソ
ル２９１の現在の位置情報を上記「順方向」表示領域２
９２または上記「逆方向」表示領域２９３の画面上の座
標と比較することにより行う。

【００４５】そして、利用者により「順方向検索」また
は「逆方向検索」が指示されると、当該検索方向指示信
号を符号データ格納部２１０と変形演算部２６０に出力
する。

【００４６】符号データ格納部２１０は、上述のように
して検索方向検出部２８０から加わる検索方向指示信号
に応じて、当該画像データの当該階層の符号データを画
像データ復元部２２０に出力する。

【００４７】この画像復元部２２０の構成を図３に示す
。同図に示すように、この画像復元部２２０のブロック
構成は、前述した図１４に示す画像復元部１３０と同様
な構成となっており、前記符号データ格納部２１０から
選択して読み出された任意の画像の階層符号データは、
画像内の先頭ブロックから順に可変長復号部２２１に読
み込まれ、復号表２２２を用いて、固定長のデータ（２
次元ＤＣＴ係数）に復元される。そして、前記可変長復
号部２２２で復元された２次元ＤＣＴ係数は、逆量子化
部２２３により量子化マトリクス２２４を用いて逆量子
化され、その結果得られた量子化係数は係数格納部２２
５に格納される。係数格納部２２５の各値は、初期値で
は零が与えられている。従って、前記可変長復号部２２
１で零以外の値に復元され、逆量子化部２２３で逆量子
化された量子化係数のみを係数格納部２２５に新たに書
き込む。任意の画像の第１階層の符号データを全て読み
込み、可変長復号化が終了した後、前記係数格納部２２
５に格納された任意の画像の第１階層の各係数に対し逆
ＤＣＴ変換部２２６で逆２次元ＤＣＴ変換を行って階調
データに変換し、その階調データを画像データとして画
像格納部２３０に書き込む。

【００４８】以下、同様にして画像復元部２２０は、第
２、第３、・・・階層と、順次より高い階層の画像デー
タを復元していき、その復元画像データを画像格納部２
３０に書き込んでいく。また、画像復元部２２０は、各
画像の最終復元画像データについては、変形画像格納部
２５０にも書き込む。

【００４９】画像格納部２３０に書き込まれた画像デー
タは、表示制御部２４０により直ちに画像表示部２７０
に表示されるが、変形用画像格納部２５０に書き込まれ
た画像データは、変形演算部２６０により変形処理され
た後、表示制御部２４０を介して画像表示部２７０に表
示される。

【００５０】ここで、第１画素〔画像Ａ〕と第２画像〔
画像Ｂ〕の表示を取り上げて、順方向検索の場合の表示
動作と逆方向検索の場合の表示動作を説明する。尚、各
画像の符号データは、第１階層から第Ｎ階層までに階層
化されて、符号データ格納部２１０に格納されているも
のとする。 ■　　画像Ａから画像Ｂへの検索（順方向検索）この場
合には、符号データ格納部２１０は、まず第１画像であ
る画像Ａの第１階層の符号データを出力し、以後順次、
第２階層、第３階層、・・・第Ｎ階層の符号データ、さ
らに第２画像である画像Ｂの第１階層、第２階層、・・
・第Ｎ階層の符号データを画像復元部２２０に出力する
。

【００５１】画像復元部２２０は、符号データ格納部２
１０から入力する符号データを、順次、画像データに復
元し、その画像データを画像格納部２３０に書き込んで
いく。この場合、画像Ａの第１階層から第Ｎ−１階層ま
での画像データは画像格納部２３０のみに書き込まれる
。そして、表示制御部２４０は、画像格納部２３０に順
次書き込まれる画像データを、書き込み順に読み出し、
画像表示部２７０に出力する。

【００５２】従って、まず、画像表示部２７０には画像
Ａが第１階層、第２階層、・・・第Ｎ階層へと、すなわ
ち粗い画像から精細な画像へと段階的に復元・表示され
る。このようにして、画像Ａが第Ｎ階層（最終階層）ま
で復元・表示されると、画像復元部２２０は、その画像
Ａの第Ｎ階層の画像データを変形用画像格納部２５０に
出力する。そして、続いて画像復元部２３０は、画像Ｂ
の第１階層の符号データの画像データへの復元を開始す
る。

【００５３】変形演算部２６０は、上述のようにして変
形用画像格納部２５０に画像Ａの第Ｎ階層の画像データ
が書き込まれると、その画像データを読み出し、その画
像データに対し、複数回変形処理を行い、変形処理が終
了する毎に表示制御部２４０に出力する。また、このと
き、表示制御部２４０には画像復元部２２０により復元
された画像Ｂの第１階層の画像データが画像格納部２３
０から入力される。従って、表示制御部２４０には、変
形演算部２６０により変形処理された画像Ａの第Ｎ階層
の変形画像データと、画像格納部２３０からの画像Ｂの
第１階層の画像データとが入力される。このとき、表示
制御部２４０は、上記画像Ａの第Ｎ階層の画像データと
上記画像Ｂの第１階層の画像データとを合成し、その合
成画像を画像表示部２７０に表示させる。

【００５４】図７及び図８に変形演算部２６０が、画像
Ａの第Ｎ階層の画像データに対し、アフィン変換による
変形処理を行った場合の画像表示例を示す。この場合に
は、画像Ｂが画像Ａの下側にあるように表示され、画像
Ｂが画像Ａの下から現れるように表示する。

【００５５】以下、同様の処理を第２の画像〔画像Ｂ〕
と第３の画像〔画像Ｃ〕との間、第３の画像〔画像Ｃ〕
と第４の画像〔画像Ｄ〕の間というように継続していく
ことで、あたかも右綴じの本の頁を捲るような画像の復
元・表示が実現でき、利用者は自然な感覚で画像検索を
行うことができる。

【００５６】尚、上記実施例とは逆に、左綴じの本に合
わせて、画面の左側に前画像が縮小表示されていくよう
にしてもよい。アフィン変換では、図６に示す直交（ｘ
，ｙ）座標系で表わされる復元画像データの各画素に対
し、下記に示す式（１）　により直交（Ｘ，Ｙ）座標系
への座標変換を行って、変換後の画素の位置（座標）を
算出し画像の拡大・縮小、回転等を行う。

【００５７】

【数１】

【００５８】同式において、ｍおよびｎは座標軸ｘ，ｙ
方向での倍率を表し、θは原点（０，０）を中心とした
回転角度である。図７に示す例では、ｎ＝１，θ＝０と
し、ｍの値を、０．９，　０．８，　０．６，　０．４
，　０．１，　０．０と６段階に変化させた場合のｍ＝
０．７　（同図（Ｂ）　）、ｍ＝０．３　（同図（Ｃ）
）、ｍ＝０．０　（同図（Ｄ）　）のときの画面表示を
示している。

【００５９】ｎ＝１、θ＝０とすると、Ｘ＝ｍｘＹ＝ｙとなるので、変形演算部２６０により変形される画像Ａ
の変形画像は、同図（Ｂ），（Ｃ）　に示すように画面
の横方向（Ｘ方向）に縮小された画像となる。

【００６０】また、図８に示す例は、上記式（１）　に
おいて、ｍ＝１、θ＝０として、ｎの値を０．９，　０
．８，　０．６，　０．４，　０．１，　０．０と６段
階に順次変化させるアフィン変換を行った場合の合成画
面の表示例である。

【００６１】上記式（１）　において、ｍ＝１，θ＝０
とすると、Ｘ＝ｘＹ＝ｎｙとなるので、変形演算部２６０により変形される画像Ａ
の第Ｎ階層の変形画像は、同図（Ｂ）　，（Ｃ）　に示
すように画面の縦方向に縮小された画像となる。

【００６２】変形演算部２６０において画像Ａの第Ｎ階
層の画像データを横方向に縮小率が段階的に大きくなる
変形処理を行ったときは、図７（Ａ）　，（Ｂ）　，（
Ｃ）　，（Ｄ）　を順に見ていけれは明らかなように、
右綴じの本の頁をあたかも１頁づつめくるような感覚で
画像表示が行われる。

【００６３】また、変形演算部２６０において、画像Ａ
の第Ｎ階層の画像データを縦方向に縮小率が段階的に大
きくなる変形処理を行ったときは、図８（Ａ），（Ｂ）
　，（Ｃ）　，（Ｄ）　を順に見ていけば明らかなよう
に、下綴じの本の頁をあたかも１頁づつめくるような感
覚で画像表示が行われる。このような画像表示において
は、新規復元画像（図６においては〔画像Ｂ〕）の表示
の際、画像復元部２２０が画像を復元する順序でそのま
ま表示できるという利点がある。

【００６４】尚、上記実施例とは逆に、画面の上側で前
画像が縮小表示されていくようにしてもよい。 ■　　画像Ｂから画像Ａの検索（逆方向検索）この場合
は、まず画像Ｂから復元が開始される。すなわち、符号
データ格納部２１０は、画像Ｂの第１階層の符号データ
から、順次、第２階層、第３階層、・・・第Ｎ階層の符
号データを画像復元部２２０に出力する。この場合にも
、画像復元部２２０は、画像Ｂの第Ｎ階層の符号データ
を復元するまで、その復元画像データを変形用画像格納
部２５０には出力せず、画像格納部２３０のみに出力す
る。したがって、まず画像Ｂが第１階層から第Ｎ階層へ
、すなわち粗い画像から精細な画像へと階層的に復元表
示される。

【００６５】続いて、符号データ格納部２１０は、画像
Ａの第１階層から、第２階層、第３階層、・・・第Ｎ階
層とより高い階層の符号データを画像復元部２２０に出
力していく。画像復元部２２０は、画像Ｂの第Ｎ階層の
符号データの復元を終了すると、その復元した画像Ｂの
第Ｎ階層の画像データを変形用画像格納部２５０に書き
込む。変形演算部２６０は、画像Ｂの第Ｎ階層の画像デ
ータが変形画像格納部２５０に書き込まれると、上記順
方向検索において画像Ａの第Ｎ階層の画像データに対し
て行ったと同様な変形処理を画像Ｂの第Ｎ階層の画像デ
ータに対し行い、その変形処理した画像データを表示制
御部２４０に出力する。このとき、表示制御部２４０に
は、画像復元部２２０により新たに復元された画像Ａの
第１階層の画像データも入力される。そして、表示制御
部２４０は画像Ａの第１階層の画像データと画像Ｂの復
元終了画像データの変形画像データとの合成画像を画像
表示部２７０に表示する。

【００６６】上述のようにして、表示される合成画像の
表示例を図９と図１０に示す。この図９と図１０に示す
画像表示は、それぞれ前述した図７、図８に示すと同様
なアフィン変換を画像Ｂの復元終了画像データに対し行
った例である。この表示においては、画像Ａが画像Ｂの
手前側に表われるように表示する。

【００６７】ところで、前画像の変形を２回以上行う際
、最初の変形の割合を小さくし（式（１）　における、
ｍまたはｎの値の変化の割合を小さくし）、２番目以降
の変形の割合を順次大きくすることにより（式（１）　
における、ｍまたはｎの値の変化の割合を大きくするこ
とにより）、本をめくる際の頁の動きに近い自然な画像
の動きを表現できる。

【００６８】さらに、上述した実施例以外にも変形画像
のみ、もしくは変形画像と新規復元画像の両方を縁取り
を付けて表示し、その縁と変形画像とを同率で変形させ
て表示することで、非常に似ている同種の画像の変形と
復元を連続的に行う場合でも、２つの画像を容易に識別
できるようにしてもよい。また、２つの画像を容易に識
別するその他の方法として、変形画像の方の輝度を落と
すもしくは復元画像の輝度を徐々に高めていくようにし
てもよい。

【００６９】また、復元する符合化された画像データと
して２次元離散コサイン変換を用いて符合化されたデー
タを復元するようにしているが、本発明に適用される符
号化された画像データは、これに限定されるものでもな
く、ブロック符号化方式によるアダマール変換（Ｈａｄ
ａｍａｒｄ　Ｔｒａｎｓｆｏｒｍ）　、カルーネンレー
ブ変換（Ｋａｒｈａｕｎｅｎ−Ｌｏ　　ｖｅ　Ｔｒａｎ
ｓｆｏｒｍ）　，ハール変換（Ｈａａｒ　Ｔｒａｎｓｆ
ｏｒｍ）　等の他の直交変換やその他の符号化方式で符
合化された画像データを復元するようにしてもよい。

【００７０】また、本発明は上記実施例のように各画像
について粗い画像からより精細な画像へと段階的に表示
する画像表示装置のみに限定されるものではなく、各画
像を一画面づつ表示しながら、次の画像の表示に移行す
る画像表示装置にも適用可能である。このような画像表
示装置は、圧縮画像データを人間の眼に不自然に見えな
いくらいに高速に次々と復元・表示する高速プロセッサ
の実現により可能である。

【００７１】

【発明の効果】本発明によれば、画像の検索方向を順方
向または逆方向に指示できるようにすると共に、画像の
復元・表示が終了した画像データに対し変形すると同時
に、次の画像の復元を開始し、変形処理された前画像と
新たに復元された新規画像とを合成して表示するように
したので、利用者が高速かつあたかも本の頁をめくるよ
うな自然な感覚で、効率よく画像検索を行うことができ
る。

【図面の簡単な説明】

【図１】本発明の原理を説明する図である。

【図２】一実施例の画像表示装置の構成を説明するブロ
ック図である。

【図３】検索方向検出部の一構成例を説明する図である
。

【図４】検索方向指定用の画面表示の一例を示す図であ
る。

【図５】画像復元部の構成を示すブロック図である。

【図６】アフィン変換を説明する図である。

【図７】順方向検索の画像表示の第１の例を説明する図
である。

【図８】順方向検索の画像表示の第２の例を説明する図
である。

【図９】図７に示す順方向検索の画像表示に対応する逆
方向検索の画像表示を説明する図である。

【図１０】図８に示す順方向検索の画像表示に対応する
逆方向検索の画像表示を説明する図である。

【図１１】ＡＤＣＴ方式の符号化回路のブロック図であ
る。

【図１２】原画像信号のブロック化を示す図である。

【図１３】２次元ＤＣＴ変換部により得られた各ブロッ
クの２次元ＤＣＴ係数の値を示す図である。

【図１４】２次元ＤＣＴ係数を量子化することにより得
られた各ブロックの量子化係数の値を示す図である。

【図１５】量子化係数のジグザグスキャンの走査順序を
説明する図である。

【図１６】従来の画像復元装置の構成を説明するブロッ
ク図である。

【図１７】従来の画像復元部の構成を説明するブロック
図である。

【符号の説明】

１　　検索方向指示手段２　　復元手段３　　変形手段４　　表示制御手段

Claims

【特許請求の範囲】

【請求項１】　　符号化された複数の画像の画像データ
を復元・表示する画像表示装置において、画像の検索方
向を指示する検索方向指示手段（１）と、該検索方向指
示手段（１）によって指示される検索方向にしたがった
順序で符号化された各画像の画像データを順次表示用画
像データに復元する復元手段（２）と、該復元手段（２
）によって復元を終了した表示用画像データを前記検索
方向指示手段（１）によって指示される検索方向に応じ
て変形する変形手段（３）と、前記復元手段（２）によ
って新規に復元される表示用画像データによって得られ
る新規画像と前記変形手段（３）によって作成された表
示用画像データによって得られる新規画像と前記変形手
段（３）によって作成された表示用画像データによって
得られる前画像の変形画像とが合成して表示されるよう
に制御する表示制御手段（４）と、を具備することを特
徴とする画像表示装置。
【請求項２】　　前記表示制御手段（４）は、前記変形
手段（３）によって作成された表示用画像データによっ
て得られる前画像の変形画像が、前記復元手段（２）に
よって復元される表示用画像データによって得られる新
規画像の上画となって重畳表示されるように制御するこ
とを特徴とする請求項１記載の画像表示装置。
【請求項３】　　前記変形手段（３）は、前記復元手段
（２）によって復元が終了した前画像の表示用画像デー
タを、その前画像が縮小表示されるように変形すること
を特徴とする請求項１または２記載の画像表示装置。
【請求項４】　　前記変形手段（３）は、前記前画像が
縮小表示されるような変形を、その縮小率がしだいに大
きくなるように複数回に分けて行い、各変形処理が終了
する毎に、その作成した前画像の変形表示用画像データ
を表示制御手段（４）に出力することを特徴とする請求
項３記載の画像表示装置。
【請求項５】　　前記変形手段（３）は、前記前画像の
縮小方向が横方向である場合において、前記検索手段（
１）により指示された検索方向が順方向であるときには
、前記横方向に縮小表示されていく前画像が画面上を左
から右または右から左へ移動して表示されるように前記
変形処理を行い、一方、前記検索方向指示手段（１）に
より指示された検索方向が逆方向であるときには、前記
横方向に縮小されていく前画像が上記順方向検索時とは
逆の方向に移動して表示されるように前記変形処理を行
うことを特徴とする請求項４記載の画像表示装置。
【請求項６】　　前記変形手段（３）は、前記前画像の
縮小方向が縦方向である場合において、前記検索方向指
示手段（１）により指示された検索方向が順方向である
ときには、前記縦方向に縮小表示されていく前画像が画
面上を上から下または下から上へ移動して表示されるよ
うに前記変形処理を行い、一方、前記検索方向指示手段
（１）により指示された検索方向が逆方向であるときに
は、上記順方向検索時とは逆の方向に移動して表示され
るように前記変形処理を行うことを特徴とする請求項４
記載の画像表示装置。
【請求項７】　　前記表示制御手段（３）は、前記変形
手段（２）によって作成された表示用画像データによっ
て得られる前画像の変形画像と前記復元手段（１）によ
って新規に復元された表示用画像データによって得られ
る新規画像の少なくとも一方の画像が縁取りされて表示
されるように制御することを特徴とする請求項１，２，
３，４，５または６記載の画像表示装置。
【請求項８】　　前記表示制御手段（３）は、前記変形
手段（２）によって作成された表示用画像データによっ
て得られる前画像の変形画像の輝度と前記復元手段（１
）によって新規に復元された表示用画像データによって
得られる新規画像の輝度とが異なって表示されるように
制御することを特徴とする請求項１，２，３，４，５，
６または７記載の画像表示装置。