JPH02196375A - 画像検索装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像、ＣＡＤ図形等の２次元データとコード
情報とを合わせて記憶し、そのデータを検索する画像検
索装置に関するものである。

従来の技術 近年、文書、画像等の非コード情報の電子化が進められ
ており、オフィス分野では２値イメージを電子化する文
書ファイルシステムが実用化されてきている。このよう
な大量の画像を蓄積し、検索するシステムにおいては、
データ入力が容易に行え、且つ希望する画像が迅速に取
り出せることが重要である。

以下、これまでの画像検索方法とデータ入力方法に関し
て説明する。

一般的な画像検索方法には、先ずキーワード検索等によ
り大域的な検索を行った後、絞り込んだ画像内をブラウ
ジング（拾い読み）して最終的に希望する画像を取り出
す手法がある。

この場合、画像ブラウジングが効率良く行われないと、
希望する画像を迅速に見つけ出すことができない。

従来、この画像ブラウジング手法には、全体画像を１枚
ずつ見ていくページめくり方式と、縮小画像を複数個並
べて表示する一覧表示方式があった。

ページめくり方式は、高速表示が可能であれば個々の画
像の詳細まで確認でき、優れたブラウジング方式である
が、高速表示を行うためにハードウェア的な負担が大き
く容易には実現できない。

また一覧表示方式は、複数個の画像を一度に並べて見る
ことができ、効率的なブラウジング方法ではあるが、一
覧表示する画像の内容に依るところが多い。つまり、一
覧表示する画像として、必要な情報が損なわれていない
ことが前提となる。

従来、この一覧表示する画像としては、画像全体を単純
に間引いたものが使用されており、例えば第９図■に示
す縮小画像であった。

次に、簡易入力を目的としたデータ入力方法として、画
面指向型の入力方式がある。これは、キーボードレス化
を目脂してキーワードを入力（登録、検索）する際、既
に設定されたキーワードをユーザに一覧提示し、マウス
等で選択させる方式である。しかしながら現状では、操
作としては簡易なものとなるが、キーワードの表現がコ
ード情報によるものであり、ユーザに視覚的に訴える図
形、画像等を利用したものではない。

発明が解決しようとする課題 一覧表示する画像として、単に全体画像を間弓いた縮小
画像を用いると、画像確認が困難になる場合が生じる。

つまり、全体画像の縮小画像が常に分かり易いとは限ら
ず、画像内の特徴的な部分の方が良い場合もあると考え
られる。

また、それは検索指示内容によっても異なる。

例えば、ユーザが画像の特徴部分に注目して検索するよ
うな場合、　「山のある画像」とする検索処理では、第
９図■の縮小画像を用いて結果表示すると、ユーザが注
目する山の部分が判別困難となる。この場合、山の領域
部分を切り出した領域縮小画像■の方が、必要な山の部
分が判別でき、ユーザに提示する画像としてはより適当
なものとなる。

以降、この領域縮小画像とは、注目する領域部分画像か
ら作成する一定サイズの画像と定義する。

つまり、領域サイズによっては、領域部分を縮小するだ
けでなく、画像は等サイズ（ドツトピッチが同一）で領
域サイズを一定サイズになるよう拡大したり、領域サイ
ズは等サイズで画像を一定サイズになるよう拡大したり
することになる。

データ入力操作に関しては、キーワードの提示方法が文
字表現に留まっており、そのグラフィカル表現が望まれ
る。キーワードがグラフィカル化されれば、ユーザは色
彩や画像パターンでキーワードを覚えることができ、希
望するキーワードを容易に見つけられる。また、画像を
用いることで言葉では表現が困難であった感覚的なキー
ワード等も表現することが可能となる。

現在、キーワードの視覚化として研究されているものに
、図形アイコンを利用した方法があるが、アイコン図形
の作成が最大の課題であり、未だ研究段階である。

従って、作成が容易な視覚化キーワードを利用したデー
タ入力方法の実現が望まれる。

本発明はかかる点に鑑み、領域部分の切り出し画像によ
る一覧表示を実現することで、ユーザが判別容易な画像
ブラウジングの提供を目的とする。

また、特徴部分の切り出し画像をキーワードアイコンと
して利用することで、キーワードを視覚化表現した操作
環境を提供することを目的とする。

課題を解決するための手段 本発明では効率的な画像ブラウジングを提供するために
、文字、数値等のコード情報と画像データを記憶するデ
ータ記憶手段と、前記コード情報と画像データを表示す
る画像表示手段と、前記データ記憶手段内の画像を取り
出すための検索条件等を入力する入力手段と、前記デー
タ記憶手段内の画像データを取り出すための情報を管理
する検索情報管理手段と、画像内の所定２次元領域を管
理する領域情報管理手段と、前記領域情報管理手段の領
域情報に基づいて縮小画像を作成する領域縮小画像作成
手段と、前記作成された領域縮小画像を用いて検索され
る結果画像を一覧表示する一覧表示制御手段とを有する
画像検索装置としている。

また、データ入力を簡易化するために、文字、数値等の
コード情報と画像データを記憶するデータ記憶手段と、
前記コード情報と画像データを表示する画像表示手段と
、前記データ記憶手段内にデータ入力指示を行う入力手
段と、前記データ記憶手段内の画像データを取り出すた
めの情報を管理する検索情報管理手段と、画像内の所定
２次元領域とコード情報とを対応づけて管理する領域・
コード情報管理手段と、前記領域拳コード情報管理手段
の領域情報に基づいて縮小画像を作成する領域縮小画像
作成手段と、前記領域・コード情報管理手段内に既に記
憶されたコード情報でユニークな情報を取り出すユニー
ク・キー抽出手段と、前記得られたユニークなコード情
報を前記作成された領域縮小画像を用いて表示するキー
表示制御手段とを有する画像検索装置としている。

作用 予め設定した領域部分を切り出して縮小画像を作成し、
これを一覧表示させることで、ユーザが縮小画像でも確
認可能なものとすることができる。

また、キーワードの視覚化を画像内の領域部分画像を用
いて行うことで、ユーザにとって覚え易いキーワード提
示を実現することができる。しかも、従来グラフィカル
・アイコンで問題であった作成が容易となり、言葉では
表現が困難であったキーワード表現も可能となる。

実施例 第１図、第４図、第６図は、それぞれ本発明の一実施例
における画像検索装置のブロック図である。

先ず、第１図に示す注目領域部分の縮小画像を用いて一
覧表示する実施例について第２図、第３図を用いて説明
する。

第１図において、１は以下の２〜６を制御する制御手段
、２は画像データを表示する画像表示手段、３は画像表
示手段２上で表示された情報の位置を指示する入力手段
で、例えばキーボードやマウス等から構成される。

４はデータ記憶手段、５は記憶管理機構で、例えばデー
タベース管理システム等で実現できる。

５１、　５２は記憶管理機構５を構成するもので、５１
はデータ記憶手段４内の画像データを取り出すための検
索情報を管理した検索情報管理手段、５２はユーザが画
像データ内に設定した領域の情報、例えば座標位置等を
管理した領域情報管理手段である。

６１１Ｂ２は画像表示制御機構６を構成するもので、６
１は領域情報管理手段５２で管理された領域情報を基に
その領域部分を切り出して縮小画像を作成する領域縮小
画像作成手段、６２は画像ブラウジング−〇− として領域縮小画像作成手段６Ｉの縮小画像を用いて一
覧表示を行わせる一覧表示制御手段である。

第２図は、一覧表示を行う際の制御手段１の処理手順を
示した図であり、第３図はその時の画面表示例を示した
ものである。

以下、第１図に示す画像検索装置での検索結果画像の一
覧表示処理を第２図フローを用いて説明する。

先ず、検索情報管理手段５１により与えられた検索条件
を満足する画像情報が得られる。得られた結果画像に対
して一覧表示制御手段６２は、画像内に注目領域が設定
されているかどうかを領域情報管理手段５２の領域情報
から調べる。

注目領域が設定されていた場合、一覧表示制御手段６２
は、領域縮小画像作成手段６１により領域部分画像から
の縮小画像を作成する。また、領域が設定されていなか
った場合は、全体画像からの縮小画像を作成して、これ
らを一覧表示させる。

全体画像からの縮小画像作成は、例えば領域縮小画像作
成手段６１において注目領域を画像全体として扱えば領
域部分画像からの縮小画像作成と同様に行える。縮小画
像の作成手法としては、原画像を単に間引いて作成する
手法と、画像サイズの段階的再生が可能な画像圧縮等の
画像処理を伴った手法がある。

また、縮小画像のサイズに関しては、領域縮小画像作成
時に一覧表示制御手段６２から領域縮小画像作成手段６
１に対して行うものとする。

第３図（ａ）はこの時の画面例を示したものであり、表
示される注目領域の縮小画像は第９図での領域縮小画像
■である。図では、　「山」の絵を検索した例であり、
各画像内にある「山」の部分が切り出されて表示される
。これにより、ユーザは縮小画像であっても「山」の画
像を判別することができる。第３図（ｂ）は、コード情
報表示によく用いる表形式に縮小画像を組み合わせたも
のであり、コード情報と縮小画像の両方による確認が必
要な場合に有効である。

以上本実施例によれば、画像全体から作成した縮小画像
による一覧表示だけでな（、有効な領域部分画像を切り
出した縮小画像による一覧表示も実現でき、ユーザが縮
小画像でも判別し易い画像ブラウジング環境を提供する
ことができる。

なお、上記実施例においては画像内領域部分の縮小画像
作成を、一覧表示時に毎回行うものとして説明したが、
予め領域を設定する段階で領域縮小画像作成手段６１で
作成し、領域情報管理手段６２により記憶管理しても構
わない。この場合、記憶容量に問題がなければ、毎回作
成する処理が不要となり、効率良い結果画像表示を行う
ことが可能となる。

次に、検索条件の内容によりブラウジングする画像内容
を切り換える第４図の実施例について第５図を用いて説
明する。

第４図において、１〜６．５１、ｆｌｉｔ１６２は第１
図実施例と同じである。５３は画像内の所定２次元領域
と更にキーワード等のコード情報を対応づけて管理する
領域・コード情報管理手段、６３は検索キーワードによ
りブラウジング時の表示画面を切り換える表示画像切換
手段であり、本実施例では一覧表示だけを行うものとす
る。

領域・コード情報管理手段５３内で画像内２次元領域と
コード情報とを対応づけて管理した場合、領域を指示す
ることがキーワードを選択することと等価となり、キー
ワード検索を画像内領域を指示することで実現でき得る
という特徴を有する（特願昭６３−ｔ３１０８５号に詳
細を明記）。

第５図は、本実施例での一覧表示時の画面例を示したも
のである。

以下、第４図に示す画像検索装置での動作を説明する。

先ず、検索情報管理手段５１は与えられた検索条件に基
づき、その条件を満足する画像情報を取り出す。また同
時に、表示画像切換手段６３は指定された検索条件の内
容、例えばその属性などから一覧表示する画像内容の選
択指示を一覧表示制御手段６２に対して行う。

この場合画像内容の選択指示とは、一覧表示する画像と
して、全体画像からの縮小画像にするか、それとも領域
部分画像からの縮小画像にするかの指示であり、例えば
、表示画像切換手段６３により検索条件に領域と共に付
与されたコード情報が含まれるか否かによって判断され
る。

上記指示を受けて一覧表示制御手段６２は、表示すべき
縮小画像を領域縮小画像作成手段６１により作成し、こ
れら画像を一覧表示する。一覧表示の手順は、第２回動
作フローと同じである。

操作画面としては、例えば第３図（ｂ）の検索結果情報
において検索キーワード属性が「自然物」である場合、
これが領域と共に付与されていたとすると、第５図（ａ
）に示すような領域部分を切り出した縮小画像による一
覧表示となる（第３図（ａ）と同じ「山」の絵の画像群
）。

また、領域と共には付与されてないキーワードの場合に
は（例えばキーワード属性が「季節」）、第３図（ｂ）
に示すように画像全体を間引いた縮小画像の一覧表示と
なる。またこの場合、　「山」の絵のように画像内部分
を必要とするもではなく、季節感を表す画像全体のイメ
ージが重要な情報となると考えられる。

以上本実施例によれば、検索キーワードの内容に応じて
結果画像の表示内容をシステム側で自動的に切り換える
ことができ、より効果的な画像のブラウジング（一覧表
示等）環境を提供できる。

上記した実施例では、表示画像切換手段６３で切り換え
る表示画像内容は、一覧表示のみとしたが、全体画像表
示（ページめくりブラウジング）等の他の表示形態を含
んでも構わない。

次に、第６図に示すキーワードの視覚化を目脂した実施
例について第７図、第８図を用いて説明する。

第６図において、１〜５．５１．６１は第１図実施例と
、５３は第４図実施例と同じものである。７１１７２は
領域縮小画像作成手段６１と共にキーワード提示機構７
を構成するもので、７１は領域・コード情報管理手段５
３内の既に記憶されたコード情報でユニークな情報のみ
を取り出すユニークφキー抽出手段、７２は画像検索時
及びデータ登録時のキーワード入力の際に、キーワード
を提示するキー表示制御手段である。

第７図は、キーワード入力の簡易化として設定済キーワ
ードを一覧提示する際の制御手段１の処理手順を示した
ものである。

第８図は、この時のキーワード入力画面例を示した図で
ある。

以下、第６図に示す画像検索装置でのキーワード入力操
作の手順を第７図フローを用いて説明する。

先ず、キーワード入力を行うための入力画面が、画像表
示手段２上に表示される。画面としては、例えば第８図
（ａ）に示すものである。

ユーザはこの画面上で入力する属性を指定する。

指定は、入力手段３で画面上を指示することで実現でき
る。

入力属性の指定後、ユニーク［有］キー抽出手段７１は
、領域・コード情報管理手段５３で管理される領域・コ
ード情報から指定された属性のキーワードでユニークな
ものを取り出す。

キー表示制御手段７２は、得られたキーワードを表示す
る際に、そのキーワードと対で管理される領域部分の縮
小画像を領域縮小画像作成手段６１により作成させ、こ
れを用いて提示する。つまり、領域部分の縮小画像をキ
ーワードのシンボル画像（キーワード番アイコン）とし
て利用する。

ユーザは、表示されたキーワード・アイコンを見ながら
入力手段２によりキーワードを選択し、入力を行う。

この時の操作画面としては、第８図に示すように例えば
第８図（ａ）の入力画面で「自然物」属性を選択したと
すると、設定済キーワードとして第８図（ｂ）に示すよ
うな領域縮小画像（キーワード書アイコン）が一覧表示
される（図では文字も同時表示）。ユーザは、このキー
ワード一覧を見て希望するキーワード、　「山」をマウ
ス等で指示し、入力を行う。

ここで説明したキーワード入力方法は、キーワード検索
を行う際の条件指定や、新たにデータを追加、更新する
際のキーワード入力等に利用することができる。

以上本実施例によれば、キーワード指定として、設定済
キーワードをユーザに提示する際に、領域縮小画像によ
るキーワード・アイコンを用いて表示することでキーワ
ードの視覚化表示を実現できる。これにより、ユーザが
一見して判断し易いキーワード提示を実現でき、感覚的
なキーワード等、言葉では表現しにくいキーワードが表
現可能となる。

なお、上記実施例ではキーワード・アイコンの作成は、
設定済キーワードー覧表示時に毎回行うものとしたが、
予め領域とキーワードとを付与した際に領域縮小画像作
成手段６１で作成し、領域情報管理手段５３により記憶
管理しても構わない。この場合、記憶容量に問題がなけ
れば、毎回作成する処理が不要となり、効率良い表示を
行うことが可能となる。

発明の詳細 な説明したように本発明によれば、検索時の画像ブラウ
ジング及びデータ入力操作において、操作上以下に示す
ような効果がある。

■）注目領域部分の縮小画像による結果画像の一覧表示
により、効果的な画像ブラウジングが実現できる。また
、検索条件によって領域部分の縮小画像にするか、全体
部分の縮小画像にするかを切り替えることで、検索内容
に応じてブラウジング画像の適応化が図れ、更に効果的
なブラウジングとすることができる。

２）キーワードを画像表現（キーワード・アイコン）す
ることで、より印象的なキーワード提示が可能なユーザ
インタフェースを構築することができる。また従来、言
葉では表現が困難であり、入力者による揺らぎが生じて
いた感性的なキーワード（現代的、伝統的０．）等も扱
い易くなった。

【図面の簡単な説明】

第１図、第４図、第６図はそれぞれ本発明の一実施例に
おける画像検索装置のブロック図、第２図は第１図の実
施例での画像の一覧表示時の処理フロー図、第３図、第
５図は第１図、第４図の実施例での一覧表示時の表示画
面例の図、第７図は第６図実施例でのキーワード入力時
の処理フロー図、第８図は第６図の実施例のキーワード
入力操作詩の画面例の図、第９図は原画像から生成され
る各縮小画像を示した図である。 １・・・制御手段、２・・・画像表示手段、３・・・入
力手段、４・・・データ記憶手段、５・・・記憶管理機
構、６・・・画像表示制御手段、７・・・キーワード提
示機構、５１・・・検索情報管理手段、５２・・・領域
情報管理手段、５３・・・領域・コード情報管理手段、
６１・・・領域縮小画像作成手段、６２・・・一覧表示
制御手段、６３・・・表示画像切換手段、７１・・・ユ
ニーク・キー抽出手段、７２・・・キー表示制御手段。

Claims (4)

【特許請求の範囲】
1. （１）文字、数値等のコード情報と画像データを記憶す
   るデータ記憶手段と、前記コード情報と画像データを表
   示する画像表示手段と、前記データ記憶手段内の画像を
   取り出すための検索条件等を入力する入力手段と、前記
   データ記憶手段内の画像データを取り出すための情報を
   管理する検索情報管理手段と、画像内の所定２次元領域
   を管理する領域情報管理手段と、前記領域情報管理手段
   の領域情報に基づいて縮小画像を作成する領域縮小画像
   作成手段と、前記作成された領域縮小画像を用いて検索
   される結果画像を一覧表示する一覧表示制御手段とを有
   することを特徴とする画像検索装置。
2. （２）検索条件の内容により、一覧表示する画像として
   全体画像から作成した縮小画像を用いるか、領域部分画
   像から作成した縮小画像を用いるかを選択する表示画像
   切換手段を更に有することを特徴とする特許請求の範囲
   第１項記載の画像検索装置。
3. （３）領域情報管理手段が画像内の所定２次元領域とコ
   ード情報とを対応づけて管理するものであって、検索条
   件に前記２次元領域と対応づけられたコード情報が含ま
   れた場合に、第２項記載の表示画像切換手段が領域縮小
   画像作成手段より作成される画像を用いて結果表示を行
   うことを特徴とする特許請求の範囲第２項記載の画像検
   索装置。
4. （４）文字、数値等のコード情報と画像データを記憶す
   るデータ記憶手段と、前記コード情報と画像データを表
   示する画像表示手段と、前記データ記憶手段内にデータ
   入力指示を行う入力手段と、前記データ記憶手段内の画
   像データを取り出すための情報を管理する検索情報管理
   手段と、画像内の所定２次元領域とコード情報とを対応
   づけて管理する領域・コード情報管理手段と、前記領域
   ・コード情報管理手段の領域情報に基づいて縮小画像を
   作成する領域縮小画像作成手段と、前記領域・コード情
   報管理手段内に既に記憶されたコード情報でユニークな
   情報を取り出すユニーク・キー抽出手段と、前記得られ
   たユニークなコード情報を前記領域縮小画像作成手段に
   より得られた画像を用いて表示するキー表示制御手段と
   を有することを特徴とする画像検索装置。