JPH10289245A

JPH10289245A - 画像処理装置及びその制御方法

Info

Publication number: JPH10289245A
Application number: JP9097345A
Authority: JP
Inventors: Hirotaka Shiiyama; 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-04-15
Filing date: 1997-04-15
Publication date: 1998-10-27

Abstract

(57)【要約】【課題】画像データを管理するための説明文およびキ
ーワードを付加する作業を行うことなく、ユーザーの嗜
好にあった検索を行うことができる画像処理装置及びそ
の方法を提供する。【解決手段】所望の画像データを検索するための検
索条件をユーザーインタフェース１より入力し、入力さ
れた検索条件を言語処理部３で解析する解。解析結果に
基づいて、ユーザーに対し入力した検索条件とは異なる
検索条件の入力を促す質問を検索結果通知部１２より出
力する。出力される質問に従って、ユーザーインタフェ
ース１より検索条件を更に入力する。そして、力された
検索条件に基づいて画像データを検索部１０で検索す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを管理
する画像処理装置及びその制御方法に関するものであ
る。

【０００２】

【従来の技術】従来、自然画像をスキャナ等で読み込ん
で得られる画像データを管理する画像処理装置において
画像データを検索する場合には、画像データに対する画
像認識技術が実現困難なため、画像データを直接用いた
検索はできなかった。そのため、画像データを読み込む
際に、その画像データを示す説明文およびキーワードを
付加し、画像データを検索する際には、その画像データ
に付加した説明文およびキーワードを用いて検索を行う
ことが一般的であった。

【０００３】

【発明が解決しようとしている課題】しかしながら、上
記従来の画像処理装置において、特に、管理する画像デ
ータが多いと、その画像データに説明文およびキーワー
ドを付加する作業が大きな負担となっていた。また、負
担を軽減するために、画像データに説明文およびキーワ
ードを付加しないで管理することも可能であるが、この
場合の画像データの検索は、管理されるすべての画像デ
ータの縮小画像を表示し、その縮小画像よりユーザが所
望する縮小画像を選択することで画像データを検索しな
ければならず、使い易いものとは言えず、効率も悪かっ
た。

【０００４】また、新語造語が頻繁に発生する昨今で
は、新語造語で入力された検索条件で検索できるような
ユーザの嗜好に合った検索が求められている。本発明は
上記の問題点に鑑みてなされたものであり、画像データ
を管理するための説明文およびキーワードを付加する作
業を行うことなく、ユーザーの嗜好にあった検索を行う
ことができる画像処理装置及びその方法を提供すること
を目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像データを管理する画像処理装置であって、所
望の画像データを検索するための第１検索条件を入力す
る第１入力手段と、前記第１入力手段で入力された検索
条件を解析する解析手段と、前記解析手段による解析結
果に基づいて、ユーザーに対し前記第１検索条件とは異
なる第２検索条件の入力を促す質問を出力する出力手段
と、前記出力手段で出力される質問に従って、前記第２
検索条件を入力する第２入力手段と、前記第１検索条
件、前記第２検索条件に基づいて画像データを検索する
検索手段とを備える。

【０００６】また、好ましくは、前記解析手段は、前記
第１検索条件を形態素解析及び係り受け解析し、該第１
検索条件を構成する検索物名及び該検索物名が示す物体
の外観特徴を獲得する。また、好ましくは、前記解析手
段は、概念毎に同義語・類義語を管理する同義語・類義
語・概念辞書を記憶する記憶手段と、前記同義語・類義
語・概念辞書を参照し、前記検索物名に対応する単語を
抽出する抽出手段と、前記抽出手段で抽出された単語及
び前記外観特徴に基づく画像特徴量を算出する算出手段
とを備える。

【０００７】また、好ましくは、前記解析手段によって
前記検索物名が示す物体の外観特徴が獲得されない場
合、前記出力手段は、ユーザーに対し該検索物名が示す
物体の外観特徴の入力を促す質問を出力する。また、好
ましくは、前記出力手段より前記検索物名が示す物体の
外観特徴の入力を促す質問が出力された場合、前記第２
入力手段は、該質問に従って該検索物名が示す物体の外
観特徴を入力する。

【０００８】また、好ましくは、前記第２入力手段より
前記検索物名が示す物体の外観特徴が入力された場合、
前記算出手段は、前記抽出手段で抽出された単語及び該
外観特徴に基づく画像特徴量を算出する。また、好まし
くは、前記抽出手段で前記検索物名に対応する単語が抽
出されない場合、前記出力手段は、ユーザーに対し該検
索物名が示す物体に近い概念の単語の入力を促す質問を
出力する。

【０００９】また、好ましくは、前記出力手段より前記
検索物名が示す物体に近い概念の単語の入力を促す質問
が出力された場合、前記第２入力手段は、該質問に従っ
て該検索物名が示す物体に近い概念の単語及び該単語が
示す物体の外観特徴を入力する。また、好ましくは、前
記第２入力手段より前記検索物名が示す物体に近い概念
の単語及び該単語が示す物体の外観特徴が入力された場
合、前記算出手段は、該単語及び該外観特徴に基づく画
像特徴量を算出する。

【００１０】また、好ましくは、前記第２入力手段より
前記検索物名が示す物体に近い概念の単語が入力された
場合、該単語の概念レベルに基づいて該検索物名を前記
同義語・類義語・概念辞書に登録する。上記の目的を達
成するための本発明による画像処理装置は以下の構成を
備える。即ち、画像データを管理する画像処理装置の制
御方法であって、所望の画像データを検索するための第
１検索条件を入力する第１入力工程と、前記第１入力工
程で入力された検索条件を解析する解析工程と、前記解
析工程による解析結果に基づいて、ユーザーに対し前記
第１検索条件とは異なる第２検索条件の入力を促す質問
を出力する出力工程と、前記出力工程で出力される質問
に従って、前記第２検索条件を入力する第２入力工程
と、前記第１検索条件、前記第２検索条件に基づいて画
像データを検索する検索工程とを備える。

【００１１】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラム
コードが格納されたコンピュータ可読メモリであって、
所望の画像データを検索するための第１検索条件を入力
する第１入力工程のプログラムコードと、前記第１入力
工程で入力された検索条件を解析する解析工程のプログ
ラムコードと、前記解析工程による解析結果に基づい
て、ユーザーに対し前記第１検索条件とは異なる第２検
索条件の入力を促す質問を出力する出力工程のプログラ
ムコードと、前記出力工程で出力される質問に従って、
前記第２検索条件を入力する第２入力工程のプログラム
コードと、前記第１検索条件、前記第２検索条件に基づ
いて画像データを検索する検索工程のプログラムコード
とを備える。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。図１は本発明の実施形
態の画像処理装置の構成を示すブロック図である。図１
において、１はユーザインタフェースであり、キーボー
ド、マウスより構成される。４は画像蓄積部であり、画
像メモリ５に一旦記憶される画像データを蓄積する。２
は画像入力部であり、ユーザーインタフェース１からの
指示により、画像蓄積部４に登録する登録対象となる画
像データの入力を行う。

【００１３】尚、本実施形態で扱う画像データは、自然
画像データであるとする。但し、画像データはこれに限
定されず、ＣＧやＣＡＤ等の人工的な画像データであっ
ても良い。５は画像メモリであり、画像入力部２より入
力された画像データを一旦記憶する。７は画像特徴抽出
部であり、画像メモリ５に一旦記憶された画像データの
類似画像データを検索するための画像特徴量を抽出す
る。９は画像特徴インデックスであり、画像特徴抽出部
７で抽出された画像データの画像特徴量を、その画像デ
ータと対応づけて登録する。

【００１４】３は言語処理部であり、ユーザーインタフ
ェース１より入力された検索語を画像検索部１０に出力
する。６は全文検索登録部およびキーワード登録部であ
り、言語処理部３より入力される単語を、入力された画
像データと対応づけて全文検索インデックスおよびキー
ワードインデックス１１に登録する。８は同義語・類義
語・概念辞書であり、同義語、類義語をそれらに対応す
る概念毎に管理する辞書である。また、同義語・類義語
・概念辞書８で管理される単語には、検索語に対する自
身の有効度を示す画像特徴重みが付加されている。尚、
この同義語・類義語・概念辞書８の詳細については後述
する。

【００１５】１０は検索部であり、画像検索部１０ａ、
言語・画像特徴概念変換部１０ｂ、言語検索部１０ｃよ
り構成される。言語検索部１０ｃは、言語処理部３より
入力された検索語に該当する単語の検索を行う。言語・
画像特徴概念変換部１０ｂは、検索語に対する画像特徴
重みを同義語・類義語・概念辞書８を参照して取得し、
画像データを検索するための画像特徴量を算出する。画
像検索部１０ａは、言語・画像特徴概念変換部１０ｂで
算出される画像特徴量に基づいて画像特徴インデックス
９を参照し画像データを検索する。

【００１６】１２は検索結果通知部であり、検索部１０
より検索結果として得られる画像データを表示する。ま
た、ユーザーに対し、入力された検索語に対し、検索に
役立つ情報を得るための質問画面を表示する。次に、本
実施形態の同義語・類義語・概念辞書８の詳細な構成の
一例について、図５を用いて説明する。

【００１７】図２は本発明の実施形態の同義語・類義語
・概念辞書の詳細な構成の一例を示す図である。同義語
・類義語・概念辞書８は、同義語・類義語を、それに対
応する概念の抽象度に応じて登録されている。そして、
概念の抽象度が異なる同義語・類義語の間には、その抽
象度の差を示す概念距離が定義されている。例えば、図
２では、「乗り物」と「車」との概念距離は１０にな
る。

【００１８】また、同義語・類義語には、入力された検
索語のｎ個の画像特徴量に、検索語に対し自身の画像特
徴量の有効度を反映した重み付けを行うための画像特徴
重みとしてｎ次元のベクトルが定義されている。そし
て、それらｎ次元のベクトルは、その大きさが１００と
なるように正規化されている。例えば、自動車は人工物
であり、様々な色があり得るので色に関する画像特徴量
に対する重みは０として、参照すべきでないものとして
定義される。これにより、検索語に対する有効な画像特
徴量として、色以外の画像特徴量に重みを置いた検索が
実行されることになる。但し、検索語が「赤い車」であ
る場合には、「赤い」という情報を考慮し、画像特徴量
として赤い色を考慮に入れた検索が実行される。

【００１９】次に、本実施形態の画像処理装置で実行さ
れる画像データを登録する画像登録処理について、図３
を用いて説明する。図３は本発明の実施形態で実行され
る画像登録処理の処理フローを示すフローチャートであ
る。まず、ステップＳ１０１で、登録対象の画像データ
を画像入力部２より入力し、入力された画像データは画
像メモリ５に一旦記憶される。次に、ステップＳ１０２
で、画像データの画像特徴量を画像特徴抽出部７で抽出
する。ステップＳ１０３で、画像データより抽出した画
像特徴量を、その画像データと対応づけて画像特徴イン
デックス９に登録する。ステップＳ１０４で、画像デー
タを画像蓄積部４に蓄積する。

【００２０】次に、本実施形態の画像処理装置で実行さ
れる画像データを検索する検索処理の概要について、図
４を用いて説明する。図４は本発明の実施形態で実行さ
れる検索処理の概要を示すフローチャートである。ま
ず、ステップＳ２０１で、画像蓄積部４に蓄積されるす
べての画像データを検索対象の画像データとしてセット
する。次に、ステップＳ２０２で、検索条件として「自
然語」をユーザーインタフェース１より入力する。次
に、ステップＳ２０３で、入力された「自然語」に基づ
いて、画像データを検索する検索処理を行う。検索処理
が実行されると、ステップＳ２０４で、その検索結果を
検索結果通知部１２で表示する。ステップＳ２０５で、
その検索結果に対するユーザの指示を受け付ける。

【００２１】ユーザの指示が、検索結果に対し、更に検
索語を設定して検索結果の絞り込みを行う場合は、ステ
ップＳ２０８で、現在の検索結果を更に絞り込んで検索
する旨をユーザーインタフェース１より設定し、ステッ
プＳ２０２に戻り、新たな検索語を入力する。この場
合、現在得られている検索結果は保持され、新たに入力
された検索語による検索処理の検索結果と、保持されて
いる検索結果の論理積をとることで検索結果の絞り込み
が実現される。

【００２２】ユーザの指示が、検索処理の終了である場
合には、処理を終了する。ユーザの指示が、検索のやり
直しを行う場合は、ステップＳ２０９で、検索結果をク
リアし、ステップＳ２０１に戻る。ユーザの指示が、検
索結果として表示される画像データ（縮小表示されてい
る画像データ）に対し、所望の画像データの詳細を表示
するために画像データを選択する場合は、ステップＳ２
０７で、選択された画像データ（縮小表示されている画
像データ）の詳細（原寸の画像データ）を表示する。

【００２３】次に、ステップＳ２０３の検索処理の詳細
について、図５を用いて説明する。図５は本発明の実施
形態で実行される検索処理の詳細を示すフローチャート
である。まず、ステップＳ３０１で、同義語・類義語・
概念辞書８を参照し、入力された検索条件である「自然
語」を形態素解析および係り受け解析を行い、検索物名
とその「検索物名」の特徴を示す外観特徴を抽出する。
次に、抽出した「検索物名」が同義語・類義語・概念辞
書８に存在するか否かを判定する。「検索物名」が同義
語・類義語・概念辞書８に存在する場合（ステップＳ３
０２でＹＥＳ）、ステップＳ３０３に進む。一方、「検
索物名」が同義語・類義語・概念辞書８に存在しない場
合（ステップＳ３０２でＮＯ）、ステップＳ３０９に進
む。そして、ステップＳ３０９で、ユーザーに対し質問
を行い、「検索物名」に最も近い概念の「物体名」を取
得する。そして、取得した「物体名」を「検索物名」と
して設定する。このステップＳ３０９の処理により、入
力された「検索物名」に近い概念の単語を抽出すること
が可能である。次に、ステップＳ３１０で、ステップＳ
３０９で設定された「検索物名」を、同義語・類義語・
概念辞書８に新たな「検索物名」として登録する。

【００２４】ここで、ステップＳ３０９の処理の具体的
な例について、図６〜図８を用いて説明する。図６は本
発明の実施形態のユーザーインタフェースの一例を示す
図である。ステップＳ３０９の処理が実行されると、例
えば、図６に示すような単語入力画面が検索結果通知部
１２に表示される。そして、この単語入力画面を用いて
「検索物名」に近い概念の単語を一つ入力すると、その
入力された単語に近い概念の単語が更に表示される。図
６の例では、「検索物名」として「乗用車」を入力した
が、これが同義語・類義語・概念辞書８に登録されてい
ないので、それに近い概念である「自動車」を入力した
場合を示している。

【００２５】単語入力画面の右側には、「戻る」ボタ
ン、「進む」ボタン、「探す」ボタン、「キャンセル」
ボタン、「ＯＫ」ボタンの５つのボタンが配置されてお
り、それぞれのボタンは、検索結果通知部１２上に表示
されるカーソルで押下されることで以下に説明する処理
が実行される。「戻る」ボタンは、現在表示されている
単語入力画面の前の単語入力画面に戻る。「進む」ボタ
ンは、新規な単語入力画面を表示する。「探す」ボタン
は、入力した単語に近い概念の単語を検索し、その結果
を、例えば、図７のように表示する。「キャンセル」ボ
タンは、単語の入力をキャンセルする。「ＯＫ」ボタン
は、同義語・類義語・概念辞書８に登録されていなかっ
た「検索物名」に近い概念の単語を選択する。また、選
択された単語に基づいて、同義語・類義語・概念辞書８
に登録されていなかった「検索物名」が新たな単語とし
て、同義語・類義語・概念辞書８の選択された単語の概
念のレベルと、その次の概念のレベルの間の概念のレベ
ルに登録される。

【００２６】例えば、同義語・類義語・概念辞書８に登
録されていなかった「乗用車」に近い概念の単語として
「自動車」を選択すると、「乗用車」は、図８に示すよ
うに「自動車」の概念のレベルと「カー」の概念のレベ
ルの間の概念のレベルの単語として登録される。また、
「乗用車」の登録する位置は、「自動車」までの概念距
離と、「カー」までの概念距離が同じとなる位置に登録
する。更に、「自動車」の画像特徴重みと、「カー」の
画像特徴重みに基づいて、「乗用車」の画像特徴重みを
作成して登録する。

【００２７】再び、図５のフローチャートの説明に戻
る。ステップＳ３０３で、「検索物名」の画像特徴重み
を同義語・類義語・概念辞書８から取得する。ステップ
Ｓ３０４で、「検索物名」の外観特徴が抽出されている
場合は、この外観特徴に関する画像特徴重みを、ステッ
プＳ３０３で取得した画像特徴重みに付加する。ステッ
プＳ３０５で、ユーザーに対し質問を行い、画像特徴量
に対する有効な画像特徴重みを取得する。この処理の詳
細について、図９のフローチャートを用いて説明する。

【００２８】図９は本発明の実施形態のステップＳ３０
５の処理の詳細を示すフローチャートである。尚、図９
における処理は、検索における有効な情報（画像特徴重
み）を更に得たい場合、あるいは検索における画像特徴
量が少ない場合に、これらを補うためのものである。

【００２９】まず、ステップＳ４０３で、取得した「検
索物名」の画像特徴重みに基づいて、「検索物名」が示
す検索物の色が一意なものであるか否かを判定する。検
索物の色が一意なものである場合（ステップＳ４０３で
ＹＥＳ）、ステップＳ４０４に進む。一方、検索物の色
が一意なものでない場合（ステップＳ４０３でＮＯ）、
ステップＳ４０７に進む。そして、ステップＳ４０７
で、図１０に示すような質問画面を用いて「検索物に近
い色を指定下さい」と質問し、ユーザーからの指定を受
け付ける。色の指定は、図１０に示すように言葉、ある
いは色見本を用いて指定する。ステップＳ４０８で、指
定された色を画像特徴重みとして記憶する。

【００３０】ステップＳ４０４で、図１１に示すような
質問画面を用いて「検索物は大きく写ってますか」と質
問する。ステップＳ４０５で、ユーザーは、質問画面を
用いて「検索物名」が示す検索物の大きさについて応答
する。検索物が大きく写っている場合（ステップＳ４０
５でＹＥＳ）、ステップＳ４０６に進む。そして、ステ
ップＳ４０６で、「検索物名」が示す検索物の色が極め
て重要な検索情報であると判断し、検索物の色に関する
画像特徴重みを増やして「検索物名」の画像特徴量を設
定する。一方、検索物が大きく写っていない場合（ステ
ップＳ４０５でＮＯ）、ステップＳ４０９に進む。

【００３１】ステップＳ４０９で、図１２に示すような
質問画面を用いて「背景物は何ですか」と質問し、ユー
ザーからの指定を受け付ける。背景の指定は、図１２に
示すように、物体名で指定する。ステップＳ４１０で、
背景物の色が一意なものであるか否かを判定する。背景
物の色が一意なものである場合（ステップＳ４１０でＹ
ＥＳ）、ステップＳ４１１に進む。一方、背景物の色が
一意なものでない場合（ステップＳ４１０でＮＯ）、ス
テップＳ４１２に進む。そして、ステップＳ４１３で、
図１３に示すような質問画面を用いて「背景物に近い色
を指定下さい」と質問し、ユーザからの指定を受け付け
る。ステップＳ４１３で、指定された色を画像特徴重み
として記憶する。

【００３２】ステップＳ４１１で、背景物の色が極めて
重要な検索情報であると判断し、背景物の色に関する画
像特徴重みを増やして「検索物名」の画像特徴量を設定
する。尚、ここでは、検索物の色や、背景物の色に関す
る情報を、ユーザーから指定する場合について説明した
が、検索物の表面の特徴や、それ以外の特徴に関する情
報をユーザーから指定するような構成にすることができ
るのは、言うまでもない。以上の構成によって、入力し
た検索条件による検索に役立つ画像特徴重みを作成で
き、この画像特徴重みを考慮した画像特徴量に基づいて
検索を行えるのでより精度の高い検索を行うことが可能
となる。

【００３３】再び、図５のフローチャートの説明に戻
る。ステップＳ３０６で、画像特徴量に基づいて、画像
特徴インデックス９を参照し画像データの検索を行う。
ステップＳ３０７で、検索される画像データが存在する
か否かを判定する。検索される画像データが存在する場
合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に
進む。そして、ステップＳ３０８で、検索された画像デ
ータを検索結果通知部１２に表示する。一方、検索され
る画像データが存在しない場合（ステップＳ３０７でＮ
Ｏ）、ステップＳ３１２に進む。

【００３４】ステップＳ３１２で、ユーザーが画像特徴
量の再指定を望むか否かを判定する。再指定を望む場合
（ステップＳ３１２でＹＥＳ）、ステップＳ３１１に進
む。そして、ステップＳ３１１で、ユーザーに対し質問
を行い、画像特徴量に対する有効な画像特徴重みを取得
する。この処理の詳細については、図６のフローチャー
トで説明した通りである。一方、再指定を望まない場合
（ステップＳ３１２でＮＯ）、ステップＳ３１３に進
む。そして、ステップＳ３１３で、検索される画像デー
タはないと検索結果通知部１２に表示する。

【００３５】以上説明したように、本実施形態によれ
ば、入力された自然語に応じて、その検索条件を構成す
る検索物名の外観特徴を入力することができ、よりユー
ザーが所望する詳細な検索条件を入力することができ
る。また、同義語・類義語・概念辞書８に登録されてい
ない自然語が入力されても、その自然語に近い概念の単
語を入力して検索することができる。また、その自然語
に近い概念の単語を同義語・類義語・概念辞書８に新規
に登録できるので、ユーザーの嗜好にあった同義語・類
義語・概念辞書８を生成することができる。

【００３６】また、ユーザがキーワード付けを行わなく
ても、検索語を入力するだけで、ユーザが所望する画像
データをすることが可能となる。また、新語造語等の未
知語に対してはユーザとの対話インタフェースを通し、
学習機能により同義語・類義語・概念辞書８を更新する
ことができ、時代の流れに合わせて検索の幅を広げてゆ
くユーザの嗜好にあった検索の自動学習機能を実現でき
る。

【００３７】尚、本実施形態においては、自然画像デー
タの検索を行う例を説明したが、本発明の趣旨はあらゆ
る形態の情報メディア検索へも適応可能な技術である。
また、本実施形態において述べなかったが、画像へ説明
文およびキーワードを付加し、これらにより検索を行う
処理と並行して処理を行い、これらの結果と統合して検
索結果を通知することも可能である。

【００３８】尚、本発明は、複数の機器（例えば、ホス
トコンピュータ、インタフェース機器、リーダ、プリン
タ等）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置
等）に適用してもよい。また、本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体を、システムあるいは装置に
供給し、そのシステムあるいは装置のコンピュータ（ま
たはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラ
ムコードを読出し実行することによっても、達成される
ことは言うまでもない。

【００３９】この場合、記憶媒体から読出されたプログ
ラムコード自体が上述した実施の形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピディ
スク、ハードディスク、光ディスク、光磁気ディスク、
ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモ
リカード、ＲＯＭなどを用いることができる。

【００４０】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施の形態の機能
が実現される場合も含まれることは言うまでもない。

【００４１】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書き込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４２】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図１４のメモリマップ例に示す各モジュール
を記憶媒体に格納することになる。すなわち、少なくと
も「第１入力モジュール」、「解析モジュール」、「出
力モジュール」、「第２入力モジュール」および「検出
モジュール」の各モジュールのプログラムコードを記憶
媒体に格納すればよい。

【００４３】尚、「第１入力モジュール」は、所望の画
像データを検索するための第１検索条件を入力する。
「解析モジュール」は、入力された検索条件を解析す
る。「出力モジュール」は、解析結果に基づいて、ユー
ザーに対し第１検索条件とは異なる第２検索条件の入力
を促す質問を出力する。「第２入力モジュール」は、出
力される質問に従って、第２検索条件を入力する。「検
索モジュール」は、第１検索条件、第２検索条件に基づ
いて画像データを検索する。

【００４４】

【発明の効果】以上説明したように、本発明によれば、
画像データを管理するための説明文およびキーワードを
付加する作業を行うことなく、ユーザーの嗜好にあった
検索を行うことができる画像処理装置及びその方法を提
供できる。

【図面の簡単な説明】

【図１】本発明の実施形態の画像処理装置の構成を示す
ブロック図である。

【図２】本発明の実施形態の同義語・類義語・概念辞書
の詳細な構成の一例を示す図である。

【図３】本発明の実施形態で実行される画像登録処理の
処理フローを示すフローチャートである。

【図４】本発明の実施形態で実行される検索処理の概要
を示すフローチャートである。

【図５】本発明の実施形態で実行される検索処理の詳細
を示すフローチャートである。

【図６】本発明の実施形態のユーザーインタフェースの
一例を示す図である。

【図７】本発明の実施形態のユーザーインタフェースの
一例を示す図である。

【図８】本発明の実施形態における同義語・類義語・概
念辞書の更新の例を示す図である。

【図９】本発明の実施形態のステップＳ３０５の処理の
詳細を示すフローチャートである。

【図１０】本発明の実施形態のユーザーインタフェース
の一例を示す図である。

【図１１】本発明の実施形態のユーザーインタフェース
の一例を示す図である。

【図１２】本発明の実施形態のユーザーインタフェース
の一例を示す図である。

【図１３】本発明の実施形態のユーザーインタフェース
の一例を示す図である。

【図１４】本発明の実施形態を実現するプログラムコー
ドを格納した記憶媒体のメモリマップの構造を示す図で
ある。

【符号の説明】

１ユーザーインタフェース２画像入力部３言語処理部４画像蓄積部５画像メモリ６全文検索登録部およびキーワード登録部７画像特徴抽出部８同義語・類義語・概念辞書９画像特徴インデックス１０検索部１０ａ画像検索部１０ｂ言語・画像特徴概念変換部１０ｃ言語検索部１２検索結果通知部

Claims

【特許請求の範囲】

【請求項１】画像データを管理する画像処理装置であ
って、所望の画像データを検索するための第１検索条件を入力
する第１入力手段と、前記第１入力手段で入力された検索条件を解析する解析
手段と、前記解析手段による解析結果に基づいて、ユーザーに対
し前記第１検索条件とは異なる第２検索条件の入力を促
す質問を出力する出力手段と、前記出力手段で出力される質問に従って、前記第２検索
条件を入力する第２入力手段と、前記第１検索条件、前記第２検索条件に基づいて画像デ
ータを検索する検索手段とを備えることを特徴とする画
像処理装置。
【請求項２】前記解析手段は、前記第１検索条件を形
態素解析及び係り受け解析し、該第１検索条件を構成す
る検索物名及び該検索物名が示す物体の外観特徴を獲得
することを特徴とする請求項１に記載の画像処理装置。
【請求項３】前記解析手段は、概念毎に同義語・類義
語を管理する同義語・類義語・概念辞書を記憶する記憶
手段と、前記同義語・類義語・概念辞書を参照し、前記検索物名
に対応する単語を抽出する抽出手段と、前記抽出手段で抽出された単語及び前記外観特徴に基づ
く画像特徴量を算出する算出手段とを備えることを特徴
とする請求項２に記載の画像処理装置。
【請求項４】前記解析手段によって前記検索物名が示
す物体の外観特徴が獲得されない場合、前記出力手段
は、ユーザーに対し該検索物名が示す物体の外観特徴の
入力を促す質問を出力することを特徴とする請求項２に
記載の画像処理装置。
【請求項５】前記出力手段より前記検索物名が示す物
体の外観特徴の入力を促す質問が出力された場合、前記
第２入力手段は、該質問に従って該検索物名が示す物体
の外観特徴を入力することを特徴とする請求項４に記載
の画像処理装置。
【請求項６】前記第２入力手段より前記検索物名が示
す物体の外観特徴が入力された場合、前記算出手段は、
前記抽出手段で抽出された単語及び該外観特徴に基づく
画像特徴量を算出することを特徴とする請求項５に記載
の画像処理装置。
【請求項７】前記抽出手段で前記検索物名に対応する
単語が抽出されない場合、前記出力手段は、ユーザーに
対し該検索物名が示す物体に近い概念の単語の入力を促
す質問を出力することを特徴とする請求項２に記載の画
像処理装置。
【請求項８】前記出力手段より前記検索物名が示す物
体に近い概念の単語の入力を促す質問が出力された場
合、前記第２入力手段は、該質問に従って該検索物名が
示す物体に近い概念の単語及び該単語が示す物体の外観
特徴を入力することを特徴とする請求項７に記載の画像
処理装置。
【請求項９】前記第２入力手段より前記検索物名が示
す物体に近い概念の単語及び該単語が示す物体の外観特
徴が入力された場合、前記算出手段は、該単語及び該外
観特徴に基づく画像特徴量を算出することを特徴とする
請求項８に記載の画像処理装置。
【請求項１０】前記第２入力手段より前記検索物名が
示す物体に近い概念の単語が入力された場合、該単語の
概念レベルに基づいて該検索物名を前記同義語・類義語
・概念辞書に登録することを特徴とする請求項８に記載
の画像処理装置。
【請求項１１】画像データを管理する画像処理装置の
制御方法であって、所望の画像データを検索するための第１検索条件を入力
する第１入力工程と、前記第１入力工程で入力された検索条件を解析する解析
工程と、前記解析工程による解析結果に基づいて、ユーザーに対
し前記第１検索条件とは異なる第２検索条件の入力を促
す質問を出力する出力工程と、前記出力工程で出力される質問に従って、前記第２検索
条件を入力する第２入力工程と、前記第１検索条件、前記第２検索条件に基づいて画像デ
ータを検索する検索工程とを備えることを特徴とする画
像処理装置の制御方法。
【請求項１２】前記解析工程は、前記第１検索条件を
形態素解析及び係り受け解析し、該第１検索条件を構成
する検索物名及び該検索物名が示す物体の外観特徴を獲
得することを特徴とする請求項１１に記載の画像処理装
置の制御方法。
【請求項１３】前記解析工程は、概念毎に同義語・類
義語を管理する同義語・類義語・概念辞書を記憶媒体に
記憶する記憶工程と、前記同義語・類義語・概念辞書を参照し、前記検索物名
に対応する単語を抽出する抽出工程と、前記抽出工程で抽出された単語及び前記外観特徴に基づ
く画像特徴量を算出する算出工程とを備えることを特徴
とする請求項１２に記載の画像処理装置の制御方法。
【請求項１４】前記解析工程によって前記検索物名が
示す物体の外観特徴が獲得されない場合、前記出力工程
は、ユーザーに対し該検索物名が示す物体の外観特徴の
入力を促す質問を出力することを特徴とする請求項１２
に記載の画像処理装置の制御方法。
【請求項１５】前記出力工程より前記検索物名が示す
物体の外観特徴の入力を促す質問が出力された場合、前
記第２入力工程は、該質問に従って該検索物名が示す物
体の外観特徴を入力することを特徴とする請求項１４に
記載の画像処理装置の制御方法。
【請求項１６】前記第２入力工程より前記検索物名が
示す物体の外観特徴が入力された場合、前記算出工程
は、前記抽出工程で抽出された単語及び該外観特徴に基
づく画像特徴量を算出することを特徴とする請求項１５
に記載の画像処理装置の制御方法。
【請求項１７】前記抽出工程で前記検索物名に対応す
る単語が抽出されない場合、前記出力工程は、ユーザー
に対し該検索物名が示す物体に近い概念の単語の入力を
促す質問を出力することを特徴とする請求項１２に記載
の画像処理装置の制御方法。
【請求項１８】前記出力工程より前記検索物名が示す
物体に近い概念の単語の入力を促す質問が出力された場
合、前記第２入力工程は、該質問に従って該検索物名が
示す物体に近い概念の単語及び該単語が示す物体の外観
特徴を入力することを特徴とする請求項１７に記載の画
像処理装置の制御方法。
【請求項１９】前記第２入力工程より前記検索物名が
示す物体に近い概念の単語及び該単語が示す物体の外観
特徴が入力された場合、前記算出工程は、該単語及び該
外観特徴に基づく画像特徴量を算出することを特徴とす
る請求項１８に記載の画像処理装置の制御方法。
【請求項２０】前記第２入力工程より前記検索物名が
示す物体に近い概念の単語が入力された場合、該単語の
概念レベルに基づいて該検索物名を前記同義語・類義語
・概念辞書に登録することを特徴とする請求項１８に記
載の画像処理装置の制御方法。
【請求項２１】画像データを管理する画像処理装置の
制御のプログラムコードが格納されたコンピュータ可読
メモリであって、所望の画像データを検索するための第１検索条件を入力
する第１入力工程のプログラムコードと、前記第１入力工程で入力された検索条件を解析する解析
工程のプログラムコードと、前記解析工程による解析結果に基づいて、ユーザーに対
し前記第１検索条件とは異なる第２検索条件の入力を促
す質問を出力する出力工程のプログラムコードと、前記出力工程で出力される質問に従って、前記第２検索
条件を入力する第２入力工程のプログラムコードと、前記第１検索条件、前記第２検索条件に基づいて画像デ
ータを検索する検索工程のプログラムコードとを備える
ことを特徴とするコンピュータ可読メモリ。