JPH07210576A - 画像検索装置、画像記憶装置及び検索方法 - Google Patents

Abstract

(57)【要約】 【目的】検索を容易に行う文書検索装置の実現。 【構成】情報を記憶する記憶手段107と、文字列の入力
を行う文字入力手段104と、画像を入力する画像入力手
段101と、画像を表示する画像表示手段102と、画像の一
部領域を指示するための画像領域指示手段103と、前記
記憶手段、文字入力手段、画像入力手段、画像表示手
段、及び画像領域指示手段を制御する制御装置109とを
備え、画像入力手段101から取り込んだ文字列を含んだ
画像を記憶手段107に記憶し、記憶した画像を識別する
指標と、画像領域指示手段103により指示された画像の
領域情報と、その領域を文字認識して得られる文字列と
を少なくとも有する組を記憶手段107の認識表に記憶し
ておき、画像表示手段102に表示された画像において、
再画像検索のために、前記画像領域指示手段103により
領域を指示する際、認識表中の画像領域情報が参照され
既に認識済みの場合は、前記認識表中の画像を識別する
指標に基づき対応する画像を得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字を含む画像の検索
装置、記憶装置及び画像検索方法に関するものである。

【０００２】

【従来の技術】文字を画像情報として含んでいる画像
（以後「文書画像」と呼ぶ）の格納に用いられる方法は
幾つか存在する。その一つとして文字情報を画像のまま
で蓄積する方法がある。この方法は文書を読み込まれた
そのものの様式で記憶するため読み込み対象の様式が保
存されるという特長がある。この方法での文書画像検索
は、一旦記憶された文書画像に対して画像を特徴付ける
キーワードをあらかじめ登録しておき、検索の際に入力
する文字列と各キーワードとを比較し、該当するキーワ
ードの文書画像を取り出すことで行われる。キーワード
登録における文字列の入力は、キーボードなどを用い入
力する方法の他に、特開平０３−２７８２６９号公報で
示されているように、表示された文書画像の領域を指定
し、指定した領域を文字認識し、文字認識結果をキーワ
ードとして用いる方法もある。

【０００３】図５に、そのような、文書画像を画像のま
ま記憶し、文字認識方法によりキーワードを入力する従
来の文書画像記憶検索装置の一例の構成を示す。

【０００４】５０１は画像入力手段である。画像入力手
段５０１は文字画像をビットマップ情報として取り込
む。例えば、画像入力装置５０１はイメージスキャナー
である。

【０００５】５０２は画像表示手段である。画像表示手
段５０２は画像情報を表示し、この表示を利用者は見る
ことができる。例えば、画像表示手段５０２は液晶やＣ
ＲＴディスプレーなどのビットマップ・ディスプレーで
ある。

【０００６】５０３は画像領域指示手段である。利用者
は画像領域指示手段５０３を用いることで画像表示手段
５０２に表示された文書画像の領域や点を指定できる。

【０００７】ここで、例として画像領域指示手段５０２
がマウスなどのポインティングデバイスである場合の領
域指定の方法を説明する。指定したい領域が長方形であ
る場合には、マウスで線分の両端を指定することで、こ
の線分を対角線とする長方形領域を指定できる。例えば
指定したい長方形領域の左上の頂点でマウスのボタンを
押し、ボタンを押したまま長方形領域の右下の頂点へマ
ウスを移動してボタンを離せばよい。

【０００８】５０４は文字入力手段である。例えば、文
字入力手段５０４はキーボードである。文字入力手段５
０４はキーワードとして利用できる文字列を入力する。

【０００９】文字入力手段５０４を画像表示手段５０２
の表示面に張り付けられたペン入力可能で透明なタブレ
ットとする方法も考えられる。タブットを用いる場合に
おいてはペンなどによって書かれた文字を文字認識する
ことで文字を入力することも可能である。また１台のタ
ブレットを画像領域指示手段３０３と文字入力手段５０
４とで共用することも考えられる。

【００１０】５０５は文書画像である。文書画像５０５
は画像入力手段５０１から読み込まれる。本装置で扱う
文書画像５０５は一般の書類のように図や絵だけでなく
文字も含まれているものとする。

【００１１】５０６はキーワード表である。このキーワ
ード表について、図６の例に基づき説明する。

【００１２】６０１はキーワード表である。６０２は文
書画像を識別する画像ＩＤを格納する属性「画像ＩＤ」
である。６０３は文書画像に付加されたキーワードを表
す属性「キーワード」である。６０４はキーワード表に
登録されている組である。組６０４は属性「画像ＩＤ」
６０２の値が５である画像にキーワード「自然言語」が
登録されていることを表している。

【００１３】図５に於て、５０７は記憶手段である。記
憶手段５０７は計算機における二次記憶装置である。例
えば、記憶手段５０７はハードディスクや光ディスクな
どである。記憶手段５０７はキーワード表５０６と複数
の文書画像５０５とを記憶する。

【００１４】５０８はメモリーである。メモリー５０８
にはプログラムやデータが格納される。例えば、メモリ
ー５０８は一般の計算機システムにおける半導体メモリ
ーである。

【００１５】５０９は中央処理装置であり、この装置５
０９は、画像入力手段５０１、画像表示手段５０２、画
像領域指示手段５０３、文字入力手段５０４、記憶手段
５０７、メモリー５０８、と相互に接続されており、こ
れらを制御する。特に中央処理装置５０９はメモリー５
０８に格納されたプログラムを実行して上記制御を行う
ようになっている。さらに、中央処理装置５０９は文字
認識機能を備えている。なお、中央処理装置５０９とメ
モリー５０８が制御手段を構成する。

【００１６】次に、上記実施例の動作をフローチャート
に基づいて説明する。

【００１７】図７は、文書画像記憶検索装置における文
書画像へのキーワードの登録手順を表すフローチャート
である。以後、各ステップを順に説明する。

【００１８】（ステップ７０１）画像表示手段５０２に
表示されている文書画像の領域を、画像領域指示手段５
０３を用いて指定する。

【００１９】（ステップ７０２）ステップ７０１で指定
された領域に表示されている文書画像を中央処理装置５
０９により、文字認識する。ここで用いる文字認識技術
には一般的な手法が利用できる。文献「文字認識概論」
（橋本新一郎著、オーム社、１９８２）に文字認識技術
の概要が述べられている。

【００２０】（ステップ７０３）ステップ７０２の文字
認識の結果を修正する。一般に文字認識では正しく認識
されない場合が存在する。この場合、認識結果の誤った
部分を探し出して修正する必要がある。例えば、文字認
識の結果を画像表示手段５０２に表示した後、認識結果
が誤っている場合には、利用者が文字入力手段５０４か
ら正しい認識結果を入力することで修正する。

【００２１】（ステップ７０４）ステップ７０３の認識
結果を文書画像のキーワードとして登録する。キーワー
ドの登録は、認識結果である文字列と属性「画像ＩＤ」
６０２とからなる組をキーワード表５０６に追加するこ
とによって行われる。

【００２２】図８は、文書画像記憶検索装置における文
書画像へのキーワードによる検索手順を表すフローチャ
ートである。以後、各ステップを順に説明する。

【００２３】（ステップ８０１）キーワードを文字入力
手段５０４から入力する。

【００２４】（ステップ８０２）ステップ８０１で入力
されたキーワードを登録している文書画像を選択する。
すなわち、ステップ８０１で入力されたキーワードを属
性「キーワード」６０３として持つキーワード表５０６
の組を検索する。そして検索された組の属性「画像Ｉ
Ｄ」６０２の値が選択される。例えば、キーワード表が
図５で、ステップ７０２の認識結果が「自然言語」ある
場合には、組６０４が検索されるので属性「画像ＩＤ」
６０４の値「５」が選択される。

【００２５】（ステップ８０３）ステップ８０２で選択
された文書画像を、記憶手段５０７から読み出して画像
表示手段５０２に表示する。例えば、ステップ８０２で
選択された文書画像の画像ＩＤが「５」である場合には
記憶手段５０７に記憶された属性「画像ＩＤ」６０２が
「５」である文書画像を読み出し、この文書画像を画像
表示手段５０２に表示する。

【００２６】

【発明が解決しようとする課題】しかしながら、検索作
業の際、検索した結果、ある文書画像が表示された際、
その文書画像中の任意の言葉についてさらに詳しい内容
を知るため、その言葉について検索行いたい場合があ
る。

【００２７】その様な場合でも、従来の装置では、画像
として入力したいキーワードが現在表示されているのに
もかかわらず、これをわざわざあらたにキーボードで入
力する必要があり、繁雑であった。

【００２８】また、キーワードの登録作業の手間を少し
でも軽くする要望が強い。

【００２９】本発明は、このような従来の文書画像記憶
装置の課題を考慮し、再検索やキーワード登録を容易に
行うことが可能な画像検索装置、画像記憶装置及び検索
方法を実現することを目的とするものである。

【００３０】

【課題を解決するための手段】請求項１の本発明は、情
報を記憶する記憶手段と、文字列の入力を行う文字入力
手段と、画像を入力する画像入力手段と、画像を表示す
る画像表示手段と、前記画像の一部領域を指示するため
の画像領域指示手段と、前記記憶手段、前記文字入力手
段、前記画像入力手段、前記画像表示手段、及び画像領
域指示手段を制御する制御手段とを備え、前記画像入力
手段から取り込んだ文字列を含む画像を前記記憶手段に
記憶し、記憶した画像を識別する指標と、前記画像領域
指示手段により指示された前記画像の領域情報と、その
領域を文字認識して得られる文字列とを少なくとも有す
る組を前記記憶手段の認識表に記憶しておき、画像表示
手段に表示された画像において、画像の再検索のため
に、前記画像領域指示手段により領域を指示する際、前
記認識表中の画像領域情報が参照され既に認識済みの場
合は、前記認識表中の画像を識別する指標に基づき対応
する目的の画像を得ることを特徴とする画像検索装置で
ある。

【００３１】また、請求項２の本発明は、情報を記憶す
る記憶手段と、文字列の入力を行う文字入力手段と、画
像を入力する画像入力手段と、画像を表示する画像表示
手段と、前記画像の一部領域を指示するための画像領域
指示手段と、前記記憶手段、前記文字入力手段、前記画
像入力手段、前記画像表示手段、及び画像領域指示手段
を制御する制御手段とを備え、前記画像入力手段から取
り込んだ文字列を含む画像を前記記憶手段に記憶し、記
憶した画像を識別する指標と、前記画像領域指示手段に
より指示された前記画像の領域情報と、その領域を文字
認識して得られる文字列とを少なくとも有する組を前記
記憶手段の認識表に記憶しておき、画像表示手段に表示
された画像において、キーワードの登録のため、前記画
像領域指示手段により領域を指示する際、前記認識表中
の画像領域情報が参照され、既に認識済みの場合は、前
記認識表中の文字列をキーワードとして登録し、登録し
ていない場合は、その領域情報と、その領域を文字認識
して得られる文字列と、対応する画像識別指標との組を
認識表に登録し、この際、キーワード登録することを特
徴とする画像記憶装置である。

【００３２】請求項３の本発明は、所定のデータベース
における任意のキーワードにより、文字列を含む画像を
画面に表示し、その表示画像のなかの所定の文字列を領
域指定し、その領域指定された文字列に基づいて、その
文字列をキーワードとする別の画像を前記データベース
から再検索して表示することを特徴とする画像検索方法
である。

【００３３】

【作用】請求項１の本発明では、画像表示手段に表示さ
れた画像において、再画像検索のために、前記画像領域
指示手段により領域を指示する際、前記認識表中の画像
領域情報が参照され既に認識済みの場合は、前記認識表
中の画像を識別する指標に基づき対応する目的の画像を
得る。

【００３４】請求項２の本発明では、画像表示手段に表
示された画像において、キーワードの登録のため、前記
画像領域指示手段により領域を指示する際、前記認識表
中の画像領域情報が参照され、既に認識済みの場合は、
前記認識表中の文字列をキーワードとして登録し、登録
していない場合は、その領域情報と、その領域を文字認
識して得られる文字列と、対応する画像識別指標との認
識表を新たに作成し、キーワード登録する。

【００３５】

【実施例】以下、本発明の実施例について図面を参照に
しながら詳細に説明する。

【００３６】図１は本発明の一実施例における文書画像
検索装置の詳細図である。１０１は画像入力手段であ
る。画像入力手段１０１は文字画像をビットマップ情報
として取り込む。

【００３７】１０２は画像表示手段である。画像表示手
段１０２は画像情報を表示する。利用者は画像表示手段
１０２の表示を見ることができる。

【００３８】１０３は画像領域指示手段である。利用者
は画像領域指示手段１０３を用いることで画像表示手段
１０２に表示された文書画像の領域を指定できる。また
領域と同様に点も指定できる。

【００３９】１０４は文字入力手段である。文字入力手
段は文字列を入力する。

【００４０】１０５は文書画像である。文書画像１０５
は画像入力手段１０１から読み込まれる。図２は文書画
像の例である。

【００４１】１０６は認識表である。ここで図３を用い
てこの認識表１０６を説明する。図３における３０１は
認識表である。ここで３０２は文書画像１０５を識別す
る画像ＩＤを格納する属性「画像ＩＤ」である。

【００４２】３０３は属性「画像ＩＤ」３０２で表され
る画像内の領域を指定する属性「画像領域」である。

【００４３】３０４は属性「画像ＩＤ」３０２と属性
「画像領域」３０３によって指定される画像の領域を文
字認識した結果を格納する属性「文字認識結果」であ
る。

【００４４】３０５は属性「文字認識結果」３０４がキ
ーワードか否かを表す属性「キーワードフラグ」であ
る。属性「キーワードフラグ」３０５の値が１であるこ
とは、キーワードであることと同値である。

【００４５】３０６、３１１、３１２などは認識結果表
３０１に格納された組である。

【００４６】３０７は組３０６の属性「画像ＩＤ」３０
２の値である。値３０７は組３０６の画像ＩＤが５の画
像に関することを表している。

【００４７】３０８は画像の領域（（７２２，２５
１），（１３４１，３５４））を表している（図２参
照）。ただし（（ａ，ｂ），（ｃ，ｄ））は２点（ａ，
ｂ）、（ｃ，ｄ）を両端とする線分を対角線とする長方
形の領域を表しているものとする。

【００４８】３０９は画像領域３０８の文字認識結果が
文字列「ユーザＩ／Ｆ」であることを表している。

【００４９】３１０は組３０６のキーワードフラグの値
である。この値が０であるので文字認識結果３０９「ユ
ーザＩ／Ｆ」はキーワードではない。

【００５０】１０７は記憶手段である。記憶手段１０７
は計算機における二次記憶装置である。記憶手段１０７
は認識表１０６と複数の文書画像１０５とを記憶する。

【００５１】１０８はメモリーである。メモリー１０８
にはプログラムやデータが格納される。

【００５２】１０９は中央処理装置であって、画像入力
手段１０１、画像表示手段１０２、画像領域指示手段１
０３、文字入力手段１０４、記憶手段１０７、メモリー
１０８、と相互に接続されており、これらを制御し、ま
た文字認識を行う。中央処理装置１０９はメモリー１０
８に格納されたプログラムを実行することによって上記
制御等を行う。なお、中央処理装置１０９とメモリー１
０８で制御手段を構成する。

【００５３】次に、上記実施例の動作をフローチャート
に基づいて説明する。

【００５４】図４は文書画像記憶検索装置におけるキー
ワード登録とキーワード検索の操作手順を表すフローチ
ャートである。以後、各ステップを順に説明する。

【００５５】（ステップ４０１）いま画像表示手段１０
１に文書画像１０５が表示され、その文書について任意
の言葉をキーワードとして登録しようとしている場面、
あるいは所定のキーワードを利用して検索し対応する文
書画像１０５が画像表示手段１０１に表示され、その文
書の中で、さらに、任意の言葉について再検索しようと
している場面において、その任意の言葉を領域指定する
ため、その文書画像１０５上の一点を画像領域指定手段
１０３で指定する。

【００５６】（ステップ４０２）ステップ４０１で指定
された点が認識表３０１に登録された領域に含まれる場
合ステップ４０７へ移る。例えば、図２の点２０６は座
標（１１３１，３３９）であるので、既に登録している
領域２０５（図３においては、３０６の組で登録されて
いる）内である。含まれない場合は、ステップ４０３に
移る。

【００５７】（ステップ４０３）画像上の座標を更に１
点指定して領域を決定する。例えば、ステップ４０３で
認識表に登録済みの領域に含まれていない座標（５２，
６３３）の点２０７が指定された場合を考える。ステッ
プ４０３でさらに座標（４２０，７４５）の点２０８を
指定することによって領域（（５２，６３３），（４２
０，７４５））を表す領域２０９を決定する。

【００５８】（ステップ４０４）ステップ４０３で決定
された領域２０９内の文書画像に対して、中央処理装置
１０９により文字認識を行う。

【００５９】（ステップ４０５）ステップ４０４の認識
結果が誤っている場合これを修正する。例えばステップ
４０４で「文字認識」を表す文書画像の領域が誤って
「又時認識」に認識された場合を考える。このとき利用
者は正しい認識結果である文字列「文字認識」を文字入
力手段１０４を用いて入力する。

【００６０】（ステップ４０６）ステップ４０５で認識
された領域と認識結果と文書画像ＩＤの組を認識表３０
１に登録する。但し、とりあえずこのステップではキー
ワードフラグ３０５の値は０としておく。

【００６１】（ステップ４０７）認識表３０１の文字認
識結果に対応する組における属性「キーワードフラグ」
３０５の値が０でその文書のキーワードでない場合、ス
テップ４０８へ移り、他方、１である場合、ステップ４
１０へ移る。

【００６２】（ステップ４０８）キーワードでなかった
場合、認識結果をキーワードにするかを利用者に問い合
わせる。問い合わせに対する回答は例えば文字入力手段
１０４によって行う。再検索作業中においては、通常そ
の文書のキーワードとはされない。すなわち、キーワー
ドにしないと回答された場合にはステップ４１０へ移
る。また、再検索作業中でも例外的にその文書自体のキ
ーワードにする場合、あるいはキーワード登録のための
作業中ではキーワードとするため、ステップ４０９に移
行する。

【００６３】（ステップ４０９）認識結果に対応する組
のキーワードフラグの値を１にすることで認識結果をキ
ーワードとして登録する。キーワード登録作業はこれで
終了する。

【００６４】（ステップ４１０）再検索作業では、認識
結果をキーワードとして認識表を検索する。例えば認識
結果が文字列「文字認識」であった場合、認識表３０１
の中から属性「文字認識結果」の値が「文字認識」であ
る組を検索する。この結果、元の認識結果が格納されて
いる組３１１の他に属性「画像ＩＤ」３０２の値が８で
ある組３１２が検索される。

【００６５】（ステップ４１１）ステップ４１０の検索
結果に対応する文書画像を表示する。

【００６６】このようにして、キーワード登録作業にお
いては、領域情報が利用され得るので、認識作業が省き
得て簡単となる。

【００６７】また、再検索作業中では、従来のようにキ
ーワードを新しく入力させる必要がなく、しかも、領域
を利用する場合は、既に登録済みの領域だと、認識作業
が省ける。

【００６８】また、再検索の場合、領域情報がなく、文
字列認識を介して再検索することもできる。この場合で
も、従来のように新たに画面に存在するキーワードをキ
ーボードから入力する手間が省ける。

【００６９】

【発明の効果】以上述べたところから明らかなように、
本発明は、再検索やキーワード登録を容易に行うことが
可能な画像検索装置、画像記憶装置及び検索方法を実現
することが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例における装置の構成図

【図２】本発明の一実施例における文書画像の例

【図３】本発明の一実施例における認識表の例

【図４】本発明の一実施例におけるキーワード登録手順
と検索手順のフローチャート

【図５】従来技術における装置の構成図

【図６】従来技術におけるキーワード表の例

【図７】従来技術におけるキーワード登録手順の例

【図８】従来技術における検索手順の例

【符号の説明】

１０１ 画像入力手段 １０２ 画像表示手段 １０３ 画像領域指示手段 １０４ 文字入力手段 １０５ 文書画像 １０６ 認識表 １０７ 記憶手段 １０８ メモリー １０９ 中央処理装置（制御手段）

Claims (4)

【特許請求の範囲】
1. 【請求項１】 情報を記憶する記憶手段と、画像を入力
   する画像入力手段と、画像を表示する画像表示手段と、
   前記画像の一部領域を指示するための画像領域指示手段
   と、前記記憶手段、前記画像入力手段、前記画像表示手
   段、及び画像領域指示手段を制御する制御手段とを備
   え、 前記画像入力手段から取り込んだ文字列を含む画像を前
   記記憶手段に記憶し、記憶した画像を識別する指標と、
   前記画像領域指示手段により指示された前記画像の領域
   情報と、その領域を文字認識して得られる文字列とを少
   なくとも有する組を前記記憶手段の認識表に記憶してお
   き、 画像表示手段に表示された画像において、画像の再検索
   のために、前記画像領域指示手段により領域を指示する
   際、前記認識表中の画像領域情報が参照され既に認識済
   みの場合は、前記認識表中の画像を識別する指標に基づ
   き対応する目的の画像を得ることを特徴とする画像検索
   装置。
2. 【請求項２】 情報を記憶する記憶手段と、画像を入力
   する画像入力手段と、画像を表示する画像表示手段と、
   前記画像の一部領域を指示するための画像領域指示手段
   と、前記記憶手段、前記画像入力手段、前記画像表示手
   段、及び画像領域指示手段を制御する制御手段とを備
   え、 前記画像入力手段から取り込んだ文字列を含む画像を前
   記記憶手段に記憶し、記憶した画像を識別する指標と、
   前記画像領域指示手段により指示された前記画像の領域
   情報と、その領域を文字認識して得られる文字列とを少
   なくとも有する組を前記記憶手段の認識表に記憶してお
   き、 画像表示手段に表示された画像において、キーワードの
   登録のため、前記画像領域指示手段により領域を指示す
   る際、前記認識表中の画像領域情報が参照され、既に認
   識済みの場合は、前記認識表中の文字列をキーワードと
   して登録し、登録していない場合は、その領域情報と、
   その領域を文字認識して得られる文字列と、対応する画
   像識別指標との組を認識表に登録し、この際、キーワー
   ド登録することを特徴とする画像記憶装置。
3. 【請求項３】 所定のデータベースにおける任意のキー
   ワードにより、文字列を含む画像を画面に表示し、その
   表示画像のなかの所定の文字列を領域指定し、その領域
   指定された文字列に基づいて、その文字列をキーワード
   とする別の画像を前記データベースから再検索して表示
   することを特徴とする画像検索方法。
4. 【請求項４】 領域指定された文字列は、文字認識動作
   によって得られることを特徴とする請求項３記載の画像
   検索方法。