JP2012128789A - 辞書機能を備えた電子機器およびプログラム - Google Patents

Abstract

【課題】撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器を提供する。
【解決手段】ユーザが撮影した例えばノートや案内板などの画像データＧをタッチパネル式表示部（メイン画面）１６に表示させ、当該画像データＧに含まれる任意の文字列「恒星」について、その一部の文字「恒」が汚れや字形の崩れにより「明」と誤認識された場合でも、当該誤認識された文字「恒」の画像を手書き入力部（サブ画面）１５に表示させ、手書きで上書きして正しく再認識させ、容易に内蔵の辞書で見出し語検索しその説明情報Ｈを表示させることができる。
【選択図】 図８

Description

本発明は、ユーザ入力された検索語と一致する見出し語を検索し当該見出し語の説明情報を表示する辞書機能を備えた電子機器およびその制御プログラムに関する。

外出先の案内板や手書きのノートなどを撮影し、後にその撮影画像を見て同案内板やノートに書かれた内容を調べようとすることがある。

撮影された画像に含まれる文字を文字認識によりテキスト化し、この文字と一致する見出し語を内蔵の辞書から検索してその意味を表示する携帯情報機器が考えられている（例えば、特許文献１参照。）。

さらに、撮影された画像を画像認識し、当該画像に対応する文字に変換して表示すること、例えば富士山の写真画像を「富士山」の文字に変換することが可能なカメラ付き携帯情報端末も考えられている（例えば、特許文献２参照。）。

特開２００５−３０１９１４号公報 特開２００５−３１６９１２号公報

しかしながら、撮影の対象となる前記案内板やノート等に書かれている文字が、一般的でない特殊な態様で書かれていたり、汚れや劣化などにより字形が崩れていたりした場合、撮影画像から当該文字を上手く認識することができず、その文字に対応する辞書情報を検索できない。

本発明は、このような課題に鑑みなされたもので、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供することを目的とする。

請求項１に記載の辞書機能を備えた電子機器は、タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、画像データを取り込む画像取り込み手段と、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させる画像表示手段と、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第２の表示画面に表示させる選択画像表示手段と、この選択画像表示手段により前記タッチパネル式の第２の表示画面に前記選択された画像パターンが表示された状態で、当該第２の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、を備えたことを特徴としている。

請求項２に記載の辞書機能を備えた電子機器は、前記請求項１に記載の辞書機能を備えた電子機器において、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第２の表示画面に表示させる説明情報表示手段と、を備えたことを特徴としている。

請求項３に記載の辞書機能を備えた電子機器は、前記請求項２に記載の辞書機能を備えた電子機器において、前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴としている。

請求項４に記載の辞書機能を備えた電子機器は、前記請求項１ないし請求項３の何れか１項に記載の辞書機能を備えた電子機器において、前記タッチパネル式の第１の表示画面と第２の表示画面とは、それぞれ独立した表示部として構成されることを特徴としている。

請求項５に記載のプログラムは、タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、画像データを取り込む画像取り込み手段、この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させる画像表示手段、この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第２の表示画面に表示させる選択画像表示手段、この選択画像表示手段により前記タッチパネル式の第２の表示画面に前記選択された画像パターンが表示された状態で、当該第２の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、として機能させることを特徴としている。

本発明によれば、撮影画像に含まれる調べたい文字が、特殊な態様で書かれていたり字形が崩れていたりした場合でも、正しく文字認識させて同文字に対応する辞書情報を検索することが可能になる辞書機能を備えた電子機器およびその制御プログラムを提供できる。

本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置１０の外観構成を示す正面図。 前記電子辞書装置１０の電子回路の構成を示すブロック図。 前記電子辞書装置１０の履歴データメモリ２２ｄに登録された検索履歴データの内容を示す図。 前記電子辞書装置１０による画像取り込み処理を示すフローチャート。 前記電子辞書装置１０による画像読み出し処理を示すフローチャート。 前記電子辞書装置１０の画像読み出し処理に伴う辞書表示処理を示すフローチャート。 前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その１）を示す図。 前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その２）を示す図。 前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その３）を示す図。 前記電子辞書装置１０の画像読み出し処理に伴う画像表示処理を示すフローチャート。 前記電子辞書装置１０の画像表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の辞書機能を備えた電子機器の実施形態に係るカメラ付き電子辞書装置１０の外観構成を示す正面図である。

この電子辞書装置１０は、以下に説明する電子辞書専用の携帯機器として構成されるか、辞書機能を備えたＰＤＡ(personal digital assistants)、ＰＣ(personal computer)、携帯電話、電子ブック、携帯ゲーム機等として構成される。

この電子辞書装置１０は、その本体ケース１１と蓋体ケース１２とがヒンジ部１３を介して展開／閉塞可能な折り畳み型ケースを備えて構成される。この折り畳み型ケースを展開した本体ケース１１の表面には、文字入力キー１４ａ、辞書指定キー１４ｂ、［訳／決定］キー１４ｃ、［戻る］キー１４ｄ、カーソルキー１４ｅ、［撮影］キー１４ｆ、［画像］キー１４ｇ、［辞書］キー１４ｈなどを備えたキー入力部（キーボード）１４、および手書き入力部（サブ画面）１５が備えられる。

この手書き入力部（サブ画面）１５は、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、キー入力部１４の中央手前側において例えば２５６×６４ドットのカラー液晶表示画面１５ｄに透明タッチパネル１５ｔを重ねて構成される。この手書き入力部１５の入力領域は、必要に応じて、手書き文字を入力するための手書き文字入力領域Ｗ（図８・図９参照）や各種機能のボタン入力領域、あるいは当該各入力領域が混在する領域に切り替えられる。

そして、前記手書き入力部１５が手書き文字入力領域に切り替えられた状態での手書き入力に伴う軌跡はそのカラー液晶表示画面１５ｄにエコーバックして表示される。

また、前記本体ケース１１の裏面には撮像部１７が設けられ、この撮像部１７は、前記［撮影］キー１４ｆの操作に応じて撮像動作する。

一方、前記蓋体ケース１２の表面には、そのほぼ全面を対象に例えば４８０×３２０ドットのバックライト付きのタッチパネル式表示部（メイン画面）１６が設けられる。このタッチパネル式表示部（メイン画面）１６も、前記手書き入力部（サブ画面）１５と同様に、ユーザがペンや指等でタッチした位置を検出するタッチ位置検出装置と表示装置が一体となった構造であり、そのカラー液晶表示画面１６ｄに透明タッチパネル１６ｔを重ねて構成される。

図２は、前記電子辞書装置１０の電子回路の構成を示すブロック図である。

この電子辞書装置１０は、各種の記憶媒体に記録されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)２１が備えられる。

ＣＰＵ２１は、主記憶装置２２内に予め記憶された装置制御プログラム２２ａ、あるいはＲＯＭカードなどの外部記憶媒体２３から記憶媒体読み書き部２４を介して前記主記憶装置２２に読み込まれた装置制御プログラム２２ａ、あるいはインターネットＮ上のＷｅｂサーバ（この場合はプログラムサーバ）３０から外部インターフェイス２５を介して前記主記憶装置２２に読み込まれた装置制御プログラム２２ａに応じて、ＲＡＭ２６を作業用メモリとして回路各部の動作を制御する。

主記憶装置２２には、前記装置制御プログラム２２ａ、辞書データベース２２ｂが記憶され、画像データメモリ２２ｃ、履歴データメモリ２２ｄ、手書きデータメモリ２２ｅなどが確保される。

主記憶装置２２に記憶された装置制御プログラム２２ａは、キー入力部１４、手書き入力部１５、タッチパネル式表示部１６からのユーザ操作に応じた入力信号、あるいは外部インターフェイス２５を介して接続されるインターネットＮ上の各Ｗｅｂサーバ３０…との通信信号に応じて起動される。

前記装置制御プログラム２２ａとしては、当該電子辞書装置１０の全体の動作を司るシステムプログラムや外部インターフェイス２５を介してインターネットＮ上の各Ｗｅｂサーバ３０…や図示しないユーザＰＣ(Personal Computer)などとデータ通信するための通信プログラムが記憶される。

また他に、辞書機能における見出し語検索処理、検索見出し語の一覧表示処理、ユーザ指定の見出し語に対応する訳語・意味内容・例文（用例）などの各種説明情報の読み出し表示処理など、辞書データベース２２ｂに基づく検索・表示処理全般を制御するための辞書検索プログラムが記憶される。

さらに、前記装置制御プログラム２２ａとしては、前記［撮影］キー１４ｆの入力に応じて撮像部１７により撮影された画像データを保存するための画像取り込みプログラム（図４参照）、保存された複数の画像データの中から任意に選択した画像データを読み出してタッチパネル式表示部（メイン画面）１６に表示させるための画像読み出しプログラム（図５参照）、前記タッチパネル式表示部（メイン画面）１６に表示された画像データの中から任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書から検索した情報を手書き入力部（サブ画面）１５に表示させるための辞書表示プログラム（図６参照）、この辞書表示プログラムに従い辞書検索した履歴のある画像データを前記タッチパネル式表示部（メイン画面）１６に表示させた場合に、検索済みの辞書情報を読み出して手書き入力部（サブ画面）１５に表示させるための画像表示プログラム（図１０参照）も記憶される。

辞書データベース２２ｂには、例えば日本語の見出し語に対応付けて日本語の説明情報が記述された［国語辞書］、英語の見出し語に対応付けて日本語の説明情報が記述された［英和辞書］、日本語の見出し語に対応付けて英語の説明情報が記述された［和英辞書］など、複数種類の辞書データが予め記憶されるかあるいはダウンロードされて記憶される。

画像データメモリ２２ｃには、撮像部１７により撮像された画像データや外部から読み込まれた画像データが記憶される。

履歴データメモリ２２ｄには、前記画像読み出しプログラム（図５参照）および前記辞書表示プログラム（図６参照）に従い、前記画像データメモリ２２ｃから読み出された画像データの中で任意に選択した文字の画像を文字認識し、認識された文字を検索語として辞書情報を検索し表示させた際に、当該画像データの選択された文字の位置と対応付けてその検索履歴が登録される。

手書きデータメモリ２２ｅには、前記画像データからの選択された文字の文字認識における誤認識または認識不可に応じて、同選択された文字を手書き入力し再認識した際に、当該画像データの選択された文字の位置と対応付けてその手書き文字が登録される。

ＲＡＭ２６には、タッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５それぞれのフレームバッファとして機能する表示データメモリ２６ａが備えられる。

このように、前記ＣＰＵ２１には、前記主記憶装置２２、記憶媒体読み書き部２４、外部インターフェイス２５、ＲＡＭ２６、キー入力部１４、手書き入力部１５、タッチパネル式表示部１６、撮像部１７が接続される。

図３は、前記電子辞書装置１０の履歴データメモリ２２ｄに登録された検索履歴データの内容を示す図である。

すなわち、前記履歴データメモリ２２ｄに登録される検索履歴データとしては、辞書情報の検索対象とした文字を含む画像データのＩＤと同画像データの中での検索文字の位置情報、検索に使用した辞書の種類と見出し語、検索対象とした文字を手書き文字にして再認識している場合の同手書き文字の登録先が記憶される。

このように構成されたカメラ付き電子辞書装置１０は、ＣＰＵ２１が前記装置制御プログラム２２ａ（画像取り込みプログラム／画像読み出しプログラム／辞書表示プログラム／画像表示プログラムを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。

次に、前記構成のカメラ付き電子辞書装置１０の動作について説明する。

図４は、前記電子辞書装置１０による画像取り込み処理を示すフローチャートである。

［撮影］キー１４ｆが長押しされるとカメラモードになり、撮像部１７により撮像される画像がタッチパネル式表示部（メイン画面）１６に表示される。

ここで、前記［撮影］キー１４ｆが押されると、そのキー押下の都度、前記撮像部１７により撮像されている被写体が撮影され（ステップＡ１）、撮影された画像データが画像データメモリ２２ｃに記憶されて保存される（ステップＡ２）。

本実施形態において、電子辞書装置１０のユーザは、例えば手書きのノートの重要な部分や歴史案内板の興味ある案内文を撮影して保存する。

図５は、前記電子辞書装置１０による画像読み出し処理を示すフローチャートである。

図６は、前記電子辞書装置１０の画像読み出し処理に伴う辞書表示処理を示すフローチャートである。

図７は、前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その１）を示す図である。

［画像］キー１４ｇが押下されると、図５における画像読み出し処理が起動され、画像データメモリ２２ｃに保存されている各画像データが、例えばインデックス表示、サムネイル表示、カーソルキー１４ｅの押下に応じた切り替え表示により選択可能な状態になる（ステップＢ１）。

ここで、任意の画像が選択されて［訳／決定］キー１４ｃが押下されると、例えば図７に示すように、選択された画像データＧがタッチパネル式表示部（メイン画面）１６に表示される（ステップＢ２）。

すると、表示された画像データＧに対応付けられた検索履歴データが履歴データメモリ２２ｄに登録されているか否か判断され（ステップＢ３）、履歴データの登録ありと判断された場合には（ステップＢ３（Ｙｅｓ））、図１０を参照して後述する画像表示処理へ移行される（ステップＢＣ）。

一方、前記表示された画像データＧについて履歴データの登録なしと判断された場合には（ステップＢ３（Ｎｏ））、［辞書］キー１４ｈが押下されたか否かが判断される（ステップＢ４）。

以下、図７に示す手書きノートの画像を表示させた状態から、ノートに記載された文字を辞書で調べることを例として説明する。ユーザは前記表示された画像データＧに含まれる所望の文字（例えば「恒星」）について辞書で調べたい場合には［辞書］キー１４ｈを押下する。そして、［辞書］キー１４ｈが押下されたと判断されると（ステップＢ４（Ｙｅｓ））、図６における辞書表示処理へ移行される（ステップＢＳ）。

辞書表示処理が起動されると、前記タッチパネル式表示部（メイン画面）１６に表示されている画像データＧ上に、当該画像データＧ内の所望の文字を選択するための矩形の選択枠Ｓが表示される（ステップＳ１）。

また、手書き入力部（サブ画面）１５に対して、検索に使用する辞書の種類を指定するための辞書一覧Ｌｄが表示される（ステップＳ２）。なお、この辞書一覧Ｌｄは、同手書き入力部（サブ画面）１５の右端に表示されたカーソルボタンＢｃのタッチに応じてスクロール可能であり、表示しきれない他の辞書の選択を可能にする。

図８は、前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その２）を示す図である。

図９は、前記電子辞書装置１０の辞書表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作（その３）を示す図である。

前記タッチパネル式表示部（メイン画面）１６の画像データＧ上に表示された選択枠Ｓは、タッチ操作により同画面内で移動可能であると共に、矩形サイズを変更可能であり、ユーザは、同選択枠Ｓを、図８（Ａ）（あるいは図９（Ａ））に示すように、前記所望の文字「恒星」の位置に移動させて同文字「恒星」を囲んで選択する（ステップＳ３）。なお、画面上での文字部分の選択は、ユーザが直接ペン等により対象部分を囲むように線を引くことで行ってもよい。

文字の選択後、前記手書き入力部（サブ画面）１５に表示された辞書一覧Ｌｄをタッチすることで、検索に使用する辞書の種類（例えば［百科辞典］）が指定されると（ステップＳ４）、前記選択枠Ｓにより選択された文字「恒星」の画像パターンを対象に文字認識が実行され（ステップＳ５）、文字認識不可能か否（認識可能）か判断される（ステップＳ６）。

そして、前記選択された文字「恒星」の画像パターンについて文字認識不可能ではない、つまり認識可能と判断されると（ステップＳ６（Ｎｏ））、当該文字認識された文字「恒星」と先頭一致する見出し語が、前記ステップＳ４にて指定された辞書［百科辞典］から検索され、図８（Ｂ）に示すように、手書き入力部（サブ画面）１５に見出し語一覧Ｌｍとして表示される（ステップＳ７）。

ここで、見出し語一覧Ｌｍ［恒星／恒星雲／恒星磁場／…］から、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、再認識の必要なしと判断され（ステップＳ８（Ｎｏ））、図８（Ｃ）に示すように、当該選択された見出し語「恒星磁場」の説明情報Ｈが前記指定の辞書［百科辞典］から読み出され手書き入力部（サブ画面）１５に表示される（ステップＳ９）。

すると、前記タッチパネル式表示部（メイン画面）１６に表示された画像データＧのＩＤと同画像データＧ上での検索対象文字「恒星」の位置情報、指定の辞書の種類［百科辞典］と選択された見出し語「恒星磁場」が対応付けられた検索履歴が生成され、履歴データメモリ２２ｄに登録される（ステップＳ１０）。

これにより、ユーザが撮影した例えばノートや案内板などの画像データＧに含まれる任意の文字について、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データＧ上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報からなる検索履歴を登録することができる。

一方、前記画像データＧ上で選択された文字「恒星」の画像パターンが、汚れなどによりその一部が欠けていたり字形が崩れたりしていて、「恒」の画像パターンが「明」と誤認識された場合には、図８（Ｄ）に示すように、見出し語一覧Ｌｍ［明星／明星学園／明星製菓／…］が表示される（ステップＳ７）。ユーザは見出し語一覧を見ることで誤認識されたことを知るので、再認識の指令を入力する。再認識の指令は、例えば見出し語表示中に行われる「辞書」キー１４ｈの操作とする。そして、再認識の指令があった場合には、その後、当該誤認識された画像データＧ上の文字「恒」がタッチされて指定される（ステップＳ８（Ｙｅｓ）→Ｓ１１）。

すると、図８（Ｅ）に示すように、前記画像データＧ上で指定された一部欠落した文字「恒」の画像が手書き入力部（サブ画面）１５の手書き文字入力領域Ｗに表示される（ステップＳ１２）。

この際、前記手書き入力部（サブ画面）１５の手書き文字入力領域Ｗの左側には、同手書き文字入力領域Ｗに手書きされた文字の文字認識を指示するための［認識］ボタンＢｎと、手書きされた文字を消去して訂正するための［訂正］ボタンＢｔが表示される。

ここで、前記手書き入力部（サブ画面）１５の手書き文字入力領域Ｗに表示された一部が欠けている文字「恒」の画像パターンに対して、図８（Ｆ）に示すように、ユーザにより上書きにより「恒」の文字が書き直され前記［認識］ボタンＢｎがタッチされると（ステップＳ１３）、入力された手書き文字「恒」が手書き文字認識される（ステップＳ１４）。

すると、この再認識された手書き文字「恒」によって訂正された認識文字「恒星」と先頭一致する見出し語が、前記ステップＳ４にて指定された辞書［百科辞典］から検索され、図８（Ｂ）に示すように、手書き入力部（サブ画面）１５に見出し語一覧Ｌｍ［恒星／恒星雲／恒星磁場／…］として表示される（ステップＳ１５）。

そして、手書き入力部（サブ画面）１５に表示された見出し語一覧Ｌｍにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図８（Ｃ）に示すように、当該選択された見出し語「恒星磁場」の説明情報Ｈが前記指定の辞書［百科辞典］から読み出され同手書き入力部（サブ画面）１５に表示される（ステップＳ１６）。

ここで、前記ステップＳ１４にて再認識した手書き文字「恒」を登録するか否かのユーザ判断を促すメッセージが表示され（ステップＳ１７）、手書き文字の登録が指示されると（ステップＳ１７（Ｙｅｓ））、当該手書き文字「恒」が手書きデータメモリ２２ｅに登録される（ステップＳ１８）。

そして、前記タッチパネル式表示部（メイン画面）１６に表示された画像データＧのＩＤと同画像データＧ上での検索対象文字「恒星」の位置情報、指定の辞書の種類［百科辞典］と選択された見出し語「恒星磁場」、前記手書き文字「恒」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ２２ｄに登録される（ステップＳ１０）。

これにより、ユーザが撮影した例えばノートや案内板などの画像データＧに含まれる任意の文字列について、その一部の文字が汚れや字形の崩れにより誤認識された場合でも、当該誤認識された文字を手書き入力して手書き認識により正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データＧ上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。

一方、前記画像データＧ上で選択された文字「恒星」の画像パターンについて、全体的な汚れや掠れなどによりその全体にわたり欠けがあったり全体の字形が特殊であったり、崩れたりしていて文字認識不可能と判断されると（ステップＳ６（Ｙｅｓ））、図９（Ｂ）に示すように、前記画像データＧ上で選択されている不鮮明な文字「恒星」の画像が手書き入力部（サブ画面）１５の手書き文字入力領域Ｗに表示される（ステップＳ１９）。

ここで、前記手書き入力部（サブ画面）１５の手書き文字入力領域Ｗに表示された不鮮明な文字「恒星」の画像パターンに対して、図９（Ｃ）に示すように、上書きにより「恒星」の文字が書き直され前記［認識］ボタンＢｎがタッチされると（ステップＳ２０）、入力された手書き文字「恒星」が手書き文字認識される（ステップＳ２１）。

すると、この再認識された認識文字「恒星」と先頭一致する見出し語が、前記ステップＳ４にて指定された辞書［百科辞典］から検索され、図９（Ｄ）に示すように、手書き入力部（サブ画面）１５に見出し語一覧Ｌｍ［恒星／恒星雲／恒星磁場／…］として表示される（ステップＳ２２）。

そして、手書き入力部（サブ画面）１５に表示された見出し語一覧Ｌｍにおいて、ユーザ所望の見出し語「恒星磁場」がタッチされて選択されると、図９（Ｅ）に示すように、当該選択された見出し語「恒星磁場」の説明情報Ｈが前記指定の辞書［百科辞典］から読み出され同手書き入力部（サブ画面）１５に表示される（ステップＳ２３）。

ここで、前記ステップＳ２１にて再認識した手書き文字「恒星」を登録するか否かのユーザ判断を促すメッセージが表示され（ステップＳ２４）、手書き文字の登録が指示されると（ステップＳ２４（Ｙｅｓ））、当該手書き文字「恒星」が手書きデータメモリ２２ｅに登録される（ステップＳ２５）。

そして、前記タッチパネル式表示部（メイン画面）１６に表示された画像データＧのＩＤと同画像データＧ上での検索対象文字「恒星」の位置情報、指定の辞書の種類［百科辞典］と選択された見出し語「恒星磁場」、前記手書き文字「恒星」の登録先が対応付けられた検索履歴が生成され、履歴データメモリ２２ｄに登録される（ステップＳ１０）。

これにより、ユーザが撮影した例えばノートや案内板などの画像データＧに含まれる任意の文字列について、その全体が不鮮明で文字認識不可能と判断された場合でも、当該不鮮明な文字列を手書き入力して正しく再認識させ、容易に辞書で見出し語検索しその説明情報を表示させることができる。そして、前記画像データＧ上で検索対象として選択された文字の位置に対応付けて、辞書検索した情報と書き直した手書き文字の情報とからなる検索履歴を登録することができる。

図１０は、前記電子辞書装置１０の画像読み出し処理に伴う画像表示処理を示すフローチャートである。

図１１は、前記電子辞書装置１０の画像表示処理に伴うタッチパネル式表示部（メイン画面）１６および手書き入力部（サブ画面）１５での表示動作を示す図である。

前記図５における画像読み出し処理に従い、画像データメモリ２２ｃから選択的に読み出された画像データＧが、例えば図１１に示すように、タッチパネル式表示部（メイン画面）１６に表示された際に（ステップＢ１，Ｂ２）、表示された画像データＧのＩＤを有する検索履歴データが履歴データメモリ２２ｄに登録されていると判断されると（ステップＢ３（Ｙｅｓ））、図１０における画像表示処理へ移行される（ステップＢＣ）。

画像表示処理が起動されると、前記タッチパネル式表示部（メイン画面）１６に表示された画像データＧのＩＤを有する検索履歴データ（図３参照）が履歴データメモリ２２ｄから読み出される（ステップＣ１）。そして、読み出された検索履歴データに手書き文字の登録先が含まれるか否か判断される（ステップＣ２）。

ここで、前記画像データＧの検索履歴データに手書き文字の登録先が含まれると判断された場合は（ステップＣ２（Ｙｅｓ））、当該登録先で示される手書きデータメモリ２２ｅのアドレスから手書き文字（この場合は「恒」または「恒星」）が読み出される。そして、同検索履歴データに含まれる画像データＧ上での検索対象文字の位置情報に従い、該当する位置の文字（「恒」または「恒星」）の画像が、前記読み出された手書き文字に置き換えられて表示される（ステップＣ３）。

また、同検索履歴データに含まれる画像データＧ上での検索対象文字「恒星」の位置に対応させて、検索履歴が有ることを示す履歴有りマークＭが表示される（ステップＣ４）。

ここで、前記画像データＧ上に表示された履歴有りマークＭがタッチされて指示されると（ステップＣ５（Ｙｅｓ））、前記検索履歴データとして登録された辞書の種類［百科辞典］と見出し語「恒星磁場」に従いその説明情報Ｈが読み出され、手書き入力部（サブ画面）１５に表示される（ステップＣ６）。

これにより、検索履歴データが登録されている画像データＧをタッチパネル式表示部（メイン画面）１６に読み出して表示させた場合には、元の画像でかすれて読み辛い文字をユーザにより手書きされた文字に置き換えて表示することができ、また当該画像データＧ上に表示された履歴有りマークＭをタッチするだけで、この履歴有りマークＭにより示される文字に応じて過去に辞書検索された説明情報を直ちに読み出して手書き入力部（サブ画面）１５に表示させることができる。このため、ノートや教科書、文献等の画像データＧを、その重要な記述の説明情報を付加価値として付けて保存することができ、これを反復学習する際の自己テストに使用できるなど、効果的に見返し学習するための資料とすることができる。

なお、前記実施形態では、画像データメモリ２２ｃから選択的に読み出された画像データＧをタッチパネル式表示部（メイン画面）１６に表示させ、辞書一覧Ｌｄや見出し語一覧Ｌｍ、再認識の対象となる前記画像データＧ内の文字の画像、見出し語検索された説明情報Ｈを、何れも手書き入力部（サブ画面）１５に表示させる構成とした。これに対し、前記手書き入力部（サブ画面）１５として機能する画面は、前記タッチパネル式表示部（メイン画面）１６の画面内にウインドウとして表示させる構成としてもよい。

また、前記実施形態における画像データＧは、撮像部１７により撮影された画像として説明したが、外部から取り込まれて画像データメモリ２２ｃに記憶させた画像でも勿論よい。

なお、前記各実施形態において記載したカメラ付き電子辞書装置１０による各処理の手法、すなわち、図４のフローチャートに示す画像取り込み処理、図５のフローチャートに示す画像読み出し処理、図６のフローチャートに示す前記画像読み出し処理に伴う辞書表示処理、図１０のフローチャートに示す前記画像読み出し処理に伴う画像表示処理などの各手法、及び各種の辞書データ（２２ｂ）は、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体２３に格納して配布することができる。そして、電子機器のコンピュータは、この外部記憶媒体２３に記憶されたプログラムを記憶装置（２２）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワークＮ上を伝送させることができ、このプログラムデータを、ネットワークＮに接続された電子機器のコンピュータに通信制御部（２５）によって取り込むことで、前述した撮影画像からの文字認識・辞書検索・検索履歴登録機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

１０ …電子辞書装置
１１ …本体ケース
１２ …蓋体ケース
１３ …ヒンジ部
１４ …キー入力部（キーボード）
１４ａ…文字入力キー
１４ｂ…辞書指定キー
１４ｃ…［訳／決定］キー
１４ｄ…［戻る］キー
１４ｅ…カーソルキー
１４ｆ…［撮影］キー
１４ｇ…［画像］キー
１４ｈ…［辞書］キー
１５ …手書き入力部（サブ画面）
１５ｄ…カラー液晶表示部
１５ｔ…透明タッチパネル
１６ …タッチパネル式表示部（メイン画面）
１６ｄ…カラー液晶表示部
１６ｔ…透明タッチパネル
１７ …撮像部
２１ …ＣＰＵ
２２ …主記憶装置
２２ａ…装置制御プログラム
２２ｂ…辞書データベース
２２ｃ…画像データメモリ
２２ｄ…履歴データメモリ
２２ｅ…手書きデータメモリ
２３ …外部記憶媒体
２４ …記憶媒体読み書き部
２５ …外部インターフェイス
２６ …ＲＡＭ
２６ａ…表示データメモリ
３０ …Ｗｅｂサーバ
Ｇ …画像データ
Ｓ …選択枠
Ｌｄ…辞書一覧
Ｌｍ…見出し語一覧
Ｗ …手書き文字入力領域
Ｂｃ…カーソルボタン
Ｂｎ…認識ボタン
Ｂｔ…訂正ボタン
Ｈ …説明情報
Ｍ …履歴有りマーク

Claims (5)

1. タッチパネル式の表示画面を有し辞書機能を備えた電子機器であって、
   画像データを取り込む画像取り込み手段と、
   この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させる画像表示手段と、
   この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段と、
   この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第２の表示画面に表示させる選択画像表示手段と、
   この選択画像表示手段により前記タッチパネル式の第２の表示画面に前記選択された画像パターンが表示された状態で、当該第２の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段と、
   この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段と、
   を備えたことを特徴とする辞書機能を備えた電子機器。
2. 前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報と対応付けて登録する検索履歴登録手段と、
   前記画像表示手段により前記取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させた際に、当該画像データに対応付けて前記検索履歴登録手段により辞書の検索情報が登録されているかを判断する履歴有り判断手段と、
   この履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンの位置情報に対応する位置に履歴有りマークを表示させるマーク表示手段と、
   このマーク表示手段により表示された履歴有りマークの位置がタッチされた際に、当該タッチ位置に対応付けて登録された前記辞書の検索情報に基づく見出し語の説明情報を、前記タッチパネル式の第２の表示画面に表示させる説明情報表示手段と、
   を備えたことを特徴とする請求項１に記載の辞書機能を備えた電子機器。
3. 前記検索履歴登録手段は、前記辞書検索手段による辞書の検索情報を前記画像表示手段により表示された画像における前記選択手段により選択された画像パターンの位置情報および前記文字認識手段により認識した手書き文字と対応付けて登録し、
   前記履歴有り判断手段により前記画像表示手段により表示された画像データに対応付けて辞書の検索情報が登録されていると判断された場合に、当該表示された画像上の前記選択された画像パターンを、当該画像パターンの位置情報に対応付けて登録された前記手書き文字に置き換えて表示させる置き換え表示手段をさらに備えたことを特徴とする請求項２に記載の辞書機能を備えた電子機器。
4. 前記タッチパネル式の第１の表示画面と第２の表示画面とは、それぞれ独立した表示部として構成されることを特徴とする請求項１ないし請求項３の何れか１項に記載の辞書機能を備えた電子機器。
5. タッチパネル式の表示画面を有し辞書機能を備えた電子機器のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   画像データを取り込む画像取り込み手段、
   この画像取り込み手段により取り込まれた画像データを前記タッチパネル式の第１の表示画面に表示させる画像表示手段、
   この画像表示手段により表示された画像上の任意の画像パターンを選択する選択手段、
   この選択手段により選択された前記画像内の画像パターンを前記タッチパネル式の第２の表示画面に表示させる選択画像表示手段、
   この選択画像表示手段により前記タッチパネル式の第２の表示画面に前記選択された画像パターンが表示された状態で、当該第２の表示画面上でのタッチ位置の変化に応じた手書き文字を認識する文字認識手段、
   この文字認識手段により認識された文字に基づき辞書の見出し語を検索しその説明情報を表示させる辞書検索手段、
   として機能させるためのプログラム。

Images