JP2000207401A - 情報処理装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 パーソナルコンピュータの操作に不慣れなユ
ーザでも、簡単に翻訳ができるようにする。 【解決手段】 他の言語へ翻訳、または他の平易な文章
に変換したい文字が印刷されているカード状のオブジェ
クト１１１がCCDビデオカメラ２３により撮像される。
このとき、パーソナルコンピュータ１は、撮像された画
像データを文字認識処理し、認識結果を他の言語へ翻訳
し、または国語辞書の辞書引き、すなわち、他の平易な
文章に変換し、表示部３に表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置およ
び方法、並びに提供媒体に関し、特に、撮像された画像
のデータから文字を認識し、所定の処理を行うことがで
きるようにした情報処理装置および方法、並びに提供媒
体に関する。

【０００２】

【従来の技術】物品の種類や状態などを示す英数文字を
コード化し、例えば、物品に貼付しておき、それを、後
で読み取って情報（物品の種類や状態など）を取得する
システム、いわゆる、バーコードシステムが、現在、多
くの産業分野に普及している。

【０００３】図１は、バーコードの例を表している。こ
の例において、バーコードラベル５００には、コード部
５０１の下側の文字表示部５０２に表示されている英数
文字が、コード部５０１に配置されるバー（黒色の部
分）の幅と、各バーの間（白色の部分）の幅に基づいて
コード化されている。このように、情報を１つのパラメ
ータ（バーまたはバー間の幅）によりコード化するバー
コードは、１次元バーコードと称される。

【０００４】ところで、バーコードラベルから、バーコ
ードを読み取る１つの方法として、ビデオカメラにより
読み取る方法が上げられるが、例えば、コード化される
情報に伴って、バーの配列が多くなると、ビデオカメラ
によるバーコードの読み取りが困難になる。

【０００５】そこで、コード化される情報が多くなった
場合においても、ビデオカメラによる読み取りを可能に
するために、１次元バーコードのバーに代わる、図２に
示すようなセル（黒色の方形）が、２次元的に配列され
た２次元バーコードが、提案されている。これによれ
ば、情報が２次元的にコード化されることより、より多
くの情報量をコード化することができ、１次元バーコー
ドのバーに比べ、多くの情報がコード化されていても、
ビデオカメラによる読み取りが容易となる。

【０００６】

【発明が解決しようとする課題】しかしながら、１次元
バーコードおよび２次元バーコードのいずれも、そのよ
うなコードパターンを予め用意しておかなければなら
ず、一般ユーザが、例えばパーソナルコンピュータの各
種の処理を制御するために利用することができない課題
があった。

【０００７】また、特開平９−２８９６２４号公報に
は、デジタルカメラにOCR（Optical Character Reade
r）を組み合わせ、カメラで取り込んだ画像を文字認識
することが提案されている。

【０００８】しかしながら、この提案は、デジタルカメ
ラにOCR装置としての機能を付加するだけのものであ
り、デジタルカメラそのものの動作の制御には寄与しな
いものであった。

【０００９】本発明はこのような状況に鑑みてなされた
ものであり、一般ユーザが、簡単かつ確実に、パーソナ
ルコンピュータなどの情報処理装置の処理を制御するこ
とができるようにするものである。

【００１０】

【課題を解決するための手段】請求項１に記載の情報処
理装置は、供給された文字列を関連する他の情報に変換
する変換手段と、被写体を撮像する撮像手段と、撮像手
段により撮像された画像のデータに基づいて、文字認識
処理を行う文字認識手段と、文字認識手段による認識結
果と、予め登録されている文字列とを比較する比較手段
と、比較手段の比較結果に基づいて変換手段を制御する
制御手段とを備えることを特徴とする。

【００１１】請求項３に記載の情報処理方法は、供給さ
れた文字列を関連する他の情報に変換する変換処理ステ
ップと、被写体を撮像する撮像処理ステップと、撮像処
理ステップで撮像された画像のデータに基づいて、文字
認識処理を行う文字認識処理ステップと、文字認識処理
ステップにおける認識結果と、予め登録されている文字
列とを比較する比較処理ステップと、比較処理ステップ
における比較結果に基づいて、変換処理ステップの処理
を制御する制御処理ステップとを備えることを特徴とす
る。

【００１２】請求項４に記載の提供媒体は、供給された
文字列を関連する他の情報に変換する変換処理ステップ
と、被写体を撮像する撮像処理ステップと、撮像処理ス
テップで撮像された画像のデータに基づいて、文字認識
処理を行う文字認識処理ステップと、文字認識処理ステ
ップにおける認識結果と、予め登録されている文字列と
を比較する比較処理ステップと、比較処理ステップにお
ける比較結果に基づいて、変換処理ステップの処理を制
御する制御処理ステップとを含む処理を情報処理装置に
実行させるコンピュータが読み取り可能なプログラムを
提供することを特徴とする。

【００１３】請求項１に記載の情報処理装置、請求項３
に記載の情報処理方法、および請求項４に記載の提供媒
体においては、撮像された画像データに基づいて、文字
認識処理された認識結果と、予め登録されている文字列
との比較結果に基づいて、翻訳など、関連する他の情報
へ変換される。

【００１４】

【発明の実施の形態】図３乃至図８は、本発明を適用し
た携帯型パーソナルコンピュータの構成例を表してい
る。このパーソナルコンピュータ１は、ミニノート型の
パーソナルコンピュータとされ、基本的に、本体２と、
本体２に対して開閉自在とされている表示部３により構
成されている。図３は、表示部３を本体２に対して開い
た状態を示す外観斜視図、図４は、表示部３を本体２に
対して開いた状態の平面図、図５は、表示部３を本体２
に対して閉塞した状態を示す左側側面図、図６は、表示
部３を本体２に対して１８０度開いた状態を示す右側側
面図、図７は、表示部３を本体２に対して閉塞した状態
の正面図、図８は、表示部３を本体２に対して開いた状
態の底面図である。

【００１５】本体２には、各種の文字や記号などを入力
するとき操作されるキーボード４、マウスカーソルを移
動させるときなどに操作されるトラックポイント（商
標）５が、その上面に設けられている。また、本体２の
上面には、音を出力するスピーカ８と、表示部３に設け
られているCCDビデオカメラ２３で撮像するとき操作さ
れるシャッタボタン１０がさらに設けられている。

【００１６】表示部３の上端部には、ツメ１３が設けら
れており、図５に示すように、表示部３を本体２に対し
て閉塞した状態において、ツメ１３に対向する位置にお
ける本体２には、ツメ１３が嵌合する孔部６が設けられ
ている。本体２の前面には、スライドレバー７が前面に
平行に移動可能に設けられており、スライドレバー７は
孔部６に嵌合したツメ１３と係合してロックし、またロ
ック解除することができるようになっている。ロックを
解除することにより、表示部３を本体２に対して回動す
ることができる。ツメ１３の隣りには、マイクロホン２
４が取り付けられている。このマイクロホン２４は、図
８にも示すように、背面からの音も収音できるようにな
されている。

【００１７】本体２の正面にはまた、プログラマブルパ
ワーキー（PPK）９が設けられている。本体２の右側面
には、図６に示すように、排気孔１１が設けられてお
り、本体２の前面下部には、図７に示すように、吸気孔
１４が設けられている。さらに、排気孔１１の右側に
は、PCMCIA（Personal Comuputer Memory Card Interna
tional Association）カード（ＰＣカード）を挿入する
ためのスロット１２が設けられている。

【００１８】表示部３の正面には、画像を表示するLCD
（Liquid Crystal Display）２１が設けられており、そ
の上端部には、撮像部２２が、表示部３に対して回動自
在に設けられている。すなわち、この撮像部２２は、LC
D２１と同一の方向と、その逆の方向（背面の方向）と
の間の１８０度の範囲の任意の位置に回動することがで
きるようになされている。撮像部２２には、CCDビデオ
カメラ２３が取り付けられている。

【００１９】表示部３の下側の本体側には、電源ランプ
PL、電池ランプBL、メッセージランプML、その他のLED
よりなるランプが設けられている。なお、図５に示す符
号４０は、本体２の左側面に設けられた電源スイッチで
あり、図７に示す符号２５は、CCDビデオカメラ２３の
フォーカスを調整する調整リングである。さらに、図８
に示す符号２６は、本体２内に増設メモリを取り付ける
ための開口部を被覆する蓋であり、符号４１は、蓋２６
のロックツメを外すためのピンを挿入する小孔である。

【００２０】図９は、パーソナルコンピュータ１の内部
の構成例を表している。内部バス５１には、CPU（Centr
al Processing Unit）５２、必要に応じて挿入されるPC
カード５３、RAM（Random Access Memory）５４、およ
びグラフィックチップ８１が接続されている。この内部
バス５１は、外部バス５５に接続されており、外部バス
５５には、ハードディスクドライブ（HDD）５６、I/O
（入出力）コントローラ５７、キーボードコントローラ
５８、トラックポイントコントローラ５９、サウンドチ
ップ６０、LCDコントローラ８３、モデム５０等が接続
されている。

【００２１】CPU５２は、各機能を統括するコントロー
ラであり、PCカード５３は、オプションの機能を付加す
るとき適宜装着される。

【００２２】グラフィックチップ８１には、CCDビデオ
カメラ２３で取り込んだ画像データが、処理部８２で処
理された後、入力されるようになされている。グラフィ
ックチップ８１は、処理部８２を介してCCDビデオカメ
ラ２３より入力されたビデオデータを、内蔵するVRAM８
１Ａに記憶し、適宜、これを読み出して、LCDコントロ
ーラ８３に出力する。LCDコントローラ８３は、グラフ
ィックチップ８１より供給された画像データをLCD２１
に出力し、表示させる。バックライト８４は、LCD２１
を後方から照明するようになされている。

【００２３】RAM５４の中には、起動が完了した時点に
おいて、例えば、OS（Operating System）（基本プログ
ラム）５４Ａ、オートパイロットプログラム（アプリケ
ーションプログラム）５４Ｂ、そしてファインダアプリ
ケーション（アプリケーションプログラム）５４Ｃな
ど、所定のものが、HDD５６から転送され、記憶され
る。

【００２４】OS（基本プログラムソフトウェア）５４Ａ
は、Windows98（商標）に代表される、コンピュータの
基本的な動作を制御するものである。

【００２５】オートパイロットプログラム５４Ｂは、予
め設定された複数の処理（またはプログラム）等を、予
め設定された順序で順次起動して、処理するプログラム
である。

【００２６】ファインダアプリケーション５４Ｃは、CC
Dビデオカメラ２３がとらえた画像をリアルタイムで受
け取り、逐次その画像の２値化処理と文字領域抽出処理
を行って、文字認識エンジン８９に、その文字領域抽出
処理された２値化画像を送ったり、CCDビデオカメラ２
３がとらえた画像、文字抽出領域、文字認識結果などを
GUIを使って効果的に表示したり、認識結果に応じて、
その他のアプリケーションプログラムへの連動処理など
を行う。

【００２７】一方、外部バス５５側のハードディスクド
ライブ（HDD）５６には、OS（基本プログラムソフトウ
ェア）５６Ａ、オートパイロットプログラム５６Ｂ、お
よびファインダアプリケーション５６Ｃが記憶されてい
る。

【００２８】ハードディスクドライブ５６には、この
他、電子メールプログラム５６Ｄ、インターネットブラ
ウザプログラム５６Ｅ、ワードプロセッサプログラム５
６Ｆ、翻訳プログラム５６Ｇなどのアプリケーションプ
ログラムが記憶されている。

【００２９】電子メールプログラム５６Ｄは、電話回線
のような通信回線等からネットワーク経由で通信文を授
受するプログラムである。電子メールプログラム５６Ｄ
は、特定機能としての着信メール取得機能を有してい
る。この着信メール取得機能は、メールサーバ９３に対
してそのメールボックス９３Ａ内に自分（利用者）宛の
メールが着信しているかどうかを確認して、自分宛のメ
ールがあれば取得する処理を実行する。

【００３０】インターネットブラウザプログラム５６Ｅ
は、例えば、ネットスケープ社（商号）のネットスケー
プ（商標）のように、インターネット９２を介して、他
の情報処理装置と通信する機能を実行する。

【００３１】ワードプロセッサプログラム５６Ｆは、例
えば、一太郎（商標）、ワード（商標）などのように、
日本語あるいは英語などのワードプロセス処理を実行す
る。翻訳プログラム５６Ｇは、日本語を英語に、あるい
はその逆に、英語を日本語に翻訳する処理を実行する。

【００３２】I/Oコントローラ５７は、マイクロコント
ローラ６１を有し、このマイクロコントローラ６１には
I/Oインタフェース６２が設けられている。このマイク
ロコントローラ６１はI/Oインタフェース６２、CPU６
３、RAM６４、ROM６９が相互に接続されて構成されてい
る。このRAM６４は、キー入力ステイタスレジスタ６
５、LED（発光ダイオード）制御レジスタ６６、設定時
刻レジスタ６７、レジスタ６８を有している。設定時刻
レジスタ６７は、ユーザが予め設定した時刻（起動条
件）になると起動シーケンス制御部７６の動作を開始さ
せる際に利用される。レジスタ６８は、予め設定された
操作キーの組み合わせ（起動条件）と、起動すべきアプ
リケーションプログラムの対応を記憶するもので、その
記憶された操作キーの組み合わせがユーザにより入力さ
れると、その記憶されたアプリケーションプログラム
（例えば電子メールプログラム５６Ｄ）が起動されるこ
とになる。

【００３３】キー入力ステイタスレジスタ６５は、ワン
タッチ操作用のプログラマブルパワーキー（PPK）９が
押されると、操作キーフラグが格納されるようになって
いる。LED制御レジスタ６６は、レジスタ６８に記憶さ
れたアプリケーションプログラム（電子メールプログラ
ム５６Ｄ）の立上げ状態を表示するメッセージランプML
の点灯を制御するものである。設定時刻レジスタ６７
は、所定の時刻を任意に設定することができるものであ
る。

【００３４】なお、このマイクロコントローラ６１には
バックアップ用のバッテリ７４が接続されており、各レ
ジスタ６５，６６，６７の値は、本体２の電源がオフと
されている状態においても保持されるようになってい
る。

【００３５】マイクロコントローラ６１内のROM６９の
中には、ウェイクアッププログラム７０、キー入力監視
プログラム７１、LED制御プログラム７２が予め格納さ
れている。このROM６９は、例えばEEPROM（electricall
y erasable and programmable read only memory）で構
成されている。このEEPROMはフラッシュメモリとも呼ば
れている。さらにマイクロコントローラ６１には、常時
現在時刻をカウントするRTC（Real-Time Clock）７５が
接続されている。

【００３６】ROM６９の中のウェイクアッププログラム
７０は、RTC７５から供給される現在時刻データに基づ
いて、設定時刻レジスタ６７に予め設定された時刻にな
ったかどうかをチェックして、設定された時刻になる
と、所定の処理（またはプログラム）等の起動をするプ
ログラムである。キー入力監視プログラム７１は、PPK
９が利用者により押されたかどうかを常時監視するプロ
グラムである。LED制御プログラム７２は、メッセージ
ランプMLの点灯を制御するプログラムである。

【００３７】ROM６９には、さらにBIOS（Basic Input/O
utput System）７３が書き込まれている。このBIOSと
は、基本入出力システムのことをいい、OSやアプリケー
ションソフトウェアと周辺機器（ディスプレイ、キーボ
ード、ハードディスクドライブ等）の間でのデータの受
け渡し（入出力）を制御するソフトウェアプログラムで
ある。

【００３８】外部バス５５に接続されているキーボード
コントローラ５８は、キーボード４からの入力をコント
ロールする。トラックポイントコントローラ５９はトラ
ックポイント５の入力を制御する。

【００３９】サウンドチップ６０は、マイクロホン２４
からの入力を取り込み、あるいは内蔵スピーカ８に対し
て音声信号を供給する。

【００４０】モデム５０は、公衆電話回線９０、インタ
ーネットサービスプロバイダ９１を介して、インターネ
ット等の通信ネットワーク９２やメールサーバ９３等に
接続することができる。

【００４１】電源スイッチ４０は、電源をオンまたはオ
フするとき操作される。半押しスイッチ８５は、シャッ
タボタン１０が半押し状態にされたときオンされ、全押
しスイッチ８６は、シャッタボタン１０が全押し状態に
されたときオンされる。反転スイッチ８７は、撮像部２
２が１８０度回転されたとき（CCDビデオカメラ２３がL
CD２１の反対側を撮像する方向に回転されたとき）、オ
ンされるようになされている。

【００４２】次に、本発明のパーソナルコンピュータ１
において、ファインダアプリケーション５４Ｃが実行さ
れた場合の処理について説明する。このファインダアプ
リケーション５４Ｃが起動されている場合、ユーザは、
図１０に示すように、所定の文字が印刷された厚紙など
で構成されるカード状のオブジェクト１１１を、CCDビ
デオカメラ２３で撮像することで、パーソナルコンピュ
ータ１の動作を制御することができる。ファインダアプ
リケーション５４Ｃの処理について、図１１および図１
２のフローチャートを参照して説明する。

【００４３】最初にステップＳ１において、ファインダ
アプリケーション５４Ｃは、グラフィックチップ８１を
制御し、GUI（Graphical User Interface）を作成し、
表示させる。グラフィックチップ８１は、ファインダア
プリケーション５４Ｃからの指令に対応して、GUIの画
像データを作成し、VRAM８１Ａに描画する。VRAM８１Ａ
の画像データはそこから読み出され、LCDコントローラ
８３を介して、LCD２１に出力され、表示される。これ
により、例えば図１３に示すようなファインダアプリケ
ーションのGUIがLCD２１に表示される。このGUIにおい
ては、CCDビデオカメラ２３が撮像した画像を表示する
対象画像表示部２４１と、後述するようにして文字認識
エンジン８９により文字認識がなされた結果の履歴を表
示する認識履歴表示部２４２が設けられている。

【００４４】次にステップＳ２において、ファインダア
プリケーション５４Ｃは、CCDビデオカメラ２３（より
具体的には、そのドライバ）から画像データを受信した
か否かを判定し、受信していない場合には、受信するま
で待機する。画像データを受信した場合、ステップＳ３
に進み、ファインダアプリケーション５４Ｃは、その画
像をGUI上に表示させる。即ち、CCDビデオカメラ２３に
より撮像されたオブジェクト１１１の画像は、処理部８
２により、所定の処理が施された後、グラフィックチッ
プ８１に供給される。グラフィックチップ８１は、この
画像データをVRAM８１ＡのGUIの対象画像表示部２４１
に対応する部分に描画する。このVRAM８１Ａに描画され
ている画像データが読み出され、LCDコントローラ８３
を介して、LCD２１に表示されるので、図１３に示すよ
うに、対象画像表示部２４１にCCDビデオカメラ２３で
撮像した画像が動画像として表示される。また、CCDビ
デオカメラ２３で撮像した画像のデータは、文字認識の
ための領域（文字領域）を抽出するために、RAM５４に
も記憶される。

【００４５】ステップＳ４において、ファインダアプリ
ケーション５４Ｃは、ユーザにより文字領域が指定され
たか否かを判定する。文字領域が指定されていない場合
には、ステップＳ５に進み、ファインダアプリケーショ
ン５４Ｃは、RAM５４に記憶されている１フレーム分の
画像のうちの所定の範囲を文字領域として抽出する。そ
して、ステップＳ６において、ファインダアプリケーシ
ョン５４Ｃは、抽出された文字領域の画素データを文字
認識エンジン８９に転送し、文字認識させる。文字認識
エンジン８９は、各種の文字のパターンを予め記憶して
おり、そのパターンと転送されてきた文字領域の範囲の
画素データとを比較し、文字が含まれているか否かを認
識する。そして、文字認識エンジン８９は、認識した結
果（文字）をファインダアプリケーション５４Ｃに出力
する。

【００４６】このように、通常、ファインダアプリケー
ション５４Ｃは、各フレームの画像に対する文字認識処
理を、連続的に実行するが、ユーザが、トラックポイン
ト５などを操作することで、文字領域を指定することも
可能である。ユーザにより、文字領域が指定された場合
には、ステップＳ５の処理はスキップされ、その指定さ
れた文字領域の範囲において、文字認識エンジン８９に
より文字認識処理が実行される。

【００４７】ステップＳ７において、ファインダアプリ
ケーション５４Ｃは、文字認識エンジン８９の出力に基
づいて、文字が認識されたか否かを判定し、認識されて
いない場合には、ステップＳ２に戻り、それ以降の処理
を繰り返し実行する。

【００４８】ステップＳ７において、文字が認識された
と判定された場合、ステップＳ８に進み、ファインダア
プリケーション５４Ｃは、文字が検出されたその文字領
域の範囲を示す枠をGUIに表示させる。即ち、このと
き、ファインダアプリケーション５４Ｃは、グラフィッ
クチップ８１を制御し、GUIの対象画像表示部２４１内
の文字が認識された文字領域を抽出枠２５１で表示させ
る。これにより、ユーザは、どこの領域の画像から文字
が認識されたのかを知ることができる。さらに、ステッ
プＳ９において、ファインダアプリケーション５４Ｃ
は、文字認識エンジン８２より供給された文字認識結果
（文字）２５２を、抽出枠２５１の下に表示させる。な
お、このとき、文字の認識結果として、複数の候補が存
在する場合には、その候補も同時に表示される。ユーザ
は、トラックポイント５などを操作することで、文字認
識結果２５２の中から正しい文字を選択したり、既に正
しい文字が１つ表示されている場合には、その認識結果
を確定させるための入力操作を行う。文字認識結果２５
２の近傍に、それが認識された範囲を示す抽出枠２５１
が表示されるので、ユーザは、その認識結果が正しいも
のであるか否かを、迅速かつ確実に判断することができ
る。

【００４９】そこで、ステップＳ１０において、ファイ
ンダアプリケーション５４Ｃは、認識結果が正しいとの
確定入力がなされたか否かを判定し、確定入力がなされ
ない場合には、ステップＳ２に戻り、それ以降の処理を
繰り返し、実行する。

【００５０】正しい認識結果の確定入力がなされた場合
には、ステップＳ１１において、ファインダアプリケー
ション５４Ｃは、RAM５４またはハードディスクドライ
ブ５６内のエディットボックスとヒストリボックスに、
確定された文字認識結果をコピーさせる。エディットボ
ックスに登録された文字認識結果は、後に適宜これを読
み出して利用することができる。

【００５１】次に、ステップＳ１２において、ファイン
ダアプリケーション５４Ｃは、ヒストリボックス内の内
容を読み出し、GUIの認識履歴表示部２４２に表示させ
る。その結果、認識履歴表示部２４２には、図１３に示
すように、文字認識結果の履歴が表示される（認識され
た文字が順番に表示される）。

【００５２】ファインダアプリケーション５４Ｃは、さ
らに、ステップＳ１３において、認識履歴表示部２４２
に表示されている文字認識結果の中から、所定のものが
選択されたか否かを判定する。すなわち、ユーザは、認
識履歴表示部２４２に表示されている文字の中から所定
のものを、トラックポイント５などを操作することで選
択することができる。少なくとも１つの文字認識結果が
選択された場合には、ステップＳ１４に進み、ファイン
ダアプリケーション５４Ｃは、選択された文字列が一般
の単語であるか否かを判定する。一般の単語とは、例え
ば、その文字列が、アプリケーションプログラムの名
称、URL（Uniform Resource Locator）、電子メールア
ドレスなどはないことを意味する。この場合には、ファ
インダアプリケーション５４Ｃは、ステップＳ１５に進
み、認識履歴表示部２４２（または対象画像表示部２４
１）に所定のメッセージを表示させる。例えば、いま選
択された認識結果（文字）が「PATENT」である場合、
「PATENTを翻訳しますか」のようなメッセージが、ＹＥ
ＳのボタンおよびＮＯのボタンとともに、認識履歴表示
部２４２に表示される。ユーザは、翻訳を行うとき、例
えばトラックポイント５を操作することでＹＥＳのボタ
ンを選択し、翻訳を行わないとき、ＮＯのボタンを選択
する。

【００５３】そこで、ステップＳ１６において、ファイ
ンダアプリケーション５４Ｃは、ＹＥＳのボタンが操作
されたか否かを判定し、操作された場合には、ステップ
Ｓ１７に進み、翻訳プログラム５６Ｇをハードディスク
ドライブ５６からRAM５４に転送して起動させ、選択さ
れた文字列（単語）を翻訳させる。

【００５４】ステップＳ１４において、選択された文字
列が一般の単語ではないと判定された場合（アプリケー
ションプログラムの名称であったり、URLあるいは電子
メールアドレスである場合）、ステップＳ１８に進み、
ファインダアプリケーション５４Ｃは、その選択された
文字列に対応する処理を実行する。例えば、その文字列
がワードプロセッサプログラム５６Ｆの名称である場合
には、そのアプリケーションプログラムが起動される。
URLまたは電子メールアドレスである場合には、インタ
ーネットブラウザプログラム５６Ｅや電子メールプログ
ラム５６Ｄが起動され、そのアドレスにアクセスが行わ
れる。

【００５５】ステップＳ１３において、文字認識結果が
選択されていないと判定された場合、またはステップＳ
１６において、ＮＯのボタンが選択されたと判定された
場合、処理は終了される。

【００５６】このように、ユーザは、翻訳したい文字列
が印刷されているオブジェクト１１１をCCDビデオカメ
ラ２３に撮像させるだけで、翻訳プログラムを起動し、
その翻訳をさせることが可能となる。

【００５７】ファインダアプリケーション５４Ｃにより
起動された翻訳プログラム５６Ｇは、図１４のフローチ
ャートに示すような処理を実行する。即ち、最初にステ
ップＳ３１において、翻訳プログラム５６Ｇは、ファイ
ンダアプリケーション５４Ｃから転送されてきた文字列
を受信する。この文字列は、ユーザが認識履歴表示部２
４２に表示されている文字認識結果の中から選択した文
字列である。

【００５８】次にステップＳ３２に進み、翻訳プログラ
ム５６Ｇは、ステップＳ３１で受信した文字列を翻訳
し、これを認識履歴表示部２４２または対象画像表示部
２４１に表示させる。

【００５９】以上においては、ステップＳ１４におい
て、選択された文字列が一般の単語であるか否かを判定
するようにしたが、選択された文字列に対して、常に翻
訳処理を実行する場合には、ステップＳ１４とＳ１８の
処理は省略することができる。

【００６０】また、翻訳プログラム５６Ｇに代えて、文
字列を平易な説明文に変換する国語辞書や専門用語辞書
プログラム、さらには文字列を関連する静止画や動画や
音声に変換するマルチメディア百科辞典プログラムを適
用することも可能である。これにより、例えば、難しい
専門用語などを、平易な文章で説明したり、画像や音声
で分かり易く説明することが可能となる。

【００６１】以上においては、本発明を携帯型パーソナ
ルコンピュータに応用した場合を例として説明したが、
本発明は、デスクトップ型のパーソナルコンピュータ、
その他の情報処理装置にも応用することが可能である。

【００６２】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００６３】

【発明の効果】以上の如く、請求項１に記載の情報処理
装置、請求項３に記載の情報処理方法、および請求項４
に記載の提供媒体によれば、撮像された画像を文字認識
処理し、その認識結果と、予め登録されている文字列と
の比較結果に基づいて、翻訳など、関連する他の情報へ
変換するようにしたので、操作に不慣れなユーザでも、
簡単かつ確実に、各種言語間の翻訳や国語辞書の辞書引
きを行うことが可能となる。

【図面の簡単な説明】

【図１】１次元バーコードの例を示す図である。

【図２】２次元バーコードの例を示す図である。

【図３】本発明を適用した携帯型パーソナルコンピュー
タの構成例を示す斜視図である。

【図４】図３の携帯型パーソナルコンピュータの表示部
を開いた状態の平面図である。

【図５】図３の携帯型パーソナルコンピュータの表示部
を閉じた状態の左側面図である。

【図６】図３の携帯型パーソナルコンピュータの表示部
を開いた状態の右側面図である。

【図７】図３の携帯型パーソナルコンピュータの表示部
を閉じた状態の正面図である。

【図８】図３の携帯型パーソナルコンピュータの表示部
を開いた状態の底面図である。

【図９】図３の携帯型パーソナルコンピュータの内部の
構成例を示すブロック図である。

【図１０】図３の携帯型パーソナルコンピュータの使用
状態を示す斜視図である。

【図１１】図３の携帯型パーソナルコンピュータの動作
を説明するフローチャートである。

【図１２】図３の携帯型パーソナルコンピュータの動作
を説明するフローチャートである。

【図１３】GUIの表示例を示す図である。

【図１４】翻訳プログラムの処理を説明するフローチャ
ートである。

【符号の説明】

１ 携帯型パーソナルコンピュータ， ２ 本体， ３
表示部， ２１ LCD， ２３ CCDビデオカメラ，
５２ CPU， ５４ RAM， ５４Ｃ ファインダアプリ
ケーション， ５６Ｄ 電子メールプログラム， ５６
Ｅ インターネットブラウザプログラム， ５６Ｆ ワ
ードプロセッサプログラム， ５６Ｇ翻訳プログラム，
８９ 文字認識エンジン

───────────────────────────────────────────────────── フロントページの続き (72)発明者 末吉 隆彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B064 BA01 CA08 EA12 FA04 FA05 5B091 AA03 CA21 CB09 5E501 AA02 AB16 AC31 BA05 CA04 CB08 CB14 DA17 DA20 EA05 EA10 FA03 FA13 FA14

Claims (4)

【特許請求の範囲】
1. 【請求項１】 供給された文字列を関連する他の情報に
   変換する変換手段と、 被写体を撮像する撮像手段と、 前記撮像手段により撮像された画像のデータに基づい
   て、文字認識処理を行う文字認識手段と、 前記文字認識手段による認識結果と、予め登録されてい
   る文字列とを比較する比較手段と、 前記比較手段の比較結果に基づいて前記変換手段を制御
   する制御手段とを備えることを特徴とする情報処理装
   置。
2. 【請求項２】 前記変換手段は、供給された特定言語の
   文字列を他の言語の文字列に翻訳する翻訳アプリケーシ
   ョンプログラムであり、 前記制御手段は、前記比較手段の比較結果に基づいて前
   記翻訳アプリケーションプログラムに、前記文字認識手
   段による認識結果を翻訳させることを特徴とする請求項
   １に記載の情報処理装置。
3. 【請求項３】 供給された文字列を関連する他の情報に
   変換する変換処理ステップと、 被写体を撮像する撮像処理ステップと、 前記撮像処理ステップで撮像された画像のデータに基づ
   いて、文字認識処理を行う文字認識処理ステップと、 前記文字認識処理ステップにおける認識結果と、予め登
   録されている文字列とを比較する比較処理ステップと、 前記比較処理ステップにおける比較結果に基づいて、前
   記変換処理ステップの処理を制御する制御処理ステップ
   とを備えることを特徴とする情報処理方法。
4. 【請求項４】 供給された文字列を関連する他の情報に
   変換する変換処理ステップと、 被写体を撮像する撮像処理ステップと、 前記撮像処理ステップで撮像された画像のデータに基づ
   いて、文字認識処理を行う文字認識処理ステップと、 前記文字認識処理ステップにおける認識結果と、予め登
   録されている文字列とを比較する比較処理ステップと、 前記比較処理ステップにおける比較結果に基づいて、前
   記変換処理ステップの処理を制御する制御処理ステップ
   とを含む処理を情報処理装置に実行させるコンピュータ
   が読み取り可能なプログラムを提供することを特徴とす
   る提供媒体。