JPH11338971A

JPH11338971A - 撮影装置及び方法及び記憶媒体

Info

Publication number: JPH11338971A
Application number: JP10147555A
Authority: JP
Inventors: Takanari Ueda; 隆也上田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-05-28
Filing date: 1998-05-28
Publication date: 1999-12-10

Abstract

(57)【要約】【課題】遠くにある看板などを読み上げる。【解決手段】カメラ３６で遠くの看板などを撮影す
る。テキスト領域抽出手段１０が、その撮影画像からテ
キストイメージを抽出し、文字認識手段１６が文字認識
し、テキスト方向判定手段２６が、辞書２０とマッチン
グ及びスコア比較にるいテキスト方向を判定する。カメ
ラ制御回路３４が判定されたテキスト方向にカメラ３６
を走査し、逐次、テキスト・イメージを取り込む。取り
込まれたテキスト・イメージは文字認識手段１６により
文字認識され、テキスト保持手段２８により保持され
る。音声合成手段３０は、音声合成により、保持手段２
８に保持されるテキストの音声を生成し、スピーカ３２
に印加する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影装置及び方法
並びに記憶媒体に関する。

【０００２】

【従来の技術】撮影方向、フォーカス、絞り及び倍率な
どを遠隔制御自在なカメラをネットワーク又はシリアル
ケーブル等を介してコンピュータに接続し、コンピュー
タからの制御指令によって、カメラを自在にパン又はチ
ルトさせ、所望の被写体を撮影することを可能にするカ
メラ制御システムは周知である。

【０００３】このような装置を利用して、遠隔地にある
テキスト（看板及びパネル等）を撮影、それも拡大撮影
することができる。テキストの書かれている面の大きさ
が撮影可能範囲を越える場合は、テキストの書かれてい
る方向に応じてカメラをパン又はチルトさせることによ
り、テキスト全体をコンピュータのモニタ画面上で読む
ことができる。

【０００４】

【発明が解決しようとする課題】従来例では、ユーザ自
身がモニタ画面を見ながら、テキストが縦方向に書かれ
ている場合（縦書き）は上から下にカメラをチルトさ
せ、テキストが横方向に書かれている場合（横書き）は
左から右にパンさせる必要があった。

【０００５】撮影されたテキスト中の文字部分を文字認
識技術によって認識し、得られた文字列を音声合成によ
って合成音声で読み上げるという応用も考えられるが、
この場合も、ユーザがカメラを適切な方向に遠隔操作し
なければならない。

【０００６】本発明は、このような面倒を解消すべくな
されたものであり、テキストの書かれている方向を判断
して、その方向に自動的にカメラをパン又はチルトさせ
る撮影装置及び方法並びに、その方法を実行するプログ
ラム・ソフトウエアを記憶する記憶媒体を提示すること
を目的とする。

【０００７】

【課題を解決するための手段】本発明に係る撮影装置
は、テキストの書かれている領域を抽出するテキスト領
域抽出手段と、前記テキスト領域抽出手段によって抽出
された領域を保持するテキスト領域保持手段と、撮影さ
れたテキストのイメージを保持するテキストイメージ保
持手段と、前記テキストイメージ保持手段に保持された
テキストイメージから文字を切り出し、文字認識する文
字認識手段と、前記文字認識結果を保持する認識結果保
持手段と、単語の一覧を持つ辞書と、前記認識結果保持
手段に保持された縦方向と横方向の認識結果と前記辞書
のマッチングを行なう辞書マッチング手段と、前記辞書
マッチング手段によるマッチング結果から縦方向と横方
向のスコアを比較するスコア比較手段と、前記スコア比
較手段の結果によってテキストの方向を判定するテキス
ト方向判定手段と、カメラをパン若しくはチルトさせる
コマンドを生成するカメラ制御手段と、前記認識結果保
持手段に保持された認識結果をまとめてテキストとして
保持するテキスト保持手段と、前記テキスト保持手段に
保持されたテキストから合成音声を生成する音声合成手
段とを備え、テキストの方向を判定し、その方向にカメ
ラの動きを制御することによって、書かれているテキス
トを読み上げるようにしたことを特徴とする。

【０００８】本発明に係る撮影方法は、撮影画像からテ
キストの書かれている領域を抽出し、抽出されたテキス
ト・イメージを記憶手段に格納するテキスト・イメージ
抽出ステップと、前記記憶手段に保持されたテキスト・
イメージから文字を切り出して文字認識し、認識結果保
持手段に保持させる文字認識ステップと、前記認識結果
保持手段に保持された縦方向と横方向の認識結果と、単
語の一覧を持つ辞書とをマッチングする辞書マッチング
・ステップと、前記辞書マッチング・ステップによるマ
ッチング結果から縦方向と横方向のスコアを比較するス
コア比較ステップと、前記スコア比較ステップの結果に
よってテキストの方向を判定するテキスト方向判定ステ
ップと、カメラの向きを変更するコマンドを生成するカ
メラ制御ステップと、前記認識結果保持手段に保持され
た認識結果をまとめたテキストから合成音声を生成する
音声合成ステップとを備え、テキストの方向を判定し、
その方向にカメラの動きを制御することによって、書か
れているテキストを読み上げるようにしたことを特徴と
する。

【０００９】本発明に係る撮影装置は、テキストを含む
被写体を撮影する撮像手段と、当該撮像手段の撮影方向
を制御して、当該テキストの全体を撮影できるように走
査する撮影方向制御手段と、テキスト・イメージを文字
コードに変換する文字認識手段と、当該撮像手段の撮影
画像からテキスト部分を抽出し、テキスト方向を判定す
るテキスト方向判定手段と、当該テキスト方向判定手段
の判定結果に従い当該撮像手段の撮影画像に含まれるテ
キストイメージから文字列を抽出する文字列抽出手段
と、当該文字列抽出手段により抽出された文字列を出力
する出力手段とを具備することを特徴とする。

【００１０】本発明に係る撮影方法は、テキストを含む
被写体を撮影する撮像手段の撮影画像から当該テキスト
の書かれている領域を抽出し、文字認識し、辞書とのマ
ッチングによりテキスト方向を判定するテキスト方向判
定ステップと、当該テキスト方向判定ステップにより判
定されたテキスト方向に、当該撮像手段の撮影方向を逐
次的に制御して、当該テキストの全体を撮影できるよう
に走査する走査ステップと、当該走査ステップにより得
られる当該撮像手段の撮影画像からテキスト部分を抽出
し、文字認識し、当該テキスト方向判定ステップにより
判定されたテキスト方向の文字列とする認識ステップ
と、当該認識ステップの認識結果を出力する出力ステッ
プとを具備することを特徴とする。

【００１１】本発明に係る撮影方法はまた、テキストを
含む被写体を撮影する撮像手段の撮影画像から当該テキ
ストの書かれている領域を抽出し、文字認識し、辞書と
のマッチングによりテキスト方向を判定するテキスト方
向判定ステップと、当該撮像手段の撮影方向を逐次的に
制御して、当該テキストの全体を撮影できるように走査
する走査ステップと、当該走査ステップにより得られる
当該撮像手段の撮影画像からテキスト部分を抽出し、文
字認識し、当該テキスト方向判定ステップにより判定さ
れたテキスト方向の文字列とする認識ステップと、当該
認識ステップの認識結果を出力する出力ステップとを具
備することを特徴とする。

【００１２】本発明に係る記憶媒体には、上述の撮影方
法を実行するプログラム・ソフトウエアを外部読み出し
自在に記憶される。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１４】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は、テキストの書かれている領域を
抽出するテキスト領域抽出手段、１２はテキスト領域抽
出手段１０によって抽出されたテキスト領域を保持する
テキスト領域保持手段、１４は撮影画像中の、テキスト
・イメージ部分を保持するテキスト・イメージ保持手
段、１６はテキスト・イメージ保持手段１４に保持され
たテキスト・イメージから文字を切り出し、文字認識す
る文字認識手段、１８は文字認識手段１６による文字認
識結果を保持する認識結果保持手段である。

【００１５】２０は単語の一覧を具備する辞書、２２
は、認識結果保持手段１８に保持されたＸ方向及びＹ方
向の認識結果と辞書２０の単語とを照合する辞書マッチ
ング手段、２４は辞書マッチング手段２２でのマッチン
グ結果からＸ方向とＹ方向のスコアを比較するスコア比
較手段、２６は、スコア比較手段２４の比較結果からテ
キストの方向を判定するテキスト方向判定手段、２８は
認識結果保持手段１８に保持された認識結果をまとめて
テキストとして保持するテキスト保持手段、３０はテキ
スト保持手段２８に保持されたテキストから合成音声を
生成する音声合成手段、３２は、音声合成手段３０によ
り合成された音声を出力するスピーカである。

【００１６】３４は、カメラ３６をパン又はチルトさせ
る制御コマンドを生成してカメラ３６を制御するカメラ
制御回路である。

【００１７】図２は、本実施例のハードウエア構成の概
略ブロック図を示す。４０はカメラ３６を制御するカメ
ラ制御装置である。

【００１８】カメラ制御装置４０の構成を説明する。４
２は全体を統括し、テキスト領域抽出手段１０、文字認
識手段１６、辞書マッチング手段２２、スコア比較手段
２４、テキスト方向判定手段２６及び音声合成手段３０
に対応するプログラムを実行するＣＰＵである。４４は
メモリであり、テキスト領域保持手段１２、テキストイ
メージ保持手段１４、認識結果保持手段１８、テキスト
保持手段２８及び上記プログラムの動作に必要な記憶領
域を提供する。４６はＲＯＭであり、後述する手順を実
現するプログラム及び固定データを保持する。４８はデ
ィスク装置であり、辞書２０が格納されている。５０は
マウス及びキーボード等からなる入力装置である。５２
は、カメラ３６からの映像信号を取り込む映像入力イン
タフェース、５４はカメラ３６との間でコマンド及びス
テータス情報等をやり取りするコマンド・インターフェ
ースである。

【００１９】カメラ３６は、撮影した画像の映像信号を
カメラ制御装置４０の映像入力インターフェース５２に
出力する映像出力インターフェース５６と、カメラ制御
装置４０のコマンド・インターフェース５４と接続する
コマンド・インターフェース５８を具備する。

【００２０】図３に示すフローチャートを参照して、本
実施例の動作を説明する。テキスト領域抽出手段１０
が、現在、カメラ３６で撮影している画面内でテキスト
領域を抽出する（Ｓ１）。カメラをパン／チルトさせな
がら、既知の手法によってテキスト領域を抽出する。テ
キスト領域保持手段１２が、抽出されたテキスト領域を
特定するＸ座標及びＹ座標を保持する。保持されたテキ
スト領域内の画像から文字を切り出してテキスト方向を
判定し（Ｓ２）、最終的に得られたテキストを読み上げ
る（Ｓ３）。Ｓ２の詳細を図４に、Ｓ３の詳細を図５に
示す。

【００２１】ここで、テキスト領域が、図６に例示する
ように、（Ｘ０，Ｙ０）と（Ｘ１，Ｙ１）で囲まれる矩
形領域６０であり、その中の矩形領域６２が、カメラ３
６の撮影領域になっているとする。撮影領域６２の大き
さはｘ方向にＬｘ、ｙ方向にＬｙであり、その右下の座
標が（ｘ０，ｙ０）であるとする。

【００２２】図４を参照して、テキスト方向判定処理
（Ｓ２）の詳細を説明する。カメラ３６をテキスト領域
中の特定の場所に向け、そのイメージをテキストイメー
ジ保持手段１４に保持する。なお、テキスト領域が撮影
領域よりも小さい場合は、テキスト領域を保持する。

【００２３】テキストイメージ保持手段１４に保持され
ているテキストイメージの中から、ｘ方向の文字列とｙ
方向の文字列を切り出す（Ｓ１２）。イメージの中から
文字列を切り出す手法については、一般にＯＣＲで使用
されているものを利用できる。

【００２４】切り出したｘ方向の文字列及びｙ方向の文
字列それぞれについて、文字認識手段１６が、文字認識
処理を実行する（Ｓ１３）。認識結果保持手段１８が認
識結果を保持する。

【００２５】辞書マッチング手段２２が、認識結果保持
手段１８に保持される認識結果と、辞書２０の登録語句
とをマッチングし、そのマッチング結果からスコアを算
出する（Ｓ１４）。スコアの算出方法には、例えば、認
識結果保持手段１８に保持される二文字以上の単語数を
スコアとするというような手法がとれる。

【００２６】得られたｘ方向のスコアとｙ方向のスコア
を比較し（Ｓ１５）、テキスト方向判定手段２６が、比
較結果によりテキスト方向を判定する（Ｓ１６）。ｘ方
向のスコアが高い場合は、テキスト方向をｘ方向とし、
ｙ方向のスコアが高い場合は、テキスト方向をｙ方向と
する。

【００２７】ここで、テキストイメージが図７のような
テキストイメージを例に、テキスト方向判定の処理を具
体的に説明する。６４は抽出されたｘ方向の文字列、６
６は抽出されたｙ方向の文字列である。それぞれについ
て、辞書２０とのマッチングを行ない、二文字以上の単
語数を調べると、図８のようになる。即ち、ｘ方向には
単語がないのでスコアは０であるのに対し、ｙ方向には
２つの単語（「保持」及び「存在する」）があるので、
スコアは２となる。これにより、テキスト方向はｙ方向
と判定される。

【００２８】図５を参照して、テキスト読み上げ処理
（Ｓ３）を詳細に説明する。先ず、カメラ３６の向きを
初期化する（Ｓ２１）。図６に示す例では、テキスト方
向がｘ方向の場合には、撮影領域６２の左下隅の座標
（ｘ０，ｙ０）に（Ｘ０，Ｙ１−Ｌｙ）を代入する。テ
キスト方向がｙ方向の場合、撮影領域６２の左下隅の座
標（ｘ０，ｙ０）に（Ｘ１−Ｌｘ，Ｙ１−Ｌｙ）を代入
する。

【００２９】現在撮影されている領域のイメージをテキ
ストイメージ保持手段１４に保持し、その中から１行分
の文字列を切り出す（Ｓ２２）。文字列を切り出す方向
は、テキスト方向判定処理（Ｓ２）の結果に従う。イメ
ージの中から文字列を切り出す手法としては、一般にＯ
ＣＲで行なわれているものを利用できる。

【００３０】文字認識手段１６が、切り出された文字列
を文字認識し（Ｓ２３）、テキスト保持手段２８が、認
識結果を保持する。

【００３１】現在の撮影領域６２の座標をテキスト領域
保持手段１２に保持されている座標と比較し、撮影領域
６２がテキスト領域６０の端まで来ているかどうかを調
べる（Ｓ２４）。具体的には、テキスト方向がｘ方向の
場合、ｘ０≦Ｘ１−Ｌｘかどうか、テキスト方向がｙ方
向の場合、ｙ０≦Ｙ０かどうかを調べる。

【００３２】撮影領域６２がテキスト領域６０の端まで
来ていない場合（Ｓ２４）、テキスト方向がｘ方向の場
合にはカメラ３６をｘ方向に、テキスト方向がｙ方向の
場合にはカメラ３６をｙ方向に移動させる（Ｓ２５）。
この際の移動量は、テキストがｘ方向の場合にはＬｘ、
ｙ方向の場合には−Ｌｘである。新しい撮影領域につい
て、Ｓ２２〜Ｓ２４を繰り返す。

【００３３】撮影領域６２がテキスト領域６０の端まで
来ている場合（Ｓ２４）、次のテキスト行を撮影できる
ようにカメラ３６を折り返す（Ｓ２６）。例えば、テキ
スト方向がｘ方向の場合、△Ｌｙをテキストの１行分の
高さ、テキスト方向がｙ方向の場合、△Ｌｘをテキスト
の１行分の幅とする。テキスト方向がｘ方向の場合、撮
影領域６２の左下隅の座標（ｘ０，ｙ０）に（Ｘ０，ｙ
０−△Ｌｙ）を代入し、テキスト方向がｙ方向の場合、
撮影領域６２の左下隅の座標（ｘ０，ｙ０）に（ｘ０−
△Ｌｘ，Ｙ１−Ｌｙ）を代入する。

【００３４】移動後の撮影範囲がテキスト領域６０の中
にあるかどうかを調べる（Ｓ２７）。即ち、テキスト方
向がｘ方向の場合、ｙ０≧Ｙ０−Ｌｙかどうか、テキス
ト方向がｙ方向の場合、ｘ０≧Ｘ０−Ｌｘかどうかを調
べる。テキスト領域が未だ残っている場合（Ｓ２７）、
Ｓ２２以降を繰り返す。テキスト領域が残っていない場
合（Ｓ２７）、音声合成手段３０が、テキスト保持手段
２８により保持されたテキストを音声合成し、生成され
た音声がスピーカ３２から出力される。

【００３５】上記実施例では、カメラ３６で撮影され、
文字認識されたテキストを音声合成によって読み上げる
が、そのテキストをディスプレイ装置に表示して、ユー
ザが目で読めるようにカメラ３６の向きを少しずつ移動
させるようにしてもよい。この場合、予め設定しておい
たスピードでカメラ３６が向きを変えるように制御コマ
ンドが生成される。勿論、カメラ３６の移動速度をユー
ザが自由に変更できるようにしてもよく、その場合で
も、カメラ３６の移動方向は上記実施例と同様に自動制
御される。

【００３６】上記実施例では、テキストを１行ずつ撮影
して文字認識するようにしたが、複数行同時に、又はテ
キストの全領域を撮影指定から文字認識するようにして
もよい。この場合には、カメラ３６の移動回数を減らせ
る。

【００３７】上記実施例では、全てのテキストを文字認
識してから音声合成処理を行なったが、文字認識できた
テキストから随時音声合成処理を行なうようにしてもよ
い。その際、音声合成を行なっている部分のテキストが
ディスプレイ装置に表示されているように、カメラの向
きの移動を制御するようにしてもよい。

【００３８】上記実施例では、接続されているカメラは
１台であったが、複数のカメラを接続し、どのカメラが
映しているテキストを読ませるかをユーザが選択できる
ような構成にしてもよい。

【００３９】上記実施例では、日本語を例にとったが、
その他の言語であっても同様に実施できる。この際、横
書きで右から左に書くような言語の場合は、横方向のカ
メラの移動の向きを、右から左にする。また、縦書きで
右から左に行が進むような言語の場合は、ステップＳ２
６の折り返しの際の移動を、左方向でなく、右方向にす
る。

【００４０】上記実施例では、日本語の横書きが左から
右に書かれることを想定したが、実際には右から左に書
く場合も存在する。これに対しては、辞書マッチング
（Ｓ１４）の際に、左から右に書かれていることを想定
した文字列でマッチングできなかった場合に、右から左
に書かれていることを想定した文字列で辞書マッチング
する。これでマッチングできた場合は、テキスト方向を
「ｙ方向（右から左）」と判定することによって対応で
きる。

【００４１】上記実施例では、辞書マッチングのスコア
計算に単語数を用いたが、これに限るものでなく、他の
スコア計算手法を用いてもよい。

【００４２】上記実施例では、各部を同一の計算機上で
構成する場合について説明したが、これに限定されるも
のではなく、ネットワーク上に分散した計算機や処理装
置などに分かれて各部を構成してもよい。

【００４３】上記実施例では、プログラムをＲＯＭに保
持する場合について説明したが、これに限定されるもの
ではなく、任意の記憶媒体を用いて実現してもよい。ま
た、同様の動作をする回路で実現してもよい。

【００４４】本発明は、複数の機器から構成されるシス
テムに適用しても、一つの機器（例えば複写機及びファ
クシミリ装置）からなる装置に適用してもよい。上述し
た実施例の機能を実現するように各種のデバイスを動作
させるべく当該各種デバイスと接続された装置又はシス
テム内のコンピュータに、上記実施例の機能を実現する
ためのソフトウェアのプログラムコードを供給し、その
装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）
を、格納されたプログラムに従って前記各種デバイスを
動作させることによって実施したものも、本願発明の範
囲に含まれる。

【００４５】この場合、前記ソフトウエアのプログラム
コード自体が、前述した実施例の機能を実現することに
なり、そのプログラムコード自体、及びそのプログラム
コードをコンピュータに供給するための手段、例えば、
かかるプログラムコードを格納した記憶媒体は、本発明
を構成する。かかるプログラムコードを格納する記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁
気テープ、不揮発性のメモリカード及びＲＯＭ等を用い
ることが出来る。

【００４６】また、コンピュータが供給されたプログラ
ムコードを実行することにより、前述の実施例の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）又は他のアプリケーションソフトウエア等と
共同して上述の実施例の機能が実現される場合にも、か
かるプログラムコードが本出願に係る発明の実施例に含
まれることは言うまでもない。

【００４７】更には、供給されたプログラムコードが、
コンピュータの機能拡張ボード又はコンピュータに接続
された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいて、その機能
拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実
際の処理の一部または全部を行い、その処理によって上
述した実施例の機能が実現される場合も、本出願に係る
発明に含まれることは言うまでもない。

【００４８】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、遠隔地にあるテキストを正しく且
つ簡単に読み上げることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略機能ブロック図であ
る。

【図２】本実施例のハードウエアの概略構成ブロック
図である。

【図３】本実施例の主ルーチンのフローチャートであ
る。

【図４】テキスト方向判定処理（Ｓ２）の詳細なフロ
ーチャートである。

【図５】テキスト読み上げ処理（Ｓ３）の詳細なフロ
ーチャートである。

【図６】テキスト領域と撮影領域の対応関係を示す模
式図である。

【図７】本実施例におけるテキスト方向判定処理の説
明図である。

【図８】図７に示す例に対するテキスト方向判定処理
の結果を示す図である。

【符号の説明】

１０：テキスト領域抽出手段１２：テキスト領域保持手段１４：テキスト・イメージ保持手段１６：文字認識手段１８：認識結果保持手段２０：辞書２２：辞書マッチング手段２４：スコア比較手段２６：テキスト方向判定手段２８：テキスト保持手段３０：音声合成手段３２：スピーカ３４：カメラ制御回路３６：カメラ４０：カメラ制御装置４２：ＣＰＵ４４：メモリ４６：ＲＯＭ４８：ディスク装置５０：入力装置５２：映像入力インタフェース５４：コマンド・インターフェース５６：映像出力インターフェース５８：コマンド・インターフェース６０：テキスト領域６２：撮影領域６４：ｘ方向の文字列６６：ｙ方向の文字列

Claims

【特許請求の範囲】

【請求項１】テキストの書かれている領域を抽出する
テキスト領域抽出手段と、前記テキスト領域抽出手段によって抽出された領域を保
持するテキスト領域保持手段と、撮影されたテキストのイメージを保持するテキストイメ
ージ保持手段と、前記テキストイメージ保持手段に保持されたテキストイ
メージから文字を切り出し、文字認識する文字認識手段
と、前記文字認識結果を保持する認識結果保持手段と、単語の一覧を持つ辞書と、前記認識結果保持手段に保持された縦方向と横方向の認
識結果と前記辞書のマッチングを行なう辞書マッチング
手段と、前記辞書マッチング手段によるマッチング結果から縦方
向と横方向のスコアを比較するスコア比較手段と、前記スコア比較手段の結果によってテキストの方向を判
定するテキスト方向判定手段と、カメラをパン若しくはチルトさせるコマンドを生成する
カメラ制御手段と、前記認識結果保持手段に保持された認識結果をまとめて
テキストとして保持するテキスト保持手段と、前記テキスト保持手段に保持されたテキストから合成音
声を生成する音声合成手段とを備え、テキストの方向を
判定し、その方向にカメラの動きを制御することによっ
て、書かれているテキストを読み上げるようにしたこと
を特徴とする撮影装置。
【請求項２】撮影画像からテキストの書かれている領
域を抽出し、抽出されたテキスト・イメージを記憶手段
に格納するテキスト・イメージ抽出ステップと、前記記憶手段に保持されたテキスト・イメージから文字
を切り出して文字認識し、認識結果保持手段に保持させ
る文字認識ステップと、前記認識結果保持手段に保持された縦方向と横方向の認
識結果と、単語の一覧を持つ辞書とをマッチングする辞
書マッチング・ステップと、前記辞書マッチング・ステップによるマッチング結果か
ら縦方向と横方向のスコアを比較するスコア比較ステッ
プと、前記スコア比較ステップの結果によってテキストの方向
を判定するテキスト方向判定ステップと、カメラの向きを変更するコマンドを生成するカメラ制御
ステップと、前記認識結果保持手段に保持された認識結果をまとめた
テキストから合成音声を生成する音声合成ステップとを
備え、テキストの方向を判定し、その方向にカメラの動
きを制御することによって、書かれているテキストを読
み上げるようにしたことを特徴とする撮影方法。
【請求項３】撮影画像からテキストの書かれている領
域を抽出し、抽出されたテキスト・イメージを記憶手段
に格納するテキスト・イメージ抽出ステップと、前記記憶手段に保持されたテキスト・イメージから文字
を切り出して文字認識し、認識結果保持手段に保持させ
る文字認識ステップと、前記認識結果保持手段に保持された縦方向と横方向の認
識結果と、単語の一覧を持つ辞書とをマッチングする辞
書マッチング・ステップと、前記辞書マッチング・ステップによるマッチング結果か
ら縦方向と横方向のスコアを比較するスコア比較ステッ
プと、前記スコア比較ステップの結果によってテキストの方向
を判定するテキスト方向判定ステップと、カメラの向きを変更するコマンドを生成するカメラ制御
ステップと、前記認識結果保持手段に保持された認識結果をまとめた
テキストから合成音声を生成する音声合成ステップとを
備え、テキストの方向を判定し、その方向にカメラの動
きを制御することによって、書かれているテキストを読
み上げるようにした撮影方法のプログラム・ソフトウエ
アを外部読み出し自在に記憶することを特徴とする記憶
媒体。
【請求項４】テキストを含む被写体を撮影する撮像手
段と、当該撮像手段の撮影方向を制御して、当該テキストの全
体を撮影できるように走査する撮影方向制御手段と、テキスト・イメージを文字コードに変換する文字認識手
段と、当該撮像手段の撮影画像からテキスト部分を抽出し、テ
キスト方向を判定するテキスト方向判定手段と、当該テキスト方向判定手段の判定結果に従い当該撮像手
段の撮影画像に含まれるテキストイメージから文字列を
抽出する文字列抽出手段と、当該文字列抽出手段により抽出された文字列を出力する
出力手段とを具備することを特徴とする撮影装置。
【請求項５】当該出力手段が、当該文字列抽出手段に
より抽出された文字列を音声に変換する音声合成手段
と、当該音声合成手段の出力を音声出力する音声出力手
段とからなる請求項４に記載の撮影装置。
【請求項６】当該出力手段が、当該文字列抽出手段に
より抽出された文字列を画面上に表示する表示手段であ
る請求項４に記載の撮影装置。
【請求項７】当該出力手段が、当該文字列抽出手段に
より抽出された文字列を音声に変換する音声合成手段
と、当該音声合成手段の出力を音声出力する音声出力手
段と、当該文字列抽出手段により抽出された文字列を画
面上に表示する表示手段とからなる請求項４に記載の撮
影装置。
【請求項８】当該撮影方向制御手段による撮影方向の
制御と、当該出力手段による文字列の出力とを同期して
実行する請求項４に記載の撮影装置。
【請求項９】当該撮影方向制御手段が、当該テキスト
方向判定手段により判定されたテキスト方向に従い方向
に当該撮像手段の撮影方向を制御する請求項４に記載の
撮影装置。
【請求項１０】テキストを含む被写体を撮影する撮像
手段の撮影画像から当該テキストの書かれている領域を
抽出し、文字認識し、辞書とのマッチングによりテキス
ト方向を判定するテキスト方向判定ステップと、当該テキスト方向判定ステップにより判定されたテキス
ト方向に、当該撮像手段の撮影方向を逐次的に制御し
て、当該テキストの全体を撮影できるように走査する走
査ステップと、当該走査ステップにより得られる当該撮像手段の撮影画
像からテキスト部分を抽出し、文字認識し、当該テキス
ト方向判定ステップにより判定されたテキスト方向の文
字列とする認識ステップと、当該認識ステップの認識結果を出力する出力ステップと
を具備することを特徴とする撮影方法。
【請求項１１】テキストを含む被写体を撮影する撮像
手段の撮影画像から当該テキストの書かれている領域を
抽出し、文字認識し、辞書とのマッチングによりテキス
ト方向を判定するテキスト方向判定ステップと、当該撮像手段の撮影方向を逐次的に制御して、当該テキ
ストの全体を撮影できるように走査する走査ステップ
と、当該走査ステップにより得られる当該撮像手段の撮影画
像からテキスト部分を抽出し、文字認識し、当該テキス
ト方向判定ステップにより判定されたテキスト方向の文
字列とする認識ステップと、当該認識ステップの認識結果を出力する出力ステップと
を具備することを特徴とする撮影方法。
【請求項１２】当該出力ステップが、当該認識ステッ
プにより得られた文字列を音声に変換する音声合成ステ
ップと、当該音声合成ステップの出力を音声出力する音
声出力ステップとからなる請求項１０又は１１に記載の
撮影方法。
【請求項１３】当該出力ステップが、当該認識ステッ
プにより得られた文字列を画面上に表示する表示ステッ
プを具備する請求項１０又は１１に記載の撮影方法。
【請求項１４】当該出力ステップが、当該認識ステッ
プにより得られた文字列を音声に変換する音声合成ステ
ップと、当該音声合成ステップの出力を音声出力する音
声出力ステップと、当該認識ステップにより得られた文
字列を画面上に表示する表示ステップを具備する請求項
１０又は１１に記載の撮影方法。
【請求項１５】当該走査ステップによる撮影方向の制
御と、当該出力ステップによる文字列の出力とを同期し
て実行する請求項１０又は１１に記載の撮影方法。
【請求項１６】テキストを含む被写体を撮影する撮像
手段の撮影画像から当該テキストの書かれている領域を
抽出し、文字認識し、辞書とのマッチングによりテキス
ト方向を判定するテキスト方向判定ステップと、当該テキスト方向判定ステップにより判定されたテキス
ト方向に、当該撮像手段の撮影方向を逐次的に制御し
て、当該テキストの全体を撮影できるように走査する走
査ステップと、当該走査ステップにより得られる当該撮像手段の撮影画
像からテキスト部分を抽出し、文字認識し、当該テキス
ト方向判定ステップにより判定されたテキスト方向の文
字列とする認識ステップと、当該認識ステップの認識結果を出力する出力ステップと
を具備する撮影方法を実行するプログラム・ソフトウエ
アを外部読み出し自在に記憶することを特徴とする記憶
媒体。
【請求項１７】テキストを含む被写体を撮影する撮像
手段の撮影画像から当該テキストの書かれている領域を
抽出し、文字認識し、辞書とのマッチングによりテキス
ト方向を判定するテキスト方向判定ステップと、当該撮像手段の撮影方向を逐次的に制御して、当該テキ
ストの全体を撮影できるように走査する走査ステップ
と、当該走査ステップにより得られる当該撮像手段の撮影画
像からテキスト部分を抽出し、文字認識し、当該テキス
ト方向判定ステップにより判定されたテキスト方向の文
字列とする認識ステップと、当該認識ステップの認識結果を出力する出力ステップと
を具備する撮影方法を実行するプログラム・ソフトウエ
アを外部読み出し自在に記憶することを特徴とする記憶
媒体。
【請求項１８】当該出力ステップが、当該認識ステッ
プにより得られた文字列を音声に変換する音声合成ステ
ップと、当該音声合成ステップの出力を音声出力する音
声出力ステップとからなる請求項１６又は１７に記載の
記憶媒体。
【請求項１９】当該出力ステップが、当該認識ステッ
プにより得られた文字列を画面上に表示する表示ステッ
プを具備する請求項１６又は１７に記載の記憶媒体。
【請求項２０】当該出力ステップが、当該認識ステッ
プにより得られた文字列を音声に変換する音声合成ステ
ップと、当該音声合成ステップの出力を音声出力する音
声出力ステップと、当該認識ステップにより得られた文
字列を画面上に表示する表示ステップを具備する請求項
１６又は１７に記載の記憶媒体。
【請求項２１】当該走査ステップによる撮影方向の制
御と、当該出力ステップによる文字列の出力とを同期し
て実行する請求項１６又は１７に記載の記憶媒体。