JPH0432960A - 読書処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は文書、書籍上の文字を認識し、認識結果に基づ
いて朗読音声を出力する読書処理装置に関するものであ
る。

〔従来技術〕

従来、この種の装置としては、電子情報通信学会技術研
究報告　信学技報Ｖｏ１．８７Ｎ０．３３４　１９８８
年１月２２日発行　Ｐ７９〜８６に開示されたものがあ
った。この装置は第２図に示すような構成であり、画像
入力部１で文書、書籍をページ単位で入力し、この入力
された画像に対して画像処理部２で傾き補正などの画像
処理を行ない、該画像処理部２から出力され文書画像文
字の切出し、認識を文字認識処理部３で行ない、その後
言語処理部４で言語処理を施し、音声合成部５で音声に
変換し、音声出力部６から音声を出力するようになって
いる。

〔発明が解決しようとする課題〕

しかしながら上記構成の従来の読書処理装置では、健常
者が文書、書籍を読む時、日常的に行なっている下記の
ような読み方の選択が不可能であった。例えば、読書対
象の文書、書籍が論文などの場合、 （１）１１名や執筆者などの書誌的事項を読む（２）要
約を証む （３）章２節等の題名を読む （４）参考文献を読む （５）上記を知った上で全文を読むか読まないかを判断
する。

また、盲人や肢体障害者などの障害者にとって良い読書
環境であるとは言えなかった。

本発明は上述の点に鑑みてなされたもので上記問題点を
除去するため、文書、書籍のカラーマーク部分の文章を
自由に選択して読み取ることができるようにし、晴眼者
が日常的に行なっている文書書籍の拾い読みに近い形の
読み方が出来、障害者の読書環境の向上に役立つ読書処
理装置を提供することを目的とする。

〔課題を解決するための手段〕

上記課題を解決するため本発明は　画像入力部と画像処
理部と文字認識部と言語処理部と音声合成部を有し、文
字認識結果に基づいて朗読音声を出力する読書処理装置
において、 画像入力部として、用紙上に記載されている文字０図形
、写真及び／又はマーク等の画像の濃淡及び色の一方又
は双方に応じた情報を出力する画像入力部を用い、 画像処理部として、所定の色特性と読書領域名称とを一
対の読書情報として設定するカラーコマンド設定部と、
音声対話処理によって読書領域名称を指定する読書モー
ド指定部と、該読書モード指定部で指定された読書領域
名称に基づいて読書情報の色特性を読取色特性として出
力する抽出モード切換部と、該読取色特性に基づいて文
書。

書籍上に記載されているマーク領域内の文書画像を抽出
する画像抽出部とを具備する画像処理部を用いたことを
特徴とする。

〔作用〕

本発明の読書処理装置は上記の如く画像入力部及び画像
処理部を構成するので、文書、書籍の所望の部分にカラ
ーマークを追記又は印刷し千おき、該文書、書籍のカラ
ーマーク部分の文章或いは全文を音声ガイダンス及び音
声認識で自由に選択できる読書処理装置となる。従って
、本読書処理装置を使用すると、製本業者が印刷を工夫
するか、健常者が一度追記マークを施した文書、書籍で
あれば、健常者が日常的に行なっている文書。

書籍の拾い読みに近い形の読み方ができるから、盲人や
肢体障害者等の障害者の読書環境の向上に役立つ、また
健常者において聴覚による読書環境の提供が可能となる
。

〔実施例〕

以下、本発明の一実施例を図面に基づいて説明する。

第１図は本発明の実施例である読書処理装置の構成を示
すブロック図である。図示するように、本読書処理装置
は、画像入力部１、画像処理部２、文字認識部３、言語
処理部４、音声合成部５及び音声出力部６から構成され
る。

画像処理部２はカラーコマンド設定部２１、読書モード
指定部２２、抽出モード切換部２３及び画像抽出部２４
から構成される。

また、カラーコマンド設定部２１は学習／読書モード切
換部２１１及びカラーコマンド学習部２１２を具備し、
読書モード指定部２２は音声入力部２２１、音声認識部
２２２及び読書モード設定部２２３を具備する。

画像入力部１は、第４図、第５図に示すような用紙を主
走査を水平方向（ＸＸ）、副走査を垂直方向（ＹＹ）と
して走査し、用紙上に記載されているマーク及び／又は
文書９図面の濃淡及び色の一方又は双方に応じた色情報
、例えば濃度多値レベル信号又はＲ（赤）、Ｇ（緑）、
Ｂ（青）の多値レベル信号を色情報としてカラーコマン
ド設定部２１へ出力する。

カラーコマンド設定部２１の学習／読書モード切換部２
１１は、図示しないスイッチ等によって学習モードと読
書モードとを切換える切換部であって、該学習／読書モ
ード切換部２１１の切換えが学習モードにある場合には
画像入力部１の出力をカラーコマンド学習部２１２に出
力すると共に、学習起動信号を出力する。また、切換え
が読書モードにある場合には、画像入力部１の出力を画
像抽出部２４に出力すると共に、画像抽出起動信号を出
力する。

カラーコマンド学習部２１２は、第４図に示すようなカ
ラーコマンド学習用紙の所定領域の色特性を学習し、当
該所定の領域に定義されている読書領域名称或いは前記
所定の領域に対応して記載きれている文字列から決まる
読書領域名称に対応する文字コード列と前記色特性とを
一対の読書情報として設定する。

前述のカラーコマンド設定部２１は画像入力部１から出
力されるカラーコマンド学習用紙上の色特性及び読書領
域名称を学習して読書情報を設定するように構成したが
、画像入力部１から出力きれる色情報を用いるのではな
く、予め定められた色特性と読書領域名称の中から選択
して読書情報を設定するように構成してもよい。

読書モード指定部２２は上記のように、音声入力部２２
１と音声認識部２２２で構成され、音声対話処理によっ
て所望の読書領域名称に対応する文字フード列を出力す
る。音声入力部２２１は読書希望者が発声する読書領域
名称、音声対話処理のための音声などを音声信号に変換
する。音声認識部２２２は前記音声信号を認識し、文字
コード列を出力する。

なお、音声認識部２２２は読書領域名称及び音声対話処
理に用いられる言葉を誤りなく認識するために音声認識
用パラメータを保有する。

読書モード設定部２２３は音声対話処理によって読書領
域名称を設定するために、下記の処理及び制御を行なう
。

■音声認識部２２２から出力される文字コード列と、対
話処理用の文字コード列との照合、■上記■の照合結果
に基づいて音声ガイダンスのための文字フード列を音声
合成部５へ出力、■音声認識部２２２から出力される文
字コード列と、カラーコマンド設定部２１に設定されて
いる読書領域名称に対応する文字コード列との照合、 ■上記■の照合結果に基づいて読書領域名称に対応する
文字コード列を出力する。

抽出モード切換部２３は、読書モード指定部２２から出
力される読書領域名称に対応する文字コード列に基づい
て前記読書情報の色特性を読取色特性として画像抽出部
２４に出力する。

画像抽出部２４は、前記読取色特性に基づいて文書、書
籍上に記載されているマーク領域内の文書画像を読書領
域画像として抽出する。

抽出された読書領域画像は従来技術と同様に傾き補正な
どの処理を経て１文字毎、文字画像を切り出す。

文字認識処理部３は切出きれた文字画像を順次認識し、
文字コード列を作成する。

音声合成部５は、前記文字コード列及び読書モード設定
部から出力される音声ガイダンス用の文字コード列を音
声波形信号に変換する。

音声出力部６は、前記音声合成部５からの音声波形信号
を音声に変換し、朗読音声及びガイダンス音声として出
力する。

第３図は文書、書籍上のマークを色毎に分類するための
原理を示す色特性の説明図であって、同図（ａ）はマー
クの色座標の範囲を示す色度図、同図（ｂ）はマークの
濃度範囲の説明図である。

第３図（ａ）に示す原理を用いる場合、画像入力部１に
は、例えばＲＧＢ系の濃度多値レベル信号を出力できる
カラースキャナが必要である。

第３図（ｂ）に示す原理を用いる場合、画像入力部１は
濃度多値レベル信号を出力できるモノクロスキャナ又は
上記カラースキャナが必要である。

第３図（ａ）の色度図は公知の方法により作成したもの
を概略的に示したものであって、ＲＧＢ系の濃度信号を
座標変換式（１）を用いてＸＹＺ系に変換し、 Ｘ　−２，７６８９Ｒ＋　１．７５１７　Ｇ　＋　１．
１３０２　ＢＹ　＝　　　　　Ｒ＋　４．５９０７　Ｇ
　＋　０．０６０１　ＢＺ＝　　　　　　　０．０５６
５Ｇ＋５．５９４３Ｂ　　　　（１）求められた、Ｘ、
Ｙ、Ｚをもとに式（２）を用いて色度座標ｘ、ｙを計算
し、 Ｘ雪Ｘ／（Ｘ＋Ｙ＋Ｚ） ｙ−ｙ／（ｘ＋ｙ＋ｚ）　　　　　　　　　（２）求め
られた色座標ｘ　＋　Ｖによる直交座標を用いたもので
ある。前記Ｘ、ｙは色相と彩度を表すものであり、Ｙは
明度を表わすものである。

上述のＲＧＢ系からＸＹＺ系への変換Ｃ＜（１）を用い
る〕色相と彩度を表わすｘ、ｙを求める計算〔式（２）
を用いる〕はそれぞれＲ，Ｇ、Ｂを入力し、ｘ、ｙ、ｚ
を出力するＲＯＭを用いて、及びＸ、Ｙ、Ｚを入力し、
ｘ　ｔ　３’を整数形式で出力するＲＯＭを用いて変換
することによって、計算時間が不要となり、処理の高速
化がはかれる。

第３図（ｂ）の場合、領域抽出対象の文書、書籍が白、
黒で表現されたものであって、文書、書籍上のマークの
濃度レベルが前記白、黒の濃度と重ならない濃度レベル
であって、前記マークの色が色毎に互いに重ならない濃
度レベルを持つ色を選択することによって色の分類が可
使となる。また、前記Ｙを同様に表現してもよい。

第４図はカラーコマンド学習用紙の例を示す図であって
、同図（ａ）は読書領域名称を記入するための文字記入
枠ｍ、１．と読書領域名称に対応するカラーマークを記
入するためのカラーコマンド記入枠ｍ３＋とで構成され
るカラーコマンドを垂直方向に並べたものである。

また、第４図（ｂ）は読書領域名称を記入するための文
字記入枠ｍ＊、、と読書領域名称に対応するカラーマー
クを記入するためのカラーコマンド記入枠を一体化した
カラーコマンドを垂直方向に並べたものである。

また、第４図（Ｃ）はカラーコマンド記入枠ｍＨの位置
によっ読書領域名称が一意的に決定されるものである。

第４図において、記入枠は黒で印刷されているものとす
る。

なお、前記記入枠の色、大きさ、形状、数及び位置関係
は第４図に限定きれるものではなく、読書領域名称は略
称であってもよい。

第４図において、カラーコマンド学習用紙に記載したマ
ークｇ１は赤、ｇ！は緑、ｇ、は青、ｇ４は黄とする。

第３図（ａ）には前記マークの色度図上での位置を概略
的に示している。

第５図は論文形式の文書の所望の読書領域に健常者が追
記マークを施した入力文書の例であって、ｍ、は書誌的
事項の領域に追記した赤（ｇ、）のカラーマーク、ｍ、
は要約の領域に追記した緑（ｇ、）のカラーマーク、ｍ
ｓｔ　、　ｍ、、は章、節の題名の領域に追記した青（
ｇ、）のカラーマークを示し、第４図のカラーコマンド
学習用紙の記入内容に対応して追記したものである。

次にカラーコマンド学習部２１２の処理について説明す
る。画像入力部１が第４図に示すカラーコマンド学習用
紙を主走査を水平方向（ＸＸ）、副走査方向（ＹＹ）と
して走査し、走査点がカラーコマンド記入枠ｍ、１或い
は第４図（ｂ）の文字記入枠ｍ、１．の領域内にあって
、画像入力部１の出力が有彩色と判定された場合には、
画像入力部１から出力されるＲ、Ｇ、Ｈの多値レベル信
号を前述の式（１）　、　（２）を用いて色座標ｘ、ｙ
に変換し、当該Ｘ　＋　３’を整数化したＸ％、ｙ％を
アドレスとするカラーマツプ上に読書領域名称番号を書
き込む。第４図（ａ）、（ｂ）に示すように読書領域名
称番号が決まっていない場合は、カラーコマンド記入枠
の位置順位、例えばＹＹ座標の昇順に付与した番号を用
いる。

前述の有彩色の判定は公知の方法、例えばＲ２Ｏ，Ｈの
信号レベルが各々異なっていることによって行なう。

次に、第４図（ａ）、（ｂ）に示すカラーコマンド学習
用紙のように読書領域名称を学習する場合には、文字記
入枠内の画像を抽出して、公知の文字認識手段を用いて
認識し、認識された文字列を読書領域名称とし、当該文
字記入枠に対応するカラーコマンド記入枠に対して付与
されている読書領域名称番号と読書領域名称と前述のカ
ラーマツプを読書情報として、カラーコマンド設定部２
１のカラーコマンド学習部２１２に登録する。

次に、読書モード指定部２２及び本読書処理装置を動作
させるための処理について第６図を用いて説明する。

なお、第６図において、「　」内のひらがなで示す部分
は読書希望者が発声する音声認識の対象の音声コマンド
であって、対話処理用の言葉と読書領域名称を示す。′
　」内のカタカナで示す部分はあらかじめ読書モード指
定部２２の読書モード設定部２２３に登録されている対
話処理用の文字コード列及びカラーコマンド設定部２１
のカラーコマンド学習部２１２に設定されている読書領
域名称に対応する文字コード列が音声合成部５、音声出
力部６を経て出力される合成音声を示す。先ずどのよう
な読書モードが可能かを知るため音声ガイダンスを要求
するために１領域」という音声を音声入力部２２１より
入力し、音声認識部２２２で「りよういき」と認識され
ると（ステップＳＴＩ　、５Ｔ２）、カラーコマンド設
定部２１のカラーコマンド学習部２１２に設定きれてい
る読書領域名称に対応する文字コード列、例えば「書誌
的事項」、′要約」、１章２節の題名ヨ、・・・・「全
文」などが出力される。

次に読書モードを指定するために「書誌的事項、と発声
し、音声認識部２２２で１しよしてきしこう」と認識さ
れると、前述の読書モード学習処理で登録されているパ
ラメータを用いて音声認識部２２２で音声認識され、間
違いなく認識きれると（ステップ５Ｔ４）、認識結果の
文字コード列に対応する音声をエコーバック（ステップ
５Ｔ１１）した後、指定した読書モードであるか否かの
確認のために合成音声が出力される（ステップ１２）。

指定された読書モードが所望のモードである場合には「
ＯＫ、の音声を入力すると（ステップ５Ｔ１３）、音声
認識結果に基づいて読書領域名称を抽出モード切換部２
３に出力する（ステップ５Ｔ１４）。他の読書モードを
指定する場合にも前述と同様な手順で行なう。

前記ステップ１３において、所望の読書モードでない場
合は１０Ｋ」以外の音声を入力すると「もう−度」とい
う合成音声が出力され（ステップ５Ｔ８）、次の音声コ
マンドの入力を待つ（ステップ５Ｔ１３，８．１）。

読書モードの指定が終了すると、読書を開始するために
１開始」と発声し、音声認識部２２２で１かいし」と認
識されると（ステップＳＴＩ。

２．３）、読書動作を開始するために画像入力部１がセ
ットされた文書、書籍の走査を開始する。

抽出モード切換部２３は読書モード指定部２２の読書モ
ード設定部２２３から出力されている読書領域名称に基
づいてカラーコマンド設定部２１のカラーコマンド学習
部２１２に登録されている読書情報の読書領域名称を選
択し、当該読書領域名称番号以外の色特性をマスク（０
に）したカラーマツプを画像抽出部２４に出力する。な
お、前文読取モードの場合、カラーマツプは出力せず全
文読取信号を画像抽出部２４に出力する。

次に、画像抽出部２４のマーク識別処理、マーク領域内
の画像抽出処理について説明する。

マーク識別処理は次のようにして行なう。画像入力部１
が第５図に示すような文書を主走査を水平方向（ＸＸ）
、副走査を垂直方向（ＹＹ）として走査して出力される
ＲＧＢの多値レベル信号を前述の式（１）、（２）を用
いて色度座標ｘ、ｙに変換し、該ｘ、ｙを整数化したＸ
％、ｙ％を用いて抽出モード切換部２３から出力されて
でくるカラーマツプを参照し、該カラへマツプの出力値
がｒＯ」以外の場合、走査点が所望の読書領域を示すマ
ーク上にあると識別する。

マーク領域内の画像抽出処理について第７図を用いて説
明する。

第７図において、副走査ＹＹＩ行ではマーク画像は検出
されないが、ＹＹＺ行では色特性（読取領域名称番号）
ｊのマーク画像が前述のマーク識別処理によって識別さ
れ、更にＹＹＳ行では前記マーク画像に連結し、且つ挾
まれた画像（ｘ　ｘ　ｓ　ｔ〜Ｘ　Ｘ　＝　−ｂ　）が
存在するため、当該挾まれた画像を読書対象の画像とし
て画像抽出部２４から出力する。

前述の手順で順次マーク画像に挾まれた画像を読書対象
の画像として出力していくが、副走査ＹＹｎ行に達する
と連結するマーク画像が存在しなくなるので、読書対象
の画像の抽出は終了する。

なお、マーク画像が連結しているか否かの判定は公知の
技術例えば特公昭６０−５５８６８号公報に詳述しであ
るように、下式（３）を用いて行なう。

ＸＸ＜＋−ｒ）ｋｂ≦ＸＸ＋＊− Ｘ　Ｘ　（Ｈ−’１　）　ｋｖ≦ＸＸ１ｋ−（３）但し
、ＸＸ＜ｌ−５）＊ｂ　＋　ＸＸ＜＋−ｒ〕＊ｗは各々
走査行ＹＹｉ行の前走査行ＹＹｉ−１の色特性「０．か
ら色特性ｒｊ」への変化点及び色特性「ｊ」から色特性
「０」への変化点ペアのＸ座標を示す、ｘｘｌｋｍＩＸ
Ｘｌｋｋは各々走査行Ｙｉ（７）色特性「０」から前記
色特性と同一の色特性１ｊ」への変化点及び前記色特性
ｒｊ」から色特性ｒＯＪへの変化点ペアのＸ座標を示す
。但し、抽出モード切換部２３に全文読取モードが設定
されている場合、前述の処理は行なわず、画像入力部１
から出力され全画像を読書対象の画像として画像抽出部
２４から出力する。

なお、読書対象の文書、書籍が無彩色の場合には、画像
抽出部２４に無彩色画像抽出手段を設けておき、画像抽
出部２４から出力される画像は無彩色画像のみとしてお
くことにより、マーク画像による影響を除去することが
可能である。

前記無彩色画像抽出手段は、公知の方法、例えばＲ，Ｇ
、Ｂの信号が全て同一に近いレベルにあることによって
実現する。

また、前記無彩色抽出手段には２値化手段を接続し、２
値化きれた画像を読書対象の画像とする。なお、２値化
のための閾値は公知の如何なる方法によってもよい。

読書対象に「書誌的事項、を指定し、第５図に示す文書
を入力した場合、マークｍｔに囲まれた画像が読書対象
の画像とし℃出力きれ、当該画像から文字の切出し、認
識を行なった後、音声合成されて朗読音声が出力される
。

読書対象に「要約、や１章１節の題名」が指定された場
合も同様な処理が行なわれる。

なお、カラーコマンド学習用紙及び文書、書籍上に追記
又は印刷するマークの位置、大きさ、色数及び形状は前
述のものに限定されるものではない。

また、文書、書籍かカラーコマンド学習用紙かを判別で
きるマークを用紙上に付加し、前記マークの有無を識別
できる機能をカラーコマンド設定部２１の学習／読書モ
ード切換部２１１に付加しておくことによって、モード
切換の動作を自動化することができる。

なお、前記マークは例えば用紙の上辺に近い領域に所定
長、所定巾、所定数の黒の線分を記載したものである。

本実施例では、カラーコマンド設定部２１の学習／読書
モード切換部２１１及びカラーコマンド学習部２１２を
用いて、カラーコマンド用紙上のマーク及び文字を学習
し、色特性及び読書領域を設定したが、前述の説明では
読書領域は文書、書籍に追記又は印刷きれたマークを用
いたが、文書、書籍の文字を色分けしたものを用いるよ
うにし、前述の画像抽出部２４のマーク識別処理を色分
けした文字画像を抽出するように構成し℃もよい。

なお、読書領域の画像抽出以降の処理については、前述
及び第１図に限定されるものではない。

〔発明の効果〕

以上詳細に説明したように本発明によれば、文書、書籍
の所望の部分にカラーマークを追記又は印刷しておき、
該文書、書籍のカラーマーク部分の文章或いは全文を音
声ガイダンス及び音声認識で自由に選択できる読書処理
装置としたので、本読書処理装置を使用すると、製本業
者が印刷を工夫するか、健常者が一度追記マークを施し
た文書、書籍であれば、健常者が日常的に行なっている
文書、書籍の拾い読みに近い形の読み方ができるので、
盲人や肢体障害者等の障害者の読書環境の向上に役立つ
。また健常者において聴覚による読書環境と同じ環境の
読書処理装置の提供が可能になるという優れた効果が得
られる。

【図面の簡単な説明】

理装置の構成を示すブロック図、第３図は色特性の説明
図で、同図（ａ）はマークの色度座標の範囲の説明図、
同図（ｂ）はマークの濃度範囲の説明図、第４図（ａ）
、ｃｂ）、（ｃ）はそれぞれカラーコマンド学習用紙の
例を示す図、第５図は入力文書の例を示す図、第６図は
音声コマンド。 音声ガイダンスによる処理例を示す図、第７図は画像抽
出の説明図である。 図中、１・・・・画像入力部、２・・・・画像処理部、
３・・・・文字認識処理部、４・・・・言語処理部、５
・・・・音声合成部１．６・・・・音声出力部、２１・
・・・カラーコマンド設定部、２１１・・・・学習／読
書モード切換部、２１２・・・・カラーコマンド学習部
、２２・・・・読書モード指定部、２２１・・・・音声
入力部、２２２・・・・音声認識部、２２３・・・・読
書モード設定部、２３・・・・抽出モード切換部、２４
・・・・画像抽出部。 １ＬＬｓ神事Ｃ理裏夏のλ鵬θく≦ルずフ゛Ｏ−Ｉフ目
第２図 色お眉−故萌目 第３図 −一一→主１１″（ＸＸ） 入−ｊＪｊ、ルイ枦Ｊｆ、ｉミ♂［〔ン］第５図 ｆｐコづ　ント′７　ｇ戸１τイｙ″／ズ（・Ｊ３２−
理ｆ′ｊ行、引コ第６図

Claims (1)

1. 【特許請求の範囲】 画像入力部と画像処理部と文字認識部と言語処理部と音
   声合成部等を具備し、文字認識結果に基づいて朗読音声
   を出力する読書処理装置において、 前記画像入力部として、用紙上に記載されている文字、
   図形、写真及び／又はマーク等の画像の濃淡及び色の一
   方又は双方に応じた情報を出力する画像入力部を用い、 前記画像処理部として、所定の色特性と読書領域名称と
   を一対の読書情報として設定するカラーコマンド設定部
   と、音声対話処理によって読書領域名称を指定する読書
   モード指定部と、該読書モード指定部で指定された読書
   領域名称に基づいて読書情報の色特性を読取色特性とし
   て出力する抽出モード切換部と、該読取色特性に基づい
   て文書、書籍上に記載されているマーク領域内の文書画
   像を抽出する画像抽出部とを具備する画像処理部を用い
   たことを特徴とする読書処理装置。