JP4972010B2 - 触覚提示装置及び触覚提示方法 - Google Patents

Description

本発明は、触覚提示装置及び触覚提示方法に係り、特に視覚障害者等が項目を触覚的に認知し易い点字に変換して提示するための触覚提示装置及び触覚提示方法に関する。

従来、画面情報の触覚ディスプレイ（触覚提示手段）への提示手法としては、表示画面を白と黒の２値に変換することにより該当箇所の触知ピン（触知部材）を上下に駆動させて情報を提示する方法がある（第１の従来例）（例えば、非特許文献１参照。）。なお、非特許文献１に示されている手法は、例えば２値化する際の閾値の制御や画像処理を施すことで画像や図形を触覚的に理解し易く提示しようとするものである。

また、触覚ディスプレイや点図プロッタに特化した作図ツールとして、画面上に自ら描画した点字やグラフ、図形等を直接点図として出力するものがある（第２の従来例）（例えば、非特許文献２参照。）。

また、触覚ディスプレイを用いた文書レイアウトの確認方法としては、触覚ディスプレイのドットを用いてレイアウトデータのみを提示し、テキストの内容を音声合成で確認する方法がある（第３の従来例）（例えば、特許文献１参照。）。

更に、文字テキスト情報の点字提示方式としては、例えば複数行の印字が可能な点字プリンタや、主に１行の表示に対応した様々なタイプの点字ディスプレイが製品化されている（第４の従来例）（例えば、非特許文献３，４参照。）。
ＫＧＳ社「ドットビュー（登録商標）」（http://www.kgs-jpn.co.jp/b_dv2.html） 「エーデル」(http://www7a.biglobe.ne.jp/~EDEL-plus/) 特開平１０−２３２６００号公報 金子他、「グラフィック出力に特化した点字プリンタの改良」、「第３１回感覚代行シンポジウム発表講演集」，平成１７年１２月． ＫＧＳ社「ブレイルメモ（登録商標）」（http://www.kgs-jpn.co.jp/piezo.html）

ところで、視覚障害者等にとって、音声や点字による１次元的な情報のみの取得では理解が困難な情報は、触覚等を併用し２次元的に把握できる手段が必要である。また一方で、データ放送やＷｅｂ等の情報取得環境では、アプリケーション及びマークアップ言語で記述されたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面等が主流となっており、視覚障害者も晴眼者と同様に画面上のレイアウトを把握した上で操作する必要性が高まっている。したがって、このような背景の中では、触覚ディスプレイ装置においてもＧＵＩ画面の構成要素を用いた文字やグラフ、図形等を点図として出力することが必要となる。

しかしながら、上述した第１の従来例である２値化処理では、画像処理を用いることにより、ある程度の図形やグラフを表示することができるが、一般的なモニター等の画面の解像度と触覚ディスプレイの解像度とは異なるため、画素数変換を行う必要性があることから汎用的な点字表示に適応しないという問題があった。

また、上述した第２の従来例である作図ツールは、自由に図形や点字を配置することができるが、アプリケーションの画面表示やマークアップ言語で記述されたデータの表示に適応しないと共に、対応する点図プロッタや触覚ディスプレイが限定されるという問題があった。

また、上述した第３の従来例は、点字を用いて２次元的なレイアウトを生成する仕組み自体を有するものではない。

更に、上述した第４の従来例である点字プリンタは、点字を２次元的に配置して情報を提示できるが更新が容易ではなく、点字と墨字の文字列長の違いを解決するのが困難である。また、点字ディスプレイは、更新は容易であるが、２次元的な情報提示が困難であるという問題がある。

本発明は、上述した問題点に鑑みなされたものであり、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示するための触覚提示装置及び触覚提示方法を提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示装置において、前記触覚提示手段を構成する触知部材の数、配置間隔を少なくとも含む表示領域情報を取得する取得手段と、前記画面に表示される対象データから文字データを抽出する文字データ抽出手段と、前記文字データ抽出手段により得られる文字データを点字に変換する点字変換手段と、前記対象データからレイアウトデータを抽出するレイアウトデータ抽出手段と、前記レイアウトデータ抽出手段により得られた各項目のレイアウトデータに基づいて、前記点字変換手段により変換された点字を前記触覚提示手段に表示させるためにレイアウトされた各項目の点字列を生成する点字レイアウトデータ生成手段と、前記点字レイアウトデータ生成手段により生成された前記各項目の点字列を前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力手段と、前記触覚提示手段に関する表示領域情報及びユーザの指位置情報を取得するデバイス情報取得手段と、前記デバイス情報取得手段により得られる前記ユーザの指位置情報に対応する各項目の点字列の表示領域を、前記点字列の全てが表示されるように制御する点字表示領域制御手段とを有し、前記点字レイアウトデータ生成手段は、前記点字表示領域制御手段により得られる前記各項目の点字列の表示領域に対応させて、前記各項目の点字列の長さを調整してレイアウトされた各項目の点字列を生成することを特徴とする。

請求項１記載の発明によれば、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。また、表示画面に表示される各項目の位置の略同一の位置に対応させて同一の文字データを提示されることができる。また、省略されている点字データの続きや全ての文字データを表示させることができる。

請求項２に記載された発明は、前記点字レイアウトデータ生成手段は、前記点字表示領域制御手段により得られる各項目の点字列の表示領域に前記各項目の点字列の全てが表示できない場合には、前記点字列の一部を省略したことを示す省略符号を付加することを特徴とする。

請求項２記載の発明によれば、省略の有無を容易に判断することができる。

請求項３に記載された発明は、画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示方法において、前記触覚提示手段を構成する触知部材の数、配置間隔を少なくとも含む表示領域情報を取得する取得ステップと、前記画面に表示される対象データから文字データを抽出する文字データ抽出ステップと、前記文字データ抽出ステップにより得られる文字データを点字に変換する点字変換ステップと、前記対象データからレイアウトデータを抽出するレイアウトデータ抽出ステップと、前記レイアウトデータ抽出ステップにより得られた各項目のレイアウトデータに基づいて、前記点字変換ステップにより変換された点字を前記触覚提示手段に表示させるためにレイアウトされた各項目の点字列を生成する点字レイアウトデータ生成ステップと、前記点字レイアウトデータ生成ステップにより生成された前記各項目の点字列を前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力ステップと、前記触覚提示手段に関する表示領域情報及びユーザの指位置情報を取得するデバイス情報取得ステップと、前記デバイス情報取得ステップにより得られる前記ユーザの指位置情報に対応する各項目の点字列の表示領域を、前記点字列の全てが表示されるように制御する点字表示領域制御ステップとを有し、前記点字レイアウトデータ生成ステップは、前記点字表示領域制御ステップにより得られる前記各項目の点字列の表示領域に対応させて、前記各項目の点字列の長さを調整してレイアウトされた各項目の点字列を生成することを特徴とする。

請求項３記載の発明によれば、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。また、表示画面に表示される各項目の位置の略同一の位置に対応させて同一の文字データを提示されることができる。また、省略されている点字データの続きや全ての文字データを表示させることができる。

本発明によれば、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。

＜本発明の概要＞
本発明は、データ放送やＷｅｂ等から得られる多様な情報リソースに対応し、例えば全盲や弱視、盲ろう等の視覚障害者等が項目を触覚的に認知し易い点字に変換して、触覚ディスプレイ等の触覚提示手段により把握できるようにする。つまり、本発明は、文書やＧＵＩ画面の情報を、触覚ディスプレイ上の任意の箇所に表示領域に合わせて点字で提示し、視覚障害者等のユーザが文書内の位置関係やＧＵＩ画面の項目内容を触覚ディスプレイ上で一覧性を持って２次元的に取得する方法を提供する。

具体的には、本発明は、視覚障害者にＧＵＩ等の画面情報を提示する方式において、画面各所に表示される文字情報を触覚ディスプレイ上に点字で提示し、各項目のテキスト情報と画面上の位置等のレイアウトデータを提示する。

また、本発明では、データ放送やＷｅｂ等のマークアップ言語の形式で表記される表示形式において、文字情報を触覚的に判読可能な点字列に変換し、画面上のレイアウトを反映した状態で様々な表示領域を持つ触覚ディスプレイ上に提示する。

すなわち、上述した内容を実現するために、本発明は、文字テキストとレイアウトデータを抽出するための構文解析器やパーサ（ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等に含まれるタグを予め設定された条件に基づいて解析して表示する）等の機能や、触覚的に判読可能な点字出力方法を設定するための機能等を有し、レイアウトデータや触覚ディスプレイの点字表示領域に応じて点字表示を最適化する。

以下に、上述したような特徴を有する本発明における触覚提示装置及び触覚提示方法を好適に実施した形態について、図面等を用いて詳細に説明する。

＜第１の実施形態＞
＜触覚提示装置の概要構成例＞
図１は、本発明における触覚提示装置の概要構成の一例を示す図である。なお、図１に示す触覚提示装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用コンピュータ等により実現される。

図１に示す触覚提示装置１０は、文字データ抽出手段１１と、点字変換部１２と、レイアウトデータ抽出部１３と、点字レイアウトデータ生成部１４と、デバイス情報出力手段１５と、触覚ディスプレイ（触覚提示手段）１６と、デバイス情報取得手段１７と、点字表示領域制御手段１８と、ブラウザ（再生手段）１９と、表示出力手段２０とを有するよう構成されている。

文字データ抽出手段１１は、表示用データ（ＧＵＩ画面データ等）でありＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＸＭＬ等で記述される情報リソース２１を入力し、その情報リソース２１に含まれる情報から文字テキスト情報を抽出する。なお、文字データ抽出手段１１は、情報リソース２１内に含まれる画像内に文字がある場合には、例えば情報リソース２１に含まれる画像全体を、イメージスキャナ等により画像や文書等をデジタル静止画像情報化して読み取り、更にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）により光学文字認識処理を行うことにより、文字情報を取得することができる。また、文字データ抽出手段１１は、抽出された文字テキスト情報を点字変換手段１２に出力する。

点字変換手段１２は、文字データ抽出手段１１で抽出された漢字仮名混じりの文字テキスト情報（墨字等）のテキストデータを「ひらがな」に対応させ、更にそのひらがなデータを点字データに変換する。また、点字変換手段１２は、変換された点字データを点字レイアウトデータ生成手段１４に出力する。

レイアウトデータ抽出手段１３は、上述した表示用データの情報リソース２１を入力し、その情報リソース２１に含まれるレイアウトデータを抽出する。なお、レイアウトデータは、タグや実際のデータ内に含まれる画面サイズや位置、大きさ等の情報からレイアウト位置を設定することができ、更に情報リソース上の画像全体を上述したスキャナ等により読み取り、読み取った静止画像情報からレイアウト位置を抽出することができる。

このように、レイアウトデータ抽出手段１３を用いることにより、画面上のどのあたりの位置に文字情報が記述されているか等の文字データの画面上の位置関係を取得することができる。また、レイアウトデータ抽出手段１３は、抽出したレイアウトデータを点字レイアウトデータ生成手段１４に出力する。

点字レイアウトデータ生成手段１４は、点字変換手段１２により得られる点字データ、レイアウトデータ抽出手段１３により得られるレイアウトデータ、更に後述する点字表示領域制御手段１８により得られる実際にユーザが使用している指の位置情報等に基づいて、それらのデータを統合して表示される項目（オブジェクト）の最終的な点字表示のレイアウトを生成する。

つまり、点字レイアウトデータ生成手段１４は、項目の位置とサイズの座標系を触覚ディスプレイ１６の表示領域の座標系に合わせて変換し、この座標系に基づいて各項目の点字列の長さを調整し、触覚ディスプレイ１６上に各オブジェクトを配置する。

その際、点字レイアウトデータ生成手段１４は、予め四角や丸等の図形描画指定がある場合には、指定箇所に当該図形を描画し、予め指定がない場合には、オブジェクトの領域内に点字のキャラクタボックスを最大限配置する。これにより、文字情報を画面と同じレイアウトで触覚ディスプレイ上に点字で提示することができる。

また、点字レイアウトデータ生成手段１４は、分かち書き単位での改行や、点字の行間隔の設定、ページ管理等の機能を有する。更に、点字レイアウトデータ生成手段１４は、例えば予め設定されるユーザの指定により、画面上のレイアウトを優先した表示と、レイアウトを変更してテキスト情報を優先した表示とを切り替えることができる。これにより、画面上のレイアウトを優先した場合には、実際の画面上の項目等の配置等の情報も触覚ディスプレイ上に提示してユーザに把握させることができる。また、テキスト情報を優先させた場合には、省略されている点字データの続きや全ての文字データを表示させることができる。

また、点字レイアウトデータ生成手段１４は、生成された点字表示のレイアウトをデバイス情報出力手段１５に出力する。

デバイス情報出力手段１５は、点字レイアウトデータ生成手段１４により取得されたデータを触覚ディスプレイ１６に出力するために、触覚ディスプレイ１６上に配列される凹凸に移動可能な触知ピン（触知部材）のどの位置のピンを突出させるか等のデバイスへの出力情報を生成する。また、デバイス情報出力手段１５は、生成された出力内容を、触覚ディスプレイ１６を用いて表示させる。

触覚ディスプレイ１６は、例えば、縦ｎ（本）、横ｍ（本）の上下に移動可能な複数の触知ピンを有している。触覚ディスプレイ１６は、デバイス情報出力手段１５により得られる提示情報に基づいて該当する触知ピンを突出させ、それらの触知ピンの凹凸によりデータを提示する。

デバイス情報取得手段１７は、触覚ディスプレイ１６の表示領域情報と、指位置情報、触覚ディスプレイ１６を用いたユーザからの指示情報等を取得する。具体的には、デバイス情報取得手段１７は、縦ｎ（本）、横ｍ（本）の触知ピンの数と、ピンの直径、ピン同士の間隔、１行あたりの点字数、1度に提示可能な行数として点字表示領域行列等の情報を取得する。

更に、デバイス情報取得手段１７は、指がどの位置（どのピン上）に置かれているかの情報を取得する。なお、指位置の検出手法については、一般的な手法を用いることができ、例えば１又は複数台のカメラ等を用いて、指の位置を検出し、指の上下動作による反射パターンの変化によりタッチ操作（ピンの触察面から指を一旦離して置き直す操作）を検出する。また、これ以外にも、触知ピンへの指での圧力をセンサ等により取得することで検出する手法等があるが、本発明においては、これらに限定されるものではない。また、指示位置の情報としては、例えば画面上の座標情報等を用いることができる。

また、デバイス情報取得手段１７は、触覚ディスプレイ１６に設けられた「決定」、「戻る」、「表示切替」等によりユーザからの指示情報等を取得する。デバイス情報取得手段１７は、取得した表示領域情報や指位置情報、指示情報等を点字表示領域制御手段１８に出力する。

点字表示領域制御手段１８は、デバイス情報取得手段１７により得られる各種情報に基づいて、触覚ディスプレイ１６で提示可能な点字表示領域を算出する。また、点字表示領域制御手段１８は、触覚ディスプレイ１６に対して点字として表示できる位置や大きさ等の表示領域の情報を点字レイアウトデータ生成手段１４に出力する。

具体的には、点字表示領域制御手段１８は、制御パラメータとして、例えば「字間隔（ドット）、行間隔（ドット）」と「字数（字／行）、行数（行／頁）」との変換制御、データ、点字の各表示制御等の各制御を行う。

また、ブラウザ１９は、情報リソース２１の表示用データを入力し、ディスプレイ等の表示出力手段２０により画面に再生出力させるための再生手段である。つまり、ブラウザ１９は、コンピュータ上の情報を一定の目的に沿って表示し閲覧に供するソフトウェア一般を表している。また、ブラウザ１９は、再生情報を表示出力手段２０に出力する。また、表示出力手段２０は、ブラウザ１９により得られる再生情報を、ＧＵＩ等を用いて画面に出力する。

なお、上述したブラウザ１９及び表示出力手段２０における機能は、触覚ディスプレイ１６に表示される内容が、実際にディスプレイ等の画面に表示されているか否かを判断するための機能であるため、触覚提示装置１０内に設けられていなくてもよく、外部に設けられていてもよい。

なお、上述した実施形態において、触覚ディスプレイ１６は、既存の触覚ディスプレイ装置等を用いることができ、例えば比較的安価な光学式のタッチパネルにより、触覚ディスプレイにおけるユーザ等の指での直接操作を実現することができる。具体的には、例えばタッチパネル搭載型の触覚ディスプレイとしては、９６×６４ｄｏｔ（ピン間隔２．４ｍｍ）の表示領域を持つ触覚ディスプレイ（例えば、ケージーエス（ＫＧＳ）社製）と、光学式のタッチパネル（Ｘｉｒｏｋｕ社製）とを搭載した構成を用いることができる。なお、このタッチパネルは、上部両側のセンサによる三角測量方式のため、触覚ディスプレイの触察面を支障せず、マーカ等も不要である。

ここで、ＧＵＩ画面を触覚ディスプレイ等により提示する場合、最初にメニュー選択項目等をそれぞれ触知し易いようなオブジェクトに変換して配置する。次に、この触覚ディスプレイ表示用の画面を２値化し、触知ピンの上下により提示する。提示されたＧＵＩの操作は、触覚ディスプレイからのキー操作（決定、戻る、表示切替等）と、タッチパネルによるマウス操作（ポインティングとクリック（タッチ操作））が可能である。また、オブジェクトが選択された際には、該当するテキスト情報を音声合成してフィードバックする。

なお、触覚ディスプレイに表示するだけでなく、他の触覚提示装置を用いて提示してもよく、更にＰＣ等の汎用のコンピュータのディスプレイに表示させてもよい。

ここで、ＰＣ等の汎用コンピュータに対応させる場合には、画面の解像度（１０２４×７６８）と触覚ディスプレイの解像度（９６×６４）とが異なるため、ＰＣ画面全体が触覚ディスプレイに表示されるように画素数変換を行う。

更に、触覚ディスプレイ上でのユーザの指位置とＰＣ画面上でのマウスカーソルの示す位置が一致するように、タッチパネルのキャリブレーション機能で最適値を調整する。

これにより、触覚ディスプレイ上で指を動かすと、ＰＣ画面上のマウスカーソルが追従することができる。オブジェクトを指でタッチ操作した瞬間に、ＰＣ画面のオブジェクト上にもマウスカーソルが正確に位置付けられていれば正しく選択することができる。

上述したように本実施形態によれば、ＧＵＩで表示される文字テキスト情報が、レイアウトデータを反映した状態で、触覚ディスプレイの表示領域に応じて点字表示可能となる。したがって、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。

＜触覚提示装置１０：ハードウェア構成例＞
ここで、上述した触覚提示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェース等を備えたコンピュータによって構成することができる。

したがって、触覚提示装置１０が備える各構成機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。

ここで、本発明におけるプログラムが実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図２は、本発明における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。

図２におけるコンピュータ本体には、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、メモリ装置３５と、各種制御を行うＣＰＵ３６と、ネットワーク接続装置３７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置３１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。

出力装置３２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。また、本実施形態では、触覚提示手段を備える。このとき、上述した専用ユニット等を外付けする等により構成することができる。

なお、入力装置３１と出力装置３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体３８等により提供される。プログラムを記録した記録媒体３８は、ドライブ装置３３にセット可能であり、記録媒体３８に含まれる実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。なお、メモリ装置３５は、ＲＡＭやＲＯＭ等からなる。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ３６は、プログラムの実行中に必要な各種情報を補助記憶装置３４から取得することができ、またＣＰＵ３６は、処理結果等を格納することもできる。

ネットワーク接続装置３７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行したりすることで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。更に、ネットワーク接続装置３７は、触覚提示内容やテキストデータ、音声データ等を通信ネットワークによりデータの送受信可能な状態で接続された触覚ディスプレイ等に出力したり、触覚ディスプレイ等によるユーザのキー操作による入力情報を取得したりすることができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に触覚提示処理を実現することができる。また、プログラムをインストールすることにより、容易に本実施形態における触覚提示処理を取得することができる。

＜触覚提示装置１０における触覚提示方法＞
次に、本実施形態における触覚提示方法について図を用いて説明する。図３は、第１の実施形態におけるＧＵＩ画面の一例を示す図である。なお、図３（ａ）は、ＧＵＩ画面のレイアウトの一例を示す図であり、図３（ｂ）は、ＧＵＩ画面に対するマークアップ言語（例えば、ＨＴＭＬ）の一例を示す図である。

本実施形態における触覚提示方法では、例えば図３（ａ）に示すようなＧＵＩ画面を触覚ディスプレイに表示する場合、まず文字データ抽出部１１により図３（ｂ）に示すマークアップ言語を用いて文字データを抽出する。この場合、例えば図３（ｂ）に示すマークアップ言語の所定のタグ（例えば、ｔｅｘｔ等）のデータを抽出する。次に、点字変換部１２により点字に変換するために、抽出した文字データをひらがなに変換する。

つまり、図３（ａ）に示されている「データ放送選択メニュー」、「ニュース」、「気象情報」、「スポーツ」、「テレビ番組表」、「地震情報」、「台風情報」、「番組連動」等の記載は、それぞれ、「でーた ほーそー せんたく めにゅー」、「にゅーす」、「きしょー じょーほー」、「すぽーつ」、「てれび ばんぐみひょー」、「じしん じょーほー」、「たいふう じょーほー」、「ばんぐみ れんどー」に変換される。更に、点字変換手段１２は、ＧＵＩの各項目のひらがなに対応する点字列を生成する。また、レイアウトデータ抽出手段１３により、図３（ａ）に示す各文字データの項目の位置情報を抽出する。

次に、点字レイアウトデータ生成手段１４は、上述した各項目の点字列をレイアウトデータ抽出手段１３で取得した情報に基づいて、点字表示領域制御手段１８が算出した座標系に変換して配置する。

ここで、図４は、図３に対応する点字の提示内容の一例を示す図である。なお、図４（ｂ），（ｄ）に示す触知ピンの黒丸部分は、触知ピンの突出した部分を示している。また、図４（ａ）に示すひらがなに対応する点字を図４（ｂ）に示し、図４（ｃ）に示すひらがなに対応する点字を図４（ｄ）に示す。更に、図４（ａ）〜（ｄ）に示す触覚ディスプレイにおける文字データの表示領域を便宜上矩形で表示しているが、実際には領域は表示されていない。

ここで、点字は基本的にひらがなに対応しているため、漢字等で表記された場合には文字数が多くなり、対応させた表示領域の制約上、全てを表示することはできない。したがって、各項目のレイアウト枠内に点字列が全て表示できない場合には、各項目の文字列の長さを図４（ａ）に示すように調整して省略符号（省略点字）４１を付加する。これにより、図４（ｂ）に示すように、画面のレイアウトデータを優先したＧＵＩ画面の点字提示が可能となる。

ここで、本実施形態では、省略符号４１により省略された文字を表示するための機構を有する。具体的には、レイアウトデータを優先することで省略された点字列は、ユーザ等の操作により図４（ｃ）に示すように触覚ディスプレイの所定の箇所を指定している指４２の位置をデバイス情報取得手段１７より取得する。また、取得した指位置情報を用いて、点字表示領域制御手段１８が新たに算出した座標系のレイアウト枠内に、図４（ｃ）に示すように項目内の文字列のみを全て表示することで、対応する点字を図４（ｄ）に示すように提示し、ユーザ等が文字情報を優先した表示による確認が可能となる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、上述した第１の実施例において、触覚ディスプレイに表示するためのレイアウトデータがＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ）的に与えられた場合の表示方法を示す例である。

ここで、ＣＳＳとは、ＨＴＭＬやＸＭＬの要素をどのように修飾（表示）するかを指示する仕様であり、Ｗ３Ｃによる勧告の一つであり、文書の構造と体裁を分離させるという理念を実現する為に提唱されたスタイルシートの具体的な仕様の一つである。

ＣＳＳは、ＨＴＭＬで表現可能と考えられるデザインの大部分を実現できる要素を取り入れつつ、新たなデザイン機能を備える。また、ＣＳＳは、ページを表示するメディアに合わせてスタイルシートを切り替えることで、メディア毎に表示を変化させることができる。また、ＣＳＳは、ユーザエージェント（多くの場合ウェブブラウザ）、ウェブサイト制作者、ユーザがそれぞれ定義したＣＳＳのもたらす効果を重ね合わせる（カスケード）ことができる。

したがって、第２の実施形態では、例えば、ブラウザが画面描画時に作成するオリジナルのＸＭＬファイルと触覚ディスプレイ表示用のＣＳＳファイルを取得し、ＣＳＳで指定されたオブジェクトを座標変換して描画する。また、オブジェクトがテキスト情報を含む場合は、指定箇所の描画範囲内に点字で表示することが可能である。なお、第２の実施形態における機能構成は、上述した第１の実施形態と同一であるため、ここでの説明は省略する。

図５は、第２の実施形態におけるＧＵＩ画面の一例を示す図である。なお、図５（ａ）は、ＧＵＩ画面のレイアウトの一例を示す図であり、図５（ｂ）は、ＧＵＩ画面に対するＣＳＳの一例を示す図である。

図５（ａ）に示したＧＵＩ画面を触覚ディスプレイ上に表示する場合、点字レイアウトデータ生成手段１４は、図５（ｂ）に示した触覚ディスプレイ表示用の各ＣＳＳデータ（例えば、「ｉｔｅｍ」タグ内の情報）を取得する。

ここで、図６は、図５に対応する点字の提示内容の一例を示す図である。なお、図６（ａ）に示すひらがなに対応する点字を図６（ｂ）に示している。また、図６（ａ），（ｂ）に示す触覚ディスプレイにおける文字データの表示領域を便宜上矩形で表示しているが、実際には領域は表示されていない。

ここで、レイアウトデータ抽出手段１３が取得した情報を基に、点字表示領域制御手段１８が算出した座標系に変換し、図６（ａ）に示すように各項目毎に配置して図６（ｂ）に示す触知ピンの凹凸により触覚による提示を行う。このとき、各項目のレイアウト枠内に点字列が全て表示できない場合は、上述した第１の実施形態と同様に、レイアウトデータを優先したＧＵＩ画面の点字表示と文字情報を優先した表示を切り替えることにより、ユーザ等に確認させることが可能となる。

なお、図４に示すような画面上のレイアウトを優先した表示と、図６に示すようなレイアウトを変更してテキスト情報を優先した表示とは、予め設定されるユーザの指定により任意に切り替えることができる。

＜触覚提示処理手順＞
ここで、触覚提示処理手順の一例についてフローチャートを用いて説明する。図７は、本実施形態における触覚提示処理手順の一例を示すフローチャートである。図７に示すフローチャートは、まず、情報リソースを入力し（Ｓ０１）、入力した情報リソースに対してテキスト情報のひらがな変換及び点字変換を行う（Ｓ０２）。

次に、レイアウトデータを優先して表示するための点字レイアウトを生成する（Ｓ０３）。ここで、表示領域の制限等からテキスト全てが表示できず、一部領域に入る文字だけを表示し、後は省略していることを示す省略点字があるか否かを判断する（Ｓ０４）。省略点字がある場合（Ｓ０４において、ＹＥＳ）、次に、ユーザによる文字表示操作があるか否かを判断する（Ｓ０５）。ユーザによる文字表示操作がある場合（Ｓ０５において、ＹＥＳ）、ユーザの指位置情報を取得し（Ｓ０６）、その部分に該当する全ての文字データの点字レイアウト（文字情報優先）を生成する（Ｓ０７）。

次に、省略点字がない場合（Ｓ０４において、ＮＯ）、又はユーザによる文字表示操作がない場合（Ｓ０５において、ＮＯ）、更にＳ０７の処理が終了後、触覚ディスプレイ等のデバイスに出力する（Ｓ０８）。

次に、他の情報リソースの入力があるか否かを判断し（Ｓ０９）、リソースの入力がある場合には、上述したＳ０１の処理に戻り、他の情報リソースを入力して、後続の処理を行う。また。Ｓ０９の処理において、他の情報リソースの入力がない場合は、処理を終了する。

上述の触覚提示処理により、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。また、上述した各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えばＰＣ等の汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、触覚提示処理を実現することができる。

なお、本実施形態では、ブラウザからの文字データを取得し、それを振動パターンとして、コマンド等にしたがって触覚ディスプレイの振動子に振動提示を行うことができる。また、触覚ディスプレイからのキー操作コマンドを取得し、本インターフェースの制御以外のコマンドをブラウザからの要求に応じて引き渡すことができる。

また、現在の触覚ディスプレイの表示領域は、テレビやパソコンの画面の表示領域よりも小さい。また一般に、点字による表記は、漢字仮名混じりの墨字による表記よりも字数が多くなる。そこで、例えば上述した第２の実施形態に示すように、ＸＭＬとＣＳＳを利用することで、レイアウトデータを反映したまま各項目を可能な限りの文字数の点字で提示することができる。また、同様にして、テキスト情報を優先した表示に切り替えることや、使用する触覚ディスプレイの表示領域に応じた提示を行うこと等が、例えばＣＳＳの切り替えにより可能となる。

上述したように本発明によれば、視覚障害者等が項目を触覚的に認知し易い点字に変換して提示することができる。具体的には、本発明の触覚ディスプレイの点字表示法によれば、触覚ディスプレイ上の任意の箇所に表示領域に合わせて文書やＧＵＩ画面の情報を点字で提示することができ、視覚障害者等が文書内の位置関係やＧＵＩ画面の項目内容を触覚ディスプレイ上で一覧性を持って２次元的に把握し取得することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明における触覚提示装置の概要構成の一例を示す図である。 本発明における触覚提示処理が実現可能なハードウェア構成の一例を示す図である。 第１の実施形態におけるＧＵＩ画面の一例を示す図である。 図３に対応する点字の提示内容の一例を示す図である。 第２の実施形態におけるＧＵＩ画面の一例を示す図である。 図５に対応する点字の提示内容の一例を示す図である。 本実施形態における触覚提示処理手順の一例を示すフローチャートである。

符号の説明

１０ 触覚提示装置
１１ 文字データ抽出手段
１２ 点字変換部
１３ レイアウトデータ抽出部
１４ 点字レイアウトデータ生成部
１５ デバイス情報出力手段
１６ 触覚ディスプレイ（触覚提示手段）
１７ デバイス情報取得手段
１８ 点字表示領域制御手段
１９ ブラウザ（再生手段）
２０ 表示出力手段
２１ 情報リソース
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ メモリ装置
３６ ＣＰＵ
３７ ネットワーク接続装置
３８ 記録媒体
４１ 省略符号（省略点字）
４２ 指

Claims (3)

1. 画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示装置において、
   前記触覚提示手段を構成する触知部材の数、配置間隔を少なくとも含む表示領域情報を取得する取得手段と、
   前記画面に表示される対象データから文字データを抽出する文字データ抽出手段と、
   前記文字データ抽出手段により得られる文字データを点字に変換する点字変換手段と、
   前記対象データからレイアウトデータを抽出するレイアウトデータ抽出手段と、
   前記レイアウトデータ抽出手段により得られた各項目のレイアウトデータに基づいて、前記点字変換手段により変換された点字を前記触覚提示手段に表示させるためにレイアウトされた各項目の点字列を生成する点字レイアウトデータ生成手段と、
   前記点字レイアウトデータ生成手段により生成された前記各項目の点字列を前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力手段と、
   前記触覚提示手段に関する表示領域情報及びユーザの指位置情報を取得するデバイス情報取得手段と、
   前記デバイス情報取得手段により得られる前記ユーザの指位置情報に対応する各項目の点字列の表示領域を、前記点字列の全てが表示されるように制御する点字表示領域制御手段とを有し、
   前記点字レイアウトデータ生成手段は、前記点字表示領域制御手段により得られる前記各項目の点字列の表示領域に対応させて、前記各項目の点字列の長さを調整してレイアウトされた各項目の点字列を生成することを特徴とする触覚提示装置。
2. 前記点字レイアウトデータ生成手段は、
   前記点字表示領域制御手段により得られる各項目の点字列の表示領域に前記各項目の点字列の全てが表示できない場合には、前記点字列の一部を省略したことを示す省略符号を付加することを特徴とする請求項１に記載の触覚提示装置。
3. 画面に表示される対象データを、複数に配列された触知部材を有する触覚提示手段により提示させるための触覚提示方法において、
   前記触覚提示手段を構成する触知部材の数、配置間隔を少なくとも含む表示領域情報を取得する取得ステップと、
   前記画面に表示される対象データから文字データを抽出する文字データ抽出ステップと、
   前記文字データ抽出ステップにより得られる文字データを点字に変換する点字変換ステップと、
   前記対象データからレイアウトデータを抽出するレイアウトデータ抽出ステップと、
   前記レイアウトデータ抽出ステップにより得られた各項目のレイアウトデータに基づいて、前記点字変換ステップにより変換された点字を前記触覚提示手段に表示させるためにレイアウトされた各項目の点字列を生成する点字レイアウトデータ生成ステップと、
   前記点字レイアウトデータ生成ステップにより生成された前記各項目の点字列を前記触覚提示手段により提示させるためのデバイス情報を出力するデバイス情報出力ステップと、
   前記触覚提示手段に関する表示領域情報及びユーザの指位置情報を取得するデバイス情報取得ステップと、
   前記デバイス情報取得ステップにより得られる前記ユーザの指位置情報に対応する各項目の点字列の表示領域を、前記点字列の全てが表示されるように制御する点字表示領域制御ステップとを有し、
   前記点字レイアウトデータ生成ステップは、前記点字表示領域制御ステップにより得られる前記各項目の点字列の表示領域に対応させて、前記各項目の点字列の長さを調整してレイアウトされた各項目の点字列を生成することを特徴とする触覚提示方法。

Images