JP5801672B2 - 自動文字表示システム - Google Patents

Description

本発明は、例えばユーザ（対象者）が話した内容を文字情報に変換し、該文字情報を、ユーザが指定したモニタの画面位置に表示する自動文字表示システムに関する。

従来に、例えば会議などにおいて、出席者が発言したとき、該発言の内容をマイクで拾って、このマイクの話内容を、音声認識技術を用いて認識し、該認識内容を文字情報に変換し、該文字情報を、ホワイトボードなどのモニタ画面に自動表示する装置を備えた自動文字表示システムがある。

このシステムによれば、キーボードやマウスを使用して入力した文字情報をディスプレイの表示画面に表示する方法に比べ、効率的であり、例えば会議における議事録用として便利であり、会議を効率的に行える特長がある。

その反面、会議は、一般に複数の出席者により行われるものであり、複数の出席者が同時に発言すると、複数の発言が混在して聞き取りが困難となるため、発言を一人ずつ行う必要があった。したがって、出席者数が増えれば、増えるほど、一人ひとりの発言時間が制約され、会議時間も長引く嫌いがあった。

特表２００８−５３０６６１号公報 特開２０００−３３９１３５号公報

本発明は、係る点に鑑みなされ、その目的は、モニタ画面上のユーザが指定する位置にユーザが話した内容を表示することが可能であって、また不特定多数（複数）のユーザが話した内容をモニタに同時に表示することが可能な自動文字表示システムを提供することにある。

係る目的を達成するため、本発明では、ユーザの仕草を分析する仕草分析部と、ユーザが話している内容を、ユーザがモニタに表示したい位置、例えばユーザがモニタのどこを指差しているのかを二次元の位置情報（座標ｘ1、ｙ1）として算出する位置情報算出部（ポスチャ・ジェスチャ認識技術や視線認識技術）と、ユーザの仕草を示す映像からユーザが話している内容（言葉）を文字情報として変換し、文字化する言葉の文字化部（読唇技術）を備え、前記文字情報を前記位置情報に基づく位置（座標）に表示するアクション部を設けた自動文字表示システムである。

また、本発明は、ユーザの仕草を起点としてユーザが話した内容を読唇技術により文章データとして取り込み、その際、ユーザの仕草により文章データのモニタへの表示位置を特定し、該特定された表示位置と文章データを対応付けて記憶する記憶部を備えた自動文字表示システムである。

本発明によれば、例えば複数のユーザが、同タイミングで発言あるいは仕草などの直感的な操作により、特別なキーボード、タッチパネルやマイクなどの入力手段を用いることなく、ユーザが所望するモニタ画面上の位置に文字や映像などの情報を電子化して視覚的に表示することができる。

図１は本発明の自動文字入力システムを示す概略構成図である。 図２は本発明の処理フローを示す図である。 図３はカメラ映像からポスチャ・ジェスチャ認識技術手段により、ユーザが指差したモニタ位置を計算し、その座標（ｘ、ｙ）を算出する様子を示す図である。 図４はカメラ撮影によるカメラ映像からユーザの読唇を読唇技術手段により解読し、文字情報化する様子を示す図である。 図５はモニタの座標位置にカメラ映像と文字化情報とを合成して表示した例を示す図である。 図６はユーザが指差したモニタの座標位置にカメラ映像及び文字化情報を映した例を示す図である。 図７は店内における電子看板（メニューを示す看板）への応用例を示す概念図である。 図８はドライブスルーにおける電子看板（メニューを示す看板）への活用例を示す概念図である。 図９は大型スクリーンにおける電子掲示板（アンケートを収集する看板）への活用例を示す概念図である。

本システムは、カメラ映像からユーザ（人間）の仕草（直感的動作）を分析し、その仕草からモニタへの表示位置を算出し、またユーザが話している言葉を文字化し、該文字化情報を算出位置に表示するものであるが、例えば、ロボットなどに利用されているポスチャ・ジェスチャ認識技術や視線認識技術及び読唇技術を利用して、ユーザの仕草、例えばユーザが指差した位置にカメラ映像とユーザが発声した言葉を文字化した情報とを合成してモニタ画面に表示して実現した。ポスチャ・ジェスチャ技術は、映像における人物の領域を認識し、またその領域における手の領域との相対位置により定義された姿勢（ポスチャ）と、そのポスチャの時間的変化により定義された動作（ジェスチャ）とを参照して、対象となる人物の仕草を認識する技術である。また、この技術によれば、“手招き”、“バイバイ”など、人がどのような仕草をしているか分析することもできるものであり、この技術は一般に知られている。本発明は、この技術を利用し、仕草検出部で“指差し”の動作を判定するために応用したものである。また“指差した位置”の推定についても、同技術を利用して算出したものである。すなわち、本発明は、指先、目線の情報を取得・分析し位置を推測するポスチャ・ジェスチャ技術や視線認識技術を利用したものである。なお、位置情報の算出については、ポスチャ・ジェスチャ認識技術だけを利用して算出しても、視線認識技術だけを利用しても、あるいは両方の技術を併用しても良い。以下、その一実施例について図面を参照して説明する。

図１は、本発明の自動文字入力システムの概略構成を示す図である。同図において、２は１台以上のカメラを示し、該カメラは被写体である不特定多数のユーザ１（ａ、ｂ、ｃ）をリアルタイムに撮影するものである。カメラ２は必ずしも２台以上必要ではなく、１台でも良い場合もある。この１台以上のカメラ２により、ユーザを撮影し、この撮影した映像（含画像）により、ユーザの仕草（直感的動作など）、例えばユーザが指差している様子や話ししている様子（口元）、目の視線、物を取り上げる動作などを捉えることができる。

３はカメラ２で撮影されたユーザの仕草を示す映像を取得する映像取得部である。４は映像取得部３の映像を受け、該映像からユーザの仕草を分析する仕草分析部、５は仕草分析部により分析された情報を元にユーザが意図している表示位置、例えばユーザがモニタ８の画面を指差している場合、ユーザがどこを指差しているか、その位置を二次元の位置情報として算出する位置情報算出部である。また、仕草分析部４により、ユーザの仕草が、予め指定していた仕草であるかを比較する処理も行う。

仕草分析部４は、既存のポスチャ・ジェスチャ認識機能や顔認識機能を有した技術により構成される。ポスチャ・ジェスチャ認識技術や顔認識機能を有した技術は既に公知である。例えば、人の仕草・動線の認識技術については特開２００４−３０３０１４号公報に記載されており、ジェスチャ認識技術を採り入れた製品としてホンダのＡＳＩＭＯが存在しているので、その詳細説明は省略する。

位置情報算出部５による位置情報算出は、カメラ２により撮影した映像を、既存のポスチャ・ジェスチャ認識機能や顔認識機能を有した技術を利用して分析することにより可能である。例えば図３に示すようにユーザがモニタ画面のどこかを指差しているような場合、該指差している位置を二次元（座標ｘ1、ｙ1）情報として算出することができる。また、仕草分析部４にポスチャ・ジェスチャ認識技術手段を利用すれば、複数の人を識別し、複数の仕草を分析できる。したがって、複数のユーザが同時にモニタ画面を指差した場合でも、個別に座標を算出できる。指差しの場合は、ポスチャ・ジェスチャ技術が有効であるが、目線の場合は、視線認識技術を利用して算出することができる。例えば、飲食店に設置されているメニューを見るため顔を上げた仕草や、メニューを見るために前に乗り出すような仕草を、情報収集の起点とするような場合には、指差す位置よりも目線による位置算出が有効である。したがって、これらの技術を併用しても良い。

６は映像取得部３の映像を受け、該映像からユーザが話している内容（言葉）を解読し、これを文字情報として変換（文字化）し、該文字情報を電子化する言葉の文字化部を示し、該言葉の文字化部６は既存の読唇技術手段により構成される。

本実施例では、例えば、位置情報算出部５を構成するポスチャ・ジェスチャ認識技術や顔認識機能を有した技術により、カメラからのカメラ映像内のユーザａ、ｂ、ｃの仕草（例：指差しなど）や位置を特定する。しかるのち、言葉の文字化部６を構成する読唇技術により、ユーザａ、ｂ、ｃの唇の動きを特定する。図４に示す例では、ユーザａ、ｃは、予め定められた仕草をしており、ユーザｂは、その仕草をしていないため、ユーザａ、ｃが解析対象となる。言葉の文字化部６では、カメラ映像に映っている解析対象となるユーザａ、ｃの唇の動きを読唇技術で解析し、つまり解析対象となるユーザａ、ｃが話している内容を分析し、該分析内容を文字情報として電子化する。すなわち、言葉の文字化部６には、カメラ映像から読み取った唇の動きを解析し、該解析に対応する文字内容に変換する文字変換機能を有する文字変換部を備えている。

言葉の文字化部６により生成された電子化文字情報は、アクション部７により、図５に示すように位置情報算出部５により算出されたモニタ８のモニタ画面の座標（ｘ1、ｙ1）に表示される。このとき、文字情報だけでなく、アクション部７に、カメラ映像と文字情報とを合成する機能を持たせ、図示の如く、解析対象のユーザ映像（ユーザａ、ｃ）を併せて表示しても良い。

９は特定された位置情報と電子化文字情報と映像情報を対応付けして記憶する記憶部である。例えば、ユーザの仕草を起点としてユーザが話した内容を読唇技術により文章データとして取り込み、その際、ユーザの仕草により文章データのモニタへの表示位置（位置情報）を特定し、該特定された表示位置（位置情報）と文章データ（文字情報）と対象ユーザの映像（カメラ情報）を対応付けて記憶する。このように位置情報と文字情報とカメラ情報を対応付けして記憶することにより、ユーザの指定する位置に、ユーザの一連の動作と、その時の発言内容を文字情報として表示することも可能である。
また、記憶部９には表示・解析対象となるユーザを特定するために、あらかじめ指定した仕草を記憶しておく。

ここで、ユーザが話している内容（言葉）の電子（文字）化は、複数のユーザを映像として捉えることができれば、それらユーザに対し、図６に示すように同時に処理を行うことができる。

図２は、本システムの処理を示すフローチャートである。同図において、ステップＳ２０１において、開始（ＳＴＡＲＴ）し、ステップＳ２０２において、仕草分析部４によりユーザの仕草（直感的動作など）を分析する処理を行う。例えば、カメラ２によりユーザを撮影したカメラ映像を受け、カメラ映像を元に誰がどのような仕草をしているのか分析処理する。

仕草分析処理後、ステップＳ２０３により、ステップＳ２０２で検出した仕草が、予め指定しておいた仕草と同じなのかを判定する処理を行う。判定の結果、同じ仕草の場合（Ｙ）には、ステップＳ２０４において、位置情報算出部５により、分析した情報を元にモニタのどこを指差しているのか、それを二次元の位置情報として算出する処理を行う。異なる仕草の場合（Ｎ）には、ステップＳ２０２に戻る。

次に、ステップＳ２０５において、言葉の文字化部６により、カメラ映像からユーザ（対象者）が話す内容（言葉）を分析し、文字情報に変換する処理を行う。

次に、ステップＳ２０６において、アクション部７によりユーザが話している内容を示す文字情報を、位置情報算出部５により算出した位置情報に基づき、モニタ８の画面上の位置に表示する処理を行う。ここで、カメラ映像の応用例として、前記ユーザの映像を文字情報と併せて表示可能とする処理を行うようにしても良い。システムが起動している間は、上記ステップＳ２０２−Ｓ２０６の各処理を繰り返し、仕草を分析し、特定の仕草をするか解析する。システムを停止したときは、ステップＳ２０７において、終了（ＥＮＤ）する。

これらの制御は、仕草分析部４、位置情報算出部５、言葉の文字化部６、アクション部７を制御するための制御プログラム及び該プログラムにより上述した制御を実行するコンピュータをもってなされる。

本システムによれば、従来のタッチパネル方式とは異なり、モニタに触れることなく、モニタ上のどの位置に表示するかをユーザの仕草をもって指定することにより、その指定位置に電子化された文字情報を出力、表示することができる。このため、ユーザがカメラの撮影範囲内であって、モニタが見える位置にいれば、利用可能であり、また複数のユーザが同時に利用することも可能である。

本システムを、例えば会議でのホワイトボードの代わりに利用すれば、より効率的に出席者の意見を収集することが可能となる。

更に詳述すれば、例えば会議にて「消費税の増税について、各自の意見を述べて下さい」旨、出席者の意見を求める場合、一般的には一人ずつ意見を聞き、その意見をホワイトボードに記載しているのが実状であって、この方法によれば、出席者の意見を全て記載するためには「（意見を聞く時間＋ホワイトボードに記載する時間）×（出席人数）」の時間が必要となり、会議所要時間が増加するが、本システムによれば、図６に示す如く、出席者が同時にモニタに意見を表示することができるため、出席者の意見を全て表示するための時間が、それぞれの出席者の意見を表示するまでの時間のうち最長の時間で済み、会議を効率的に行える。

また、複数のユーザの話内容を同時に書き込み（表示）可能なので、出席者が増えても、必要となる時間に影響を及ぼすことはない。例えば、音声認識による文字化では、同時に発言すると、複数の音声が混在した状況になるため、発言者ごとに分析することは容易でない。そのため順番に発言が要求され、その結果として、所要時間は、会議の出席人数に比例し増加する問題がある。本システムによれば、斯様な問題も是正することができる。

応用例として、広告，飲食店のメニューなどについて，人がどこを指差し、何を話したかを集計することで，広告の効果やメニューに対する意見を容易に集めることができる。意見を収集できそうな仕草で情報収集するように設定しておけば，対象者が本システムの使用方法など何も知らなくても必要となる情報を収集できる。
現在は，売り上げやアンケートなどによって商品の評価をしていると思うが，本システムを使用することにより，何に注目したのか，どのように注目したのか，率直な意見(賛美
,批判など)を，詳細に知ることができる。また，非購入者の意見も容易に収集することができる。

図７は、その一例を示すものである。同図において、カメラからの映像のなかでユーザ１がメニュー看板（ディスプレイ８１）の前であらかじめ指定した仕草をした場合、図２のステップＳ２０４において、つまり位置情報算出部５の位置情報算出処理にて、ユーザの目線の先がメニュー看板の指定エリア８２内のどの位置になるかを算出する。次いで、ステップＳ２０５において、つまり言葉の文字化部６の言葉の文字化処理にて、ユーザが話している内容を電子化文字情報に変換する。

ディスプレイ８１の指定エリア８２には、様々な商品に関する情報が表示されている。このとき、言葉の文字化部６の処理に基づく情報が、位置情報算出部５の処理で算出した座標に表示されている商品に関連したものとして情報を収集し、収集したデータ９１を記憶部９（データベース）に格納する。

更に詳述すれば、ステップＳ２０４の位置情報算出部５での処理で算出したユーザの目線の先の座標が、例えば点線で囲まれた範囲にあれば、ステップ２０５の言葉の文字化部６の処理で変換された文字情報、例えば「期間限定だから、これにする」「値段が高い」「前に食べたけど、まずかった」などの情報は、図示の如く、商品“□サンド”に関連した情報であると結び付けをする。この結び付けの規則はあらかじめ設定しておく。

このように商品に対するユーザの発言を文字情報として関連付けしてデータベース９に記憶しておくことにより、該商品に対するユーザの嗜好評価などの情報を収集することが可能となり、商品展示や商品開発等に活用できる。

図８は、ドライブスルーへの活用例を示した概念図である。更に詳しく説明すれば、ドライブスルーにて商品を購入している様子、及びカメラの映像からメニューを見ながら何を購入するか話している様子を映像として取得し、取得した映像をデータ化する過程を示す図である。

一般的に、ドライブスルーは、図示のように車内にいながらメニューを確認し、商品を決定している。このような場合において、本システムによれば、カメラ２からの映像情報を元に、車内の搭乗者が商品を決定するまでの間に、商品（バーガー、ドック、サンドイッチなど）に関して会話した内容を取得することができる。すなわち、ドライブスルーで商品群のなかから特定の商品を購入する場合、購入予定者は、まず自動車１１の車内からメニュー看板１２を見る。そのときの会話の声は、自動車の窓を閉めているなどの理由により、商品販売者が車外から正確に聞き取ることは難しい。上述した本システムは、図示の如く、例えばメニュー看板１２付近にカメラ２を設置することにより、そのときの調査対象となる人の仕草や顔を、映像として取得することができる。また情報収集を行う起点となる仕草は、メニューを見ながら話す際によく行われる仕草を登録しておけば良いので、対象者が本システムの操作方法などを理解する必要は一切ない。なお、同図において、取得データ９２は記憶部９に登録される。取得データ９２は”データ取得時刻”、”発言した対象者の映像”、”対象者が指差した（又は視線）位置にある看板の映像（メニュー）”、”話した内容”である。

図９は、大型スクリーンへの活用例を示す概念図である。更に詳しく説明すれば、大型スクリーン上に映し出されたアンケート内容、“賛成”、“反対”などを表示するアンケート画面（情報収集前の画面）とアンケート結果画面（情報収集後の画面）を示す図である。

球場などに設置されている大型スクリーンを使った意見収集を行う場合を例にとって説明すれば、スクリーン８には、予めモニタ画面に２つの枠を表示させておき、一方を“賛成”、他方を“反対”の枠としておく。その上で、アンケート質問、例えば「２０１５年に消費税を２０％にするという政府方針をどう思いますか？」という質問をしたとする。その質問に対し、アンケート参加者２１の中で賛成の者は、“賛成”の枠内を指差しながら、その理由を述べる。反対の者は、“反対”の枠内を指差しながら、その理由を述べる。これにより、本システムを利用することで、その発言内容が、“賛成”なのか、または“反対”なのかという情報と結び付けることが可能となる。そのため、収集した意見に対し、“賛成”何人、
“反対”何人といった分析をすることも可能である。この場合、本システム利用者は、本システムの操作方法などを理解していることが前提となる。

すなわち、大型スクリーンの情報収集前の画面に映し出されたアンケート質問に対して、多数（数千人規模）のアンケート参加者２１は、それぞれの意見（賛成、反対）を本システムにより登録するとともに、順番を待つことなく発言することができる。また、登録後は、大型スクリーンの情報収集後の画面において、意見（賛成、反対）を表示することができる。本例の場合は、アンケート参加者が、スクリーン上の賛成の枠内を指差した賛成数（１６７人）と、反対の枠内を指差した反対数（２１３５人）を表示するものであるが、この他のスクリーンの表示例として、収集した意見を指差した位置に表示するなど、同図以外の表示方法も可能である。

会議用電子モニタ、広告や商品のディスプレイなどの電子看板に適用できる。

２ カメラ
３ 映像取得部
４ 仕草分析部
５ 位置情報算出部
６ 言葉の文字化部
７ アクション部
８ モニタ

Claims (3)

1. ユーザが話している内容を表示するモニタと、前記ユーザ及び前記モニタの映像を撮影する１台以上のカメラと、前記カメラからカメラ映像を取得する映像取得部と、前記映像取得部が取得した前記ユーザの映像からユーザの仕草を分析する仕草分析部と、前記ユーザが話している内容をモニタ上に表示する位置を、前記映像のユーザの仕草から当該ユーザが表示したい二次元の位置情報（座標ｘ1、ｙ1）として算出する位置情報算出部と、前記ユーザの映像からユーザが話している内容を文字情報に変換し文字化する言葉の文字化部を備え、前記文字情報を前記位置情報に基づく前記モニタ上の位置に表示するアクション部を設けたことを特徴とする自動文字表示システム。
2. 前記映像のユーザの仕草から当該ユーザが前記モニタのどこを指差しているのか、当該ユーザの仕草を起点として前記ユーザが話した内容を読唇技術により文章データとして取り込み、その際、前記ユーザの仕草により前記文章データの前記モニタへの表示位置を特定し、該特定された表示位置と前記文章データを対応付けて記憶する記憶部を備えた請求項１記載の自動文字表示システム。
3. 前記位置情報算出部がポスチャ・ジェスチャ認識技術手段により構成され、前記言葉の文字化部が読唇技術手段より構成される請求項１又は２記載の自動文字表示システム。

Images