JP7772080B2 - 情報提示システム、装置、方法およびプログラム - Google Patents

情報提示システム、装置、方法およびプログラム

Info

Publication number
JP7772080B2
JP7772080B2 JP2023554143A JP2023554143A JP7772080B2 JP 7772080 B2 JP7772080 B2 JP 7772080B2 JP 2023554143 A JP2023554143 A JP 2023554143A JP 2023554143 A JP2023554143 A JP 2023554143A JP 7772080 B2 JP7772080 B2 JP 7772080B2
Authority
JP
Japan
Prior art keywords
information
explanatory
processing unit
viewer
explanatory information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023554143A
Other languages
English (en)
Other versions
JPWO2023067715A1 (ja
Inventor
聡一郎 内田
充裕 後藤
仁志 瀬下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2023067715A1 publication Critical patent/JPWO2023067715A1/ja
Application granted granted Critical
Publication of JP7772080B2 publication Critical patent/JP7772080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Description

この発明の一態様は、例えばオンライン講演会における発表情報またはオンライン展示会における展示情報を、視覚マテリアルを用いた形式により閲覧者に提示する情報提示システムと、このシステムで使用される装置、方法およびプログラムに関する。
近年、例えばオンラインによる講演会や展示会において、発表や展示をポスターやスライド等のように、文字や図等の視覚マテリアルを用いた形式で行うシステムが検討されている(例えば非特許文献1を参照)。このようなシステムでは、閲覧者が、例えば自身の端末から上記発表会または展示会のWebサイトにアクセスして、スクロール操作により所望のポスターを選択して内容を閲覧できるようにし、さらにポスターごとに閲覧者と説明者との間でチャット形式またはWeb会議により質疑応答を行えるようにする等の様々な仕組みが提案されている。
福井類、渡辺哲陽、「Facebookをプラットフォームとしたポスター形式の学術講演会のオンライン化の試み」、日本機械学会論文集、Vol.87, No.895, 2021
ところが、スクロール操作による閲覧は、ポスターに記載された発表または展示の情報が画一的に視覚提示されるだけであるため、説明者にとっては発表または展示の内容を閲覧者に十分に伝え難い。また、閲覧者にとってはリアルタイムに閲覧できるものの、発表または展示の内容をただ単に読むだけとなるため、内容を常に十分理解できるとは限らない。すなわち、説明者および閲覧者の双方にとって満足感のある情報提示が行えない場合がある。
一方、チャット形式またはWeb会議により質疑応答を行う仕組みを利用すると、発表または展示の内容をより詳しく提示することが可能となるが、閲覧者が多くなると説明者の負荷が増加すると共に質疑応答の応答性が低下し、リアルタイム性を維持できなくなる。
この発明は上記事情に着目してなされたもので、オンラインによる視覚マテリアルを用いた形式の発表または展示を行う際に、リアルタイム性を維持した上で閲覧者の閲覧状態に応じて情報を的確に提示できるようにし、これにより説明者および閲覧者の双方にとって満足感の高い情報提示を可能にする技術を提供しようとするものである。
上記課題を解決するために、この発明に係る情報提示システムとその装置または方法の一態様は、発表または展示イベントにおける視覚マテリアルを用いた形式の説明情報を、情報提示側が使用する情報提示制御装置から閲覧者が使用する閲覧者端末にネットワークを介してオンラインにより送信し提示する際に、前記閲覧者端末が、前記情報提示制御装置から送信される前記説明情報を前記ネットワークを介して受信して表示デバイスに表示すると共に、表示された前記説明情報に対する前記閲覧者の閲覧操作に関する情報を検出し、検出された前記閲覧操作に関する情報を前記ネットワークを介して前記情報提示制御装置へ送信する。これに対し、前記情報提示制御装置は、前記閲覧操作に関する情報を前記ネットワークを介して取得し、取得された前記閲覧操作に関する情報に基づいて、スクロールの方向が逆方向の場合を検出すると共に前記逆方向のスクロールが最後までスクロール済みか否かを判定し、その判定結果に基づいて前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかを推定し、前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかに応じて、前記説明情報に対応する読み上げ音声情報を含む補助説明情報を生成し、生成された前記補助説明情報を前記ネットワークを介して前記閲覧者端末へ送信する。前記閲覧者端末は、送信された前記補助説明情報を前記ネットワークを介して受信し、受信された前記補助説明情報に含まれる前記読み上げ音声情報を音響デバイスから出力する。
この発明の一態様によれば、提示された説明情報に対する閲覧者の閲覧操作をもとに当該閲覧者の閲覧状態が推定され、推定された閲覧状態に基づいて上記説明情報に対応する読み上げ音声情報が生成され閲覧者に対し出力される。これにより閲覧者は、ポスターに記載された説明情報を視覚により閲覧しながら、それと並行して読み上げ音声情報により聴覚で内容を確認することが可能となる。
しかも、読み上げ音声情報は、閲覧者の閲覧の状態、例えば閲覧の詳細度や閲覧の目的に応じて、読み上げ内容または音源が適宜選択され出力される。このため、説明情報を単に音声で読み上げるだけでなく、閲覧者の閲覧状態に応じた内容または音源の音声メッセージを提示することが可能となり、さらにチャットやWeb会議を利用する場合に比べ、リアルタイム性の高い情報提示を実現できる。
すなわちこの発明の一態様によれば、オンラインによる視覚マテリアルを用いた形式の発表または展示を行う際に、リアルタイム性を維持した上で閲覧者の閲覧状態に応じて情報を的確に提示できるようになり、これにより説明者および閲覧者の双方ともに満足感の高い情報提示を可能にした技術を提供することができる。
図1は、この発明の一実施形態に係る情報提示システムの構成の一例を示す図である。 図2は、図1に示した情報提示システムにおいて閲覧者が使用する閲覧者端末のハードウェア構成の一例を示すブロック図である。 図3は、図1に示した情報提示システムにおいて閲覧者が使用する閲覧者端末のソフトウェア構成の一例を示すブロック図である。 図4は、図1に示した情報提示システムにおいて情報提示側が情報提示制御装置として使用するサーバ装置のハードウェア構成の一例を示すブロック図である。 図5は、図1に示した情報提示システムにおいて情報提示側が情報提示制御装置として使用するサーバ装置のソフトウェア構成の一例を示すブロック図である。 図6Aは、図5に示したサーバ装置に記憶される補助説明情報の一例を示す図である。 図6Bは、図5に示したサーバ装置に記憶される補助説明情報の一例を示す図である。 図7は、図5に示したサーバ装置に記憶される訪問履歴情報の一例を示す図である。 図8は、図3に示した閲覧者端末により実行される閲覧制御処理の処理手順と処理内容の一例を示すフローチャートである。 図9は、図5に示したサーバ装置により実行される情報提示制御処理の処理手順と処理内容の一例を示すフローチャートである。 図10は、図9に示した情報提示制御処理手順のうち閲覧状態推定処理の処理手順と処理内容の一例を示すフローチャートである。 図11は、サーバ装置が配信する視覚マテリアルを用いた形式の説明情報の一例を示す図である。 図12は、図11に示した説明情報を閲覧者端末にダウンロードして表示した状態の一例を示す図である。 図13は、閲覧者端末に表示された説明情報に対するスクロール操作の第1の例を示す図である。 図14は、閲覧者端末に表示された説明情報に対するスクロール操作の第2の例を示す図である。 図15は、閲覧者端末に表示された説明情報に対するスクロール操作の基準点の第1の例を示す図である。 図16は、閲覧者端末に表示された説明情報に対するスクロール操作の基準点の第2の例を示す図である。 図17は、閲覧者端末に表示された説明情報に対するスクロール操作の基準点の第3の例を示す図である。 図18は、展示会における説明者、閲覧者、その同伴者および他の参加者の位置関係の一例を示す図である。 図19は、図18に示した位置関係における説明者の音像位置の設定例を示す図である。 図20は、図18に示した位置関係における同伴者の音像位置の設定例を示す図である。 図21は、図18に示した位置関係における他の参加者の音像位置の設定例を示す図である。 図22は、補助説明情報の出力処理の変形例を説明するための図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
この発明の一実施形態では、オンライン展示会において、展示物の説明情報をポスターやスライド等のように文字や図等の視覚マテリアルを用いた形式で提示する場合を例にとって説明する。
(構成例)
(1)システム
図1は、この発明の一実施形態に係る情報提示システムの構成の一例を示す図である。
一実施形態に係る情報提示システムは、情報提示側となる例えば展示会の主催者が情報提示制御装置として運用するサーバ装置SVを備える。このサーバ装置SVには、展示物の出展者が使用する複数の出展者端末ET1~ETmと、展示物の閲覧者が使用する複数の閲覧者端末UT1~UTnが、いずれもネットワークNWを介してアクセス可能となっている。なお、以後上記ET1~ETm、UT1~UTnを、それぞれ簡略的にET、UTと記載する。
出展者端末ETは、例えばパーソナルコンピュータからなり、出展者が制作した展示物の説明情報とその読み上げ音声ファイルを、ネットワークNWを介して上記サーバ装置SVにアップロードし登録する機能を有する。説明情報は、展示内容をポスターやスライド等のように文字や図等の視覚マテリアルを用いた形式で説明するもので、例えば大項目ごとにテキストデータと図表および写真を組み合わせて制作される。読み上げ音声ファイルは、上記説明情報に含まれる大項目ごとにその内容を読み上げ音声で表すものである。読み上げ音声ファイルには、大項目ごとに情報の内容の粒度の異なる複数の音声ファイルが含まれる。なお、補助説明情報の構成については動作例において説明する。
ネットワークNWは、例えばインターネットを中核とする広域網と、この広域網にアクセスするためのアクセス網とを備える。アクセス網としては、例えば、有線または無線を使用する公衆通信ネットワーク、有線または無線を使用するLAN(Local Area Network)、CATV(Cable Television)ネットワークが使用される。
(2)装置
(2-1)閲覧者端末UT1~UTn
図2および図3は、それぞれ閲覧者端末UTのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
閲覧者端末UTは、例えば、情報閲覧に必要な入出力機能と、サーバ装置SVとの間の情報データの伝送に必要なブラウザを備えるパーソナルコンピュータからなる。なお、閲覧者端末UTとしては、同様の機能を備えるものであれば、他にタブレット型端末やスマートフォン等が用いられてもよい。
閲覧者端末UTは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを使用した制御部1を備える。そして、この制御部1に対し、プログラム記憶部2およびデータ記憶部3を有する記憶ユニットと、通信インタフェース(以後インタフェースをI/Fと称する)4、および入出力I/F部5を接続したものとなっている。
通信I/F部4は、制御部1の制御の下、ネットワークNWにより定義される通信プロトコルを使用して、サーバ装置SVとの間でデータ通信を行う。
入出力I/F部5には、入力デバイス51、表示デバイス52およびスピーカ53が接続される。入力デバイス51は、例えばキーボードおよびマウスを備える。表示デバイス52には、液晶または有機ELを使用するデバイスが使用される。表示デバイス52は、主として、サーバ装置SVからダウンロードされた展示物の説明情報を視覚表示するために使用される。入力デバイス51は、主として、上記表示デバイス52に表示された上記説明情報の表示位置をスクロールするために使用される。スピーカ53は、サーバ装置SVから送られる読み上げ音声ファイルを拡声出力するために使用される。
その他、入出力I/F部5にはカメラが接続されてもよい。カメラを備えることで、例えば閲覧者の顔画像から表示された説明情報に対する閲覧者の視線を検出し、検出された視線をもとに説明情報に対する閲覧者の閲覧位置を認識することが可能となる。
プログラム記憶部2は、例えば、記憶媒体としてSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて構成したもので、OS(Operating System)等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後OSと各アプリケーション・プログラムとをまとめてプログラムと称する。
データ記憶部3は、例えば、記憶媒体として、SSD等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、説明情報記憶部31および補助説明情報記憶部32を備えている。
説明情報記憶部31は、サーバ装置SVからダウンロードされた説明情報を保存するために使用される。
補助説明情報記憶部32は、サーバ装置SVからダウンロードされた読み上げ音声ファイルを含む補助説明情報を保存するために使用される。
制御部1は、一実施形態を実施するために必要な処理機能として、説明情報受信処理部11と、説明情報表示処理部12と、スクロール操作検出処理部13と、閲覧操作情報送信処理部14と、補助説明情報受信処理部15と、読み上げ音声出力処理部16とを備える。これらの処理部11~16は、何れもプログラム記憶部2に格納されたアプリケーション・プログラムを制御部1のハードウェアプロセッサに実行させることにより実現される。なお、上記アプリケーション・プログラムは、プログラム記憶部2に事前に格納しておく以外に、必要時にサーバ装置SVからダウンロードしてプログラム記憶部2に記憶されるようにしてもよい。
説明情報受信処理部11は、閲覧者の閲覧アクセス操作に応じてサーバ装置SVに対しアクセスし、サーバ装置SVから展示物の説明情報を通信I/F部4を介して受信して説明情報記憶部31に保存させる処理を行う。
説明情報表示処理部12は、上記説明情報記憶部31から説明情報を読み出し、読み出された上記説明情報を入出力I/F部5を介して表示デバイス52に出力し表示させる。またその際、入力デバイス51のスクロール操作に応じて上記説明情報の表示位置を制御する処理を行う。
スクロール操作検出処理部13は、所定の検出周期で、表示された上記説明情報に対する上記スクロール操作の量および方向を検出する処理を行う。
閲覧操作情報送信処理部14は、閲覧中の上記説明情報および大項目を表す識別情報と、検出された上記スクロール操作の量および方向を表す情報とを含む閲覧操作情報を生成し、生成された上記閲覧操作情報を通信I/F部4からサーバ装置SVへ送信する処理を行う。
補助説明情報受信処理部15は、サーバ装置SVから送信される閲覧中の説明情報に対応する補助説明情報を通信I/F部4を介して受信し、補助説明情報記憶部32に保存させる処理を行う。
読み上げ音声出力処理部16は、上記補助説明情報記憶部32から上記補助説明情報を読み出し、この補助説明情報に含まれる読み上げ音声ファイルをアナログ音声信号に変換したのち、入出力I/F部5を介してスピーカ53へ出力し、読み上げ音声を拡声出力させる処理を行う。
(2-2)サーバ装置SV
図4および図5は、それぞれサーバ装置SVのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
サーバ装置SVは、例えばクラウド上に配置されるサーバコンピュータからなり、CPU等のハードウェアプロセッサを使用した制御部6を備える。そして、この制御部6に対し、バスを介して、プログラム記憶部7およびデータ記憶部8を有する記憶ユニットと、通信I/F部9を接続したものとなっている。
通信I/F部9は、制御部6の制御の下、ネットワークNWにより定義される通信プロトコルを使用して、出展者端末ETおよび閲覧者端末UTとの間で、それぞれ情報データの送受信を行う。
プログラム記憶部7は、例えば、記憶媒体としてHDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM等の不揮発性メモリとを組み合わせて構成したもので、OS等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。
データ記憶部8は、例えば、記憶媒体としてHDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリとRAM等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な主たる記憶部として、説明情報記憶部81と、閲覧操作情報記憶部82と、訪問履歴情報記憶部83と、閲覧状態記憶部84と、補助説明情報記憶部85とを備えている。
説明情報記憶部81は、出展者端末ETからアップロードされた説明情報を記憶するために使用される。説明情報は、先に述べたように、視覚マテリアルを用いた形式により例えば大項目ごとにテキストデータと図表または写真とを組み合わせて制作されたものである。
閲覧操作情報記憶部82は、閲覧者端末UTから送られる閲覧操作情報を保存するために使用される。閲覧操作情報には、先に述べたように、閲覧中の説明情報およびその大項目を示す識別情報と、スクロール操作の量および方向を表す情報が含まれている。
訪問履歴情報記憶部83は、上記閲覧操作情報をもとに、閲覧中の説明情報に対する閲覧者の閲覧履歴(例えば閲覧回数(訪問履歴とも云う))を各大項目別に記憶するために使用される。
閲覧状態記憶部84は、制御部6により得られる、説明情報に対する閲覧者の閲覧状態の推定結果を保存するために使用される。
補助説明情報記憶部85は、説明情報の大項目ごとに、説明情報の閲覧中に想定される閲覧者の複数の閲覧状態の各々に対応して予め用意された補助説明情報を記憶する。また補助説明情報記憶部85は、説明情報の閲覧中に閲覧者の同伴者または他の参加者から実際に提供される、或いは提供されると想定される補足または助言の内容を表す音声ファイルについても、補助説明情報として記憶する。
制御部6は、この発明の一実施形態に係る処理機能として、説明情報送信処理部61と、閲覧操作情報取得処理部62と、閲覧状態推定処理部63と、補助説明情報生成処理部64と、補助説明情報送信処理部65とを備えている。これらの処理部61~65は、何れもプログラム記憶部7に格納されたアプリケーション・プログラムを制御部6のハードウェアプロセッサに実行させることにより実現される。
説明情報送信処理部61は、出展者端末ETからアップロードされる説明情報を通信I/F部9を介して受信して説明情報記憶部81に格納する処理と、閲覧者端末UTからの閲覧要求に応じて上記説明情報記憶部81から対応する説明情報を読み出し、読み出された説明情報を通信I/F部9から要求元の閲覧者端末UTへ送信する処理を行う。
閲覧操作情報取得処理部62は、説明情報の閲覧中に閲覧者端末UTから周期的に送信される閲覧操作情報を通信I/F部9を介して受信し、受信された上記閲覧操作情報を閲覧操作情報に記憶させる処理を行う。
また閲覧操作情報取得処理部62は、受信された上記閲覧操作情報に基づいて、訪問履歴情報記憶部83に記憶されている、説明情報の大項目別の閲覧履歴(訪問履歴)を更新する処理も行う。
閲覧状態推定処理部63は、新たな閲覧操作情報が受信されるごとに、閲覧操作情報記憶部82および訪問履歴情報記憶部83からそれぞれ新たに受信された上記閲覧操作情報および更新された最新の訪問履歴情報を読み込む。そして、読み込ました上記閲覧操作情報および訪問履歴情報をもとに閲覧者の閲覧状態を推定する処理を行う。なお、この閲覧状態の推定処理については動作例において説明する。
補助説明情報生成処理部64は、新たな閲覧状態の推定結果が得られるごとに、当該推定結果と、この推定結果を得るために使用された閲覧操作情報を検索条件として補助説明情報記憶部85を検索し、これにより上記検索条件に対応する補助説明情報を読み出す処理を行う。
補助説明情報送信処理部65は、読み出された上記補助説明情報を通信I/F部9から閲覧中の閲覧者端末UTへ送信する処理を行う。
(動作例)
次に、以上のように構成された情報提示システムの動作例を説明する。
図8は閲覧者端末UTの制御部1により実行される閲覧制御処理の処理手順と処理内容を示すフローチャート、図9はサーバ装置SVの制御部6により実行される情報提示制御処理の処理手順と処理内容を示すフローチャートである。
(1)補助説明情報の構成
始めに、補助説明情報の構成について説明する。図6Aおよび図6Bは補助説明情報の構成の一例を示す図である。
補助説明情報は、視覚マテリアルを用いた形式の説明情報を構成する大項目ごとに、その大項目の識別情報(大項目ID)に対し、閲覧中に想定される複数の閲覧状態と、当該各閲覧状態に対応する音源と、上記大項目の説明内容に対応する読み上げ音声ファイルをそれぞれ対応付けたものである。
閲覧状態として、この例では以下の5種類の状態が定義される。すなわち、第1の状態は、速読または読み飛ばしている状態に相当する「スキップ」閲覧である。第2の状態は、一般的な速度で閲覧している状態に相当する「通常」閲覧である。第3の状態は、熟読している状態に相当する「詳細」閲覧である。第4の状態は、ページの最後尾に到達した後に当該ページ内の任意の大項目に戻って再度閲覧する「再確認」である。第5の状態は、ページの途中で任意の大項目に戻って再度閲覧する「補足」説明である。
音源として、この例では「説明者」と、閲覧者の「同伴者」と、「他の参加者」が定義される。そして、上記「スキップ」閲覧、「通常」閲覧および「詳細」閲覧に対しては「説明者」が対応付けられる。また、「再確認」に対しては「他の参加者」が、「補足」説明に対しては「同伴者」がそれぞれ対応付けられる。
読み上げ音声ファイルとして、この例では閲覧状態に応じて説明内容の粒度が異なる複数の読み上げ音声ファイルが用意される。例えば、「スキップ」閲覧に対しては大項目の説明内容の「概要」のみを読み上げる音声ファイルが用意され、「通常」閲覧に対しては大項目に記載された説明内容をそのまま読み上げる音声ファイルが用意され、「詳細」閲覧に対しては大項目の説明内容と追加説明の内容を読み上げる音声ファイルが用意される。上記各音声ファイルは事前に出展者により生成され、出展者端末ETからアップロードされる。
また、「再確認」に対しては、読み上げ音声ファイルとして大項目の説明内容の補足説明またはFAQ(Frequently Asked Questions)を行う音声ファイルが用意され、「補足」説明に対しては同伴者による補足説明のための音声ファイルが用意される。
さらに、各読み上げ音声ファイルには、読み上げ音声により音源の位置を表現するために、音像位置(音像定位とも云う)指定情報が含まれる。音像位置指定情報は、読み上げ音声の位相を制御する音声制御データと、音声の発生位置を閲覧者端末UTの表示画面に表示するための音像位置表示データとにより構成される。
(2)説明情報の提示
サーバ装置SVの説明情報記憶部81には出展者端末ETからアップロードされた説明情報が事前に記憶され、また補助説明情報記憶部85には上記のように構成された補助説明情報が事前に記憶されているものとして説明を行う。
オンライン展示会の展示物を閲覧するために、閲覧者が自身の閲覧者端末UTにおいて上記オンライン展示会のURL(Uniform Resource Locator)に対しアクセス操作したとする。そうすると閲覧者端末UTの制御部1は、説明情報受信処理部11の制御の下、図8に示すステップS10で上記アクセス操作を検出してステップS11に移行し、展示サイトのサーバ装置SVに対しアクセス要求を送信する。
これに対しサーバ装置SVは、説明情報送信処理部61の制御の下、図9に示すステップS30により上記アクセス要求を受信すると、ステップS31において先ず展示物のメニュー情報を説明情報記憶部81から読み出して閲覧者端末UTにダウンロードする。その結果、閲覧者端末UTの表示デバイス52には上記展示物のメニュー情報が表示される。
この状態で、閲覧者が閲覧を希望する展示物を指定操作したとすると、閲覧者端末UTから上記展示物の指定情報が送信される。これに対し、サーバ装置SVの制御部6は、説明情報送信処理部61の制御の下、説明情報記憶部81から上記指定情報に該当するポスターの説明情報を読み出し、読み出された上記説明情報を要求元の閲覧者端末UTにダウンロードする。図11はダウンロードされる説明情報の一例を示すものである。同図に示すように、説明情報は複数の大項目I1~Ikを有し、各大項目I1~Ikはそれぞれ例えばテキストデータと図表または写真とを組合せて構成されている。
閲覧者端末UTの制御部1は、説明情報受信処理部11の制御の下、ステップS12により上記説明情報を受信し、受信された上記説明情報を説明情報記憶部31に一旦保存する。そして、受信された上記説明情報を説明情報記憶部31から読み出し、読み出された上記説明情報を入出力I/F部5を介して表示デバイス52に出力する。かくして、閲覧者端末UTの表示デバイス52には、展示物の説明情報がそのページの先頭位置から表示される。図12は説明情報の表示結果の一例を示すものである。なお、同図においてMEは余白領域を示している。
(3)補助説明情報の提示
(3-1)閲覧操作の検出
上記説明情報が表示された状態で、閲覧者が入力デバイス51によりスクロール操作を行うと、表示デバイス52に表示された説明情報が、例えば図12のSCに示すようにスクロールされる。
閲覧者端末UTの制御部1は、スクロール操作検出処理部13の制御の下、ステップS13により上記スクロール操作を検知すると、ステップS14において、予め設定された検出周期(例えば1秒未満の任意の周期)で上記スクロール操作の量と方向を検出する。そして、閲覧操作情報送信処理部14の制御の下、ステップS15において、閲覧中の説明情報および大項目を示す識別情報と、検出された上記スクロール操作の量と方向を含む閲覧操作情報を生成し、生成された上記閲覧操作情報を通信I/F部4からサーバ装置SVへ送信する。
なお、サーバ装置SVがスクロール操作後の説明情報に対する閲覧者の着目位置を特定できるようにするために、スクロール操作検出処理部13では着目位置の基準点が設定される。その設定手法としては、例えば以下の手法が用いられる。
第1の手法は、例えば図15に示すように、表示中のページの上辺位置から所定の距離Lthだけ下方の位置P0を閲覧者が着目していると仮定して、この位置をスクロールの基準点とするものである。
第2の手法は、例えば図16に示すように、マウスのポインタまたはカーソルCUが指し示している位置を閲覧者が着目している位置P0と仮定して、その位置座標をスクロールの基準点とするものである。
第3の手法は、カメラを備えている場合に、例えば図17に示すように、カメラにより撮像された閲覧者の顔画像から閲覧者の視線方向Lを検出し、この視線方向Lをもとに閲覧者の着目位置P0を算出する。そして、算出された着目位置P0の位置座標をスクロールの基準点とするものである。
以上のように設定されたスクロールの基準点の座標P0は、スクロールの量と方向の検出結果と共に閲覧操作情報に挿入されてサーバ装置SVへ送信される。
閲覧者端末UTから上記閲覧操作情報が送信されると、サーバ装置SVの制御部6は閲覧操作情報取得処理部62の制御の下、ステップS32において、上記閲覧者端末UTから送信された上記閲覧操作情報を通信I/F部9を介して受信し、受信された上記閲覧操作情報を閲覧操作情報記憶部82に一旦保存する。またそれと共に、閲覧操作情報取得処理部62は、ステップS33において、上記閲覧操作情報に含まれる閲覧中の大項目の識別情報をもとに、訪問履歴情報記憶部83に記憶されている、対応する大項目に対する閲覧回数(訪問回数)を更新する。図7は更新後の閲覧履歴情報の一例を示すものである。
(3-2)閲覧状態の推定
上記閲覧操作情報が受信されるとサーバ装置SVの制御部6は、閲覧状態推定処理部63の制御の下、ステップS34において、説明情報に対する閲覧者の閲覧状態を推定する処理を以下のように実行する。
図10は、閲覧状態推定処理の処理手順と処理内容を示すフローチャートである。
すなわち、閲覧状態推定処理部63は、ステップS41により閲覧操作情報記憶部82から閲覧操作情報に含まれるスクロール操作の量と方向、およびスクロールの基準位置座標を読み込み、さらにステップS42により訪問履歴情報記憶部83から閲覧中の大項目に対する閲覧回数(訪問回数)を読み込む。
上記読み込みが終了すると閲覧状態推定処理部63は、先ずステップS43において、スクロール操作SCの方向が“正”方向であるか、“逆”方向であるかを判定する。この判定の結果、スクロール方向が例えば図13に示すように“正”方向であれば、閲覧状態推定処理部63はスクロール操作の量をもとにスクロール操作の速度Vcur を計算する。スクロール操作の速度Vcur は、例えば、所定期間(例えば1秒)における平均値として計算される。
閲覧状態推定処理部63は、続いてステップS44において、算出された上記スクロール速度Vcur を第1のしきい値Vth1 と比較する。この比較の結果、Vcur ≧Vth1 であれば、スクロール速度が速く、速読または読み飛ばしていると見なせることから、ステップS46においてこのときの閲覧状態は「スキップ」閲覧であると推定する。
一方、Vcur ≧Vth1 でなければ、閲覧状態推定処理部63はステップS45により上記スクロール速度Vcur を第2のしきい値Vth2 (Vth2 <Vth1 )と比較する。この比較の結果、Vcur >Vth2 であれば、一般的な速度で閲覧している状態に相当すると見なせることから、ステップS47においてこのときの閲覧状態は「通常」閲覧であると推定する。これに対しVcur >Vth2 でなければ、スクロール速度は遅く、熟読している状態に相当すると見なせることから、閲覧状態推定処理部63はステップS48においてこのときの閲覧状態は「詳細」閲覧と推定する。
一方、上記ステップS43において、スクロール方向が例えば図14に示すように“逆”方向と判定されたとする。この場合、閲覧状態推定処理部63は、ステップS50において、閲覧履歴情報をもとにページの最後尾までスクロール済か否かを判定する。この判定の結果、ページの最後尾までスクロール済であれば、閲覧状態推定処理部63はステップS51において、現在の閲覧状態はページの最後尾に到達した後に当該ページ内の任意の大項目に戻って再度閲覧する「再確認」であると推定する。これに対しページの最後尾までスクロールされていなければ、ステップS52において、現在の閲覧状態はページの途中で任意の大項目に戻って再度閲覧する「補足」説明であると推定する。
(3-3)補助説明情報の生成
上記閲覧状態の推定処理が終了するとサーバ装置SVの制御部6は、続いてステップS35において、補助説明情報生成処理部64の制御の下で以下のように補助説明情報の生成処理を実行する。
すなわち、補助説明情報生成処理部64は、上記閲覧状態推定処理部63から上記閲覧情報の推定結果を取得すると共に、上記推定結果を得るために使用された閲覧操作情報および訪問履歴情報を、それぞれ閲覧操作情報記憶部82および訪問履歴情報記憶部83から読み込む。そして、上記閲覧状態の推定結果および上記閲覧操作情報を検索条件として補助説明情報記憶部85を検索し、これにより上記検索条件に対応する補助説明情報を読み出す。
例えば、いま着目位置(閲覧位置)が大項目ID=1で、推定された閲覧状態が「スキップ」閲覧だったとする。この場合、補助説明情報生成処理部64は、補助説明情報記憶部85に記憶された補助説明情報(例えば図6A)の中から、上記検索条件に対応する音源「説明者」と、音声ファイル「1-1.wav」を読み出す。このとき、音声ファイル「1-1.wav」には、上記「スキップ」閲覧に対応して、説明内容の「概要」のみを読み上げる粒度の低い読み上げ音声ファイルが含まれている。また、音声ファイル「1-1.wav」には、音源である「説明者」の位置を表現するための音像位置指定情報が含まれている。この音像位置指定情報は、読み上げ音声の位相を制御する音声制御データと、音声の発生位置を表示画面に表示するための音像位置表示データとから構成される。
また、例えば閲覧位置が大項目ID=1で、推定された閲覧状態が「通常」閲覧だったとする。この場合、補助説明情報生成処理部64は、補助説明情報記憶部85に記憶された補助説明情報(例えば図6A)の中から、上記検索条件に対応する音源「説明者」および音声ファイル「1-2.wav」を読み出す。このとき、音声ファイル「1-2.wav」には、上記「通常」閲覧に対応して、大項目に記載された説明内容をそのまま読み上げる、粒度が中程度の読み上げ音声ファイルが含まれている。また、この場合も音源は「説明者」であるため、音声ファイル「1-2.wav」には「説明者」の位置を表現するための音像位置指定情報が含まれる。
さらに、例えば閲覧位置が大項目ID=1で、推定された閲覧状態が「詳細」閲覧だったとする。この場合、補助説明情報生成処理部64は、補助説明情報記憶部85に記憶された補助説明情報(例えば図6A)の中から、上記検索条件に対応する音源「説明者」および音声ファイル「1-3.wav」を読み出す。このとき、音声ファイル「1-3.wav」には、上記「詳細」閲覧に対応して、大項目の説明内容と追加説明の内容を読み上げる、粒度の高い読み上げ音声ファイルが含まれている。また、この場合も音源は「説明者」であるため、音声ファイル「1-3.wav」には「説明者」の位置を表現するための音像位置指定情報が含まれる。
一方、例えば閲覧位置が大項目ID=1で、推定された閲覧状態が「補足」説明だったとする。この場合、補助説明情報生成処理部64は、補助説明情報記憶部85に記憶された補助説明情報(例えば図6B)の中から、上記検索条件に対応する音源「同伴者」および音声ファイル「1-sup1.wav」または「1-sup2.wav」を読み出す。このとき、音声ファイル「1-sup1.wav」または「1-sup2.wav」には、同伴者の補足説明の読み上げ音声ファイルが含まれている。また、音源は「同伴者」であるため、音声ファイル「1-sup1.wav」または「1-sup2.wav」には「同伴者」の位置を表現するための音像位置指定情報が含まれる。
なお、音声ファイルとして2種類の「1-sup1.wav」、「1-sup2.wav」が用意されている理由は、同伴者が2名の場合に対応するためである。これらの音声ファイルは、事前に登録された同伴者の識別情報と紐付けられて事前に登録される。なお、上記同伴者の音声ファイルは、閲覧中に必要に応じてその都度同伴者の端末(図示せず)から取得し登録されるようにしてもよい。
また、例えば閲覧位置が大項目ID=1で、推定された閲覧状態が「再確認」だったとする。この場合、補助説明情報生成処理部64は、補助説明情報記憶部85に記憶された補助説明情報(例えば図6B)の中から、上記検索条件に対応する音源「他の参加者」および音声ファイル「1-con1.wav」を読み出す。このとき、音声ファイル「1-con1.wav」には、上記「再確認」に対応して、大項目の説明内容の補足説明またはFAQを行う音声ファイルが含まれている。また、音源は「他の参加者」であるため、音声ファイル「1-sup1.wav」には「他の参加者」の位置を表現するための音像位置指定情報が含まれる。なお、この場合も他の参加者が複数存在する場合を想定して、複数の参加者の各々に対応する音声ファイルが用意される。
(3-4)補足説明情報の出力
サーバ装置SVの制御部6は、補助説明情報送信処理部65の制御の下、ステップS36において、上記補助説明情報生成処理部64により生成された補助説明情報を通信I/F部9から閲覧者端末UTへ送信する。
これに対し閲覧者端末UTの制御部1は、ステップS16により補助説明情報の受信が検出されると、補助説明情報受信処理部15の制御の下、ステップS17において、通信I/F部4により受信された上記補助説明情報を補助説明情報記憶部32に一旦保存する。続いて閲覧者端末UTの制御部1は、読み上げ音声出力処理部16の制御の下、保存された上記補助説明情報から読み上げ音声ファイルを読み出す。そして、読み出された読み上げ音声ファイルをアナログ音声信号に変換したのち、入出力I/F部5を介してスピーカ53へ出力し、音声として拡声出力させる。
この結果、例えば補助説明情報に含まれる音声ファイルが「スキップ」閲覧に対応するものであれば、閲覧中の大項目の説明内容の「概要」を示す読み上げ音声が出力される。また、例えば補助説明情報に含まれる音声ファイルが「通常」閲覧に対応するものであれば、閲覧中の大項目に記載された説明内容そのものを示す読み上げ音声が出力される。さらに、例えば補助説明情報に含まれる音声ファイルが「詳細」閲覧に対応するものであれば、閲覧中の大項目の説明内容と追加説明の内容を示す読み上げ音声が出力される。
また、その際補助説明情報受信処理部15は、上記音声ファイルに含まれる音源位置指定情報に応じて、上記読み上げ音声の位相を制御することで音源の位置を以下のように表現する。
すなわち、いま実際の展示会における展示物に対する説明者ES、閲覧者US、その同伴者ASおよび他の参加者PSの位置関係が、例えば図18に示すような関係にあると仮定する。この場合、音源が「説明者」であれば、あたかも展示物が置かれている前方において音声が読み上げられているように読み上げ音声の位相を制御する。また、音源が「同伴者」であれば、閲覧者の側方側において音声が読み上げられているように読み上げ音声の位相を制御する。さらに、音源が「他の参加者」であれば、閲覧者の後方において音声が読み上げられているように読み上げ音声の位相を制御する。
さらに、補助説明情報受信処理部15は、上記補助説明情報に含まれる音源位置指定情報に音源位置表示データが含まれているか否かを、ステップS19により判定する。そして、音源位置表示データが含まれていれば、説明情報表示処理部12の制御の下、ステップS20により上記音源位置表示データを説明情報に重畳して表示デバイス52に表示させる。
例えば、いま音源が「説明者」であれば、図19に示すように表示画面の余白領域MEの上辺部に音源位置SL1を視覚表示する。また、音源が「同伴者」であれば、図20に示すように表示画面の余白領域MEの側辺部に音源位置SL2を視覚表示する。さらに、音源が「他の参加者」であれば、図21に示すように表示画面の余白領域MEの下辺部に音源位置SL3を視覚表示する。いずれの音源位置SL1,SL2,SL3も、その表示形態としては例えば音波が広がるようなアニメーションが用いられる。
以上のように読み上げ音声の位相を制御することで音源の位置が聴覚的に表現され、さらに音源の位置が表示画面に視覚的にも表示されることで、閲覧者はオンライン閲覧でありながら、読み上げ音声と表示により説明者、同伴者および他の参加者の位置と距離感を感じることが可能となる。すなわち、臨場感のあるオンライン閲覧を実現することが可能となる。
なお、閲覧者端末UTおよびサーバ装置SVは、それぞれステップS21およびステップS37により閲覧の終了が検出されると、一連の情報提示処理を終了する。
(作用・効果)
以上述べたように一実施形態では、ポスターやスライド等のように、文字や図等の視覚マテリアルを用いた形式の説明情報を閲覧者がオンライン閲覧している状態で、閲覧者端末UTにおいて上記閲覧者のスクロール操作を検出してその量と方向をサーバ装置SVへ送信する。一方、サーバ装置SVにおいて、上記スクロール操作の量と方向をもとに閲覧者の閲覧状態を推定し、推定された閲覧状態に応じて説明情報の内容に対応しかつ粒度の異なる読み上げ音声ファイルを生成してこれを補助説明情報として閲覧者端末UTへ送信し、閲覧者に向けて読み上げ音声を拡声出力するようにしている。
従って、閲覧者は視覚表示される説明情報に加え読み上げ音声によっても説明情報の内容を確認することが可能となる。しかも、閲覧者の閲覧状態に応じて情報の内容および粒度の異なる読み上げ音声が出力されるので、閲覧者は自身の閲覧状態に応じて希望する内容および粒度の情報を読み上げ音声により確認することが可能となる。従って、閲覧者はチャットやWeb会議を利用しなくても、リアルタイムで所望の粒度の情報を確認することが可能となる。
さらに、読み上げ音声ファイルには音源位置指定情報が付加され、この音源位置指定情報により読み上げ音声の位相が制御され、さらに音源位置が視覚表示される。その結果、閲覧者はオンライン閲覧でありながら、音源となる説明者、同伴者および他の参加者等の位置と距離感を感じることができ、これにより臨場感のある情報閲覧が可能となる。
[その他の実施形態]
(1)前記一実施形態では、スクロール操作による閲覧者の着目位置がいずれの大項目に存在するかを検出し、着目位置が存在する大項目の説明内容に対応する読み上げ音声を出力するようにした。しかし、これに限るものではなく、例えば図22に示すように大項目Ik-1,Ik間に余白領域MEを設定し、スクロール操作SCによる閲覧者の閲覧位置が大項目Ik-1上のP5から上記余白領域ME上の位置P6に移動したときに、移動前の大項目Ik-1の説明情報の内容に対応する読み上げ音声を出力するようにしてもよい。この場合、上記余白領域MEの幅は、予め固定的に決めておいてもよいが、他に例えば大項目Ik-1,Ikそれぞれの記載領域の長さの平均に特定の倍率を乗じた値や、ユーザの1回のスクロール量の平均値に特定の倍率を乗じた値に設定するようにしてもよい。
(2)また、スクロールによる着目位置の移動に応じて読み上げ音声の出力を切り替える場合には、出力中の読み上げ音声がその末尾まで出力が終了してから、次の読み上げ音声の出力を開始させるように制御してもよい。このようにすると、読み上げ音声が途中で途切れないようにすることができる。また、読み上げ音声の出力の切替時に、フェードイン・フェードアウト等のエフェクト処理を行うようにしてもよい。
(3)前記実施形態では、スクロール速度により閲覧状態を推定するようにしたが、スクロール速度以外にも、例えばマウスポインタまたはカーソルの停止時間の長さ等に応じて閲覧状態を推定するようにしてもよい。
(4)前記一実施形態では、補助説明情報を事前に補助説明情報記憶部85に登録しておき、閲覧状態の推定結果などに応じて対応する補助説明情報を読み出すようにした。しかし、それに限らず、ディープラーニング等を用いて構成される学習モデルを用意し、この学習モデルに閲覧操作の特徴量を説明変数として入力して、補助説明情報の音声ファイルまたはそのラベルを目的変数として出力するように構成してもよい。
(5)前記一実施形態では、閲覧状態の推定処理をサーバ装置SVにおいて行う場合を例にとって説明した。しかし、これに限らず、閲覧状態の推定処理を閲覧者端末UTにおいて行ってその推定結果をサーバ装置SVに送信するようにしてもよい。
(6)前記一実施形態では、説明情報および補助説明情報をサーバ装置SVに事前に記憶しておき、閲覧者の閲覧操作に応じて上記説明情報および補助説明情報をサーバ装置SVから閲覧者端末UTへ送信するようにした。しかし、それに限らず、例えば説明情報および追加説明情報を出展者端末ETに記憶しておき、閲覧者の閲覧操作に応じて上記説明情報および補助説明情報を出展者端末ETから直接、或いはサーバ装置SVを介して閲覧者端末UTへ送信するようにしてもよい。
(7)前記一実施形態では、オンライン展示会を例にとって説明したが、この発明はオンライン講演会や講義を行うシステムに適用してもよく、さらには企業や教育機関の広報ページや、オンラインストアにおける商品紹介ページ等のように、何かしらの目的および文脈に沿って情報を提示するWebサイトにも、この発明は応用できる。例えば、商品紹介ページを例にとれば、企業側の商品企画担当者や開発者が説明者となり、実際に利用したことがあるユーザが他の参加者になる。
(8)その他、閲覧操作の検出手法や閲覧状態の推定手法、閲覧状態の種類、読み上げ音声ファイルの構成、説明情報の構成、閲覧者端末および情報提示制御装置の構成および機能についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
SV…サーバ装置
UT1~UTn…閲覧者端末
ET1~ETm…出展者端末
NW…ネットワーク
1…閲覧者端末の制御部
2…閲覧者端末のプログラム記憶部
3…閲覧者端末のデータ記憶部
4…閲覧者端末の通信I/F部
5…閲覧者端末の入出力I/F部
6…サーバ装置の制御部
7…サーバ装置のプログラム記憶部
8…サーバ装置のデータ記憶部
9…サーバ装置の通信I/F部
11…説明情報受信処理部
12…説明情報表示処理部
13…スクロール操作検出処理部
14…閲覧操作情報送信処理部
15…補助説明情報受信処理部
16…読み上げ音声出力処理部
31…説明情報記憶部
32…補助説明情報記憶部
61…説明情報送信処理部
62…閲覧操作情報取得処理部
63…閲覧状態推定処理部
64…補助説明情報生成処理部
65…補助説明情報送信処理部
81…説明情報記憶部
82…閲覧操作情報記憶部
83…訪問履歴情報記憶部
84…閲覧状態記憶部
85…補助説明情報記憶部


Claims (7)

  1. 発表または展示イベントにおける視覚マテリアルを用いた形式の説明情報を、情報提示側が使用する情報提示制御装置から閲覧者が使用する閲覧者端末にネットワークを介してオンラインにより送信し提示する情報提示システムであって、
    前記閲覧者端末は、
    前記情報提示制御装置から送信される前記説明情報を前記ネットワークを介して受信し、受信された前記説明情報を表示デバイスに表示する表示処理部と、
    前記表示デバイスに表示された前記説明情報に対する前記閲覧者の閲覧操作に関する情報を検出し、検出された前記閲覧操作に関する情報を前記ネットワークを介して前記情報提示制御装置へ送信する閲覧操作送信処理部と
    を備え、
    前記情報提示制御装置は、
    前記閲覧操作に関する情報を前記ネットワークを介して取得し、取得された前記閲覧操作に関する情報に基づいて、スクロールの方向が逆方向の場合を検出すると共に前記逆方向のスクロールが最後までスクロール済みか否かを判定し、その判定結果に基づいて前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかを推定する推定処理部と、
    前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかに応じて、前記説明情報に対応する読み上げ音声情報を含む補助説明情報を生成する生成処理部と、
    生成された前記補助説明情報を前記ネットワークを介して前記閲覧者端末へ送信する補助説明情報送信処理部と
    を備え、
    前記閲覧者端末は、
    前記補助説明情報を前記ネットワークを介して受信し、受信された前記補助説明情報に含まれる前記読み上げ音声情報を音響デバイスから出力する音声出力処理部を、備える情報提示システム。
  2. 発表または展示イベントにおける視覚マテリアルを用いた形式の説明情報を、閲覧者が使用する閲覧者端末にネットワークを介して送信し提示させる情報提示制御装置であって、
    提示された前記説明情報に対する前記閲覧者の閲覧操作に関する情報を前記ネットワークを介して前記閲覧者端末から取得し、取得された前記閲覧操作に関する情報に基づいて、スクロールの方向が逆方向の場合を検出すると共に前記逆方向のスクロールが最後までスクロール済みか否かを判定し、その判定結果に基づいて前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかを推定する推定処理部と、
    前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかに応じて、前記説明情報に対応する読み上げ音声情報を含む補助説明情報を生成する生成処理部と、
    生成された前記補助説明情報を前記ネットワークを介して前記閲覧者端末へ送信して、前記読み上げ音声情報を前記閲覧者端末から出力させる送信処理部と
    を具備する情報提示制御装置。
  3. 前記推定処理部は、前記閲覧操作に関する情報に基づいて、前記説明情報に対する前記閲覧者の閲覧詳細度を推定し、
    前記生成処理部は、推定された前記閲覧詳細度に基づいて前記説明情報に対応する情報粒度の異なる前記読み上げ音声情報を生成し、
    前記送信処理部は、生成された前記読み上げ音声情報を含む前記補助説明情報を前記閲覧者端末へ送信して、前記読み上げ音声情報を前記閲覧者端末から出力させる
    請求項2に記載の情報提示制御装置。
  4. 前記推定処理部は、前記閲覧操作に関する情報に基づいて、前記説明情報に対する前記閲覧者の閲覧目的を推定し、
    前記生成処理部は、推定された前記閲覧目的に基づいて、予め用意された複数の説明用音源の中から対応する音源を選択し、選択された前記音源の音像位置を反映した前記読み上げ音声情報を生成し、
    前記送信処理部は、生成された前記読み上げ音声情報を含む前記補助説明情報を前記閲覧者端末へ送信して、前記読み上げ音声情報を前記閲覧者端末から出力させる
    請求項2に記載の情報提示制御装置。
  5. 前記生成処理部は、前記音像位置を表す音像位置表示情報をさらに生成し、
    前記送信処理部は、生成された前記音像位置表示情報を含む前記補助説明情報を前記閲覧者端末へ送信し、前記音像位置表示情報を前記説明情報に重畳して前記閲覧者端末に表示させる
    請求項4に記載の情報提示制御装置。
  6. 発表または展示イベントにおける視覚マテリアルを用いた形式の説明情報を、情報提示側が使用する情報提示制御装置から閲覧者が使用する閲覧者端末にネットワークを介してオンラインにより送信し提示する情報提示システムが実行する情報提示方法であって、
    前記閲覧者端末により、前記情報提示制御装置から送信される前記説明情報を前記ネットワークを介して受信し、受信された前記説明情報を表示デバイスに表示する過程と、
    前記閲覧者端末により、前記表示デバイスに表示された前記説明情報に対する前記閲覧者の閲覧操作に関する情報を検出し、検出された前記閲覧操作に関する情報を前記ネットワークを介して前記情報提示制御装置へ送信する過程と、
    前記情報提示制御装置により、前記閲覧操作に関する情報を前記ネットワークを介して取得し、取得された前記閲覧操作に関する情報に基づいて、スクロールの方向が逆方向の場合を検出すると共に前記逆方向のスクロールが最後までスクロール済みか否かを判定し、その判定結果に基づいて前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかを推定する過程と、
    前記情報提示制御装置により、前記逆方向のスクロールの目的が「再確認」であるか「補足」であるかに応じて、前記説明情報に対応する読み上げ音声情報を含む補助説明情報を生成する過程と、
    前記情報提示制御装置により、生成された前記補助説明情報を前記ネットワークを介して前記閲覧者端末へ送信する過程と、
    前記閲覧者端末により、前記補助説明情報を前記ネットワークを介して受信し、受信された前記補助説明情報に含まれる前記読み上げ音声情報を音響デバイスから出力する過程と
    を具備する情報提示方法。
  7. 請求項2乃至5のいずれかに記載の情報提示制御装置が具備する前記各処理部による処理を、前記情報提示制御装置が備えるプロセッサに実行させるプログラム。
JP2023554143A 2021-10-20 2021-10-20 情報提示システム、装置、方法およびプログラム Active JP7772080B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038681 WO2023067715A1 (ja) 2021-10-20 2021-10-20 情報提示システム、装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2023067715A1 JPWO2023067715A1 (ja) 2023-04-27
JP7772080B2 true JP7772080B2 (ja) 2025-11-18

Family

ID=86057982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023554143A Active JP7772080B2 (ja) 2021-10-20 2021-10-20 情報提示システム、装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7772080B2 (ja)
WO (1) WO2023067715A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120355874B (zh) * 2025-06-24 2025-08-29 杭州秋果计划科技有限公司 基于xr的文物展示方法、设备及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231475A (ja) 1999-02-10 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報閲覧システムにおける音声読み上げ方法
JP2020024573A (ja) 2018-08-07 2020-02-13 株式会社Exidea 閲覧状況解析装置、閲覧状況解析方法および閲覧状況解析プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175151A (ja) * 1997-08-12 1999-03-16 Hewlett Packard Co <Hp> 音声処理機能付き画像表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231475A (ja) 1999-02-10 2000-08-22 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報閲覧システムにおける音声読み上げ方法
JP2020024573A (ja) 2018-08-07 2020-02-13 株式会社Exidea 閲覧状況解析装置、閲覧状況解析方法および閲覧状況解析プログラム

Also Published As

Publication number Publication date
JPWO2023067715A1 (ja) 2023-04-27
WO2023067715A1 (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
US11172006B1 (en) Customizable remote interactive platform
US11611565B2 (en) Systems and methods for providing an interactive media presentation
US20220294836A1 (en) Systems for information sharing and methods of use, discussion and collaboration system and methods of use
US20210397402A1 (en) Collaborative remote interactive platform
US10698707B2 (en) Using salience rankings of entities and tasks to aid computer interpretation of natural language input
US20130007103A1 (en) Managing Interactive Content on Client Devices
KR101921926B1 (ko) 컨텐츠 제공 시스템 및 동작 방법
CN113253880B (zh) 互动场景的页面的处理方法、装置及存储介质
US11349889B1 (en) Collaborative remote interactive platform
US9152297B2 (en) Interactive content creation system
CN116868214A (zh) 改善的协作工作空间中的协作媒体对象生成和演示
Yi Xiao Experiencing the library in a panorama virtual reality environment
Betty Creation, management, and assessment of library screencasts: The Regis Libraries animated tutorials project
US20250126162A1 (en) Adaptive collaborative real-time remote remediation
CN114846808B (zh) 内容发布系统、内容发布方法以及存储介质
JP2004054533A (ja) 案内情報提供システム、案内情報提供方法、案内情報提供プログラム及びそのプログラムを記録した記録媒体
US20130024775A1 (en) Information processing apparatus, information processing method, and program
US11042509B1 (en) Mobile learning system
CN109684565A (zh) 网页关联视频的生成及展示方法、装置、系统及电子设备
WO2023067715A1 (ja) 情報提示システム、装置、方法およびプログラム
US20140178035A1 (en) Communicating with digital media interaction bundles
US10275506B1 (en) Coordinating data across services
US20150234924A1 (en) System and method for controlled syndication and population of database information
CN111158822A (zh) 一种显示界面控制方法、装置、存储介质和电子设备
KR101869247B1 (ko) 동영상 스팟 이미지에 기초한 객체정보 제공서비스를 이용한 컨텐츠 경매 제공방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251020

R150 Certificate of patent or registration of utility model

Ref document number: 7772080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150