JPH10207615A

JPH10207615A - ネットワークシステム

Info

Publication number: JPH10207615A
Application number: JP9009219A
Authority: JP
Inventors: Hiroki Mochizuki; 啓希望月
Original assignee: TEC CORP
Current assignee: TEC CORP
Priority date: 1997-01-22
Filing date: 1997-01-22
Publication date: 1998-08-07

Abstract

(57)【要約】【課題】操作者の送信画像に対する反応をホストコンピ
ュータ側でリアルタイムで把握し、より優れたマンマシ
ンインターフェースを構築する。【解決手段】ネットワーク１４にホストコンピュータ１
１を接続するとともにインターフェース装置１５1 を介
して端末装置１８1 及び撮像装置１９1 を接続し、ホス
トコンピュータからネットワーク及びインターフェース
装置を介して端末装置に画像情報を送信して表示させ、
このときの操作者の表情を撮像装置で撮像し、この撮像
した顔の表情からインターフェース装置は視線位置及び
これに対応した興味度、理解・受容度を同じタイミング
で検知してホストコンピュータに知らせ、ホストコンピ
ュータは検知した視線位置とこれに対応した興味度、理
解・受容度から端末装置操作者の送信画像に対する反応
を把握する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークを介
してホストコンピュータと端末装置の操作者とのコミュ
ニケーションを図るマンマシンインターフェースを実現
したネットワークシステムに関する。

【０００２】

【従来の技術】インターネット等に代表されるように、
ネットワークを介した通信網が急速に整備され、利用者
も増加している。また、ネットワークを使用した新しい
サービスやコンテンツも提供されている。さらに、商業
活動分野に関してもオンラインショッピングはもとよ
り、最近ではＥＣ（Electronic Commerce;電子商取引）
も提唱されているこのような通信ネットワークシステム
の発展とともに人とコンピュータとのコミュニケーショ
ンを図るマンマシンインターフェースの開発も進められ
ている。

【０００３】従来、マンマシンインターフェースとして
は、例えば、特開平６−２６６４９７号公報に見られる
ものが知られている。これは、図２２の(a) に示すよう
に、マイクロコンピュータ本体１にテレビカメラ２、デ
ィスプレイ３、キーボード４、マウス５を接続し、マイ
クロコンピュータ本体１の上にディスプレイ３を載置す
るとともにディスプレイ３の上部中心にテレビカメラ２
を載置している。そして、図２２の(b) に示すように、
テレビカメラ２からの画像信号を画像信号取込みボード
６にてＡ／Ｄ変換した後、画像処理ボード７に入力す
る。この画像処理ボード７は入力データをメモリに一旦
格納した後、このメモリ内のデータを用いて必要な画像
データを抽出する。図２２の(c) のＯＰ１を参照する
と、不安そうな表情が目、眉、口で分かる。そこで、画
像処理ボード７では、例えばエッジ検出を行って人の顔
の表情に関する目、眉、口などの形を抽出する。

【０００４】画像処理ボード７からの画像データをニュ
ーラルネットワークボード８に供給し、このニューラル
ネットワークボード８で与えられる画像データに基づい
て表情、そして感情を認識し、その結果を出力する。例
えば、図２２の(c) のＯＰ２に示すように、あせってい
るか否かを判定する。ニューラルネットワークボード８
の出力を制御演算ボード９に供給し、この制御演算ボー
ド９で図２２の(c) のＯＰ３に示すように、入力に従っ
てメモリの各種の説明データの中から適当なものを引出
してディスプレイ３を表示制御する。例えば、ＯＰ２で
あせっていると判定されると、ＯＰ３では易しい説明を
選択し、ＯＰ４にてディスプレイ３は易しい説明を表示
する。

【０００５】このように、この公報記載のものは、カメ
ラ２を使用してコンピュータ操作者の顔を映し、その画
像を解析して表情を読み取ることで操作者の感情を類推
し、その情報を手掛かりに最適なヘルプ情報を選択して
提供している。また、映し出した顔画像から視線関連情
報を抽出し、それに基づきポインタ位置を視線に合わせ
て自動で移動することも行っている。

【０００６】

【発明が解決しようとする課題】しかし、この従来装置
は、単に顔をカメラで映して解析し表情を読み取ってデ
ィスプレイ３に表示する説明文を選択するだけのもので
あって、例えば、ホストコンピュータからネットワーク
を介して各家庭の端末装置に商品情報等を画像情報とし
て提供し、各家庭では端末装置の表示装置を介して画像
情報を確認するようなシステムにおいて、顧客になり得
る各家庭の端末装置の操作者の興味の度合いなどをホス
トコンピュータ側で把握するような使い方ができなかっ
た。

【０００７】そこで請求項１記載の発明は、ホストコン
ピュータからネットワークを介して端末装置に画像情報
を送信して表示し、そのときの端末装置操作者の送信画
像に対する反応をホストコンピュータ側でリアルタイム
で把握することができ、より優れたマンマシンインター
フェースを構築できるネットワークシステムを提供す
る。

【０００８】請求項２記載の発明は、ホストコンピュー
タからネットワークを介して複数の端末装置に画像情報
を送信して表示し、そのときの各端末装置操作者の送信
画像に対する個別反応又は平均的反応をホストコンピュ
ータ側でリアルタイムで把握することができ、より優れ
たマンマシンインターフェースを構築できるネットワー
クシステムを提供する。

【０００９】請求項３記載の発明は、ホストコンピュー
タからネットワークを介して端末装置に複数の商品画像
情報を送信して表示し、そのときの端末装置操作者がど
の商品画像に興味を持ったかをホストコンピュータ側で
リアルタイムで把握し、端末装置に興味を持った商品画
像の詳細な画像情報を表示することにより、より優れた
マンマシンインターフェースを構築できるネットワーク
システムを提供する。

【００１０】請求項４記載の発明は、ホストコンピュー
タからネットワークを介して端末装置に商品画像情報及
び注目画像情報又は緊急画像情報を送信して表示し、そ
のとき端末装置操作者が注目画像情報又は緊急画像情報
の到来を認知したか判断し、到来を認知していないと判
断したときには注目画像情報又は緊急画像情報をより目
立つ画像に変更して送信することで、より優れたマンマ
シンインターフェースを構築できるネットワークシステ
ムを提供する。

【００１１】

【課題を解決するための手段】請求項１記載の発明は、
ネットワークにホストコンピュータを接続するとともに
インターフェース装置を介して端末装置及び撮像装置を
接続し、ホストコンピュータはネットワーク及びインタ
ーフェース装置を介して端末装置に画像情報を送信し、
端末装置は表示装置でその画像情報を表示し、撮像装置
は端末装置操作者の表情を撮像するネットワークシステ
ムからなり、撮像装置が撮像した端末装置操作者の表情
情報から、視線位置とこれに対応した興味度、理解・受
容度を検知する手段を設け、ホストコンピュータは、検
知した視線位置とこれに対応した興味度、理解・受容度
から端末装置操作者の送信画像に対する反応を把握する
ことにある。

【００１２】請求項２記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにそれぞれインター
フェース装置を介して端末装置及び撮像装置をそれぞれ
接続し、ホストコンピュータはネットワーク及び各イン
ターフェース装置を介して各端末装置に画像情報を送信
し、各端末装置はそれぞれ表示装置でその画像情報を表
示し、各撮像装置はそれぞれ端末装置操作者の表情を撮
像するネットワークシステムからなり、各撮像装置が撮
像した個々の端末装置操作者の表情情報から、視線位置
とこれに対応した興味度、理解・受容度を検知する手段
を設け、前記ホストコンピュータは、検知した個々の端
末装置操作者の視線位置とこれに対応した興味度、理解
・受容度から各端末装置操作者の送信画像に対する個別
反応又は平均的反応を把握することを特徴とするネット
ワークシステム。

【００１３】請求項３記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにインターフェース
装置を介して端末装置及び撮像装置を接続し、ホストコ
ンピュータは前記ネットワーク及びインターフェース装
置を介して端末装置に複数の商品画像情報を送信し、端
末装置は表示装置でその各商品画像情報を表示し、撮像
装置は端末装置操作者の表情を撮像するネットワークシ
ステムからなり、撮像装置が撮像した端末装置操作者の
表情情報から、視線位置とこれに対応した興味度、理解
・受容度を検知する手段を設け、ホストコンピュータ
は、検知した視線位置とこれに対応した興味度、理解・
受容度から端末装置操作者が興味を持った商品画像を把
握し、対応する商品の詳細な画像情報を端末装置に送信
し、端末装置は表示装置でその詳細な商品画像情報を表
示することにある。

【００１４】請求項４記載の発明は、ネットワークにホ
ストコンピュータを接続するとともにインターフェース
装置を介して端末装置及び撮像装置を接続し、ホストコ
ンピュータはネットワーク及びインターフェース装置を
介して端末装置に商品画像情報を送信し、端末装置は表
示装置でその商品画像情報を表示し、撮影装置は端末装
置操作者の表情を撮像するネットワークシステムからな
り、撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、ホストコンピュータは端末装置に
さらに注目画像情報又は緊急画像情報を送信し、端末装
置は表示装置でその注目画像情報又は緊急画像情報を表
示し、ホストコンピュータは、検知した視線位置とこれ
に対応した興味度、理解・受容度から端末装置操作者が
注目画像情報又は緊急画像情報の到来を認知したか否か
を判断し、到来を認知していないと判断したときには注
目画像情報又は緊急画像情報をより目立つ画像に変更し
て送信し、端末装置はこの変更画像を表示装置で表示す
ることにある。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。（第１の実施の形態）図１はネットワークシステム全体
の構成を示すブロック図で、ホストコンピュータ１１を
通信回線１２に接続し、この通信回線１２をゲートウエ
イ１３を介してインターネットからなるネットワーク１
４に接続している。また、インターフェース装置１５1
，１５2 ，…を通信回線１６に接続し、この通信回線
１６をゲートウエイ１７を介して前記ネットワーク１４
に接続している。前記インターフェース装置１５1 ，１
５2 ，…にそれぞれ端末装置１８1 ，１８2 ，…及び撮
像装置１９1 ，１９2 ，…を接続している。

【００１６】前記インターフェース装置１５1 ，１５2
，…、端末装置１８1 ，１８2 ，…及び撮像装置１９1
，１９2 ，…は、図２に示すように、端末装置１８1
，１８2 ，…の外側面にユニット化したインターフェ
ース装置１５1 ，１５2 ，…及び撮像装置１９1 ，１９
2 ，…を取り付けて一体化している。前記インターフェ
ース装置１５1 ，１５2 ，…には必要に応じてマウス２
０を取り付けるようになっている。前記端末装置１８1
，１８2 ，…は、端末装置本体２１の上にディスプレ
イ２２を載置し、端末装置本体２１の手前にキーボード
２３を配置した構成になっている。前記撮像装置１９1
，１９2 ，…は自動焦点機能を持ったカメラシステム
からなり、端末装置１８1 ，１８2 ，…の操作者の顔を
撮像して、多階調画像の顔画像を出力するようになって
いる。

【００１７】図３は前記ホストコンピュータ１１、イン
ターフェース装置１５1 、端末装置１８1 及び撮像装置
１９1 の回路構成を示すブロック図で、ホストコンピュ
ータ１１は、制御部本体を構成するマイクロプロセッサ
３１、ＲＡＭ等からなる内部メモリ３２、フロッピディ
スクやハードディスク等からなる外部記憶装置３３、キ
ーボード等の入力装置３４、ＣＲＴディスプレイ等の表
示装置３５、インターフェース３６を備え、マイクロプ
ロセッサ３１はプログラムに基づいて内部メモリ３２、
外部記憶装置３３、入力装置３４、表示装置３５及びイ
ンターフェース３６をそれぞれ制御するようになってい
る。

【００１８】前記インターフェース装置１５1 は、前記
撮像装置１９1 に接続した画像入力部４１、前処理部４
２、判断・処理アルゴリズム部４３及びデータ通信部４
４からなり、前記画像入力部４１は画像信号取込部４１
１を備え、前記撮像装置１９1 からの多階調画像をフレ
ームメモリに蓄えて画像データを作成し前記前処理部４
２に供給している。

【００１９】前記前処理部４２は、顔領域の抽出部４２
１、表情解析部４２２、眼部領域抽出部４２３、視線解
析部４２４、標準パターンデータベース４２５、瞬目検
知／解析部４２６、瞳孔径検知／解析部４２７、眼部運
動検知／解析部４２８を備え、前記顔領域の抽出部４２
１は、前記画像信号取込部４１１からの画像データであ
る各フレームデータから例えば肌色領域を抽出して顔領
域を取り出すようになっている。

【００２０】前記表情解析部４２２は、標準パターンデ
ータベース４２５の標準パターンデータを使用して顔領
域の抽出部４２１が出力する顔領域のデータから表情を
解析し、前記眼部領域抽出部４２３は、例えば、顔領域
の抽出部４２１が出力する顔領域のデータを適当なしき
い値で２値化した後、残った領域に対してペア度の高い
部分を抽出し、それらの部分について形や重心座標を比
較して目らしさを判定することで眼部領域を抽出する。
前記視線解析部４２４は、顔領域の抽出部４２１が出力
する顔領域のデータから視線を解析する。

【００２１】前記眼部領域抽出部４２３が抽出した眼部
領域データを瞬目検知／解析部４２６、瞳孔径検知／解
析部４２７、眼部運動検知／解析部４２８にそれぞれ供
給し、前記瞬目検知／解析部４２６で瞬目の検知と解析
を行い、前記瞳孔径検知／解析部４２７で瞳孔径の検知
と解析を行い、前記眼部運動検知／解析部４２８で眼部
運動の検知と解析を行っている。

【００２２】前記表情解析部４２２が解析した表情情
報、前記視線解析部４２４が解析した視線情報、前記瞬
目検知／解析部４２６が解析した瞬目情報、前記瞳孔径
検知／解析部４２７が解析した瞳孔径情報及び前記眼部
運動検知／解析部４２８が解析した眼部運動情報をそれ
ぞれ前記判断・処理アルゴリズム部４３に供給してい
る。

【００２３】前記判断・処理アルゴリズム部４３は、前
記前処理部４２からの表情情報、視線情報、瞬目情報、
瞳孔径情報及び眼部運動情報と学習用データベース４３
１からのデータをもとに、注視度・視線位置、興味度、
理解・受容度を同一タイミングでそれぞれ検知し、その
検知結果を前記データ通信部４４のインターフェース４
４１に供給している。

【００２４】前記データ通信部４４のインターフェース
４４１は、前記端末装置１８1 がホストコンピュータ１
１とやり取りする通常のデータに前記判断・処理アルゴ
リズム部４３からの注視度・視線位置、興味度、理解・
受容度のデータをリンクして送信するようになってい
る。また、前記データ通信部４４は、通信プロトコルに
従った送受信制御やデータパケットの作成等も行うよう
になっている。

【００２５】前記端末装置１８1 は、制御部本体を構成
するマイクロプロセッサ５１を備え、このマイクロプロ
セッサ５１で記憶部５２、外部記憶装置５３、前記ディ
スプレイ２２及びキーボード２３をそれぞれ制御するよ
うになっている。前記端末装置１８1 のマイクロプロセ
ッサ５１は、前記インターフェース装置１５1 のインタ
ーフェース４４１に接続している。以上は、インターフ
ェース装置１５1 、端末装置１８1 、撮像装置１９1 の
構成について説明したが、他のインターフェース装置１
５2 ，…、端末装置１８2，…、撮像装置１９2 ，…に
ついても同一の構成になっている。

【００２６】前記前処理部４２の検知処理をさらに詳し
く述べると、前記表情解析部４２２が行う表情解析処理
は、図４に示すように、先ず、Ｓ１にて、取り込んだフ
レームデータの画像２値化を行い、Ｓ２にて、特徴点抽
出を行う。これは、例えば、眉の位置座標や目の細さ、
目尻のしわや口元の形などの表情に関する特徴点の抽出
を行う。続いて、Ｓ３にて、標準表情パターンの検出を
行う。これは、抽出した特徴点データを前記標準パター
ンデータベース４２５の標準パターンデータと順次比較
する。そして、Ｓ４にて、一致する表情パターンを検出
すると、Ｓ５にて、表情認識結果を出力してこの処理を
終了する。

【００２７】前記瞬目検知／解析部４２６が行う瞬目検
知・解析処理は、図５に示すように、先ず、Ｓ１１に
て、ｎ番目のフレームメモリの眼部画像を取り込み、Ｓ
１２にて、ｎ＋１番目のフレームメモリの眼部画像を取
り込み、Ｓ１３にて、眼部開口量変化の検出を行い、Ｓ
１４にて、平均瞬目回数を算出し、これを一定時間が経
過するまで繰り返し、Ｓ１５にて、一定時間が経過する
と、Ｓ１６にて、瞬目解析結果を出力してこの処理を終
了する。すなわち、この処理では複数のフレームメモリ
間での眼部画像の変化を検出して単位時間当たりの変化
回数を瞬目量として検知している。

【００２８】前記瞳孔径検知／解析部４２７が行う瞳孔
径検知・解析処理は、図６に示すように、先ず、Ｓ２１
にて、眼部領域の画像を入力し、Ｓ２２にて、円に近い
領域の検出を行い、Ｓ２３にて、濃度の違いを検出し、
Ｓ２４にて、直径を計測して平均化し、これを一定時間
が経過するまで繰り返し、Ｓ２５にて、一定時間が経過
すると、Ｓ２６にて、瞳孔計解析結果を出力してこの処
理を終了する。すなわち、この処理では眼部画像領域の
中から円形に近い領域を抽出して先ず虹彩（黒目）の部
分を検出し、その後、色の濃度の違いを調べて黒目の中
の瞳孔を検出し、その座標データから直径を計測する。
そして、これを一定時間繰り返したときの直径の平均値
を求め瞳孔径としている。

【００２９】前記眼部運動検知／解析部４２８が行う眼
部運動検知・解析処理は、図７に示すように、先ず、Ｓ
３１にて、眼部領域の画像を入力し、Ｓ３２にて、黒目
部分の検出を行い、Ｓ３３にて、両目の白目と黒目の比
を抽出し、Ｓ３４にて、眼球の向きを算出し、Ｓ３５に
て、時間内の運動変化の判定を行い、これを一定時間が
経過するまで繰り返し、Ｓ３６にて、一定時間が経過す
ると、Ｓ３７にて、瞳孔計解析結果を出力してこの処理
を終了する。すなわち、この処理では目の検出後に黒目
の部分を検出し、目の中心を通る縦横の軸上の黒目と白
目の領域の分布、すなわち、割合を調べて目の向きを算
出し一定時間内の眼球の運動を検出することになる。

【００３０】前記視線解析部４２４が行う視線位置解析
処理は、図８に示すように、先ず、Ｓ４１にて、撮像装
置１９1 の焦点により距離の算出を行い、Ｓ４２にて、
視線書記位置を入力し、Ｓ４３にて、黒目・白目の比を
算出し、Ｓ４４にて、画面上の視線移動量を算出し、Ｓ
４５にて、顔の回転量分の補正を行い、Ｓ４６にて、新
しい座標位置を算出し、Ｓ４７にて、視線位置の解析結
果を出力してこの処理を終了する。すなわち、この処理
では、先ず、撮像装置１９1 に内蔵されているオートフ
ォーカス用の距離測定手段により画面と顔との間の距離
を測定する。次に視線位置の初期値を入力する。これ
は、例えば、画面上の基準位置を見つめてもらい、その
ときの眼球の白目と黒目の割合を記憶し、これを初期値
とする。そして、操作者の視線位置が変化すると、眼球
部分の白目と黒目の比率が目の中心を原点として左右と
上下、すなわち、ｘ軸とｙ軸で異なってくるため、これ
を検出して眼球移動量を求める。この眼球移動量と画面
の顔との距離から、画面上での視線移動量を算出する。
そして、顔の回転量を読取り補正する。こうすることで
新しい視線座標位置が決まる。

【００３１】前記判断・処理アルゴリズム部４３が行う
興味度検知処理は、図９に示すように、先ず、Ｓ５１に
て、瞬目検知結果を入力する。そして、Ｓ５２にて、瞬
目回数をチェックし、平均回数以上でなければ、Ｓ５３
にて、瞬目回数を記憶し、Ｓ５４にて、瞳孔径検知結果
を入力する。そして、Ｓ５５にて、瞳孔が散瞳している
か否かをチェックし、散瞳していれば、Ｓ５６にて、開
き度合いをメモリに保存し、Ｓ５７にて、眼部運動検知
結果を入力する。そして、Ｓ５８にて、眼部運動が注視
又は跳躍運動になっているか否かをチェックし、注視又
は跳躍運動になっていれば、Ｓ５９にて、運動状態をメ
モリに記憶し、Ｓ６０にて、興味度レベルを算出し、Ｓ
６１にて、算出した結果を出力してこの処理を終了す
る。また、Ｓ５２のチェックにおいて瞬目回数が平均以
上であったり、Ｓ５５のチェックにおいて散瞳していな
かったり、Ｓ５８のチェックにおいて注視又は跳躍運動
になっていなければ、Ｓ６２にて、意識的注視でないこ
とを判定してこの処理を終了する。

【００３２】すなわち、人が興味を持って画像情報をみ
つめる時、一般的な特徴として瞬目の回数が減り、瞳孔
が散瞳することが知られている。また、画像の特徴を捕
らえようとして眼球は画像の周囲を見回すような跳躍運
動をする。勿論、注視状態では眼球運動は停止する。こ
の処理はこのような特徴をとらえて行う処理で、先ず瞬
目の時間平均回数が平常時より低下しているかをチェッ
クし、次に瞳孔が平常時よりも散瞳しているか否か瞳孔
の開き具合から検知する。さらに、主観的興味の強い画
像を見た時に起こる注視や跳躍運動の有無を検知する。
そして、これらの情報を総合的に判断して興味度レベル
を算出する。

【００３３】前記判断・処理アルゴリズム部４３が行う
理解・受容検知処理は、図１０に示すように、先ず、Ｓ
７１にて、瞬目検知結果を入力する。そして、Ｓ７２に
て、瞬目の時間平均回数を記憶し、Ｓ７３にて、眼部運
動検知結果を入力する。そして、Ｓ７４にて、視線が停
留しているか否かをチェックし、視線が停留していれ
ば、Ｓ７５にて、表情検知結果を入力し、続いて、Ｓ７
６にて、理解・受容レベルを算出し、最後に、Ｓ７７に
て、算出した結果を出力してこの処理を終了する。ま
た、Ｓ７４のチェックにおいて視線が停留していなけれ
ば、Ｓ７８にて、表情検知結果を入力し、続いて、Ｓ７
９にて、困惑レベルを算出し、最後に、Ｓ７７にて、算
出した結果を出力してこの処理を終了する。

【００３４】すなわち、人は、一般的に、画像情報を理
解・受容したときは、眼球運動が一時停留し、逆に、理
解できないときは、不安や緊張により瞬目回数が増加す
ることが知られている。また、表情を検知すれば困惑の
表情などに特徴を見出だすことができる。この処理はこ
のような特徴をとらえて行う処理で、先ず、瞬目の検知
を行い、その時間平均回数が平常時に対して変化してい
るか否かを検知する。その後、眼部運動を検知し、さら
に視線停留を検知後に表情検知を行い、理解・受容や困
惑を判断する。最後に総合判断によってそれらのレベル
を算出する。

【００３５】以上の処理により、前記判断・処理アルゴ
リズム部４３は、注視度・視線位置、興味度、理解・受
容度を同一タイミングでそれぞれ検知し、その検知結果
を前記データ通信部４４のインターフェース４４１に供
給するが、前記インターフェース４４１は、この注視度
・視線位置、興味度、理解・受容度の結果を前記端末装
置１８1 から前記ホストコンピュータ１１に送信するデ
ータパケットに乗せて送信するようになっている。

【００３６】これを模式的に示すと、図１１に示すよう
に、前記端末装置１８1 から前記インターフェース４４
１を介して前記ホストコンピュータ１１に送信するデー
タパケットは通信プロトコルに応じてヘッダ部、アドレ
ス部、データ部、ＣＲＣ（エラー検出部）からなるが、
このデータパケットの例えばデータ部の後に注視度・視
線位置、興味度、理解・受容度のデータを検知フラグデ
ータとして付加して送信している。また、前記ホストコ
ンピュータ１１から前記インターフェース４４１を介し
て前記端末装置１８1 に送信するデータパケットは通信
プロトコルに応じてヘッダ部、アドレス部、データ部、
ＣＲＣ（エラー検出部）からなる。以上は、インターフ
ェース装置１５1 、端末装置１８1 及び撮像装置１９1
の場合について述べたが、他のインターフェース装置１
５2 ，…、端末装置１８2，…及び撮像装置１９2 ，…
についても同様の構成で同様の処理を行うものである。

【００３７】このようにして、端末装置１８1 ，１８2
，…のディスプレイ２２を見ている操作者の注視度・
視線位置、興味度、理解・受容度をホストコンピュータ
１１に送信できるので、ホストコンピュータ１１から端
末装置に画像を送信し、端末装置にて操作者がディスプ
レイ２２によりホストコンピュータ１１からの送信画像
を見たときの操作者の注視度・視線位置、興味度、理解
・受容度をホストコンピュータ１１にてリアルタイムに
知ることができる。従って、端末装置操作者の画像を見
ているときの表情を適切に判断し、画像を操作者がより
興味を示すような画像に切換えたり、操作者がより理解
を示すような画像に切換えたりなどの処置ができ、より
優れたマンマシンインターフェースを構築できる。

【００３８】また、インターフェース装置１５1 ，１５
2 ，…は、それぞれ端末装置１８1，１８2 ，…とは独
立してユニット化し、この端末装置１８1 ，１８2 ，…
の外側面に取り付ける構成としているので、インターフ
ェース装置を従来からある端末装置に取り付けるのみで
システムを安価に構築できる。なお、インターフェース
装置をボードに組み込み、このボードを従来からある端
末装置に内蔵させる構成であってもよい。

【００３９】（第２の実施の形態）なお、前述した第１
の実施の形態と同一の部分には同一の符号を付し、異な
る部分について説明する。図１２に示すように、第１の
実施の形態におけるインターフェース装置を分割し、ホ
ストコンピュータ１１１に、判断・処理アルゴリズム部
３１２及びデータ通信部３１３を設け、インターフェー
ス装置１５１1 に、画像入力部４１、前処理部４２及び
データ通信部６４を設けている。そして、前記ホストコ
ンピュータ１１１のデータ通信部３１３と前記インター
フェース装置１５１1 のデータ通信部６４をネットワー
ク１４を介して接続している。

【００４０】このネットワークシステムでは、前記イン
ターフェース装置１５１1 の前処理部４２からデータ通
信部６４を介して前記ホストコンピュータ１１１にデー
タパケットが送信される。このときのデータパケットの
フォーマットは、図１３に示すようにヘッダ部、アドレ
ス部、データ部、ＣＲＣ（エラー検出部）からなり、こ
のデータパケットに対して前処理部４２からの表情解析
データｄ1 、視線位置データｄ2 、瞬目解析データｄ3
、眼球運動解析データｄ4 、瞳孔径解析データｄ5 を
データ部の後に付加して前記ホストコンピュータ１１１
に送信する。

【００４１】前記ホストコンピュータ１１１は、インタ
ーフェース装置１５１1 からのデータパケットから表情
解析データｄ1 、視線位置データｄ2 、瞬目解析データ
ｄ3、眼球運動解析データｄ4 、瞳孔径解析データｄ5
をデータ通信部３１３を介して受取り、内部の判断・処
理アルゴリズム部３１２にて図１４に示す判断・処理ア
ルゴリズムの選択処理を行う。

【００４２】この処理は、先ず、Ｓ８１〜Ｓ８４にて、
瞬目解析データｄ3 、瞳孔径解析データｄ5 、眼球運動
解析データｄ4 、視線位置データｄ2 を順次取込み、こ
の状態で、興味度抽出であれば、Ｓ８５にて興味度検出
アルゴリズムを実行して図９に示す興味度検知処理と同
様の処理を行い、理解・受容度抽出であれば、Ｓ８６に
て理解・受容度検出アルゴリズムを実行して図１０に示
す理解・受容度検知処理と同様の処理を行い、ストレス
・疲労度抽出であれば、Ｓ８７にてストレス・疲労度検
出アルゴリズムを実行してストレス・疲労度検知処理を
行い、その他の抽出であればその他の抽出に基づく処理
を行う。そして、Ｓ８８にて、処理の終了をチェック
し、終了であればＳ８９にて、結果を出力して一連の処
理を終了する。

【００４３】従って、この実施の形態においても、端末
装置１８1 のディスプレイ２２を見ている操作者の注視
度・視線位置、興味度、理解・受容度をリアルタイムで
知ることができ、端末装置操作者の画像を見ているとき
の表情を適切に判断し、画像を操作者がより興味を示す
ような画像に切換えたり、操作者がより理解を示すよう
な画像に切換えたりなどの処置ができ、より優れたマン
マシンインターフェースを構築できる。

【００４４】また、判断・処理アルゴリズム部３１２を
ホストコンピュータ１１１に内蔵させることで判断・処
理アルゴリズム部３１２の判断・処理アルゴリズムを自
由に変更することが可能となり、判断・処理の自由度を
高めることができる。また、判断・処理アルゴリズムが
複雑になった場合には、ホストコンピュータ１１１のマ
シンパワーを利用できるため、高速処理が可能になり、
また、端末装置側のインターフェース装置の負担やコス
トを軽減できる。

【００４５】（第３の実施の形態）これは、図１５に示
すように、ホストコンピュータ７１を通信回線７２に接
続し、この通信回線７２をゲートウエイ７３を介してイ
ンターネットからなるネットワーク７４に接続してい
る。また、インターフェース装置７５1 ，…を通信回線
７６に接続し、この通信回線７６をゲートウエイ７７を
介して前記ネットワーク７４に接続している。また、イ
ンターフェース装置７８1 ，…を通信回線７９に接続
し、この通信回線７９をゲートウエイ８０を介して前記
ネットワーク７４に接続している。また、インターフェ
ース装置８１1 ，…を通信回線８２に接続し、この通信
回線８２をゲートウエイ８３を介して前記ネットワーク
７４に接続している。

【００４６】前記インターフェース装置７５1 ，…、７
８1 ，…、８１1 ，…にそれぞれ端末装置８４1 ，…、
８５1 ，…、８６1 ，…及び撮像装置８７1 ，…、８８
1 ，…、８９1 、…を接続している。前記インターフェ
ース装置７５1 ，…、７８1，…、８１1 ，…の構成
は、第１の実施の形態におけるホストコンピュータ１
１、インターフェース装置１５1 ，１５2 ，…の構成と
同じ構成になっている。

【００４７】前記ホストコンピュータ７１は、例えば、
図１６に示すように、Ｓ９１にて、各端末装置８４1 ，
…、８５1 ，…、８６1 ，…に画像情報を送信し、Ｓ９
２にて、端末装置８４1 、インターフェース装置７５1
から興味度の結果を受信し、Ｓ９３にて、端末装置８５
1 、インターフェース装置７８1 から興味度の結果を受
信し、Ｓ９４にて、端末装置８６1 、インターフェース
装置８１1 から興味度の結果を受信する。これにより、
各端末装置８４1 、８５1 、８６1 の操作者に対する送
信画像に対する個別の興味度を検知できる。そして、Ｓ
９５にて、送信画像に対する平均興味度を算出する。こ
れにより、各端末装置８４1 、８５1 、８６1 の操作者
に対する送信画像に対する平均の興味度を検知できる。
また、他の反応の抽出があればその受信、算出を行う。
例えば、理解・受容度を各端末装置８４1 、８５1 、８
６1 及びインターフェース装置７５1 、７８1、８１1
から受信し、送信画像に対する平均理解・受容度を算出
する。

【００４８】このように、ホストコンピュータ７１はネ
ットワーク７４を介して複数の端末装置に対して同時に
同じ画像情報を送信し、各端末装置にて操作者がディス
プレイによりホストコンピュータ７１からの送信画像を
見たときの各操作者の注視度・視線位置、興味度、理解
・受容度をホストコンピュータ７１にてリアルタイムに
知ることができる。そして、ホストコンピュータ７１
は、各端末装置を操作している操作者の興味度や理解・
受容度等についての個別反応を知ることができるととも
に平均的反応も知ることができる。

【００４９】従って、この処理をネットワーク７４に接
続している全ての端末装置を対象に行えば、例えば、商
品情報を送信画像情報として送信してその反応を認識す
るなど、このシステムを情報の収集やリサーチの手段と
して使用することができる。

【００５０】また、このシステムでは、端末装置操作者
が注視している画像の部分を徐々に拡大して表示させる
ハイパーリンク機能を備えている。例えば、ホストコン
ピュータ７１から端末装置８４1 に対して商品サンプル
の画像を送信し、端末装置８４1 のディスプレイに図１
７に画面Ａ１として示すように、皿にりんご、かき、バ
ナナを載せた画像を表示させる。そして、端末装置８４
1 から注視度・視線位置、興味度、理解・受容度の結果
を受信してホストコンピュータ７１は、操作者がりんご
ａに興味を持っていることを判断し、次にリンゴの部分
のみを拡大した画像を送信し、端末装置８４1 のディス
プレイに図１７に画面Ａ２として示すように、りんごの
拡大画像を表示させる。そして、端末装置８４1 から注
視度・視線位置、興味度、理解・受容度の結果を受信し
てホストコンピュータ７１は、操作者がりんごの一部に
興味を持っていることを判断し、次にリンゴの部分拡大
と商品説明の画像を送信し、端末装置８４1 のディスプ
レイに図１７に画面Ａ３として示すように、りんごの部
分拡大及び商品説明の画像を表示させる。

【００５１】このように、操作者が興味を持って見てい
る画像を徐々に拡大する画像をハイパーリンク形式で表
示させて最後に商品説明も追加させることで商品の宣伝
効果をより一層高めることができる。また、このシステ
ムを利用すれば、メーカによる新商品に対する消費者の
反応をつかみ有効なマーケットリサーチとしての利用効
果を高めることができる。

【００５２】例えば、ホストコンピュータ７１に外部記
憶装置に予めメーカが開発した新商品の画像情報をハイ
パーリンク形式で徐々に拡大できる構成で格納してお
き、ホストコンピュータ７１から各端末装置８４1 ，
…、８５1 ，…、８６1 ，…に新商品の画像情報を送信
してそれぞれディスプレイに表示させる。そして、各端
末装置の操作者の新商品に対する興味度や理解・受容度
をインターフェース装置７５1 ，…、７８1 ，…、８１
1 ，…を介してホストコンピュータ７１が受信してその
平均的反応を把握し、もし興味度が低ければ興味度が高
くなるような画面に切替えたり、理解・受容度が低けれ
ば画面中の説明文などを易しく分かりやすい内容に変更
させる。

【００５３】図１８に示すように、ホストコンピュータ
７１から各端末装置に画像情報Ｂ1を送信して表示させ
た結果、理解度レベルが低いという結果が出ると、ホス
トコンピュータ７１は理解度を高めるために各端末装置
に例えば画像を拡大するなど内容がより明確になる画像
情報Ｂ2 を送信して表示させる。そして各端末装置から
の反応が多少理解に変化すると、さらに理解度を高める
画面に切替える画像情報Ｂ3 を送信して表示させる。こ
のときの画面の変化を模式的に示すと、図１９に示すよ
うになる。このように表示画面を各端末装置の操作者の
反応を検知して変化させることで、例えば、新商品の宣
伝を行う場合にはきわめて有効なシステムとなる。

【００５４】また、このシステムをＥＣ（電子商取引）
やオンラインショッピングに適用することもできる。

【００５５】例えば、通常画像情報以外に注目画像情報
Ｄが発生したとすると、図２０に示すように、ホストコ
ンピュータ７１から各端末装置８４1 ，…、８５1 ，
…、８６1 ，…に通常画像情報Ｃ他に注目画像情報Ｄを
送信する。これを受信した各端末装置８４1 ，…、８５
1 ，…、８６1 ，…は図２１の(a) に示すように通常画
像Ｃ1 と注目画像Ｄ1 の表示を行う。そして、ホストコ
ンピュータ７１は各端末装置８４1 ，…、８５1 ，…、
８６1 ，…からの注視度・視線位置、興味度、理解・受
容度の結果を受信し、操作者が注目画像情報Ｄ1 の到来
を注目し認知したか否かを確認する。そして、もし、注
目画像情報Ｄ1 の到来を認知していないと判断したとき
には、ホストコンピュータ７１は、注目画像情報Ｄの内
容を変更して、例えば、図２１の(b) に示すように、注
目画像Ｄ1 を点滅させたり、図２１の(c) に示すよう
に、通常画像Ｃ1 を右下に移動し、かつ注目画像Ｄ1 を
点滅させるとともに中央部に移動させるなどして操作者
に注目画像Ｄ2 の到来に注目するよう促す。なお、ここ
では注目画像情報の場合について述べたが緊急画像情報
であってもよい。

【００５６】このように通常画像情報に注目画像情報や
緊急画像情報を割込ませ、さらに、この注目画像情報や
緊急画像情報を操作者が確実に認知するように操作者の
表情を検知して表示内容を変更することができる。これ
により、さらに優れたマンマシンインターフェースを構
築できる。

【００５７】

【発明の効果】請求項１記載の発明によれば、ホストコ
ンピュータからネットワークを介して端末装置に画像情
報を送信して表示し、そのときの端末装置操作者の送信
画像に対する反応をホストコンピュータ側でリアルタイ
ムで把握することができ、より優れたマンマシンインタ
ーフェースを構築できる。請求項２記載の発明によれ
ば、ホストコンピュータからネットワークを介して複数
の端末装置に画像情報を送信して表示し、そのときの各
端末装置操作者の送信画像に対する個別反応又は平均的
反応をホストコンピュータ側でリアルタイムで把握する
ことができ、より優れたマンマシンインターフェースを
構築できる。

【００５８】請求項３記載の発明によれば、ホストコン
ピュータからネットワークを介して端末装置に複数の商
品画像情報を送信して表示し、そのときの端末装置操作
者がどの商品画像に興味を持ったかをホストコンピュー
タ側でリアルタイムで把握し、端末装置に興味を持った
商品画像の詳細な画像情報を表示することにより、より
優れたマンマシンインターフェースを構築できる。請求
項４記載の発明によれば、ホストコンピュータからネッ
トワークを介して端末装置に商品画像情報及び注目画像
情報又は緊急画像情報を送信して表示し、そのとき端末
装置操作者が注目画像情報又は緊急画像情報の到来を認
知したか判断し、到来を認知していないと判断したとき
には注目画像情報又は緊急画像情報をより目立つ画像に
変更して送信することで、より優れたマンマシンインタ
ーフェースを構築できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すもので、ネッ
トワークシステム全体の構成を示すブロック図。

【図２】同実施の形態における端末装置に対するインタ
ーフェース装置及び撮像装置の配置関係を示す斜視図。

【図３】同実施の形態におけるホストコンピュータ、イ
ンターフェース装置及び端末装置の内部構成を示すブロ
ック図。

【図４】同実施の形態におけるインターフェース装置の
表情解析部による表情解析処理を示す流れ図。

【図５】同実施の形態におけるインターフェース装置の
瞬目検知／解析部による瞬目検知・解析処理を示す流れ
図。

【図６】同実施の形態におけるインターフェース装置の
瞳孔径検知／解析部による瞳孔径検知・解析処理を示す
流れ図。

【図７】同実施の形態におけるインターフェース装置の
眼部運動検知／解析部による眼部運動検知・解析処理を
示す流れ図。

【図８】同実施の形態におけるインターフェース装置の
視線解析部による視線位置解析処理を示す流れ図。

【図９】同実施の形態におけるインターフェース装置の
判断・処理アルゴリズム部による興味度検知処理を示す
流れ図。

【図１０】同実施の形態におけるインターフェース装置
の判断・処理アルゴリズム部による理解・受容検知処理
を示す流れ図。

【図１１】同実施の形態におけるインターフェース装置
が送受信するデータパケットのフォーマットを示す図。

【図１２】本発明の第２の実施の形態を示すもので、ネ
ットワークシステム全体の構成を示すブロック図。

【図１３】同実施の形態におけるインターフェース装置
が送信するデータパケットのフォーマットを示す図。

【図１４】同実施の形態におけるホストコンピュータの
判断・処理アルゴリズム部による判断・処理アルゴリズ
ムの選択処理を示す流れ図。

【図１５】本発明の第３の実施の形態を示すもので、ネ
ットワークシステム全体の構成を示すブロック図。

【図１６】同実施の形態におけるホストコンピュータに
よる個別興味度及び平均興味度の検知処理を示す流れ
図。

【図１７】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の興味に応じて変更するときの
表示画面の変化を示す図。

【図１８】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の理解度に応じて変更するとき
の情報のやり取りを示す図。

【図１９】同実施の形態においてホストコンピュータが
端末装置の表示を操作者の理解度に応じて変更するとき
の表示画面の変化を示す図。

【図２０】同実施の形態においてホストコンピュータが
端末装置に通常画像の他に注目画像を表示するときの情
報のやり取りを示す図。

【図２１】同実施の形態においてホストコンピュータが
端末装置に通常画像の他に注目画像を表示するときの注
目画像表示の変化例を示す図。

【図２２】従来例を説明するための図。

【符号の説明】

１１…ホストコンピュータ１４…ネットワーク１５1 ，１５2 …インターフェース装置１８1 ，１８2 …端末装置１９1 ，１９2 …撮像装置４２２…表情解析部４２４…視線解析部４２６…瞬目検知／解析部４２７…瞳孔径検知／解析部４２８…眼部運動検知／解析部４３…判断・処理アルゴリズム部

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/62 ３８０

Claims

【特許請求の範囲】

【請求項１】ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に画像情報を送信し、前記端末装置は表示装置で
その画像情報を表示し、前記撮像装置は端末装置操作者
の表情を撮像するネットワークシステムからなり、前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者の送信画像に対する反応を把握するこ
とを特徴とするネットワークシステム。
【請求項２】ネットワークにホストコンピュータを接
続するとともにそれぞれインターフェース装置を介して
端末装置及び撮像装置をそれぞれ接続し、前記ホストコ
ンピュータは前記ネットワーク及び各インターフェース
装置を介して前記各端末装置に画像情報を送信し、前記
各端末装置はそれぞれ表示装置でその画像情報を表示
し、前記各撮像装置はそれぞれ端末装置操作者の表情を
撮像するネットワークシステムからなり、前記各撮像装置が撮像した個々の端末装置操作者の表情
情報から、視線位置とこれに対応した興味度、理解・受
容度を検知する手段を設け、前記ホストコンピュータ
は、検知した個々の端末装置操作者の視線位置とこれに
対応した興味度、理解・受容度から各端末装置操作者の
送信画像に対する個別反応又は平均的反応を把握するこ
とを特徴とするネットワークシステム。
【請求項３】ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に複数の商品画像情報を送信し、前記端末装置は
表示装置でその各商品画像情報を表示し、前記撮像装置
は端末装置操作者の表情を撮像するネットワークシステ
ムからなり、前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者が興味を持った商品画像を把握し、対
応する商品の詳細な画像情報を前記端末装置に送信し、
前記端末装置は表示装置でその詳細な商品画像情報を表
示することを特徴とするネットワークシステム。
【請求項４】ネットワークにホストコンピュータを接
続するとともにインターフェース装置を介して端末装置
及び撮像装置を接続し、前記ホストコンピュータは前記
ネットワーク及びインターフェース装置を介して前記端
末装置に商品画像情報を送信し、前記端末装置は表示装
置でその商品画像情報を表示し、前記撮像装置は端末装
置操作者の表情を撮像するネットワークシステムからな
り、前記撮像装置が撮像した端末装置操作者の表情情報か
ら、視線位置とこれに対応した興味度、理解・受容度を
検知する手段を設け、前記ホストコンピュータは前記端
末装置にさらに注目画像情報又は緊急画像情報を送信
し、前記端末装置は表示装置でその注目画像情報又は緊
急画像情報を表示し、前記ホストコンピュータは、検知
した視線位置とこれに対応した興味度、理解・受容度か
ら端末装置操作者が注目画像情報又は緊急画像情報の到
来を認知したか否かを判断し、到来を認知していないと
判断したときには注目画像情報又は緊急画像情報をより
目立つ画像に変更して送信し、前記端末装置はこの変更
画像を表示装置で表示することを特徴とするネットワー
クシステム。