JP6571310B2 - ユーザの心理状態判断装置及び方法 - Google Patents

Description

本発明は、端末でユーザの心理状態を判断する装置及び方法に関する。

最近、販売されているスマートフォン、タブレットＰＣなどの端末は、強力なハードウェア性能に基づいて多様な機能を提供している。特に、ユーザが直面した状況を認識して、それに合う機能を提供する状況認識サービス（ｃｏｎｔｅｘｔ ａｗａｒｅ ｓｅｒｖｉｃｅ）が活発に試みられている。現在までは、ユーザの位置情報を活用して提供するサービス、例えば、ユーザが特定の飲食店の前に行けば、使えるクーポンを自動で提示するサービスなどが主流をなしており、未来には、ユーザの心理状態のようにより意味のあるユーザ情報に基づいた知能型サービスが提供されると予想されている。

しかし、ユーザの心理状態のうち、感情を認識する技術と関連して、今のところは、ユーザの顔面映像を分析して、特定の顔の筋肉の動きを特定の感情でマッピングする技術、またはユーザの音声の特徴を分析して、特定の感情でマッピングする技術、またはユーザの生体信号の特徴を分析して、特定の感情でマッピングする技術のように、主にユーザの身体的反応を分析対象とするレベルに留まっている。このような、ユーザの身体的反応を分析する感情認識技術は、ユーザが意図的に身体的反応を隠す場合（無表情など）、ユーザの内面の隠された感情を把握することは容易ではなく、身体的反応を測定するために、別途のセンサー（皮膚伝導度センサーなど）を身体に装着しなければならない不便さをもたらして、使用上の制約が存在する。

本発明は、ユーザの心理状態判断装置及び方法を提供することである。

本発明の一態様によれば、ユーザの心理状態判断装置は、センサーデータを収集するデータ収集部と、前記センサーデータから特徴データを抽出するデータ処理部と、前記特徴データを推論モデルに提供してユーザの心理状態を判断する心理状態判断部と、を含む。

前記センサーデータは、タッチスクリーン、加速度センサー、方向センサー、ＧＰＳ、照度センサー、マイクロホン、ジャイロスコープセンサー、磁力計センサー（ｍａｇｎｅｔｏｍｅｔｅｒ ｓｅｎｓｏｒ）、気圧センサー（ｂａｒｏｍｅｔｅｒ ｓｅｎｓｏｒ）、指紋センサー（ｆｉｎｇｅｒｐｒｉｎｔ ｓｅｎｓｏｒ）、及びソフトウェアセンサーのうちの１つ以上を含むセンサーを通じて測定されうる。

前記特徴データは、テキスト入力情報及び状況情報を含み、前記テキスト入力情報は、キーボード入力情報、筆記入力情報、及び端末状態情報のうちの１つ以上を含み、前記状況情報は、位置、天気、不快指数、時間、及び平均照度のうちの１つ以上を含みうる。

前記ユーザの心理状態判断装置は、特徴データが抽出されれば、学習データを生成するか否かを判断し、前記特徴データを用いて学習データを生成する学習データ生成部をさらに含み、前記心理状態判断部は、前記学習データを用いて前記推論モデルを構築することができる。

前記学習データ生成部は、前記抽出された特徴データから少なくとも１つの特徴データを選択し、ユーザに心理状態を質疑してユーザの応答に基づいて学習データを生成することができる。前記学習データ生成部は、前記抽出された特徴データに対する重要度を計算し、前記重要度に基づいて前記少なくとも１つの特徴データを選択することができる。

前記抽出された特徴データに対する重要度は、情報利得（Ｉｎｆｏｒｍａｔｉｏｎ Ｇａｉｎ）、カイ二乗分布（Ｃｈｉ−Ｓｑａｕｒｅｄ Ｄｉｓｔｒｉｂｕｔｉｏｎ）、及び相互情報（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）アルゴリズムを含むアルゴリズムを用いて計算されうる。

前記ユーザの心理状態判断装置は、前記学習データを保存する学習データベースをさらに含みうる。前記心理状態は、感情、気持ち、またはストレスのうち少なくとも１つを含み、前記心理状態のそれぞれは、１つ以上の下位レベルを含みうる。

前記心理状態判断部は、決定ツリー（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）アルゴリズム及びナイーブベイズ分類（Ｎａｖｉｅ Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）アルゴリズムを含む指導学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）アルゴリズムを用いて、前記特徴データを前記推論モデルに提供することができる。

前記ユーザの心理状態判断装置は、前記判断されたユーザの心理状態に基づいて所定の措置を実行する措置実行部をさらに含みうる。

前記所定の措置は、前記判断されたユーザの心理状態と関連した情報提供、前記ユーザの心理状態に基づいた前記端末のユーザインターフェース制御、前記ユーザの心理状態に基づいたコンデンツ推薦、及び前記ユーザの心理状態を利用した学習データ更新中を含みうる。

前記ユーザの心理状態判断装置は、所定の措置を保存する措置データベースをさらに含みうる。

前記措置実行部は、対話型インターフェース（ｃｏｎｖｅｒｓａｔｉｏｎａｌ ｉｎｔｅｒｆａｃｅ）を提供する対話型ソフトウェアエージェント（ｉｎｔｅｒａｃｔｉｖｅ ｓｏｆｔｗａｒｅ ａｇｅｎｔ）に搭載されうる。

前記ユーザの心理状態判断装置は、前記端末のユーザを認証する認証部をさらに含みうる。

前記ユーザは、ログオン情報、指紋、または生体認識情報（ｂｉｏｍｅｔｒｉｃ ｉｎｆｏｒｍａｔｉｏｎ）のうち少なくとも１つに基づいて認証されうる。

本発明の一態様によるユーザの心理状態判断方法は、ユーザが端末でテキストを入力する時に発生するセンサーデータを収集する段階と、前記センサーデータから特徴データを抽出する段階と、前記特徴データを構築された推論モデルに適用してユーザの心理状態を判断する段階と、を含む。

前記センサーデータは、タッチスクリーン、加速度センサー、方向センサー、ＧＰＳ、照度センサー、マイクロホン、ジャイロスコープセンサー、磁力計センサー、気圧センサー、指紋センサー、及びソフトウェアセンサーのうちの１つ以上を含むセンサーを通じて測定されうる。

前記特徴データは、テキスト入力情報及び状況情報を含み、前記テキスト入力情報は、キーボード入力情報、筆記入力情報、及び端末状態情報のうちの１つ以上を含み、前記状況情報は、位置、天気、不快指数、時間、及び平均照度のうちの１つ以上を含みうる。

前記ユーザの心理状態判断方法は、特徴データが抽出されれば、学習データを生成するか否かを判断する段階と、学習データが生成されれば、前記特徴データを用いて学習データを生成する段階と、前記学習データを用いて前記推論モデルを構築する段階と、をさらに含みうる。前記学習データ生成段階は、前記抽出された特徴データから少なくとも１つの特徴データを選択する段階と、ユーザに心理状態を質疑する段階と、ユーザの応答に基づいて学習データを生成する段階と、を含みうる。

前記少なくとも１つの特徴データを選択する段階は、前記抽出された特徴データに対する重要度を計算し、前記重要度に基づいて前記少なくとも１つの特徴データを選択することができる。前記抽出された特徴データに対する重要度は、情報利得、カイ二乗分布、及び相互情報アルゴリズムを含むアルゴリズムを用いて計算されうる。

前記心理状態は、感情、気持ち、またはストレスのうち少なくとも１つを含み、前記心理状態のそれぞれは、１つ以上の下位レベルを含みうる。前記心理状態判断段階は、決定ツリーアルゴリズム及びナイーブベイズ分類アルゴリズムを含む指導学習アルゴリズムを用いて、前記特徴データを前記推論モデルに適用することができる。
ユーザの心理状態判断方法は、前記判断されたユーザの心理状態に基づいて所定の措置を実行する段階をさらに含みうる。

前記所定の措置は、前記判断されたユーザの心理状態と関連した情報提供、前記心理状態に基づいた端末のユーザインターフェース制御、前記ユーザの心理状態に基づいたコンデンツ推薦、及び前記ユーザの心理状態判断結果を利用した学習データ更新を含みうる。

本発明の他の態様によるユーザの心理状態判断方法は、ユーザが端末にテキストを入力する速度を抽出する段階と、前記テキスト入力速度を推論モデルに適用してユーザの心理状態を判断する段階と、前記判断された心理状態に基づいて所定の措置を実行する段階と、を含む。前記ユーザの心理状態判断方法は、ユーザのテキストの入力時に発生する他の情報を抽出し、前記推論モデルに適用することができる。

前記他の情報は、端末の位置情報を含みうる。前記他の情報は、天気情報を含みうる。前記他の情報は、端末の状態情報を含みうる。前記端末の状態情報は、端末の揺れ回数を含みうる。

本発明の他の態様によるユーザの心理状態判断方法は、ユーザの端末を用いたテキストの入力時に生成されるセンサーデータを収集する段階と、前記ユーザ入力データから特徴データを抽出する段階と、学習データを生成するか否かを判断する段階と、ユーザの心理状態を判断するために、前記特徴データを推論モデルに適用する段階と、を含む。前記学習データを生成するか否かを判断する段階は、既定の第１基準を満足するか否かを確認するか、ユーザから学習データ生成要請を受信する段階を含みうる。

前記ユーザの心理状態判断方法は、学習データを生成しなければならない場合、前記特徴データを用いて学習データを生成する段階と、前記学習データが既定の第２基準を超過するか否かを確認する段階と、前記学習データが、前記既定の第２基準を超過する場合、前記学習データを用いて前記推論モデルを構築する段階と、をさらに含みうる。前記ユーザの心理状態判断方法は、前記判断されたユーザの心理状態に対するユーザの応答を用いて、前記推論モデルを更新する段階をさらに含みうる。

本発明の一実施形態によるユーザの心理状態判断装置のブロック図である。 特徴データの一例を示す図面である。 特徴データを利用した心理状態判断結果の一例を示す図面である。 特徴データを利用した心理状態判断結果の一例を示す図面である。 学習データ生成のための質疑の例を示す図面である。 本発明の一実施形態によるユーザの心理状態判断方法のフローチャートである。 本発明の他の実施形態によるユーザの心理状態判断方法のフローチャートである。

その他の実施形態の具体的な事項は、詳細な説明及び図面に含まれている。記載の技術の利点及び特徴、そして、それらを果たす方法は、添付される図面と共に詳細に後述されている実施形態を参照すると、明確になる。明細書の全般に亘って同じ参照符号は、同じ構成要素を指称する。

以下、ユーザの心理状態判断装置及び方法の実施形態を図面を参考にして詳しく説明する。

図１は、本発明の一実施形態によるユーザの心理状態判断装置のブロック図である。図１を参照すると、ユーザの心理状態判断装置１００は、データ収集部１１０、データ処理部１２０、心理状態判断部１５０、及び措置実行部１６０を含む。

データ収集部１１０は、ユーザが端末でテキストを入力する時に発生するセンサーデータを収集する。ここで、端末、装置、モバイル端末は、例えば、携帯電話、スマートフォン、ウェアラブル（ｗｅａｒａｂｌｅ）スマート装置（例えば、時計、メガネなど）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルカメラ、携帯用ゲームコンソール（ｐｏｔａｂｌｅ ｇａｍｅ ｃｏｎｓｏｌｅ）、ＭＰ３プレーヤー、ＰＭＰ（Ｐｏｔａｂｌｅ／Ｐｅｒｓｏｎａｌ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ｈａｎｄｈｅｌｄ ｅ−ｂｏｏｋ、ＵＭＰＣ（Ｕｌｔｒａ Ｍｏｂｉｌｅ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯用ラップトップＰＣ（ｐｏｒｔａｂｌｅ ｌａｂ−ｔｏｐ ＰＣ）、ＧＰＳナビゲーションのようなモバイル装置、及びデスクトップＰＣ、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）、光ディスクプレーヤー（ｏｐｔｉｃａｌ ｄｉｓｃ ｐｌａｙｅｒ）、セットトップボックス（ｓｅｔｕｐ ｂｏｘ）のような装置を意味する。

ユーザは、移動端末を用いて、例えば、電子メール確認、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）活動、インターネットブラウジング、モバイルメッセンジャー使用、ショッピング、ナビゲーション、ゲームなどの各種作業を行うことができる。ユーザが、移動端末でこのような作業を行う時、端末に内蔵された多様なセンサーから多様な形態のデータが生成されうる。このようなセンサーは、タッチスクリーン、加速度センサー、ジャイロスコープセンサー、磁力計センサー、方向センサー、ＧＰＳ、照度センサー、指紋センサー、気圧センサー、マイクロホン、及びソフトウェアセンサーなどを含みうる。データ収集部１１０は、このようなセンサーから生成されたデータを収集することができる。

データ処理部１２０は、収集されたセンサーデータからユーザ心理状態分析のための特徴データを抽出する。ユーザが、キーボード、タッチスクリーン、またはスタイラスペン（ｓｔｙｌｕｓ ｐｅｎ）などを用いてテキストを入力する時、ユーザの心理状態と関連した多様な癖や特徴が内包されている。データ処理部１２０は、センサーデータからユーザの心理状態によって無意識的に変わりうるユーザのテキスト入力習慣に関する情報を特徴データとして抽出することができる。また、データ処理部１２０は、テキストを入力する時、ユーザの周辺状況に応じてユーザの心理状態が変わりうる点を考慮して、ユーザの周辺状況に関する情報を特徴データとして抽出することができる。但し、特徴データは、これに限定されるものではなく、ユーザの心理状態を反映することができる如何なるセンサーデータも特徴データとして利用されうる。

図２は、特徴データの一例である。図１及び図２を参照すると、データ処理部１２０は、ユーザがテキスト（例：メッセージ）を入力する途中で持続的に収集されるセンサーデータのうちから習慣情報としてキーボード入力情報、筆記入力情報、及び端末状態情報のうちの１つ以上を特徴データとして抽出することができる。キーボード入力情報は、端末のキーボードを介したテキストの入力時に発生するデータである。図２に例示されたように、キーボード入力情報は、タイプ速度、最長のテキスト長、最長の削除されたテキスト長、最短の削除されたテキスト長、編集当たりロングタッチ（ｌｏｎｇ ｔｏｕｃｈ）の数、編集当たりタイピングされた単語の数、バックスペースキーの使用頻度、エンターキーの使用頻度、特殊記号の使用頻度などになりうる。筆記入力情報は、例えば、スタイラスペンのような筆記用具を用いたテキストの入力時に発生するデータである。図２に例示されたように、筆記入力情報は、筆記入力速度、文字サイズの平均、平均筆圧、文字画の直進度（または、曲率）の平均、行間隔の平均、筆記入力規則性（ｗｒｉｔｉｎｇ ｉｎｐｕｔ ｒｅｇｕｌａｒｉｔｙ）などを含みうる。図２に例示されたように、端末状態情報は、機器揺れ回数、平均機器傾き程度、平均バッテリ残量、及び平均音量などを含みうる。

さらに他の例として、データ処理部１２０は、テキスト入力途中で１回以上収集される状況情報を特徴データとして抽出することができる。図２に例示されたように、状況情報は、位置、天気、不快指数（ｄｉｓｃｏｍｆｏｒｔ ｉｎｄｅｘ）、時間、平均照度、及び入力されたメッセージの受信者に関する情報などを含みうる。例えば、不快指数は、温湿度指数（ｔｅｍｐｅｒａｔｕｒｅ−ｈｕｍｉｄｉｔｙ ｉｎｄｅｘ、ＴＨＩ）であり、ＴＨＩは、温度及び湿度によって人が感じることができる不快感を数量化したものであり得る。例えば、数式１及び数式２を用いて計算することができる。

数式１：不快指数＝０．７２（乾球温度（ｄｒｙ−ｂｕｌｂ ｔｅｍｐｅｒａｔｕｒｅ）＋湿球温度（ｗｅｔ−ｂｕｌｂ ｔｅｍｐｅｒａｔｕｒｅ））＋４０．６
数式２：不快指数＝０．７２（乾球温度＋湿球温度）＋１５
数式１は、摂氏温度を使う場合であり、数式２は、華氏温度を使う場合の例である。

例えば、位置、天気、及び不快指数のような状況情報のうち一部は、所定基準または所定のスケジュールによって１回以上抽出されうる。所定の基準によって状況情報を収集することの一例として、状況情報は、ユーザが移動しながらテキストを入力している場合、一定距離ほど（例：１０Ｍ）移動する度に抽出されうる。さらに他の例として、一定時間（例：１分）が経過する度に状況情報を抽出することも可能である。メッセージ受信者情報は、ユーザの心理状態によって特定受信者にメッセージを送信する回数、あるいは頻度が変化することを表すことができる。

心理状態判断部１５０は、抽出された特徴データを推論モデルに適用してユーザの心理状態を判断することができる。心理状態判断部１５０は、あらかじめ生成されている学習データを用いて推論モデルを構築し、その特徴データを構築された推論モデルに適用してユーザの心理状態を判断することができる。心理状態判断部１５０は、特徴データを指導学習アルゴリズムのうちの何れか１つを用いて推論モデルに適用して心理状態を判断することができる。指導学習アルゴリズムは、決定ツリー、ナイーブベイズ分類アルゴリズムなどを含みうる。

図３Ａ及び図３Ｂは、特徴データを利用した心理状態判断結果の一例である。図１、図３Ａ及び図３Ｂを参照すると、心理状態判断部１５０は、図３Ａ及び図３Ｂに例示されたように、特徴データを用いてユーザの心理状態を分類することができる。この際、心理状態は、感情、気持ち、ストレスのうちの１つ以上を含み、各心理状態は、多様な下位レベルに分類されうる。例えば、感情の場合、幸せ、喜び、悲しみ、驚きなどに分類され、気持ちは、良い、普通、憂鬱などに分類されうる。また、ストレスは、上、中、下に分類されうる。また、図３Ａに示された信頼度レベル、または分類正確性確率は、心理状態または感情に起因することができる。

心理状態判断部１５０は、図３Ａに例示されたように、特徴データを用いて１つの心理状態を判断することができる。または、図３Ｂに例示されたように、２つ以上の心理状態を判断することができる。

図３Ａに例示されたように、キーボードを通じるタイプ入力速度が分当たり２３打、メッセージを作成する間にバックスペースキーの使用頻度３回、特殊記号の使用頻度５回、機器揺れ回数１０回、平均照度１５０Ｌｕｘ、特定位置（例：道路）を数値化した値が３である場合、この特徴データを推論モデルに適用して分類した感情状態は、７４％の信頼度レベルで‘驚き’である。図３Ｂに例示されたように、心理状態のうち、感情状態は、スタイラスペンなどを通じてテキストを入力する時、抽出される筆記速度、平均筆圧、筆記入力規則性などの筆記入力情報を用いて判断されうる。ストレスは、平均バッテリ残量、平均音量などの端末状態情報を用いて判断されうる。

図１を参照すると、ユーザの心理状態判断装置１００は、学習データ生成部１３０、及び学習データＤＢ１４０をさらに含みうる。

学習データ生成部１３０は、特徴データが抽出されれば、学習データを生成するか否かを判断することができる。学習データ生成部１３０は、ユーザに学習データ生成の有無を質疑し、その質疑に対してユーザが学習データを生成するように要請する場合、または既定の所定基準（例：保存された学習データの数が一定値以下である場合）を満足する場合、学習データを生成することができる。

図４は、学習データ生成のための質疑の例である。図１及び図４を参照すると、学習データ生成部１３０は、学習データを生成する場合、抽出された特徴データから少なくとも一部の特徴データを選択し、その選択された特徴データに対してユーザに心理状態を質疑して、ユーザの応答に基づいて学習データを生成することができる。

学習データ生成部１３０は、先に抽出された特徴データのうちから推論モデル構築に必要な意味のある特徴データを選択することができる。学習データ生成部１３０は、抽出された特徴データからノイズを除去することができる。例えば、抽出された特徴データを数値化した値の大多数が０またはヌル（Ｎｕｌｌ）である場合、当該特徴データをノイズと判断することができる。さらに他の例として、特徴データの変化（例：標準偏差）が所定の臨界値に達していない場合、当該特徴データをノイズと判断することができる。この際、特徴データの形態が数字ではない名目型（Ｎｏｍｉｎａｌ）である場合、当該特徴データを任意の数字に変換し、その数値を利用できる。例えば、現在位置が、家であれば１、会社であれば２、道路であれば３のように変換することができる。

学習データ生成部１３０は、ノイズが除去された特徴データから重要度が高い一部の特徴データを選択することができる。学習データ生成部１３０は、例えば、情報利得、カイ二乗分布、及び相互情報アルゴリズムなどの特徴選択アルゴリズムを用いて抽出された特徴データに対する重要度を計算することができる。学習データ生成部１３０は、計算された重要度に基づいて高い重要度を有する一部の特徴データを選択することができる。

一部の特徴データが選択された場合、図４に例示されたように、ユーザに心理状態を質疑することができる。ユーザが心理状態を選択すれば、その心理状態を特徴データに索引処理して学習データを生成し、学習データＤＢ１４０に保存することができる。図４に例示されたように、ユーザが、‘今日は良い天気ですね！’のようなメッセージを作成すれば、現在の感情状態を選択することができるエモーティコンを端末に表示することができる。学習データ生成部１３０は、ユーザによって選択されたエモーティコンに対応する感情状態を特徴データに索引処理して学習データを生成することができる。

学習データ生成部１３０は、ユーザが心理状態を容易に入力できるように心理状態に対応するエモーティコンなどを端末を通じて提供することができる。また、学習データ生成部１３０は、ユーザが自身の心理状態をテキストで入力できるようにテキスト入力窓を提供することができる。学習データ生成部１３０は、例えば、ユーザが端末を通じてテキストを入力した直後の心理状態、ユーザが移動をしばらく止めた場合の心理状態、ユーザが複数のメッセージを入力する場合、メッセージ作成する間に感じた心理状態のように多様な状況での心理状態に対して質疑することができる。

心理状態判断部１５０は、学習データ生成部１３０によって生成されて、学習データＤＢ１４０に保存された学習データを用いて推論モデルを構築することができる。心理状態判断部１５０が心理状態を判断した場合、措置実行部１６０は、その心理状態によって適切な措置を実行することができる。措置実行部１６０は、例えば、判断された心理状態と関連した情報を提供するか、その判断された心理状態に基づいて端末のユーザインターフェースを制御することができる。

例えば、措置実行部１６０は、ユーザ本人、知人、または医療陣などにユーザの現在の心理状態を知らせることができる。さらに他の例として、措置実行部１６０は、過去１ヶ月、または他のある期間の間の‘幸せ’感情を感じた回数、時間帯、場所などをグラフで表示するように累積された心理状態の統計情報を提供することができる。措置実行部１６０は、ユーザが文字メッセージ、電子メール、ＳＮＳ掲示物作成時に感じたユーザの心理状態を自動で記録し、ユーザの心理状態についての情報を適切に加工して提供することができる。

措置実行部１６０は、ユーザの心理状態によって端末のユーザインターフェーステーマ（例：字体、色、背景、明るさなど）を自動で変更することができる。また、措置実行部１６０は、ユーザの心理状態に適切なコンテンツ（例：音楽、ゲーム、映画など）を推薦することができる。さらに他の例として、ユーザの現在感情が悲しみである場合、“すべては考え方次第です。頑張ってください！”のようにユーザの現在心理状態に適切なメッセージを表示することができる。このような措置実行部１６０が、対話型ソフトウェアエージェントに搭載される場合、端末がユーザの心理状態に適切に反応して対話を試みることが可能となる。

ユーザの心理状態判断結果が正しい場合、措置実行部１６０は、抽出された特徴データに判断された心理状態を索引処理して学習データを更新することができる。ユーザの心理状態判断装置１００は、措置ＤＢ１７０をさらに含み、措置ＤＢ１７０は、心理状態判断時に実行する各種措置についての情報を保存することができる。例えば、心理状態による適切なユーザインターフェース構成方法、心理状態別推薦コンテンツのリスト、対応メッセージなどの情報が保存することができる。

ユーザの心理状態判断装置１００は、ユーザ認証部（図示せず）をさらに含みうる。ユーザ認証部（図示せず）は、ＩＤ／パスワード、生体認識（ｂｉｏｍｅｔｒｉｃｓ）、公認認証でなどを通じるログイン、顔認識などを通じてユーザを認証することができる。学習データは、各ユーザ別に生成され、推論モデルも各ユーザ別に構築されうる。これを通じて、１つの移動端末を多数のユーザが使う場合にも、各ユーザによる最適化された心理状態情報提供が可能となる。

図５は、本発明の一実施形態によるユーザの心理状態判断方法のフローチャートである。図５を参照して、図１のユーザの心理状態判断装置１００を通じてユーザの心理状態を判断する方法の一実施形態を説明する。図５の動作は、示された順序と方式とで行われうるが、示された例の範囲及び思想を外れない範囲内で一部の動作が省略されるか、動作順序が変更されうる。図５に示された動作は、並列的に、または同時に行われる。図１ないし図４の説明は、図５にも適用可能なので、重複された説明は省略する。

ユーザの心理状態判断装置１００は、ユーザが端末でテキストを入力する時に発生するセンサーデータを収集する（段階３０１）。ユーザの心理状態判断装置１００は、収集されたセンサーデータからユーザ心理状態分析のための特徴データを抽出する（段階３０２）。

特徴データが抽出されれば、ユーザの心理状態判断装置１００は、学習データを生成するか否かを判断することができる（段階３０３）。例えば、特徴データが抽出されれば、ユーザの心理状態判断装置１００は、既定の所定基準（例：保存された学習データの数が一定値以下である場合）を満足する場合、またはユーザに学習データ生成の有無を質疑し、ユーザが学習データを生成するように要請する場合、学習データが生成されなければならないと判断することができる。

学習データが生成されなければならないと判断された場合、ユーザの心理状態判断装置１００は、抽出された特徴データを用いて学習データを生成することができる（段階３０４）。前述したように、ユーザの心理状態判断装置１００は、抽出された特徴データ、またはその特徴データからノイズを除去し、残りの特徴データに対してユーザに心理状態を質疑してユーザが入力した心理状態を特徴データに索引処理することによって、学習データを生成することができる。前述したように、ユーザの心理状態判断装置１００は、抽出された特徴データまたは抽出された特徴データからノイズが除去され、残りの特徴データのうちから重要度に基づいて少なくとも一部の特徴データを選択し、その選択された特徴データに対して学習データを生成することも可能である。学習データが生成されれば、ユーザの心理状態判断装置１００は、センサーデータを収集する段階（３０１）に戻ることができる。これは、例えば、生成された学習データの数が既定の基準値である場合に発生することがある。さらに他の例として、ユーザが、推論モデル構築要請に応答しない場合、ユーザの心理状態判断装置１００は、生成された学習データがまだ推論モデルを構築するのに十分ではないと判断し、再びセンサーデータを収集することができる。生成された学習データの数が既定の基準値を超過するか、ユーザの要請が入力されれば、ユーザの心理状態判断装置１００は、生成された学習データで推論モデルを構築し、学習することができる（段階３０５）。

ユーザの心理状態判断装置１００は、特徴データを構築された推論モデルに適用して心理状態を判断することができる（段階３０６）。

前述したように、心理状態が判断されれば、ユーザの心理状態判断装置１００は、その心理状態によって適切な措置を実行することができる（段階３０７）。判断された心理状態の真偽の結果が真である場合、ユーザの心理状態判断装置１００は、抽出された特徴データ及び判断された心理状態を索引処理して学習データを更新することもできる。

図６は、本発明の他の実施形態によるユーザの心理状態判断方法のフローチャートである。図６の動作は、示された順序と方式とで行われうるが、示された例の範囲及び思想を外れない範囲内で一部の動作が省略されるか、動作順序が変更されうる。図６に示された動作は、並列的に、または同時に行われる。図１ないし図４の説明は、図６にも適用可能なので、重複された説明は省略する。

図６を参照して、図１のユーザの心理状態判断装置１００を通じてユーザの心理状態を判断する方法の他の実施形態を説明する。

ユーザが端末にテキストを入力すれば、ユーザの心理状態判断装置１００は、テキスト入力速度を抽出し（段階４０１）、テキスト入力速度を推論モデルに適用してユーザの心理状態を判断することができる（段階４０２）。テキスト入力速度は、ユーザの感情状態によって変わり、ユーザの心理状態判断装置１００は、抽出されたテキスト入力速度を通じて表われるユーザの心理状態を判断することができる。一方、ユーザの心理状態判断時にテキスト入力速度に追加して、ユーザの心理状態判断装置１００は、ユーザのテキストの入力時に発生する他の情報をさらに抽出し、その他の情報を推論モデルに適用してユーザの心理状態を判断することができる。他の情報は、端末の位置情報、天気情報、及び端末の揺れ回数のような端末の状態情報など、前記で明示された情報１つ以上の形態であり得る。

ユーザの心理状態が判断されれば、ユーザの心理状態判断装置１００は、判断された心理状態に基づいて所定の措置を実行することができる（段階４０３）。所定の措置は、前述したように、ユーザ本人、知人、または医療陣などにユーザの現在の心理状態を知らせるか、累積された心理状態の統計情報を提供することなどになりうる。このような情報は、ユーザが文字メッセージ、電子メール、ＳＮＳ掲示物作成時に自動で記録されて提供されうる。または、ユーザの心理状態によって端末のユーザインターフェーステーマ（例：字体、色など）を自動で変更するか、ユーザの心理状態に適切なコンテンツ（例：音楽、ゲーム、映画など）を推薦すること、またはユーザの現在心理状態に適切な対応メッセージを表示することになりうる。

一方、本実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。

当業者ならば、本発明がその技術的思想や必須の特徴を変更せずとも、他の具体的な形態で実施可能であることを理解できるであろう。したがって、前述した実施形態は、あらゆる面で例示的なものであり、限定的ではないということを理解せねばならない。

本発明は、ユーザの心理状態判断装置及び方法関連の技術分野に適用可能である。

１１０ データ収集部
１２０ データ処理部
１３０ 学習データ生成部
１４０ 学習データＤＢ
１５０ 心理状態判断部
１６０ 措置実行部
１７０ 措置ＤＢ

Claims (23)

1. ユーザが端末でテキストを入力する時に発生するセンサーデータを収集するデータ収集部と、
   前記センサーデータから特徴データを抽出するデータ処理部と、
   前記特徴データを、前記特徴データのうちから重要度の高い特徴データを選択し、その選択された特徴データに対して前記ユーザに心理状態を質疑して、前記ユーザの応答に基づいて生成した学習データを用いて構築された推論モデルに提供して、前記ユーザの心理状態を判断する心理状態判断部と、
   前記判断されたユーザの心理状態に基づいて所定の措置を実行する措置実行部と、
   を含み、
   前記センサーデータは、センサーを通じて測定され、
   前記特徴データは、前記ユーザによるテキスト入力情報及び前記ユーザの周辺における不快指数に関する状況情報を含み、
   前記所定の措置は、
   前記判断された前記ユーザの心理状態と関連した情報提供、前記ユーザの心理状態に基づいた端末のユーザインターフェース制御、前記ユーザの心理状態に基づいたコンテンツ推薦、ユーザ本人、知人、または医療陣などへの前記ユーザの現在の心理状態の通知、心理状態の統計情報の提供、前記ユーザの心理状態による前記端末のユーザインターフェーステーマの変更、のうち１つ以上を含む、
   ユーザの心理状態判断装置。
2. 前記センサーは、
   タッチスクリーン、加速度センサー、方向センサー、ＧＰＳ、照度センサー、マイクロホン、ジャイロスコープセンサー、磁力計センサー、気圧センサー、指紋センサー、及びソフトウェアセンサーのうちの１つ以上である、請求項１に記載のユーザの心理状態判断装置。
3. 前記テキスト入力情報は、キーボード入力情報、筆記入力情報、及び端末状態情報のうちの１つ以上を含み、
   前記状況情報は、さらに、位置、天気、時間、及び平均照度のうちの１つ以上を含む請求項１または２に記載のユーザの心理状態判断装置。
4. 前記特徴データが抽出されれば、学習データを生成するか否かを判断し、前記特徴データを用いて前記学習データを生成する学習データ生成部をさらに含み、
   前記心理状態判断部は、
   前記学習データを用いて前記推論モデルを構築する請求項１に記載のユーザの心理状態判断装置。
5. 前記学習データ生成部は、
   前記抽出された特徴データから少なくとも１つの特徴データを選択し、ユーザに心理状態を質疑してユーザの応答に基づいて学習データを生成する請求項４に記載のユーザの心理状態判断装置。
6. 前記学習データ生成部は、
   前記抽出された特徴データに対する重要度を計算し、前記重要度に基づいて前記少なくとも１つの特徴データを選択する請求項４または５に記載のユーザの心理状態判断装置。
7. 前記抽出された特徴データに対する重要度は、情報利得、カイ二乗分布、及び相互情報アルゴリズムのうち１つ以上によるアルゴリズムを用いて計算される請求項６に記載のユーザの心理状態判断装置。
8. 前記学習データを保存する学習データベースをさらに含む請求項４に記載のユーザの心理状態判断装置。
9. 前記心理状態は、
   感情、気持ち、またはストレスのうち少なくとも１つを含み、前記心理状態のそれぞれは、１つ以上の下位レベルを含む請求項１に記載のユーザの心理状態判断装置。
10. 前記心理状態判断部は、
    決定ツリーアルゴリズム及び／又はナイーブベイズ分類アルゴリズムによる指導学習アルゴリズムを用いて、前記特徴データを前記推論モデルに提供する請求項１に記載のユーザの心理状態判断装置。
11. 前記所定の措置を保存する措置データベースをさらに含む請求項１に記載のユーザの心理状態判断装置。
12. 前記措置実行部は、対話型インターフェースを提供する対話型ソフトウェアエージェントに搭載される請求項１に記載のユーザの心理状態判断装置。
13. 前記端末のユーザを認証する認証部をさらに含む請求項１に記載のユーザの心理状態判断装置。
14. 前記ユーザは、ログオン情報、指紋、または生体認識情報のうち少なくとも１つに基づいて認証される請求項１３に記載のユーザの心理状態判断装置。
15. ユーザが端末でテキストを入力する時に発生するセンサーデータを収集する段階と、
    前記センサーデータから特徴データを抽出する段階と、
    前記特徴データを、前記特徴データのうちから重要度の高い特徴データを選択し、その選択された特徴データに対して前記ユーザに心理状態を質疑して、前記ユーザの応答に基づいて生成した学習データを用いて構築された推論モデルに適用して、前記ユーザの心理状態を判断する段階と、
    前記判断されたユーザの心理状態に基づいて所定の措置を実行する段階と、
    を含み、
    前記センサーデータは、センサーを通じて測定され、
    前記特徴データは、前記ユーザによるテキスト入力情報及び前記ユーザの周辺における不快指数に関する状況情報を含み、
    前記所定の措置は、
    前記判断された前記ユーザの心理状態と関連した情報提供、前記ユーザの心理状態に基づいた前記端末のユーザインターフェース制御、前記ユーザの心理状態に基づいたコンテンツ推薦、ユーザ本人、知人、または医療陣などへの前記ユーザの現在の心理状態の通知、心理状態の統計情報の提供、前記ユーザの心理状態による前記端末のユーザインターフェーステーマの変更、のうち１つ以上を含む、
    ユーザの心理状態判断方法。
16. 前記センサーは、
    タッチスクリーン、加速度センサー、方向センサー、ＧＰＳ、照度センサー、マイクロホン、ジャイロスコープセンサー、磁力計センサー、気圧センサー、指紋センサー、及びソフトウェアセンサーのうちの１つ以上である、請求項１５に記載のユーザの心理状態判断方法。
17. 前記テキスト入力情報は、キーボード入力情報、筆記入力情報、及び端末状態情報のうちの１つ以上を含み、
    前記状況情報は、さらに、位置、天気、時間、及び平均照度のうちの１つ以上を含む請求項１５または１６に記載のユーザの心理状態判断方法。
18. 前記特徴データが抽出されれば、学習データを生成するか否かを判断する段階と、
    前記学習データを生成する場合、前記特徴データを用いて学習データを生成する段階と、
    前記学習データを用いて前記推論モデルを構築する段階と、
    をさらに含む請求項１５に記載のユーザの心理状態判断方法。
19. 前記学習データを生成する段階は、
    前記抽出された特徴データから少なくとも１つの特徴データを選択する段階と、
    ユーザに心理状態を質疑する段階と、
    ユーザの応答に基づいて学習データを生成する段階と、
    を含む請求項１８に記載のユーザの心理状態判断方法。
20. 前記少なくとも１つの特徴データを選択する段階は、
    前記抽出された特徴データに対する重要度を計算し、前記重要度に基づいて前記少なくとも１つの特徴データを選択する請求項１９に記載のユーザの心理状態判断方法。
21. 前記抽出された特徴データに対する重要度は、情報利得、カイ二乗分布、及び相互情報アルゴリズムのうち１つ以上によるアルゴリズムを用いて計算される請求項２０に記載のユーザの心理状態判断方法。
22. 前記心理状態は、
    感情、気持ち、またはストレスのうち少なくとも１つを含み、
    前記心理状態のそれぞれは、１つ以上の下位レベルを含む請求項１５に記載のユーザの心理状態判断方法。
23. 前記心理状態を判断する段階は、
    決定ツリーアルゴリズム及び／又はナイーブベイズ分類アルゴリズムによる指導学習アルゴリズムを用いて、前記特徴データを前記推論モデルに適用する請求項１５に記載のユーザの心理状態判断方法。

Images