JP6572886B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP6572886B2
JP6572886B2 JP2016520961A JP2016520961A JP6572886B2 JP 6572886 B2 JP6572886 B2 JP 6572886B2 JP 2016520961 A JP2016520961 A JP 2016520961A JP 2016520961 A JP2016520961 A JP 2016520961A JP 6572886 B2 JP6572886 B2 JP 6572886B2
Authority
JP
Japan
Prior art keywords
action
information
recognition result
speed
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016520961A
Other languages
English (en)
Other versions
JPWO2015178065A1 (ja
Inventor
小野　秀行
秀行 小野
正範 勝
正範 勝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015178065A1 publication Critical patent/JPWO2015178065A1/ja
Application granted granted Critical
Publication of JP6572886B2 publication Critical patent/JP6572886B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置および情報処理方法に関する。
各種センシング技術を用いて取得されたセンサ情報からユーザの動作行動を認識する技術が提案されている。認識されたユーザの動作行動は行動ログとして自動記録される。この行動ログに基づき、例えばアバター等アニメーションで再現したり、地図上にユーザの移動軌跡を示したり、各種動作行動を抽象化した指標を用いて表現したりする等、様々な手法により表現することができる。
例えば特許文献１では、スマートフォン等の小型センサ内蔵記録装置を用いて行動ログを生成し、ユーザに提示する手法が提案されている。かかる手法では、センサ情報に基づいてユーザの動作行動を示す動作行動データを解析し、動作行動データから動作行動の意味内容で表現された行動セグメントを生成する。動作行動の意味内容を表現された行動セグメントによって行動ログを表示することで、ユーザに分かりやすく情報を提示することができる。
特開２０１３−３６４９号公報
しかし、行動認識処理の精度によっては、ユーザに提示される行動ログに誤りがあることもある。特に、移動手段に関する行動認識については、速度情報の精度が大きく影響するため、速度情報を考慮することで行動認識処理の精度を高めることができると考えられる。
本開示によれば、センサ情報に基づいてユーザの行動を認識する行動認識部と、ユーザの移動速度を表す速度情報を取得する速度取得部と、速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、行動認識結果を修正する修正部と、を備える、情報処理装置が提供される。
また、本開示によれば、センサ情報に基づいてユーザの行動を認識すること、ユーザの移動速度を表す速度情報を取得すること、速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、前記行動認識結果を修正すること、を含む、情報処理方法が提供される。
本開示によれば、速度情報に基づき、行動認識結果の確からしさを判断することで、行動認識結果の精度を高めることが可能となる。
以上説明したように本開示によれば、速度情報を考慮することで行動認識処理の精度を高めることができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る行動ログ表示システムの概略構成を示す説明図である。 同実施形態に係る行動ログの表示例を示す説明図である。 同実施形態に係る行動ログ表示システムの機能構成を示すブロック図である。 同実施形態に係る行動ログ表示処理の概要を示すタイミングチャートである。 位置情報へのフィルタ処理を行い、行動認識結果の決定処理を行う各機能部を示すブロック図である。 位置情報に対するフィルタ処理と、セグメント区間の平均速度を算出する処理とを示すフローチャートである。 位置情報に対するフィルタ処理の内容を説明するための説明図であって、地点ａから地点ｂへ、軌跡ＬＲで移動した行動セグメントの内容を示す。 図７の行動セグメントの区間に含まれる位置情報と、位置情報を直線で補間して取得された軌跡Ｌとを示す説明図である。 アキュラシフィルタ処理により図８のＢ点の位置情報が排除された状態を示す説明図である。 速度フィルタ処理を説明する説明図である。 速度フィルタ処理により、図９のＪ点の位置情報が排除された状態を示す説明図である。 滞在フィルタ処理を説明する説明図である。 滞在フィルタ処理により、図１１のＤ点の位置情報が排除され、Ｅ点の位置情報がＣ点の位置情報に合わせられた状態を示す説明図である。 同心円フィルタ処理を説明する説明図である。 同心円フィルタ処理により、図１３のＣ点の位置情報が排除された状態を示す説明図である。 図８に示す各地点の位置情報に対してフィルタ処理を施した後に得られる軌跡Ｌを示す説明図である。 フィルタ処理された位置情報から算出された速度情報に基づく、行動認識結果の決定処理を示すフローチャートである。 行動認識結果を詳細な行動内容に変更する処理を説明する説明図である。 ユーザによる行動ログの修正処理を示すフローチャートである。 ユーザによる行動ログの修正処理の操作を説明する説明図である。 修正情報に基づく個人化学習処理の概要を説明する説明図である。 図２２の行動セグメントの修正内容を反映させた状態を示す説明図である。 個別モデルの生成処理の概要を説明する説明図である。 図２３の個別モデルを考慮した行動認識結果決定処理を示す説明図である。 個別モデルを考慮した行動認識結果決定処理を行う修正部の各機能部を示すブロック図である。 修正部による個別モデルを考慮した行動認識結果決定処理を示すフローチャートである。 ＵｎｉｔＡｃｔについての特徴ベクトルの一例を説明する説明図である。 曜日情報についての特徴ベクトルの一例を説明する説明図である。 時間情報についての特徴ベクトルの一例を説明する説明図である。 行動認識結果のマージ処理を説明する説明図である。 個人化学習に利用する行動セグメントの選択条件設定の一例を説明する説明図である。 同実施形態に係るクライアント端末のハードウェア構成を示すハードウェア構成図である。 行動ログ表示システムの機能を備える情報処理端末の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．行動ログ表示システムの概要
２．システム構成
２．１．クライアント端末
２．２．ログサーバ
２．３．解析サーバ
３．行動ログ表示処理
３．１．センサ情報の取得に関する処理
３．２．行動認識処理
（１）行動認識処理の概要
（２）位置情報へのフィルタ処理
（ａ．機能構成）
（ｂ．速度取得部による処理）
（ｃ．乗り物判定部による処理）
３．３．行動ログ提示処理
３．４．ユーザによる行動ログの修正処理
３．５．修正情報に基づく個人化学習処理
（１）概要
（２）機能構成
（３）個別モデルを考慮した行動認識結果決定処理
（４）修正情報のフィードバックに関するフィルタ処理
４．まとめ
５．ハードウェア構成例
＜１．行動ログ表示システムの概要＞
まず、図１および２を参照して、本開示の一実施形態に係る行動ログ表示システムの概要について説明する。なお、図１は、本実施形態に係る行動ログ表示システムの概略構成を示す説明図である。図２は、行動ログの表示例を示す説明図である。
本実施形態に係る行動ログ表示システムは、ユーザの行動に関する情報に基づいて、行動認識処理によりユーザの行動を解析し、ユーザに提示するシステムである。本実施形態に係る行動ログシステムは、図１に示すように、クライアント端末１００と、ログサーバ２００と、解析サーバ３００とが、ネットワークを介して通信可能に接続されてなる。
クライアント端末１００は、ユーザの行動に関する情報を取得し、行動認識により取得された行動ログをユーザに提示する。クライアント端末１００は、例えば、スマートフォン等のような情報通信端末である。クライアント端末１００は、ユーザの行動に関連する情報を収集するために、例えば、加速度センサやＧＰＳ、撮像装置、ジャイロセンサ等の情報取得機能を備えている。また、クライアント端末１００は、行動ログをユーザに提示するための表示部と、行動ログを修正する修正情報を入力する入力部とを備えている。
なお、クライアント端末１００は、ユーザの行動に関連する情報を収集するログ収集端末と、行動ログをユーザに提示する閲覧端末とのように、異なる複数の端末により構築してもよい。ログ収集端末としては、上述したスマートフォン等のような情報通信端末の他に、ペンダント型やリストバンド型等のウェアラブルデバイスを用いることもできる。また、閲覧端末としては、上述したスマートフォン等のような情報通信端末の他に、パーソナルコンピュータや、タブレット端末等を用いることができる。
クライアント端末１００は、各種センタにより取得された測定データをセンサ情報として、所定のタイミングでログサーバ２００に送信する。このようにして、ログサーバ２００には、各ユーザの行動を認識するために用いるセンサ情報が蓄積されていく。
解析サーバ３００は、ログサーバ２００に記憶されたセンサ情報に基づいて、行動認識処理により、ユーザの行動の内容を表す行動ログを算出する。行動ログは、例えば「食事」、「移動」、「睡眠」といった動作を行動時間や位置情報等とともに記録したものである。本実施形態に係る行動ログ表示システムは、この動作内容を表す行動ログを解析サーバ３００にてさらに解析して行動の意味を認識し、行動の意味を付加した情報（行動セグメント）を生成する。行動セグメントは、行動ログをユーザにとって分かりやすい表現とした単位情報である。行動セグメントによってユーザに単なる行動ログを提示するのではなく、行動の意味もわかるように行動ログを提示することができる。
解析サーバ３００にて解析され、ユーザに提示された行動ログは、クライアント端末１００を介してユーザに提示される。図２に、クライアント端末１００の表示部に表示された行動ログ表示画面４００の一例を示す。行動ログ表示画面４００は、図２に示すように、例えば、行動認識結果の内容を表す行動認識結果オブジェクト４１４が表示される行動表示領域４１０と、所定期間（例えば１日）における行動の概要を示すサマリー領域４２０とからなる。
行動表示領域４１０は、画面の水平方向に時間軸４１２が設定されており、行動認識結果オブジェクト４１４がその行動が行われた時間軸４１２の時間位置に対応するように表示される。図２では、ユーザが２０時３０分過ぎに歩いていたことが行動認識結果オブジェクト４１４によって示されている。行動表示領域４１０を水平方向に画面をスクロールさせると、行動表示領域４１０に表示される時間位置が変更される。行動表示領域４１０に表示される時間位置の変更に伴い、行動表示領域４１０に表示される行動認識結果オブジェクト４１４の表示も、その時間位置での行動認識結果に変更される。
行動認識結果オブジェクト４１４の表示は、行動セグメントごとに切り替わる。行動セグメントは、行動の開始時間、終了時間および行動内容により表される。行動内容には、例えば、「歩き」、「走り」、「自転車で移動」、「電車で移動」、「バスで移動」、「自動車で移動」、「その他の乗り物で移動」、「滞在」等がある。
なお、サマリー領域４２０には、「歩き」、「走り」、「自転車で移動」、「自動車で移動」、「睡眠」等の各行動時間や、歩数、行動による消費カロリー、写真やブックマーク等のデータ数等が表示されている。サマリー領域４２０の各オブジェクトを選択すると、詳細内容が画面に表示される。
ここで、ユーザに提示された行動ログの内容が誤っている場合や、提示された行動内容よりさらに詳細な行動内容を提示させたい場合もある。そこで、本実施形態に係る行動ログ表示システムでは、ユーザに提示する行動ログの内容がより正しいものとなるようにする判定処理を行うとともに、さらにユーザによる行動ログの修正を受けて、その後の行動認識処理に反映させるようにする。これにより、行動ログを、ユーザの意図に沿った、正しい内容でユーザに提示することができる。以下、本実施形態に係る行動ログ表示システムの構成とその機能について詳細に説明する。
＜２．システム構成＞
図３に、本実施形態に係る行動ログ表示システムの機能構成を示す。行動ログ表示システムは、上述したように、クライアント端末１００と、ログサーバ２００と、解析サーバ３００とからなる。
［２．１．クライアント端末］
クライアント端末１００は、センサ部１１０と、制御部１２０と、通信部１３０と、入力部１４０と、表示処理部１５０と、表示部１６０とからなる。
センサ部１１０は、ユーザの位置や動き等、ユーザの行動に関する動き情報を取得する検出部である。センサ部１１０としては、例えば、加速度センサやジャイロセンサ、イメージャ、その他のセンサ等があり、加速度、角速度、撮像データ、音声データ、生体情報等の測定データが取得される。センサ部１１０により取得される測定データは、制御部１２０に出力され、通信部１３０を介してログサーバ２００へ送信される。
制御部１２０は、クライアント端末１００の機能全般を制御する機能部である。制御部１２０は、例えば、センサ部１１０により取得された測定データを、ユーザを特定するユーザＩＤを含むユーザ情報と関連付けて通信部１３０へ送信する。また、制御部１２０は、ユーザからの操作入力を受けて、操作入力の内容に応じた機能を実行するようクライアント端末１００を制御する。さらに、制御部１２０は、行動ログ等の表示情報を取得すると、表示部１６０に表示させるようにクライアント端末１００を制御する。
通信部１３０は、ネットワークを介して接続されたサーバ等と情報の送受信を行う機能部である。クライアント端末１００の通信部１３０は、センサ部１１０により取得されたセンサ情報をログサーバ２００へ送信する。また、通信部１３０は、行動ログ取得情報に基づき解析サーバ３００から提供される行動ログを受信し、制御部１２０へ出力する。
入力部１４０は、ユーザが情報を入力するための操作部であり、例えば、タッチパネルやキーボード、ボタン等を用いることができる。ユーザは、入力部１４０を用いて、例えば、行動ログを表示させるアプリケーションの起動や、行動ログの表示操作、行動ログの修正情報の入力等を行う。
表示処理部１５０は、解析サーバ３００から提供される行動ログを表示部１６０に表示させる。表示処理部１５０は、行動ログを、例えば図２に示すように、行動認識結果オブジェクト４１４を用いて表し、表示部１６０に表示させる。また、表示処理部１５０は、入力部１４０からの入力情報に応じて、表示部１６０の表示内容を変更することも行う。
表示部１６０は、情報を表示するために設けられ、例えば液晶ディスプレイや有機ＥＬディスプレイ等を用いることができる。表示部１６０には、表示処理部１５０により表示処理されたＵＩ等が表示される。
［２．２．ログサーバ］
ログサーバ２００は、図２に示すように、通信部２１０と、制御部２２０と、ログＤＢ２３０とを備える。
通信部２１０は、ネットワークを介して接続された端末やサーバ等と情報の送受信を行う機能部である。ログサーバ２００の通信部２１０は、クライアント端末１００から受信したセンサ情報を制御部２２０に出力する。また、通信部２１０は、解析サーバ３００からの情報提示要求を受信し、制御部２２０により取得されたセンサ情報を解析サーバ３００へ送信する。
制御部２２０は、ログサーバ２００の機能全般を制御する機能部である。制御部２２０は、例えば、クライアント端末１００から受信したセンサ情報を、ユーザ毎にログＤＢ２３０に記録する。また、制御部２２０は、解析サーバ３００からの要求に基づき、センサ情報を取得し、通信部２１０を介して解析サーバ３００へ送信させる。
ログＤＢ２３０は、ユーザの行動に関する情報として取得されたセンサ情報を記憶する記憶部である。ログＤＢ２３０は、ユーザ毎にセンサ情報を記憶している。
［２．３．解析サーバ］
解析サーバ３００は、図２に示すように、通信部３１０と、制御部３２０と、行動認識部３３０と、修正部３４０と、行動ログＤＢ３５０と、解析ＤＢ３６０とを備える。
通信部３１０は、ネットワークを介して接続された端末やサーバ等と情報の送受信を行う機能部である。解析サーバ３００の通信部３１０は、ログサーバ２００からセンサ情報を取得して、制御部３２０に出力する。また、通信部３１０は、クライアント端末１００から受信した行動ログ提示要求を受信し、該当するユーザの行動ログをクライアント端末１００へ送信する。
制御部３２０は、解析サーバ３００の機能全般を制御する機能部である。制御部３２０は、例えば、ログサーバ２００から取得したセンサ情報を行動認識部３３０へ出力する。また、制御部３２０は、クライアント端末１００からの行動ログ提示要求を受けて、行動ログＤＢ３５０から該当する行動ログを取得し、通信部３１０を介してクライアント端末１００へ送信する。さらに、制御部３２０は、クライアント端末１００から受信した行動ログの修正情報を、修正部３４０へ出力する。
行動認識部３３０は、ログサーバ２００から受信したセンサ情報に基づいて、行動認識処理を行い、ユーザの動作行動を解析する。行動認識部３３０は、行動認識結果を行動ログとして行動ログＤＢ３５０に記録する。
修正部３４０は、クライアント端末１００から受信した行動ログの修正情報に基づいて、行動認識部３３０による行動認識処理により取得された行動認識結果を修正する。なお、修正部３４０の詳細については後述する。
行動ログＤＢ３５０は、行動認識部３３０により解析された行動認識結果を行動ログとして記憶する。行動ログＤＢ３５０に記憶された行動ログは、クライアント端末１００からの要求に行動ログ提示要求に応じて、クライアント端末１００に提供される。
解析ＤＢ３６０は、行動認識部３３０や修正部３４０において行われる処理にて利用される各種情報を記憶する記憶部である。解析ＤＢ３６０は、例えば、行動認識部３３０での行動認識処理における乗り物判定処理に利用される閾値情報や、修正部３４０による修正処理に利用される各種情報を記憶する。解析ＤＢ３６０に記憶される各種情報は、予め設定されているが、適宜変更可能である。
＜３．行動ログ表示処理＞
図４に基づいて、本実施形態に係る行動ログ表示処理を説明する。図４は、本実施形態に係る行動ログ表示処理の概要を示すタイミングチャートである。本実施形態に係る行動ログ表示処理は、センサ情報の取得に関する処理（Ｓ１０、Ｓ２０）、行動認識処理（Ｓ３０）、行動ログ提示処理（Ｓ４０〜Ｓ６０）、ユーザによる行動ログ修正処理（Ｓ７０）、および修正情報に基づく個人化学習処理（Ｓ８０）とからなる。
［３．１．センサ情報の取得に関する処理］
ユーザに提示する行動ログを取得するために、ユーザの行動に関する情報としてセンサ情報が取得される。センサ情報は、クライアント端末１００のセンサ部１１０によって取得される（Ｓ１０）。クライアント端末１００は、行動ログ表示システムのサービスを受けるユーザが日常保持している端末であり、センサ部１１０により、ユーザの位置や動き等の情報を時々刻々取得し、時間情報と関連付けてセンサ情報として記録し続ける。クライアント端末１００は認証機能を備えており、取得したセンサ情報は認証したユーザの行動に関する情報として利用される。
クライアント端末１００は、取得したセンサ情報を所定のタイミングでログサーバ２００に送信する。例えば、センサ情報は、所定の時間間隔で送信されたり、ユーザが明示的にセンサ情報の送信を指示した場合等に送信されたりする。センサ情報を受信したログサーバ２００は、ユーザのユーザＩＤとセンサ情報とを関連付けて、ログＤＢ２３０に記録する（Ｓ２０）。
［３．２．行動認識処理］
（１）行動認識処理の概要
解析サーバ３００は、所定のタイミングで、ログサーバ２００に記録されたセンサ情報に基づいて行動認識処理を行う（Ｓ３０）。解析サーバ３００は、例えば、所定の時間間隔でログサーバ２００からセンサ情報を取得して、各ユーザの行動を解析する。行動認識処理では、センサ情報の信号処理や統計処理等が行われ、ユーザの行動や状況を認識する。行動認識処理は、例えば上記特許文献１に記載された手法等、周知の技術を用いて行ってもよい。
例えば、行動認識部３３０は、センサ情報を処理した結果得られたユーザの行動に関する情報である行動モデルと動作行動との対応関係を予め保持している。行動認識部３３０は、センサ情報を処理して行動パラメータを得ると、当該行動パラメータに対応する行動内容を特定する。認識される行動内容には、上述したように、例えば、「歩き」、「走り」、「自転車で移動」、「電車で移動」、「バスで移動」、「自動車で移動」、「その他の乗り物で移動」、「滞在」等がある。行動認識部３３０は、特定した行動内容と、行動時間、行動時刻、位置情報、ユーザＩＤ等を関連付けて行動ログとし、行動ログＤＢ３５０に記録する。
（２）位置情報へのフィルタ処理
ここで、行動認識部３３０で認識される行動内容のうち、「歩き」、「走り」、「自転車で移動」、「電車で移動」、「バスで移動」、「自動車で移動」等の、移動手段に関する行動の特定は、センサ情報を信号処理や統計処理を行った結果、または位置情報から算出される速度情報に基づき行われる。速度情報を位置情報に基づき算出する場合、この位置情報は、例えばクライアント端末１００に設けられたＧＰＳや、クライアント端末１００が接続したＷｉ−Ｆｉ等のネットワーク情報等により取得される。しかし、位置同定技術の精度によっては、このように取得された位置情報にはノイズが多く含まれてしまうことがある。ノイズの多い位置情報から算出された速度情報の信頼度は低く、行動内容を正確に判定することの妨げとなる。
そこで、行動認識部３３０による行動認識処理によって得られる行動認識結果の精度を高めるため、位置情報からノイズを除去するフィルタ処理を行うようにしてもよい。以下、図５〜図１７に基づいて、本実施形態に係る位置情報に対して行われるフィルタ処理について説明する。なお、図５は、位置情報へのフィルタ処理を行い、行動認識結果の決定処理を行う各機能部を示すブロック図である。図６は、位置情報に対するフィルタ処理と、セグメント区間の平均速度を算出する処理とを示すフローチャートである。図７〜図１６は、位置情報に対するフィルタ処理の内容を説明する説明図である。図１７は、フィルタ処理された位置情報から算出された速度情報に基づく、行動認識結果の決定処理を示すフローチャートである。
（ａ．機能構成）
本実施形態において、位置情報に対するフィルタ処理と、行動認識結果の決定処理とを行う機能部は、解析サーバ３００に設けられる。具体的には、図５に示すように、速度取得部３３２および乗り物判定部３３４が、解析サーバ３００に設けられる。
速度取得部３３２は、位置情報に対するフィルタ処理を行い、速度情報を取得する。速度取得部３３２によりフィルタ処理を施される位置情報は、時刻情報と、当該時刻における経度緯度情報とを含み、例えばＧＰＳやネットワーク情報、加速度センサにより取得された情報により特定される。速度取得部３３２は、この位置情報に対して、後述する区間フィルタやアキュラシフィルタ、速度フィルタ、滞在フィルタ、同心円フィルタ等のフィルタ処理を施した後、セグメント区間の平均速度を算出する。
乗り物判定部３３４は、速度取得部３３２により取得されたセグメントの平均速度に基づいて行動認識結果の決定処理を行う。乗り物判定部３３４は、行動認識部３３０により特定されたセグメントの行動内容のうち、移動手段が正しいか否かをセグメントの平均速度に基づいて判定する。乗り物判定部３３４により出力された移動手段が、最終的な行動内容として決定される。
（ｂ．速度取得部による処理）
図６に基づき、速度取得部３３２による、位置情報に対するフィルタ処理とセグメント区間の平均速度を算出する処理とについて説明する。
・区間フィルタ処理
まず、速度取得部３３２は、ＧＰＳやネットワーク情報、加速度センサにより取得された情報により特定される位置情報に基づき、行動セグメントの区間を特定する区間フィルタ処理を行う（Ｓ１１０）。行動セグメントの区間は、行動の開始時刻および終了時刻により特定される。速度取得部３３２は、最終的に、特定された区間での平均速度を算出する。
ここで、速度取得部３３２は、行動セグメントの区間を、行動の開始時刻および終了時刻により特定される区間より所定時間だけ前後に長くとった区間としてもよい。これにより、行動の開始時刻および終了時刻における速度を取得することが可能となり、また、動の開始位置または終了位置が誤って検出されていた場合に、その位置情報が誤りであると検出できる可能性を高めることができる。
例えば、行動の開始位置よりも前の位置情報があれば、後述する速度フィルタ処理（Ｓ１１３）で誤りが検出できる可能性がある。この際、開始位置よりも前の位置情報に誤りがある可能性もあるが、前の位置情報が１つではなく所定数あれば誤りが開始位置以降に影響する可能性は低くなる。なお、後述する同心円フィルタ処理（Ｓ１１５）によっても、開始位置および終了位置の誤りを検出できる可能性もある。
行動セグメントの区間を長めに設定する所定時間は、区間の前後に数秒程度（例えば３秒）あればよいが、本技術はかかる例に限定されない。システムの都合上、±数秒における位置情報が取得できない場合は、前後に付加するデータ数を減らすことも可能であるが、データ数を減らすことにより、開始位置および終了位置の誤りを見逃す可能性が高くなる。一方で、前後に付加するデータ数を増加することで開始位置および終了位置を検出できる可能性が高くなるが、保存しなければならない位置情報の数や処理量が増える。これらを考慮して、行動セグメントの区間を長めに設定する所定時間は適宜設定される。
・アキュラシフィルタ処理
次いで、速度取得部３３２は、行動セグメントの区間に含まれる位置情報のうち、位置が不正確である位置情報を排除するアキュラシフィルタ処理を行う（Ｓ１１１）。アキュラシフィルタ処理は、位置情報に付加されたアキュラシ値に基づき行われる。アキュラシ値とは、ＧＰＳ等から出力される位置情報に付随する情報であり、例えば緯度経度情報により特定される位置を中心としてアキュラシ値を半径とする円内に存在する確率により位置情報の正確さが表される。例えば「半径がアキュラシ値［ｍ］である円の中にいる可能性が８５％である」というように位置情報の正確さが表される。したがって、アキュラシ値が大きいほど位置が不正確であるということになる。
ここで、アキュラシ値が大きくなるほど位置情報の精度は低下するが、アキュラシ値が所定値を超えると、アキュラシ値により表される位置情報の精度が示す以上に位置情報の精度が低くなる傾向がある。そこで、速度取得部３３２は、アキュラシ値が所定値を超える位置情報については、速度算出に必要な精度を得られないとして、これらを排除する。位置情報を排除するアキュラシ値の閾値は、システムに応じて適宜設定可能であり、例えば２０００ｍとしてもよい。なお、この閾値を大きくするとより多くの地点を採用して細かい位置の変化に対応できるようになる一方、誤った位置も拾いやすくなる。これらを考慮してアキュラシ値の閾値は設定される。
一例として、ユーザが、図７に示すように、地点ａから地点ｂへ、軌跡ＬＲで移動したという行動セグメントについて考える。地点ａを開始位置、地点ｂを終了位置とする行動セグメントの区間において、図８に示すように、Ａ点〜Ｊ点の１０の位置情報が含まれているとする。図８のＡ点〜Ｊ点の内側の円Ｃｐは位置情報を取得した地点を表しており、これらの地点を直線で補間して軌跡Ｌが取得される。また、Ａ点〜Ｊ点の外側の円Ｃａはアキュラシ値を表現したものであり、円が大きいほどその地点の位置情報は不正確であることを表している。
図８の行動セグメントの区間に含まれる地点のうち、例えばＢ点のアキュラシ値が所定値を超えていたとする。このとき、速度取得部３３２は、図９に示すように、Ｂ点の位置情報を排除して、軌跡Ｌを再設定する。
・速度フィルタ処理
そして、速度取得部３３２は、アキュラシフィルタ処理を行った後、行動セグメントの区間に含まれる位置情報に基づき、時間的に隣り合う２点間の速度を算出し（Ｓ１１２）、算出した各速度に対して速度フィルタ処理を施す（Ｓ１１３）。
速度取得部３３２は、行動セグメントの区間に含まれる各地点の緯度経度情報および時刻から隣接する地点間の平均速度を計算し、当該平均速度を２点間の速度として２点の終点側の位置情報と紐づける。例えば、図１０左側に示すＣ点とＤ点との間の速度は、Ｃ点およびＤ点の緯度経度情報および時刻から算出される平均速度で表され、その速度は終点側のＤ点に紐づけられる。
そして、速度取得部３３２は、算出した各速度について、現実的に疑わしいと考えられる所定速度を超えるか否かを判定し、疑わしいと判定した速度が紐づけられた位置情報を排除する。例えば、図１０において、Ｄ点の速度が所定速度を超える場合、Ｄ点の位置情報は疑わしいとして排除される。疑わしいと判定する所定速度は、例えば数百ｋｍ／ｈ（例えば４００ｋｍ／ｈ）と設定してもよい。ここで、飛行機等は４００ｋｍ／ｈ以上で移動する場合もある。しかし、ステップＳ１１３において行動セグメントの区間内の４００ｋｍ／ｈ以上のすべての地点が排除されたとしても、最終的な速度再計算（Ｓ１１６）で前後の位置情報が正しい場合は４００ｋｍ／ｈ以上の速度が正しく算出される可能性も残されるため問題ない。
なお、速度フィルタ処理の閾値である所定速度の値を大きくすると、より速い乗り物を認識できる可能性が高くなる一方、誤りを容認する可能性も高くなる。これらを考慮して速度の閾値は設定される。
例えば、上述の図７〜図９に示した例において、図９の行動セグメントの区間に含まれる各地点の速度を算出し、ステップＳ１１３の速度フィルタを施したとき、Ｊ点の速度が所定速度を超えたとする。このとき、速度取得部３３２は、図１１に示すように、Ｊ点は疑わしいとして行動セグメントの区間から排除されることになる。
・滞在フィルタ処理
次いで、速度取得部３３２は、行動セグメントに含まれる地点から、同一箇所にしばらくとどまっている地点を特定して集約する滞在フィルタ処理を施す（Ｓ１１４）。滞在フィルタ処理では、同一箇所にしばらくとどまっている地点が複数ある場合、滞在していると判断し、これらの点を時間的な始点と終点との２点に集約する。
図１２に基づき、詳細に説明する。図１２左側は、ある行動セグメントに含まれる滞在フィルタ処理前の位置情報であり、Ｅ点〜Ｈ点の４つの点が存在する。速度取得部３３２は、まず、時間的に最前のＥ点に着目し、次のＦ点がＥ点から所定範囲以内にあるか否かにより滞在であるか否かを判断する。所定の範囲は、例えば起点（ここではＥ点）から５０ｍ以内であることとしてもよい。この範囲は適宜変更可能である。
速度取得部３３２は、Ｆ点が滞在していると判断すると、次のＧ点についても起点であるＥ点から所定範囲以内にいるかどうか判断する。これを繰り返し、起点となるＥ点の所定範囲以内から離れるまでは滞在している状態と判断する。例えば、Ｈ点がＥ点の所定範囲以内から離れたとする。このとき、速度取得部３３２は、Ｅ点からＧ点までの３点の区間を滞在と判断する。
そして、速度取得部３３２は、３つの点のうち始点または終点以外の点であるＦ点を排除する。さらに、速度取得部３３２は、終点であるＧ点の位置情報を始点であるＥ点と同じ位置情報に修正する。結果として、滞在区間には、位置情報が同一であり、時刻情報の異なるＥ点とＧ点との２点が残る。異なる時刻の２点を残すことで、滞在区間の時間情報を取得することが可能となる。なお、終点の位置情報を始点の位置情報に合わせるのは、滞在区間であることを後述の同心円フィルタ処理で利用するためである。
例えば、上述の図１１に示した例において、ステップＳ１１４の滞在フィルタを施したとき、Ｃ点、Ｄ点、Ｅ点が滞在していると判断されたとする。このとき、速度取得部３３２は、図１３に示すように、始点であるＣ点および終点であるＥ点を残し、中間点であるＤ点を排除するとともに、終点であるＥ点の位置情報を始点であるＣ点の位置情報に合わせる。
・同心円フィルタ処理
さらに、速度取得部３３２は、時間的に連続する３つの地点の位置関係を判定し、不自然な動きがないか否かを判定する同心円フィルタ処理を施す（Ｓ１１５）。同心円フィルタ処理では、時間的に連続する３つの地点について、始点と終点の間にある中間点が、始点と終点とを結ぶ直線を直径とする基準円と同心円であって、基準円より直径の大きい判定円の領域外にあるか否かを判定する。例えば図１４において、時間的に連続する３つの地点であるＩ点、Ｊ（Ｊ１、Ｊ２）点、Ｋ点があるとする。このとき、始点であるＩ点と終点であるＫ点とを結ぶ直線を直径ｄ０とする基準円に対して、基準円と同心円でこれより大きい直径ｄ１を有する判定円を設定する。判定円の直径ｄ１は、直径ｄ０より大きければよく、例えば直径ｄ０の２倍としてもよい。
１つの行動セグメントでは、１つの行動内容または滞在のいずれかを示している。したがって、時間的に連続する３つの地点の中間点が、判定円の領域外に存在することはほとんどないと考えられる。そこで、速度取得部３３２は、時間的に連続する３つの地点について、始点と終点の間にある中間点が判定領域外にある場合には、中間点を排除する。例えば、図１４の例では、中間点Ｊ１点は、判定円領域内にあるため残されるが、中間点Ｊ２点は、判定円領域外にあるため排除される。
ここで、上述の図１３に示した例において、ステップＳ１１５の同心円フィルタを施したとき、時間的に連続する３つの地点であるＡ点、Ｃ点、Ｆ点について、中間点Ｃ点が判定円の領域外にあると判断されたとする。このとき、速度取得部３３２は、図１５に示すように中間点であるＣ点を排除する。また、Ｃ点と同一の位置情報に集約されたＥ点についてもＣ点とともに排除される。
以上のフィルタ処理により、図８に示した行動セグメントの区間に含まれるＡ点からＪ点のうち、最終的には図１６に示すように、Ａ点、Ｆ点、Ｇ点、Ｈ点およびＩ点が残ることになる。残った地点の位置情報を直線により補間して結んだ軌跡Ｌは、実際の軌跡ＬＲと近いものとなる。このように、位置情報に対してフィルタ処理を施すことで精度の高い位置情報を抽出することができ、より正確に行動を認識することが可能となる。
・行動セグメント区間の平均速度算出
ステップＳ１１０〜Ｓ１１５の処理を行った後、速度取得部３３２は、抽出された位置情報に基づき、ステップＳ１１２と同様、隣接する２点間の速度を算出する（Ｓ１１６）。そして、ステップＳ１１６にて算出した各速度の平均速度を、行動セグメントの区間における速度として算出する（Ｓ１１７）。
（ｃ．乗り物判定部による処理）
図６に示した速度取得部３３２の処理によってセグメント区間の平均速度が算出されると、乗り物判定部３３４は、速度取得部３３２により取得されたセグメントの平均速度に基づいて行動認識結果の決定処理を行う。乗り物判定部３３４は、行動認識部３３０により特定されたセグメントの行動内容のうち、移動手段が正しいか否かをセグメントの平均速度に基づいて判定する。
行動セグメントは、上述したように、行動内容と、当該行動の開始時間および終了時間とで表されるものであり、行動認識部３３０により行動認識結果として取得される。本実施形態では、速度取得部３３２の処理により取得された行動セグメント区間の平均速度を用いて、行動認識部３３０による行動認識結果が正しいか否かを判定し、行動認識結果の精度を高める。具体的には、乗り物判定部３３４は、行動認識部３３０により得られた行動セグメントの区間（すなわち、行動の開始時間および終了時間）は正しいと仮定して、速度取得部３３２の処理により取得された平均速度により、行動認識結果の移動手段を訂正する。
ここで、行動認識結果に誤りがあるとユーザに大きな違和感を与えることになるが、特に、歩き状態を自転車による移動、滞在状態を乗り物による移動、または乗り物による移動を滞在状態と認識した場合にその違和感はより大きくなる。例えば、歩き状態を走り状態、走り状態を歩き状態、歩き状態を乗り物による移動、歩き状態を滞在状態、自転車による移動を歩き状態または走り状態等と誤認識した場合よりも、その違和感は大きい。そこで、歩き状態を自転車による移動、滞在状態を乗り物による移動、または乗り物による移動を滞在状態と誤認識した場合に、その行動内容を訂正することを目的とした、行動認識結果の訂正処理の一例を図１７に示す。
図１７に示す訂正処理例においては、乗り物判定部３３４は、まず、行動セグメント区間に含まれる有効な位置情報が複数あるか否かを判定する（Ｓ１２０）。有効な位置情報の数の閾値は、システムによって適宜設定可能であり、本実施形態では複数（すなわち、２つ）であるか否かを判定したが、本開示はかかる技術に限定されない。例えば、有効な位置情報が０であるか否かを判定するようにしてもよく、２つ以下であるか否かを判定するようにしてもよい。この閾値の値を大きくすると、行動認識結果を正解に導く可能性が高まる一方、誤りをスルーする可能性も高くなる。有効な位置情報の数の閾値は、このような点を考慮して決定される。ステップＳ１２０にて有効な位置情報が１つ以下であると判定された場合には、行動認識部３３０による行動認識結果を踏襲し（Ｓ１２９）、処理を終了する。一方、有効な位置情報が複数ある場合には、乗り物判定部３３４は、次に、セグメント区間の平均速度が速度Ｖ１より遅く、かつ、行動認識部３３０による行動認識結果の行動内容が乗り物で移動しているものであるか否かを判定する（Ｓ１２１）。
ステップＳ１２１では、乗り物に乗っている状態と滞在状態とを切り分ける。速度Ｖ１は、乗り物に乗っているとは考えにくく、滞在しているとみなせるほど遅い速度が設定される。例えば、速度Ｖ１は、０．５ｋｍ／ｈとしてもよい。ステップＳ１２１にてセグメント区間の平均速度が速度Ｖ１より遅く、かつ、行動認識部３３０による行動認識結果の行動内容が乗り物で移動しているものであるときには、乗り物判定部３３４は、行動認識結果を乗り物から滞在状態に訂正する（Ｓ１２２）。
一方、ステップＳ１２１にて滞在状態と判定されなかった場合、乗り物判定部３３４は、セグメント区間の平均速度が速度Ｖ２より遅く、かつ、行動認識部３３０による行動認識結果の行動内容が自転車で移動しているものであるか否かを判定する（Ｓ１２３）。ステップＳ１２３では、自転車に乗っている状態と歩き状態とを切り分ける。速度Ｖ２は、速度Ｖ１より大きい値であり、自転車に乗っているとは考えにくく、歩いてしているとみなせるほどの遅い速度が設定される。例えば、速度Ｖ２は、３ｋｍ／ｈとしてもよい。ステップＳ１２３にてセグメント区間の平均速度が速度Ｖ２より遅く、かつ、行動認識部３３０による行動認識結果の行動内容が自転車で移動しているものであるときには、乗り物判定部３３４は、行動認識結果を自転車による移動から歩き状態とする（Ｓ１２４）。
一方、ステップＳ１２３にて歩き状態と判定されなかった場合、乗り物判定部３３４は、セグメント区間の平均速度が速度Ｖ３以下であるか否かを判定する（Ｓ１２５）。速度Ｖ３は、速度Ｖ２より大きい値が設定される。例えば、速度Ｖ３は、８．５ｋｍ／ｈとしてもよい。ステップＳ１２５では、後述のその他の乗り物を判定するための処理（ステップＳ１２６、Ｓ１２８）を行う対象を選別するための処理であり、何らかの乗り物で移動していると考えられる対象が抽出される。ステップＳ１２５にてセグメント区間の平均速度が速度Ｖ３以下の場合には、乗り物判定部３３４は、行動認識部３３０による行動認識結果を踏襲し（Ｓ１２９）、処理を終了する。一方、セグメント区間の平均速度がＶ３より大きい場合には、乗り物判定部３３４は、行動認識部３３０による行動認識結果の行動内容が乗り物以外で移動しているものであるか否かを判定する（Ｓ１２６）。
ステップＳ１２６にて、行動認識結果の行動内容が乗り物以外で移動しているものであると判定した場合には、乗り物判定部３３４は、その他の乗り物で移動しているものとする（Ｓ１２７）。一方、ステップＳ１２６にて、乗り物で移動していると判定した場合には、乗り物判定部３３４は、セグメント区間の平均速度が速度Ｖ４より速く、かつ、行動認識結果の行動内容が自転車で移動しているものであるか否かを判定する（Ｓ１２８）。速度Ｖ４は、速度Ｖ３より大きい値であり、自転車に乗っているとは考えにくいほどの速い速度が設定される。例えば、速度Ｖ４は、４０ｋｍ／ｈとしてもよい。
ステップＳ１２８にてセグメント区間の平均速度が速度Ｖ４より早く、かつ、行動認識結果の行動内容が自転車で移動しているものであるときには、乗り物判定部３３４は、行動認識結果を自転車による移動からその他の乗り物での移動に訂正する（Ｓ１２７）。一方、それ以外の場合には、乗り物判定部３３４は、行動認識部３３０による行動認識結果を踏襲し（Ｓ１２９）、処理を終了する。
ステップＳ１２８にてセグメント区間の平均速度が速度Ｖ４より速く、かつ、行動認識結果の行動内容が自転車で移動しているものであるときには、乗り物判定部３３４は、行動認識結果を自転車による移動からその他の乗り物での移動に訂正する（Ｓ１２７）。一方、それ以外の場合には、乗り物判定部３３４は、行動認識部３３０による行動認識結果を踏襲し（Ｓ１２９）、処理を終了する。
［３．３．行動ログ提示処理］
図４の説明に戻り、ユーザは、クライアント端末１００を操作して、ユーザの行動ログを閲覧することができる。このとき、ユーザは、クライアント端末１００の入力部１４０から、行動ログを取得する行動ログ要求情報を解析サーバ３００に対して送信する（Ｓ４０）。行動ログ要求情報には、ユーザのユーザＩＤと、行動ログの提示を要求するメッセージとが含まれる。
行動ログ要求情報を受信した解析サーバ３００は、制御部３２０により行動ログＤＢから該当するユーザの行動ログを取得し、クライアント端末１００へ送信する（Ｓ５０）。行動ログを受信したクライアント端末１００は、表示処理部１５０により行動ログの内容をＵＩにより表し、表示部１６０に表示させる（Ｓ６０）。例えば行動ログの内容は、図２に示すように、クライアント端末１００の表示部１６０に表示される。
［３．４．ユーザによる行動ログの修正処理］
ステップＳ６０によりクライアント端末１００に表示された行動ログの内容は、行動修正画面によりユーザにより修正可能である（Ｓ７０）。行動ログの内容を修正する場合としては、行動認識処理部による行動認識結果が誤っている場合に加え、より詳細な行動内容を表示させたい場合等がある。例えば、表示された行動ログの内容が「（何らかの）乗り物で移動」というものである場合に、どのような乗り物で移動したかまで表示させたい場合等である。
例えば、図１８上側に示すように、「乗り物で移動」したことを表す行動認識結果オブジェクトが表示される場合に、行動認識部３３０の行動認識結果ではどのような乗り物で移動したかまで認識できている場合もある。図１８上側に示す３回の「乗り物で移動」について、２回は電車での移動、１回は自動車での移動であることが認識されていたとする。ここで、「乗り物で移動」という行動認識結果を「電車で移動」とユーザが修正し、かつ行動認識結果としても電車で移動したことが得られていた場合、その後、図１８下側に示すように、電車で移動と行動認識されたものは「電車で移動」と表示するようにする。なお、ユーザが修正していない「自動車で移動」という内容については、「乗り物で移動」として表示する。
図１９および図２０に基づいて、ユーザによる行動ログの修正処理の一例を説明する。図１９は、ユーザによる行動ログの修正処理を示すフローチャートである。図２０は、ユーザによる行動ログの修正処理の操作を説明する説明図である。
ユーザは、行動ログを修正するとき、図１９に示すように、まず、修正する行動内容を選択し（Ｓ２００）、行動内容の修正を行うための行動修正画面を表示させる（Ｓ２１０）。ステップＳ２００での修正内容の選択は、図２０左側に示すように、クライアント端末１００の表示部１６０に表示された行動ログ表示画面４００において、行動表示領域４１０に表示される行動認識結果オブジェクト４１４をタップすることで行うことができる。なお、表示部１６０の表示領域には、指等の操作体の接触あるいは近接を検出可能なタッチパネルが入力部１４０として備えられているとする。
制御部１２０は、表示部１６０には、タップされた位置Ｐを視認できるように、タップ表示オブジェクトを表示させてもよい。行動認識結果オブジェクト４１４がタップされたことが検出されると、制御部１２０は、表示処理部１５０に対して処理選択画面４３０を表示させるように指示し、行動認識結果オブジェクト４１４の行動内容に対して行う処理をユーザに選択させる。処理選択画面４３０では、例えば図２０中央に示すように、行動内容の詳細情報閲覧や、行動内容の修正等の編集、行動内容の削除等の処理を選択することができる。ユーザは、行動内容の修正を行う際には、処理選択画面４３０から行動内容を編集する処理をタップして選択し、行動修正画面４４０を表示させる。
行動修正画面４４０が表示部１６０に表示されると、ユーザは、行動修正画面４４０において修正内容を入力し、行動内容を修正する（Ｓ２２０）。行動修正画面４４０には、例えば図２０右側に示すように、行動ログ（行動セグメント）の開始時間入力領域４４１、終了時間入力領域４４３、および行動内容入力領域４４５がある。ユーザは、修正したい内容の入力領域に修正後の内容を入力して行動ログを修正する。
ここで、行動内容入力領域４４５は、図２０右側に示すように、変更可能な行動内容が修正候補として表示されているプリセット入力領域４４５ａと、ユーザが行動内容を直接入力可能な直接入力領域４４５ｂとにより構成してもよい。プリセット入力領域４４５ａでは、「歩き」、「走り」、「自転車で移動」、「その他乗り物で移動」、「滞在」等の行動内容にそれぞれ関連付けられたボタンを選択することで、行動内容を修正できる。プリセット入力領域４４５ａに修正したい行動内容がない場合には、ユーザは、直接入力領域４４５ｂに直接行動内容を入力して、行動内容を修正することも可能である。
行動内容の修正を終えると、ユーザは、完了ボタン４４７をタップして、行動修正画面４４０に入力した修正内容を行動ログに反映させ、修正処理を完了する（Ｓ２３０）。こうして、ユーザは、行動認識結果を行動修正画面４４０において容易に修正することが可能となる。
［３．５．修正情報に基づく個人化学習処理］
上述のように、ユーザにより行動内容の修正が行われると、この修正情報を用いて、各ユーザに特有の行動を行動認識処理に反映させて、行動認識結果の精度を向上させることも可能となる（Ｓ８０）。すなわち、修正情報に基づき行動認識結果の個人化学習を行うことで、ユーザ毎に適切な行動ログを提示することができるようになる。
以下、図２１〜図３１に基づいて、修正情報に基づく個人化学習処理について説明する。なお、図２１〜図２４は、修正情報に基づく個人化学習処理の概要を説明する説明図である。図２５は、個人化学習処理を行う機能部を示すブロック図である。図２６は、修正部３４０による個別モデルを考慮した行動認識結果決定処理を示すフローチャートである。図２７〜図２９は、特徴ベクトルについて説明する説明図である。図３０は、行動認識結果のマージ処理を説明する説明図である。図３１は、個人化学習に利用する行動セグメントの選択条件設定の一例を説明する説明図である。
（１）概要
まず、ユーザによる行動認識結果の修正情報を用いた個人化学習処理の概要を説明する。図２１に、行動認識部３３０による行動認識結果の一例を示す。図２１には、あるユーザの、月曜日の午前８時から水曜日の午前８時までの行動ログが示されている。ここで、ユーザが認識可能なラベル情報として、行動セグメントの行動内容（HAct）と、ユーザからの修正情報（Feedback）とがある。また、内部情報として、行動認識処理によって行動セグメントを取得するために用いられる特徴ベクトル情報がある。特徴ベクトル情報としては、例えば、行動認識処理によって取得される単位時間毎の行動認識結果（UnitAct）や、位置情報（location）、曜日（day of the week）、時間（hour）等がある。さらに、天気やその時刻においてクライアント端末１００で起動していたアプリケーション等のその他情報（others）を、特徴ベクトルとして利用することもできる。
ここで、ユーザが、月曜日の午後１０時の行動セグメントの行動内容を「電車で移動」から「自動車で移動」に修正したとする。この修正情報を受けて、修正部３４０は当該ユーザの個人化学習を行い、以後、同一の行動パターンにおける同一の行動内容については、修正内容に基づく行動認識がなされるようにする。図２１における修正情報によって、図２２に示すように、火曜日以降の午後１０時の「電車で移動」と認識された行動内容は、「自動車で移動」に修正されるようになる。
修正部３４０による個人化学習について詳細に説明すると、修正部３４０は、まず図２３に示すように、所定期間（例えば１日）における行動セグメント毎のラベル情報および特徴ベクトル情報を教師データとして、当該ユーザに特化した個別モデルを生成する。そして、修正部３４０は、次の所定期間の各行動セグメントの行動内容を、生成された個別モデルとその期間の特徴ベクトル情報とに基づいて修正する。これにより、各ユーザに特有の行動内容を認識することを可能にする。
（２）機能構成
図２５に、修正部３４０の個人化学習処理を行う機能部を示す。修正部３４０は、図２５に示すように、特徴ベクトル生成部３４２と、個別学習部３４４と、マージ部３４６とからなる。
特徴ベクトル生成部３４２は、個別モデルを生成するために用いる特徴ベクトル情報を生成する。特徴ベクトル生成部３４２は、単位時間毎の行動認識結果（UnitAct）、位置情報（location）、曜日（day of the week）、時間（hour）、天気やクライアント端末１００で起動されたアプリケーション等のその他情報（others）等から特徴ベクトル情報を生成する。なお、特徴ベクトル情報の生成処理の詳細については後述する。
個別学習部３４４は、特徴ベクトル生成部３４２により生成された特徴ベクトル情報に基づいて学習を行い、各ユーザの個別モデルを生成する。個別学習部３４４は、例えば、線形SVMやSVM(RBF Kernel)、k-NN、Naive Bayes、Decision Tree、Random Forest、AdaBoost等の学習手法により、個別モデルを生成する。例えば、線形ＳＶＭを用いると、計算量も少なく個別モデルを生成することが可能である。
マージ部３４６は、個別学習部３４４により生成された個別モデルに基づき取得された行動認識結果と、行動認識部３３０により取得された行動認識結果とをマージして、最終的な行動認識結果を決定する。マージ部３４６は、例えば、個別モデルに基づき取得された行動認識結果と、行動認識部３３０により取得された行動認識結果とを、所定の重みで線形結合し、スコアが最大となる行動認識結果を最終的な行動認識結果とする。
（３）個別モデルを考慮した行動認識結果決定処理
図２６に基づき、修正部３４０による個別モデルを考慮した行動認識結果決定処理を説明する。まず、修正部３４０の特徴ベクトル生成部３４２は、各ユーザの個別モデルを生成するために用いる特徴ベクトル情報を生成する（Ｓ３００）。特徴ベクトル生成部３４２は、以下のような情報から特徴ベクトルを生成する。
・ＵｎｉｔＡｃｔヒストグラム
単位時間毎の行動認識結果であるＵｎｉｔＡｃｔは、行動認識部３３０により取得される情報であって、行動セグメントの行動内容は、セグメント区間内のＵｎｉｔＡｃｔの時間割合により決定されている。ＵｎｉｔＡｃｔは複数の行動内容を表しており、例えば以下のような行動内容を表している。
「自転車で移動（Bicycle）」、「バスで移動（Bus）」、
「バスに乗って座っている（Bus Sit）」、
「バスに乗って立っている（BusStand）」、
「自動車で移動（Car）」、「エレベータで降下（ElevDown）」、
「エレベータで上昇（ElevUp）」、「飛び跳ねる（Jump）」、
「（NotCarry）」、「走り（Run）」、「滞在（Still）」、
「座って滞在（StillSit）」、「立って滞在（StillStand）」、
「電車で移動（Train）」、「電車に乗って座っている（TrainSit）」、
「電車に乗って立っている（TrainStand）」、「歩き（Walk）」
なお、ＵｎｉｔＡｃｔで表される行動内容は、以下の内容に限定されず、より多くの行動内容を特定してもよい。例えば、上述のような移動に関する行動内容として、エスカレータ、ロープウェイ、ケーブルカー、バイク、船舶、飛行機などでの移動・上昇・下降を特定してもよい。また、移動行動以外にも、例えば、食事、電話、テレビやビデオの視聴、音楽の、スマートフォン等の移動通信端末の操作、スポーツ（テニス、スキー、釣り等）等の非移動行動を特定してもよい。
特徴ベクトル生成部３４２は、行動セグメント内に含まれる複数のＵｎｉｔＡｃｔに対して、時間割合を求め、行動セグメントのＵｎｉｔＡｃｔの時間割合の合計が１．０となるように正規化して、特徴ベクトルとする。例えば、図２７に示すように、「電車で移動（Train）」という行動内容の行動セグメントにおいて、「滞在（Still）」、「電車に乗って立っている（TrainStand）」、「立って滞在（StillStand）」という３つの行動内容のＵｎｉｔＡｃｔが含まれているとする。このとき、特徴ベクトル生成部３４２は、行動セグメントの各ＵｎｉｔＡｃｔの時間割合を算出し、正規化する。
図２７の例では、「滞在（Still）」０．２４１４、「電車に乗って立っている（TrainStand）」０．５１３４、「立って滞在（StillStand）」０．２４５２という値が算出され、これらが特徴ベクトルとして用いられる。なお、行動セグメントに含まれていないＵｎｉｔＡｃｔの行動内容の特徴ベクトルの値は０となる。
・位置情報
行動セグメント内の緯度経度情報に基づき、位置情報に関する特徴ベクトルを設定してもよい。例えば、行動セグメント内の緯度経度情報の平均値を位置情報に関する特徴ベクトルとしてもよい。あるいは、各ユーザの緯度経度情報の平均値を特徴ベクトルとして、例えばｋ−ｍｅａｎｓ法等の手法を用いてクラスタリングし、各クラスタのｉｄを１−ｏｆ−ｋ表現によりｋ次元の特徴ベクトルを生成してもよい。クラスタリングの結果を特徴ベクトルとすることで、ユーザがよくいる場所（例えば、「自宅」、「会社」、「スーパー」等）をｋ次元の特徴ベクトルにより表すことが可能となる。
・移動情報
行動セグメント内の位置情報を用いて、ユーザの移動方向、移動量を表す移動ベクトルを特徴ベクトルとして設定してもよい。例えば、移動方向および移動量から３次元の特徴ベクトルを生成することができる。
・セグメントの時間長さ
セグメントの時間長さ（ｈｏｕｒ）を１次元の特徴量としてもよい。
・曜日情報
行動セグメントの行動内容が行われた曜日を特徴ベクトルとしてもよい。例えば、曜日を、７日間を一周とする円のｓｉｎ値、ｃｏｓ値を特徴ベクトル（各２次元）としてもよい。このとき、図２８に示すように、各曜日における時間は、例えば（ｘ，ｙ）＝（１，１）を中心とする半径１の円におけるｘ座標（１＋ｓｉｎθ）およびｙ座標（１＋ｃｏｓθ）で表すことができる。例えば、月曜日の午前０時であれば、（ｘ，ｙ）＝（１＋ｓｉｎ０°，１＋ｃｏｓ０°）と表される。
あるいは、日曜〜土曜までの７日間を、１−ｏｆ−Ｋ表現により７次元の特徴ベクトルとして表してもよい。また、平日または休日の２つを、１−ｏｆ−Ｋ表現により、２次元の特徴ベクトルとして表してもよい。
・時間情報
行動セグメントの行動内容が行われた各時間を特徴ベクトルとしてもよい。時間情報についても、曜日情報と同様、例えば２４時間を一周とする円のｓｉｎ値、ｃｏｓ値を特徴ベクトル（各２次元）としてもよい。このとき、図２９に示すように、各時間は、例えば（ｘ，ｙ）＝（１，１）を中心とする半径１の円におけるｘ座標（１＋ｓｉｎθ）およびｙ座標（１＋ｃｏｓθ）で表すことができる。例えば、１８時であれば、（ｘ，ｙ）＝（１＋ｓｉｎ２７０°，１＋ｃｏｓ２７０°）と表される。あるいは、０〜２３時までの２４時間を、１−ｏｆ−Ｋ表現により２４次元の特徴ベクトルとして表してもよい。
・その他の特徴ベクトル
上述の情報以外に、個人により異なった状況が現れる、測定可能な情報を用いて、特徴ベクトルを設定してもよい。例えば、行動が行われたときの天気を特徴ベクトルとしてもよい。天気情報により、例えば、雨だとバスで移動、晴れだと歩き、といった行動の特徴を認識することができる。あるいは、ユーザが行動を行った際にクライアント端末１００で起動しているアプリケーションや聞いている音楽等によっても、行動の特徴を認識することができる。
特徴ベクトル生成部３４２は、このような情報に基づき特徴ベクトル情報を生成する。特徴ベクトル情報が生成されると、個別学習部３４４は、個別学習処理により、各ユーザの特徴的な行動を認識するための個別モデルを生成する（Ｓ３１０）。個別学習部３４４は、上述したような線形SVMやSVM(RBF Kernel)、k-NN、Naive Bayes、Decision Tree、Random Forest、AdaBoost等の学習手法により、個別モデルを生成する。
その後、マージ部３４６により、個別学習部３４４により生成された個別モデルに基づき取得された行動認識結果と、行動認識部３３０により取得された行動認識結果とがマージされ（Ｓ３２０）、最終的な行動認識結果が決定される（Ｓ３３０）。マージ部３４６は、例えば、個別モデルに基づき取得された行動認識結果（PAct）と、行動認識部３３０により取得された行動認識結果（HAct）とを、下記式（１）のように重みａで線形結合し、個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）を得る。
Ｍｅｒｇｅ＝ＨＡｃｔ×ａ＋ＰＡｃｔ×（１−ａ） ・・・（１）
このとき、行動認識結果（HAct）と行動認識結果（PAct）とを正規化し、同等に評価できるようにする。正規化は、例えば、行動認識部３３０により取得された行動認識結果（HAct）については、行動セグメント内に含まれるエレメント（１分ごとの結果）が長さ１．０になるようにしてもよい。また、行動認識結果（PAct）については、例えば学習手法としてＳＶＭを用いた場合、ＳＶＭの超平面までの距離を最小値０、最大値１として正規化してもよい。また、これらの行動認識結果を線形結合する重みａは、適宜設定可能であり、例えば０．４としてもよい。
図３０にマージ部３４６によるマージ処理の一例を示す。図３０では、行動認識部３３０による行動セグメントの行動認識結果として、「自転車で移動（Bicycle）」という結果が得られている。この行動セグメントは、「自転車で移動（Bicycle）」と「走り（Run）」との２つのエレメントから構成されており、行動セグメント内の時間割合によってそれぞれスコアが決定されている。この内容が行動認識結果（HAct）となる。図３０の例では、行動認識結果（HAct）では、「自転車で移動（Bicycle）」が最大スコアである。
一方、個別モデルに基づく行動認識結果（PAct）では、「走り（Run）」が最大スコアとなっている。このユーザ特有の行動を反映させるため、重みを０．４として、上記式（１）に基づき行動認識結果（HAct）と行動認識結果（PAct）とをマージすると、個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）の最大スコアの行動内容は「走り（Run）」となる。このように、ユーザ特有の行動を考慮しない行動認識結果（HAct）では特定されない行動内容が、最終的な行動結果となる。
このように、修正部３４０により、修正情報を用いて各ユーザに特有の行動を行動認識処理に反映させることで、行動認識結果の精度を向上させることが可能となる。
（４）修正情報のフィードバックに関するフィルタ処理
ユーザによる行動内容の修正情報を用いて各ユーザに特有の行動を行動認識処理に反映させると、行動認識結果の精度が向上されるが、よりユーザの意図するように修正情報が反映されるよう、フィードバックする修正情報にフィルタをかけてもよい。
行動認識結果（HAct）と行動認識結果（PAct）とのマージ処理は、ユーザ特有の行動を行動認識処理に反映できるが、例えば個別モデルの学習サンプル数が少ないと、行動認識結果（HAct）のみの行動認識結果の精度を下回ることがある。そこで、ユーザが過去に修正したことのあるパターンの修正情報のみを反映させるようにしてもよい。
例えば、あるユーザによる修正情報が「電車で移動」から「自動車で移動」というもののみだったとする。このとき、未来の区間を予測する際に、行動認識結果（HAct）が「電車で移動」、個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）が「自動車で移動」であれば、このフィルタを通過して、最終的な行動認識結果を「自動車で移動」とする。一方、行動認識結果（HAct）が「歩き」、個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）が「自動車で移動」であれば、このフィルタを通過することができず、最終的な行動認識結果は「歩き」とする。
このようなフィードバックする修正情報にフィルタをかけることで、ユーザが一度も修正したことないパターンにおいては行動認識結果（HAct）の性能と等価の結果を出力できるとともに、修正したことがあるパターンでは個別モデルを考慮した出力となる。このような結果は、ユーザ体験的にも納得性がある結果になる。
なお、このフィードバックする修正情報のフィルタ処理は、過去に１回でも行われたパターンでの修正では個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）を用いるようにしてもよい。あるいは、過去に同一内容のパターンで修正された回数が所定回数（例えば３回）を超えた場合に、個別モデルを考慮した行動認識結果（Ｍｅｒｇｅ）を用いるようにしてもよい。
また、ユーザに提示された行動認識結果を、ユーザが必ず確認し、必ず適切に修正するとは限らない。例えばユーザが行動認識結果を確認することなく、行動内容の修正情報が入力されない場合もある。このとき、修正部３４０は、ユーザからの修正情報の入力があった所定区間の情報のみを用いて、個別モデルの学習に用いてもよい。例えば図３１に示すように、所定区間（例えば１日）毎に修正情報の有無をみて、少なくとも１回は修正情報の入力が行われた区間の行動セグメントの情報のみを用いて個別モデルの学習を行う。これにより、ユーザが意図的に修正した行動内容をユーザ特有の行動として、適切に個別モデルに反映させることが可能となる。
＜４．まとめ＞
以上、本実施形態に係る行動ログ表示システムの構成と、当該システムにおける処理について説明した。本実施形態に係る行動ログ表示システムでは、ユーザに提示する行動ログの内容がより正しいものとなるようにする判定処理を行うとともに、さらにユーザによる行動ログの修正を受けて、その後の行動認識処理に反映させるようにする。これにより、行動ログを、ユーザの意図に沿った、正しい内容でユーザに提示することができる。
＜５．ハードウェア構成例＞
最後に、本実施形態に係るクライアント端末１００、ログサーバ２００および解析サーバ３００のハードウェア構成例について説明する。これらの機器は同様に構成することができるため、以下では、クライアント端末１００を例として説明する。図３２は、本実施形態に係るクライアント端末１００のハードウェア構成を示すハードウェア構成図である。
本実施形態に係るクライアント端末１００は、上述したように、コンピュータ等の処理装置により実現することができる。クライアント端末１００は、図３２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、クライアント端末１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってクライアント端末１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
ストレージ装置９０８は、クライアント端末１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
ドライブ９０９は、記憶媒体用リーダライタであり、クライアント端末１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、クライアント端末１００、ログサーバ２００および解析サーバ３００からなる行動ログ表示システムについて説明したが、本技術はかかる例に限定されない。例えば、クライアント端末１００、ログサーバ２００および解析サーバ３００の機能を１つに備える情報処理端末５００により、上述の行動ログ表示システムの機能を実現してもよい。情報処理端末５００は、例えばユーザが保持して使用する端末等が想定される。
例えば、図３３に示すように、情報処理端末５００は、センサ部５１０と、制御部５２０と、ログＤＢ５３０と、入力部５４０と、表示処理部５５２と、表示部５５４と、行動認識部５６０と、修正部５７０と、行動ログＤＢ５８０と、解析ＤＢ５９０とからなる。センサ部５１０、入力部５４０、表示処理部５５２、表示部５５４は、上述のクライアント端末１００として機能し、ログＤＢ５３０は、上述のログサーバ２００として機能する。また、行動認識部５６０、修正部５７０、行動ログＤＢ５８０、解析ＤＢ５９０は、上述の解析サーバ３００として機能し、制御部５２０は、クライアント端末１００、ログサーバ２００および解析サーバ３００の制御部の機能を実現する。
また、クライアント端末１００、ログサーバ２００および解析サーバ３００の機能は、図３３に示すように１つにまとめる以外にも、システムの構成に応じて、適宜端末やサーバにより実行させることは可能である。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センサ情報に基づいてユーザの行動を認識する行動認識部と、
ユーザの移動速度を表す速度情報を取得する速度取得部と、
前記速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、前記行動認識結果を修正する修正部と、
を備える、情報処理装置。
（２）
前記速度取得部は、ユーザの位置情報に基づいて前記速度情報を算出する、前記（１）に記載の情報処理装置。
（３）
前記速度取得部は、前記位置情報の正確さを表すアキュラシ値が所定以上のとき、当該位置情報を除外して前記速度情報を取得する、前記（２）に記載の情報処理装置。
（４）
前記修正部は、前記速度情報が所定値以上であるとき、当該速度情報を算出した区間の終点の位置情報を除外して前記行動認識結果を修正する、前記（２）または（３）に記載の情報処理装置。
（５）
前記修正部は、所定の範囲内に所定時間以上滞在していると判定したとき、滞在区間における始点および終点以外の位置情報を除外して前記行動認識結果を修正する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記修正部は、前記滞在区間における終点の位置情報を、前記始点の位置情報に変更する、前記（５）に記載の情報処理装置。
（７）
前記修正部は、時間的に連続する３つの位置情報のうち、中間点が、始点と終点とを結ぶ線を直径とする円と同心の円領域より外側に位置するとき、前記中間点の位置情報は除外して前記行動認識結果を修正する、前記（５）または（６）に記載の情報処理装置。
（８）
前記修正部は、前記速度情報に基づいて同一行動を行っている区間と認識された行動セグメントにおける平均速度を算出し、前記平均速度が速度閾値以上であるとき、前記行動認識結果を修正する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
センサ情報に基づいてユーザの行動を認識すること、
ユーザの移動速度を表す速度情報を取得すること、
前記速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、前記行動認識結果を修正すること、
を含む、情報処理方法。
１００ クライアント端末
１１０ センサ部
１２０ 制御部
１３０ 通信部
１４０ 入力部
１５０ 表示処理部
１６０ 表示部
２００ ログサーバ
２１０ 通信部
２２０ 制御部
２３０ ログＤＢ
３００ 解析サーバ
３１０ 通信部
３２０ 制御部
３３０ 行動認識部
３４０ 修正部
３４２ 特徴ベクトル生成部
３４４ 個別学習部
３４６ マージ部
３５０ 行動ログＤＢ
３６０ 解析ＤＢ
４００ 行動ログ表示画面
４１０ 行動表示領域
４１２ 時間軸
４１４ 行動認識結果オブジェクト
４２０ サマリー領域
４３０ 処理選択画面
４４０ 行動修正画面
５００ 情報処理端末

Claims (18)

  1. センサ情報に基づいてユーザの行動を認識する行動認識部と、
    ユーザの移動速度を表す速度情報を取得する速度取得部と、
    前記速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、前記行動認識結果を修正する修正部と、
    を備え、
    前記行動認識結果は、前記速度情報が所定値以上であるとき、当該速度情報を算出した区間の終点の位置情報が除外される、情報処理装置。
  2. 前記情報処理装置は、
    前記行動認識結果の内容および所定期間における前記行動の概要の少なくとも１つを表示部に表示させる表示処理部をさらに備える請求項１に記載の情報処理装置。
  3. 前記表示処理部は、前記行動に対応するオブジェクトであって、前記行動に関連する行動時間およびデータ数の少なくとも１つを示す前記オブジェクトを表示させる請求項２に記載の情報処理装置。
  4. 前記表示処理部は、前記オブジェクトが選択されると、前記オブジェクトに対応する前記行動の詳細を表示させる請求項３に記載の情報処理装置。
  5. 前記表示処理部は、時間軸を表示させるとともに、前記行動認識結果を示す行動認識結果オブジェクトを、当該行動認識結果オブジェクトが前記時間軸上の前記行動が行われた時間位置に対応するよう表示させる請求項２に記載の情報処理装置。
  6. 前記表示処理部は、前記時間位置が変更された場合に、前記時間位置に対応する前記行動認識結果オブジェクトの表示を変更させる請求項５に記載の情報処理装置。
  7. 前記表示処理部は、前記行動認識結果オブジェクトの表示を、前記行動の開始時間、終了時間および行動内容の少なくとも１つを含む行動セグメントごとに切り替える請求項５に記載の情報処理装置。
  8. 前記表示処理部は、前記行動認識結果オブジェクトが選択されると、行動内容の詳細情報閲覧、編集および削除の少なくとも１つの処理の選択を受け付ける画面を表示させる請求項５に記載の情報処理装置。
  9. 前記表示処理部は、前記行動内容の編集処理が選択されると、行動の開始時間、終了時間および行動内容の少なくとも１つの修正を受け付ける画面を表示させる請求項８に記載の情報処理装置。
  10. 前記表示処理部は、変更可能な前記行動内容を修正候補として表示させる請求項９に記載の情報処理装置。
  11. 前記表示処理部は、前記ユーザによる前記行動内容の入力を受け付ける直接入力領域を表示させる請求項９に記載の情報処理装置。
  12. 前記速度取得部は、ユーザの位置情報に基づいて前記速度情報を算出する、請求項１に記載の情報処理装置。
  13. 前記速度取得部は、前記位置情報の正確さを表すアキュラシ値が所定以上のとき、当該位置情報を除外して前記速度情報を取得する、請求項１２に記載の情報処理装置。
  14. 前記行動認識結果は、所定の範囲内に所定時間以上滞在していると判定されるとき、滞在区間における始点および終点以外の位置情報が除外される、請求項１２に記載の情報処理装置。
  15. 前記行動認識結果の前記滞在区間における終点の位置情報が、前記始点の位置情報に変更される、請求項１４に記載の情報処理装置。
  16. 前記行動認識結果の時間的に連続する３つの位置情報のうち、中間点が、始点と終点とを結ぶ線を直径とする円と同心の円領域より外側に位置するとき、前記中間点の位置情報が除外される、請求項１４に記載の情報処理装置。
  17. 前記行動認識結果は、前記速度情報に基づいて同一行動を行っている区間と認識された行動セグメントにおける平均速度が速度閾値以上であるとき、修正される、請求項１に記載の情報処理装置。
  18. 情報処理装置により、
    センサ情報に基づいてユーザの行動を認識すること、
    ユーザの移動速度を表す速度情報を取得すること、
    前記速度情報と行動認識結果に応じて設定される速度閾値との比較結果に基づいて、前記行動認識結果を修正すること、
    を含む処理を実行し、
    前記行動認識結果は、前記速度情報が所定値以上であるとき、当該速度情報を算出した区間の終点の位置情報が除外される、情報処理方法。
JP2016520961A 2014-05-22 2015-03-03 情報処理装置および情報処理方法 Expired - Fee Related JP6572886B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014106144 2014-05-22
JP2014106144 2014-05-22
PCT/JP2015/056207 WO2015178065A1 (ja) 2014-05-22 2015-03-03 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2015178065A1 JPWO2015178065A1 (ja) 2017-04-20
JP6572886B2 true JP6572886B2 (ja) 2019-09-11

Family

ID=54553742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520961A Expired - Fee Related JP6572886B2 (ja) 2014-05-22 2015-03-03 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US10165412B2 (ja)
EP (1) EP3147831B1 (ja)
JP (1) JP6572886B2 (ja)
WO (1) WO2015178065A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6436148B2 (ja) * 2016-11-18 2018-12-12 横河電機株式会社 情報処理装置、保全機器、情報処理方法、情報処理プログラム及び記録媒体
US10791420B2 (en) 2017-02-22 2020-09-29 Sony Corporation Information processing device and information processing method
JP6794895B2 (ja) 2017-03-28 2020-12-02 カシオ計算機株式会社 電子機器、位置特定システム、位置特定方法及びプログラム
CN108228379B (zh) * 2018-01-24 2021-11-05 远峰科技股份有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN110767960B (zh) * 2019-11-15 2021-01-01 广东轻工职业技术学院 微生物燃料电池与混合型超级电容器集成的柔性器件及制备方法与应用
JPWO2024225077A1 (ja) * 2023-04-24 2024-10-31

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861154B2 (ja) * 2006-12-19 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 情報サービス提供システム、対象行動推定装置、対象行動推定方法
JP4966722B2 (ja) * 2007-04-19 2012-07-04 クラリオン株式会社 車載地図表示装置
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
WO2010042545A2 (en) * 2008-10-09 2010-04-15 University Of Utah Research Foundation System and method for preventing cell phone use while driving
JP5273126B2 (ja) * 2010-09-15 2013-08-28 カシオ計算機株式会社 測位装置、測位方法およびプログラム
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9536134B2 (en) * 2011-06-17 2017-01-03 Myotest Sa Athletic performance monitoring device
JP6003284B2 (ja) * 2012-06-22 2016-10-05 セイコーエプソン株式会社 携帯型機器
KR102281233B1 (ko) * 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
US11093196B2 (en) * 2013-10-07 2021-08-17 Intel Corporation Method, system, and device for selecting and displaying information on a mobile digital display device
CN104807466B (zh) * 2014-01-24 2017-10-10 腾讯科技（深圳）有限公司 地图信息显示方法及装置
WO2015126182A1 (ko) * 2014-02-21 2015-08-27 삼성전자 주식회사 콘텐츠를 표시하는 방법 및 이를 위한 전자 장치
US20170140457A1 (en) * 2014-03-24 2017-05-18 Pioneer Corporation Display control device, control method, program and storage medium
US9529089B1 (en) * 2014-03-31 2016-12-27 Amazon Technologies, Inc. Enhancing geocoding accuracy
US9696428B2 (en) * 2014-06-20 2017-07-04 Samsung Electronics Co., Ltd. Electronic device and method for measuring position information of electronic device
US10354333B1 (en) * 2015-01-20 2019-07-16 State Farm Mutual Automobile Insurance Company Providing insurance discounts based upon usage of telematics data-based risk mitigation and prevention functionality
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
KR101667736B1 (ko) * 2015-09-25 2016-10-20 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
EP3147831B1 (en) 2020-09-02
EP3147831A4 (en) 2017-11-22
US20170026801A1 (en) 2017-01-26
JPWO2015178065A1 (ja) 2017-04-20
EP3147831A1 (en) 2017-03-29
WO2015178065A1 (ja) 2015-11-26
US10165412B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
JP6572886B2 (ja) 情報処理装置および情報処理方法
CN110780707B (zh) 信息处理设备、信息处理方法与计算机可读介质
CN107172590B (zh) 基于移动终端的活动状态信息处理方法、装置及移动终端
CA3108137C (en) Method and system for providing a graphical user interface using machine learning and movement of the user or user device
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
US10016165B2 (en) Information processing apparatus, information processing method, and program
US20170132821A1 (en) Caption generation for visual media
CN102985897A (zh) 高效姿势处理
CN107391603A (zh) 用于移动终端的用户画像建立方法及装置
CN107241697A (zh) 用于移动终端的用户行为确定方法、装置及移动终端
JPWO2018116862A1 (ja) 情報処理装置および方法、並びにプログラム
CN107396306A (zh) 基于移动终端的用户活动状态识别方法、装置及移动终端
CN107004124B (zh) 使用生物信号识别用户的方法和设备
CN107315519A (zh) 驾驶状态下的os切换方法、装置及移动终端
US10565274B2 (en) Multi-application user interest memory management
WO2015178066A1 (ja) 情報処理装置および情報処理方法
CN108010583A (zh) 数据处理方法、装置、终端设备及存储介质
CN107341226A (zh) 信息展示方法、装置及移动终端
JP2018133696A (ja) 車載装置、コンテンツ提供システムおよびコンテンツ提供方法
US20230297611A1 (en) Information search device
US12445714B2 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium for selecting a trained model
KR20230081584A (ko) 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법
CN107146445A (zh) 移动终端路况信息提示方法、装置及移动终端
JP2025173996A (ja) 情報処理装置、情報処理方法、情報処理プログラム、感情推定装置、及び運転支援システム
CN115520196A (zh) 驾驶员的体重确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190417

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190729

R151 Written notification of patent or utility model registration

Ref document number: 6572886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees