JP7600614B2 - コンテンツ出力装置、コンテンツ出力方法、およびプログラム - Google Patents

コンテンツ出力装置、コンテンツ出力方法、およびプログラム Download PDF

Info

Publication number
JP7600614B2
JP7600614B2 JP2020176937A JP2020176937A JP7600614B2 JP 7600614 B2 JP7600614 B2 JP 7600614B2 JP 2020176937 A JP2020176937 A JP 2020176937A JP 2020176937 A JP2020176937 A JP 2020176937A JP 7600614 B2 JP7600614 B2 JP 7600614B2
Authority
JP
Japan
Prior art keywords
content
user
psychological
unit
burden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020176937A
Other languages
English (en)
Other versions
JP2022068020A (ja
Inventor
功大 中村
義仁 木下
純一 糟谷
友喜 桜木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020176937A priority Critical patent/JP7600614B2/ja
Priority to PCT/JP2021/037612 priority patent/WO2022085506A1/ja
Publication of JP2022068020A publication Critical patent/JP2022068020A/ja
Priority to US18/295,291 priority patent/US20230245670A1/en
Application granted granted Critical
Publication of JP7600614B2 publication Critical patent/JP7600614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、コンテンツ出力装置、コンテンツ出力方法、およびプログラムに関する。
自身で撮影した動画、会議の動画、映画、スポーツ番組等、種々のコンテンツを出力するコンテンツ出力装置がある。コンテンツを出力する装置には、ユーザの心身状態を検出し、心身状態の検出結果に基づいて、情報の提示を停止したり、情報内容を変更したりする情報処理装置がある(例えば、特許文献1参照)。
特開2005-237561号公報
しかしながら、特許文献1に記載されたような情報処理装置は、ユーザ(使用者)の心理的負担に合わせて、情報の提示を停止したり、情報内容を変更したりすることで、使用者の心理的負担を軽減することができるが、必要な情報を得ることができない場合がある。
本発明は、上記に鑑みてなされたものであって、使用者の心理的負担を軽減しつつ、必要な情報を提示できることを目的とする。
本発明に係るコンテンツ出力装置は、コンテンツを取得するコンテンツ取得部と、前記コンテンツに対する使用者の心理状態を検出する状態検出部と、前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶する記憶部と、前記コンテンツの情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定する特定部と、前記負担原因の出力方法を変更する変換部と、を含む。
本発明に係るコンテンツ出力方法は、コンテンツを取得するステップと、前記コンテンツに対する使用者の心理状態を検出するステップと、前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶するステップと、前記コンテンツの情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定するステップと、前記負担原因の出力方法を変更するステップと、を含む。
本発明に係るプログラムは、コンテンツを取得するステップと、前記コンテンツに対する使用者の心理状態を検出するステップと、前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶するステップと、前記コンテンツの情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定するステップと、前記負担原因の出力方法を変更するステップと、をコンピュータに実行させる。
本発明によれば、使用者の心理的負担を軽減しつつ、必要な情報を提示できるという効果を奏する。
図1は、第1実施形態に係るコンテンツ出力システムの構成例を示すブロック図である。 図2は、第1実施形態に係る負担フラグを設定する処理の流れの一例を示すフローチャートである。 図3は、コンテンツに対して負担フラグを設定する方法を説明するための図である。 図4は、第1実施形態に係るコンテンツを変換して出力する処理の流れの一例を示すフローチャートである。 図5は、コンテンツを変換する方法を説明するための図である。 図6は、第2実施形態に係るコンテンツ出力システムの構成例を示すブロック図である。 図7は、第2実施形態に係るコンテンツ変換処理の流れの一例を示すフローチャートである。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
[第1実施形態]
図1を用いて、第1実施形態に係るコンテンツ出力システムについて説明する。図1は、実施形態に係るコンテンツ出力システムの構成例を示すブロック図である。
図1に示すように、コンテンツ出力システム1は、表示部10と、音声出力部12と、生体センサ14と、マイク16と、カメラ18と、コンテンツ出力装置20と、を備える。コンテンツ出力システム1は、映像と音楽とを含むコンテンツに対してユーザが心理的な負担を感じていると判定した場合に、ユーザの心理的な負担を軽減するようにコンテンツに対して変換処理を施して出力する。
表示部10は、各種の映像を表示する。表示部10は、例えば、映画およびテレビ番組などを表示する。表示部10は、例えば、液晶ディスプレイまたは有機EL(Electro-Luminescence)ディスプレイなどを含むディスプレイで実現することができる。
音声出力部12は、各種の音声を出力する。音声出力部12は、例えば、表示部10に表示された映像に関する音声を出力する。音声出力部12は、例えば、スピーカで実現することができる。音声出力部12は、例えば、ユーザの頭部に装着されるヘッドホンであってもよい。
生体センサ14は、ユーザの各種の生体情報を検出する。生体センサ14は、生体情報を検出する各種のセンサで構成され得る。生体情報は、例えば、心拍数、血流、血圧、体温、脳波に関する情報を含み得るが、これらに限定されない。生体センサ14は、例えば、ユーザに装着されるウェアラブルデバイスで実現することができる。ウェアラブルデバイスとしては、例えば、スマートウォッチが挙げられるが、これに限定されない。
マイク16は、周囲の音声を検出する。マイク16は、例えば、表示部10に表示された映像を視聴しているユーザが発した音声を検出する。マイク16は、例えば、周知のマイクロフォンで実現することができる。
カメラ18は、ユーザを撮像する撮像装置である。カメラ18は、例えば、表示部10に表示された映像を視聴しているユーザを撮像する。カメラ18は、例えば、表示部10に表示された映像を視聴しているユーザの瞳孔を撮像する。カメラ18は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)センサを含むカメラで実現することができる。
なお、表示部10と、音声出力部12と、生体センサ14と、マイク16と、カメラ18とは、例えば、ユーザの頭部に装着されるHMD(Head Mounted Display)として、一体に構成されていてもよい。
コンテンツ出力装置20は、入力部22と、記憶部24と、通信部26と、制御部28と、を備える。
入力部22は、コンテンツ出力装置20に対する、各種の操作を入力するため入力装置である。入力部22は、ユーザから各種の操作を受け付ける。入力部22は、例えば、ボタン、スイッチ、およびタッチパネルなどで実現される。
記憶部24は、各種の情報を記憶するメモリである。記憶部24は、例えば、制御部28の演算内容、およびプログラムなどの情報を記憶する。記憶部24は、例えば、表示部10および音声出力部12から出力するためのコンテンツに関するコンテンツ情報を記憶する。コンテンツは、例えば、各種の映画、テレビ番組、音楽などに関する情報が含まれ得る。コンテンツには、ユーザが撮影した動画およびユーザが録音した音楽が含まれてもよい。コンテンツには、ユーザ自身の映像およびユーザ自身の音声が含まれてもよい。記憶部24は、例えば、コンテンツ出力システム1を使用し得るユーザの生体情報を記憶する。生体情報には、ユーザが緊張状態にあるときの、心拍数、血流、血圧、体温、脳波、瞳孔の状態、挙動、および音声に関する心理情報を含み得る。緊張状態は、ユーザに所定以上の心理的な負担を感じていることを意味する。記憶部24は、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。
通信部26は、コンテンツ出力装置20と、外部装置との間で、コンテンツ情報の送受信を行う通信装置である。外部装置は例えば、映画、テレビ番組、音楽などのコンテンツ配信を行うサーバ装置である。なお、通信部26が取得したコンテンツ情報は、記憶部24に保存される。
制御部28は、コンテンツ出力装置20の各部の動作を制御する。制御部28は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部24などに記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部28は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部28は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
制御部28は、コンテンツ取得部30と、出力制御部32と、状態検出部34と、特定部36と、設定部38と、変換部40と、を備える。
コンテンツ取得部30は、各種のコンテンツを取得する。コンテンツ取得部30は、例えば、記憶部24に記憶されたコンテンツを取得する。コンテンツは、映像および音声の少なくとも一方を含み得る。
出力制御部32は、コンテンツ取得部30が取得したコンテンツを出力する。出力制御部32は、例えば、コンテンツ取得部30が取得した映像に関するコンテンツを表示部10に表示させる。出力制御部32は、例えば、コンテンツ取得部30が取得した音声に関するコンテンツを音声出力部12に出力させる。
状態検出部34は、出力制御部32が出力したコンテンツに対する、ユーザの心理状態を検出する。状態検出部34は、例えば、ユーザの生体センサ14、マイク16、およびカメラ18の少なくとも1つの検出結果と、記憶部24に記憶された生体情報とに基づいて、ユーザが緊張状態であるか否かといった心理状態を判定する。状態検出部34は、生体情報検出部50と、瞳孔検出部52と、挙動検出部54と、を備える。
生体情報検出部50は、出力制御部32が出力したコンテンツに対するユーザの生体情報を生体センサ14から取得する。生体情報検出部50は、ユーザの心拍数、血流、血圧、体温、脳波などの生体情報に基づいて、ユーザの心理状態を検出する。生体情報検出部50は、例えば、生体センサ14が取得したユーザの心拍数情報と、記憶部24に記憶されたユーザの安定時の心拍数情報とを比較して、所定の範囲から外れる場合に、ユーザが緊張状態であると判定する。
瞳孔検出部52は、出力制御部32が出力したコンテンツに対するユーザの顔の様子を示す顔画像をカメラ18から取得する。瞳孔検出部52は、ユーザの顔画像に基づいて、ユーザの瞳孔の状態を検出する。瞳孔検出部52は、ユーザの瞳孔の状態に基づいて、ユーザの心理状態を検出する。瞳孔検出部52は、例えば、検出されたユーザの瞳孔の状態と、記憶部24に記憶されたユーザの安定時の瞳孔情報とを比較して、所定の範囲から外れる場合に、ユーザが緊張状態であると判定する。
挙動検出部54は、出力制御部32が出力したコンテンツに対するユーザの挙動を示す画像をカメラ18から取得する。挙動検出部54は、出力制御部32が出力したコンテンツに対してユーザが発した音声をマイク16から取得する。挙動検出部54は、ユーザの挙動に基づいて、ユーザの心理状態を検出する。挙動検出部54は、ユーザの音声に基づいて、ユーザの心理状態を検出する。挙動検出部54は、出力制御部32が出力したコンテンツに対するユーザの挙動およびユーザが発した音声の少なくとも一方を取得すればよい。挙動検出部54は、カメラ18から取得したユーザの挙動およびマイク16から取得したユーザの音声と、記憶部24に記憶されたユーザの安定時の挙動および音声に関する情報との少なくとも一方を比較して、双方若しくはどちらか一方が所定の範囲から外れる場合に、ユーザが緊張状態であると判定する。
状態検出部34は、例えば、ユーザの心理状態の検出結果に重み付けを行い、心理状態が緊張状態であるか否かを判定してよい。具体的には、状態検出部34は、生体情報検出部50と、瞳孔検出部52と、挙動検出部54とのそれぞれの判定結果に、異なる重み付けを行って、ユーザの心理状態が緊張状態であるか否かを判定してもよい。重み付けの大きさおよび方法などは、ユーザに応じて変更してもよい。例えば、状態検出部34は、緊張状態の時に脈拍が速くなる傾向のあるユーザに対しては、脈拍の測定値により大きな重み付けを行って、ユーザの心理状態が緊張状態であるか否かを判定してもよい。
特定部36は、状態検出部34によりユーザが緊張状態であると判定された場合に、ユーザが緊張状態となった負担原因を特定する。特定部36は、例えば、状態検出部34によりユーザが緊張状態であると判定された場合に、出力制御部32が出力したコンテンツに基づいて、ユーザが緊張状態となった原因を特定する。特定部36は、例えば、出力制御部32が出力したコンテンツに人物が含まれている場合、コンテンツに含まれる人物のうち、ユーザが心理的負担を感じる特定人物を特定する。
設定部38は、コンテンツ取得部30が取得したコンテンツに対してフラグを設定する。設定部38は、例えば、特定部36が特定したコンテンツに含まれる、ユーザが緊張状態となった負担原因を含む部分に対して、ユーザの心理的な負担が大きいことを示す負担フラグを設定する。
変換部40は、コンテンツを変換する。変換部40は、コンテンツの情報と、特定部36により特定された特定人物の出力方法を変更する。変換部40は、例えば、設定部38が設定した負担フラグに基づいて、コンテンツを変換する。変換部40は、例えば、負担フラグが設定された部分に含まれるユーザが心理的な負担を感じる要因の音声をキャンセルしたり、ユーザが心理的な負担を感じる音声を別の音声に変換したりする。
[負担フラグの設定処理]
図2を用いて、第1実施形態に係る負担フラグを設定する処理の流れについて説明する。図2は、第1実施形態に係る負担フラグを設定する処理の流れの一例を示すフローチャートである。
コンテンツ取得部30は、コンテンツを取得する(ステップS10)。具体的には、コンテンツ取得部30は、例えば、記憶部24に記憶された映像および音声の少なくとも一方を含むコンテンツを出力する。そして、ステップS12に進む。
出力制御部32は、コンテンツを出力する(ステップS12)。具体的には、出力制御部32は、コンテンツ取得部30が取得したコンテンツに応じて、表示部10および音声出力部12の少なくとも一方からコンテンツを出力する。そして、ステップS14に進む。
状態検出部34は、コンテンツに対するユーザの状態を取得する(ステップS14)。例えば、状態検出部34の生体情報検出部50は、コンテンツに対するユーザの生体情報を生体センサ14から取得する。例えば、状態検出部34の瞳孔検出部52は、コンテンツに対するユーザの瞳孔情報をカメラ18から取得する。例えば、状態検出部34の挙動検出部54は、コンテンツに対してユーザが発した音声をマイク16から取得する。例えば、状態検出部34の挙動検出部54は、コンテンツに対するユーザの挙動に関する挙動情報をカメラ18から取得する。例えば、状態検出部34は、生体情報と、瞳孔情報と、挙動情報との全てを取得してもよいし、少なくとも1つを取得するようにしてもよい。そして、ステップS16に進む。
状態検出部34は、ユーザに所定以上の心理的な負担があるか否かを判定する(ステップS16)。具体的には、状態検出部34は、ステップS14で取得したユーザの生体情報に基づいて、コンテンツに対してユーザが所定以上の心理的な負担を感じているか否かを判定する。例えば、状態検出部34は、ステップS14で取得したユーザの生体情報、瞳孔情報、挙動情報との少なくとも1つと、記憶部24に記憶されたユーザが緊張状態のときに示す生体情報、瞳孔情報、挙動情報とに基づいて、ユーザが所定以上の心理的な負担を感じているか否かを判定する。ユーザは所定以上の心理的な負担を感じていると判定された場合(ステップS16;Yes)、ステップS18に進む。ユーザは所定以上の心理的な負担を感じていないと判定された場合(ステップS16;No)、ステップS22に進む。
ステップS16でYesと判定された場合、特定部36は、ユーザが心理的な負担を感じている負担原因を特定する(ステップS18)。具体的には、特定部36は、コンテンツに対して解析処理を行い、コンテンツに含まれる各種の対象物を抽出し、抽出した対象物に基づいて、負担原因を特定する。例えば、特定部36は、コンテンツに対して解析処理を行い、緊張している声や、怒鳴っている声が含まれていることを検出することで、ユーザが心理的な負担を感じている原因となり得る特定人物を特定する。例えば、特定部36は、コンテンツに対して解析処理を行い、強張った表情、または怒鳴っている表情の人物が発言していることを検出することで、ユーザが心理的な負担を感じている原因となり得る特定人物を特定する。例えば、特定部36は、コンテンツに対して解析処理を行い、コンテンツが映像である場合、映像に含まれる人物の視線の方向、および口の動きなどから発言者を特定し、かつ発言内容を検出することで、ユーザが心理的な負担を感じている原因となり得る特定人物を特定する。特定部36は、例えば、不快な音声などを負担原因として特定してもよい。そして、ステップS20に進む。
設定部38は、コンテンツに対して負担フラグを設定する(ステップS20)。具体的には、設定部38は、特定部36により特定されたユーザが心理的な負担を感じている部分に対して、負担フラグを設定する。例えば、設定部38は、特定部36により特定された特定人物のユーザが心理的な負担を感じ得る発言に対して負担フラグを設定する。そして、ステップS22に進む。
ここで、図3を用いて、コンテンツに対して負担フラグを設定する方法を説明する。図3は、コンテンツに対して負担フラグを設定する方法を説明するための図である。図3は、コンテンツとして、表示部10に表示された映像IMを示している。図3に示すように、映像IMには、人物U1と、人物U2と、が含まれている。この場合、特定部36は、人物U1と、人物U2とのそれぞれの視線の方向および口の動きなどに基づいて、発言している人物を特定する。図3に示す例では、人物U2の発言V1を「ABCDE」といったように概念的に示しているが、実際には、具体的な、発言内容を特定する。特定部36は、発言V1を、映像IMを視聴しているユーザが心理的な負担を感じている原因であることを特定する。この場合、設定部38は、発言V1に対して、負担フラグを設定する。すなわち、特定部36は、人物U2をユーザが心理的な負担を感じている原因となっている特定人物であることを特定する。設定部38は、ユーザが心理的な負担を感じている特定人物である人物U2の発言V1に負担フラグを設定する。
図2に戻る。制御部28は、処理を終了するか否かを判定する(ステップS22)。例えば、制御部28は、コンテンツの出力が完了した場合に処理を終了すると判定する。例えば、制御部28は、コンテンツの出力を終了する旨の操作を受け付けた場合、またはコンテンツ出力装置20の電源をオフする操作を受け付けた場合などに処理を終了すると判定する。処理を終了すると判定された場合(ステップS22;Yes)、図2の処理を終了する。処理を終了しないと判定された場合(ステップS22;No)、ステップS12に進み、上記の処理を繰り返す。
[コンテンツの変換処理]
図4を用いて、第1実施形態に係るコンテンツを変換して出力する処理の流れについて説明する。図4は、第1実施形態に係るコンテンツを変換して出力する処理の流れの一例を示すフローチャートである。
ステップS30およびステップS32の処理は、それぞれ、図2に示すステップS10およびステップS12の処理と同一なので、説明を省略する。
ステップS32の後、変換部40は、出力制御部32が出力するコンテンツに負担フラグが設定されているか否かを判定する(ステップS34)。具体的には、変換部40は、コンテンツを解析して、設定部38が設定した負担フラグが設定されているか否かを判定する。負担フラグが設定されていると判定された場合(ステップS34;Yes)、ステップS36に進む。負担フラグが設定されていないと判定された場合(ステップS34;No)、ステップS40に進む。
ステップS34でYesと判定された場合、変換部40は、コンテンツを変換する(ステップS36)。変換部40は、出力制御部32が出力するコンテンツのうち、設定部38が負担フラグを設定した部分について、変換処理を実行する。具体的には、変換部40は、設定部38が負担フラグを設定した部分について、ユーザがそのコンテンツに対して、心理的な負担を感じないようにコンテンツの変換処理を実行する。
図5を用いて、コンテンツを変換する方法について説明する。図5は、コンテンツを変換する方法を説明するための図である。図5には、図3に示した、人物U1と、人物U2とを含む映像IMが示されている。図5に示す例では、変換部40は、図3に示す、映像IMにおける人物U2の発言V1に負担フラグが設定されていることを検出する。変換部40は、例えば、人物U2の発言V1に対して変換処理を実行して、発言V1Aに変換する。例えば、変換部40は、「ABCDE」といった発言V1Aに対して変換処理を施し「・・・・・」といった発言V1Aに変換する。具体的には、変換部40は、人物U2の発言に対して消音処理を実行する。すなわち、変換部40は、ユーザが心理的な負担を感じていた人物U2の発言V1を消音する。変換部40は、例えば、ユーザが心理的な負担を感じている人物U2の声とは逆位相の音声を音声出力部12から出力することで、人物Uの発言V1を消音する。変換部40は、音声出力部12から出力される音声の周波数を変更することで、人物U2の発言V1を別人の声に変換してもよい。例えば、変換部40は、人物U2の声を好きな有名人などの声に変換してもよい。また、変換部40は、人物U2の発言V1を、ユーザが心理的な負担を感じないその他の音声に変換してもよい。
図4に戻る。出力制御部32は、変換部40が変換したコンテンツを出力する(ステップS38)。すなわち、出力制御部32は、ユーザが心理的な負担を感じないように変換されたコンテンツを出力する。
ステップS40の処理は、図2に示すステップS22と同一の処理なので、説明を省略する。
上述のとおり、第1実施形態は、ユーザが過去に心理的な負担を感じたコンテンツに対して、再度そのコンテンツをユーザが視聴した場合に心理的な負担を感じないように、コンテンツの変換処理を実行する。これにより、第1実施形態は、ユーザの心理的負担を軽減しつつ、必要な情報を提示することができる。
[第2実施形態]
次に、第2実施形態について説明する。図6は、第2実施形態に係るコンテンツ出力システムの構成例を示すブロック図である。図6に示すように、コンテンツ出力システム1Aは、コンテンツ出力装置20Aの制御部28Aが、判定部42を備える点で図1に示すコンテンツ出力システム1と異なる。
第2実施形態は、コンテンツとしてリアルタイムで放映されているテレビ番組などを取得して、テレビ番組を視聴しているユーザが心理的な負担を感じるか否かを判定する。第2実施形態は、ユーザが心理的な負担を感じると判定した場合には、リアルタイムで放映されているコンテンツに対して、変換処理を行った後、出力する。
記憶部24Aは、ユーザが緊張状態のときの生体情報と、ユーザが緊張状態を示したコンテンツにおけるシーン、音楽、発言などとを関連付けて記憶している。言い換えれば、記憶部24Aは、ユーザが所定以上の心理的な負担を感じると想定されるコンテンツのシーン、音楽、発言などに関する情報を負担情報として記憶している。
判定部42は、ユーザの心理状態を判定する。判定部42は、例えば、コンテンツ取得部30が取得したコンテンツに対して、ユーザが所定以上の心理的な負担を感じるか否かを判定する。
[コンテンツ変換処理]
図7を用いて、第2実施形態に係るコンテンツ変換処理について説明する。図7は、第2実施形態に係るコンテンツ変換処理の流れの一例を示すフローチャートである。
コンテンツ取得部30は、リアルタイムのコンテンツを取得する(ステップS50)。具体的には、コンテンツ取得部30は、例えば、通信部26を介して、リアルタイムで放映されているテレビ番組などの映像を取得する。そして、ステップS52に進む。
判定部42は、コンテンツ取得部30が取得したコンテンツに対して、ユーザは所定以上の負担を感じるか否かを判定する(ステップS52)。具体的には、判定部42は、記憶部24Aが記憶する負担情報に基づいて、コンテンツ取得部30が取得したコンテンツにユーザが心理的に負担を感じると想定されるシーン、音楽、発言などが含まれているか否かを判定する。ユーザは所定以上の心理的な負担を感じると判定された場合(ステップS52;Yes)、ステップS54に進む。ユーザは所定以上の心理的な負担を感じていないと判定された場合(ステップS52;No)、ステップS58に進む。
ステップS52でYesと判定された場合、変換部40は、コンテンツを変換する(ステップS54)。変換部40は、コンテンツ取得部30が取得したコンテンツのうち、ユーザが所定以上の心理的な負担を感じると想定される部分について、心理的な負担を感じないように変換処理を実行する。そして、ステップS56に進む。
出力制御部32は、変換部40が変換したコンテンツを出力する(ステップS56)。すなわち、出力制御部32は、ユーザが心理的な負担を感じないように変換されたリアルタイムのコンテンツを出力する。そして、ステップS60に進む。
ステップS52でNoと判定された場合、出力制御部32は、コンテンツを通常出力する(ステップS58)。具体的には、出力制御部32は、コンテンツ取得部30が取得したコンテンツに応じて、表示部10および音声出力部12の少なくとも一方からコンテンツを出力する。そして、ステップS60に進む。
ステップS60の処理は、図2に示すステップS22の処理と同一なので、説明を省略する。
上述のとおり、第2実施形態は、ユーザが過去に心理的な負担を感じると想定されるリアルタイムで取得したコンテンツに対して、ユーザが心理的な負担を感じないように、変換処理を実行する。これにより、第2実施形態は、リアルタイムで放映されているテレビ番組などに対するユーザの心理的負担を軽減することができる。
また、上述の各実施形態では、ユーザが心理的な負担を感じる音声に対して変換処理を行う場合について説明したが、本発明はこれに限られない。例えば、本発明は、ユーザが映像に対して心理的な負担を感じていると判定された場合には、映像に対して変換処理を行い、ユーザの心理的な負担を軽減するようにしてもよい。この場合、例えば、ユーザが心理的な負担を感じている映像に対して、モザイク処理、ぼかし処理、およびユーザが心理的な負担を感じている映像の領域の色を変更する処理などを行ってよい。
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1,1A コンテンツ出力システム
10 表示部
12 音声出力部
14 生体センサ
16 マイク
18 カメラ
20,20A コンテンツ出力装置
22 入力部
24,24A 記憶部
26 通信部
28,28A 制御部
30 コンテンツ取得部
32 出力制御部
34 状態検出部
36 特定部
38 設定部
40 変換部
42 判定部
50 生体情報検出部
52 瞳孔検出部
54 挙動検出部

Claims (5)

  1. コンテンツを取得するコンテンツ取得部と、
    前記コンテンツに対する使用者の心理状態を検出する状態検出部と、
    前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶する記憶部と、
    前記コンテンツに対して解析処理を行い、解析処理により検出した人物の音声および前記人物の映像の少なくとも一つに基づく情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定する特定部と、
    前記負担原因の出力方法を変更する変換部と、
    を含む、コンテンツ出力装置。
  2. 前記負担原因は、前記使用者が心理的負担を感じる特定人物であり、
    前記変換部は、前記特定人物の音声を変換または消音する、
    請求項1に記載のコンテンツ出力装置。
  3. 前記負担原因は、前記使用者が心理的負担を感じる特定人物であり、
    前記変換部は、前記特定人物の映像の領域を所定の処理を用いて変換する、
    請求項1に記載のコンテンツ出力装置。
  4. コンテンツを取得するステップと、
    前記コンテンツに対する使用者の心理状態を検出するステップと、
    前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶するステップと、
    前記コンテンツに対して解析処理を行い、解析処理により検出した人物の音声および前記人物の映像の少なくとも一つに基づく情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定するステップと、
    前記負担原因の出力方法を変更するステップと、
    を含む、コンテンツ出力方法。
  5. コンテンツを取得するステップと、
    前記コンテンツに対する使用者の心理状態を検出するステップと、
    前記コンテンツに対する前記使用者の緊張状態のときの心理状態を示す心理情報を記憶するステップと、
    前記コンテンツに対して解析処理を行い、解析処理により検出した人物の音声および前記人物の映像の少なくとも一つに基づく情報と、前記心理情報とに基づいて、前記コンテンツに含まれる前記使用者が心理的負担を感じる負担原因を特定するステップと、
    前記負担原因の出力方法を変更するステップと、
    をコンピュータに実行させる、プログラム。
JP2020176937A 2020-10-21 2020-10-21 コンテンツ出力装置、コンテンツ出力方法、およびプログラム Active JP7600614B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020176937A JP7600614B2 (ja) 2020-10-21 2020-10-21 コンテンツ出力装置、コンテンツ出力方法、およびプログラム
PCT/JP2021/037612 WO2022085506A1 (ja) 2020-10-21 2021-10-11 コンテンツ出力装置、コンテンツ出力方法、およびプログラム
US18/295,291 US20230245670A1 (en) 2020-10-21 2023-04-04 Content output device, content output method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020176937A JP7600614B2 (ja) 2020-10-21 2020-10-21 コンテンツ出力装置、コンテンツ出力方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022068020A JP2022068020A (ja) 2022-05-09
JP7600614B2 true JP7600614B2 (ja) 2024-12-17

Family

ID=81290479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020176937A Active JP7600614B2 (ja) 2020-10-21 2020-10-21 コンテンツ出力装置、コンテンツ出力方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230245670A1 (ja)
JP (1) JP7600614B2 (ja)
WO (1) WO2022085506A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318973A (ja) 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP2018156670A (ja) 2018-05-02 2018-10-04 株式会社ニコン 情報処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318973A (ja) 2004-05-07 2005-11-17 Sony Corp 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP2018156670A (ja) 2018-05-02 2018-10-04 株式会社ニコン 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US20230245670A1 (en) 2023-08-03
JP2022068020A (ja) 2022-05-09
WO2022085506A1 (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
US20190310707A1 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
CN101286196B (zh) 图像存储处理装置和方法、图像搜索装置和方法
US9747902B2 (en) Method and system for assisting patients
US11029830B2 (en) Display control apparatus, display controlling method and display control program for providing guidance using a generated image
US20180060757A1 (en) Data annotation method and apparatus for enhanced machine learning
WO2015072202A1 (ja) 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
CN115153584A (zh) 用于认知症检查的信息的呈现方法
US20120194648A1 (en) Video/ audio controller
WO2019044135A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180242898A1 (en) Viewing state detection device, viewing state detection system and viewing state detection method
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
US11368664B2 (en) Information processing apparatus, information processing method, and program
JP6941800B2 (ja) 感情推定装置、感情推定方法及びプログラム
TWI717425B (zh) 可區別使用者生理特徵的使用者生理感測系統
WO2017168260A1 (ja) 情報処理装置、プログラム及び情報処理システム
JP7600614B2 (ja) コンテンツ出力装置、コンテンツ出力方法、およびプログラム
KR102081752B1 (ko) 영상평가시스템 및 영상평가방법
US10643636B2 (en) Information processing apparatus, information processing method, and program
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
US20200125788A1 (en) Information processing device and information processing method
CN115335859A (zh) 专注度推定装置、专注度推定方法及程序
US11227148B2 (en) Information processing apparatus, information processing method, information processing program, and information processing system
El Kaliouby et al. iSET: interactive social-emotional toolkit for autism spectrum disorder
JP2016186741A (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241118

R150 Certificate of patent or registration of utility model

Ref document number: 7600614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150