WO2019139101A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019139101A1
WO2019139101A1 PCT/JP2019/000597 JP2019000597W WO2019139101A1 WO 2019139101 A1 WO2019139101 A1 WO 2019139101A1 JP 2019000597 W JP2019000597 W JP 2019000597W WO 2019139101 A1 WO2019139101 A1 WO 2019139101A1
Authority
WO
WIPO (PCT)
Prior art keywords
participant
conversation
participants
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/000597
Other languages
English (en)
French (fr)
Inventor
綱島　宣浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019564747A priority Critical patent/JP7276158B2/ja
Priority to EP19738367.2A priority patent/EP3739573B1/en
Priority to CN201980007295.6A priority patent/CN111542876B/zh
Priority to US16/959,884 priority patent/US11837233B2/en
Publication of WO2019139101A1 publication Critical patent/WO2019139101A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a program, and more specifically, an information processing apparatus for grasping the status of a conversation (a discussion, a meeting, a group work, an active learning, etc.) configured by a plurality of participants. Etc.
  • Patent Document 1 proposes a technique for recording and displaying the utterance time of a participant of a conversation.
  • Patent Document 2 proposes a technique for presenting a correlation diagram by grasping the state of conversation from voice data or the like obtained by name tag type sensors worn by a plurality of participants. These techniques were able to take action such as nodding by voice and acceleration sensor but were insufficient.
  • an information processing apparatus includes: a determination unit that determines a conversation state based on the utterances of the plurality of participants and the states of the plurality of participants.
  • the speech processing unit detects the speech of a plurality of participants in a speech from the speech signal. Further, the states of a plurality of participants in a conversation are detected from the image signal. Then, the determination unit determines the state of the conversation based on the utterances of the plurality of participants and the states of the plurality of participants.
  • the state of the conversation may be made to be a conversational relationship between participants in the conversation.
  • the state of the conversation may include at least any of the content of the speech, the number of speeches, or the speech time.
  • the state of the conversation may be made to be the establishment of the conversation. In this case, for example, when the participant looks at the other party of the conversation and speaks, it may be determined that the conversation is established.
  • the image processing unit may be configured to detect the direction viewed as the state of the participant. Then, in this case, for example, the image processing unit may be configured to detect the direction viewed from the direction or line of sight of the participant's face.
  • the second participant may be determined to have a conversation between the second participant and the second participant.
  • the state of conversation is determined based on the states of a plurality of participants in a conversation detected from an audio signal and the plurality of participants in a conversation detected from an image signal. Therefore, it becomes possible to determine the state of conversation more accurately than in the case of determining the state of conversation only by the participant's speech.
  • an image generation unit that generates a planar map image of a space used for conversation is provided, and in the planar map image, a participant indicating each participant participating in the conversation There may be a display, and in this planar map image, there may be a conversation line connecting the corresponding two participant displays based on the detected conversation. This makes it possible, for example, to easily visually recognize who has a conversation with who.
  • the image processing unit processes the image signal to further detect the position of each participant participating in the conversation, and the image generation unit displays the position of the participant display indicating each participant in the planar map image May be changed according to the position of each of the detected participants. This makes it easy to visually recognize at which position each participant participating in the conversation is located.
  • the image generation unit may change the position of the participant display indicating each participant in the planar map image according to the number of conversations of each participant.
  • the image generation unit may arrange the positions of the participant displays indicating the respective participants closer to the center of the plane map image as the number of conversations increases. This makes it easy to visually recognize who has a large number of conversations.
  • the image generation unit may set the interval between the display of the participants of the two participants closer as the number of conversations between the two participants increases. This makes it easy to visually recognize who has a large number of conversations with each other.
  • the participant display may be sized according to the number of utterances of the corresponding participant.
  • the participant display may be accompanied by a character indicating the number of utterances of the corresponding participant. This makes it possible to visually and easily recognize the number of utterances of each participant.
  • the conversation line may be made to have a thickness corresponding to the number of conversations between corresponding participants.
  • the conversation line may be accompanied by characters indicating the number of conversations between corresponding participants. As a result, it is possible to visually and easily recognize the number of conversations between each two participants.
  • the display unit may further include a display unit that displays the planar map image generated by the image generation unit. This makes it possible to check the planar map image on the display unit.
  • the server may further include a server that holds the planar map image generated by the image generation unit. As a result, it is possible to reproduce and check the past plan map image from the server.
  • the communication device may further include a communication unit that transmits the planar map image generated by the image generation unit to the mobile terminal. This makes it possible to check the planar map image in the mobile terminal.
  • the conversation situation can be grasped in more detail.
  • the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
  • FIG. 1 shows an example of the configuration of an information processing apparatus 100 according to the first embodiment.
  • the information processing apparatus 100 includes an audio processing unit 101, an image processing unit 102, and a determination unit 103.
  • the audio processing unit 101 is supplied with an audio signal in which the microphone detects the audio of each participant participating in a conversation (discussion, meeting, group work, active learning, etc.).
  • voice detection may be performed using a microphone attached to each participant, or voice detection may be performed using a microphone array configured of a plurality of microphones.
  • the audio processing unit 101 detects the utterances of a plurality of participants participating in a conversation from the audio signal.
  • the volume is measured from the audio signal for each participant, and when the state above the threshold continues for a predetermined time or more, it is determined to be a speech. If the state above the threshold value does not satisfy the predetermined time, it is not determined that the speech is an utterance relating to consent, denial, false alarm or the like.
  • the image processing unit 102 is supplied with an image signal obtained by capturing an image of a participant participating in a conversation with a camera.
  • a camera capable of capturing the entire circumference such as a 360-degree camera may be disposed at the center of all participants and each participant may be imaged, or a plurality of cameras may be disposed so as to cover the entire circumference. And each participant may be imaged.
  • the image processing unit 102 detects the states of a plurality of participants participating in the conversation from the image signal.
  • the state of the participant detected in this manner is the state required by the participant's speech to determine the state and presence of the conversation.
  • the state of the participant includes the direction in which the participant is looking.
  • the image processing unit 102 detects the direction of the face of the participant or detects the line of sight direction of the participant by image processing in order to detect the direction in which the participant is looking.
  • the determination unit 103 determines the state and the presence of the conversation based on the utterances of the plurality of participants detected by the audio processing unit 101 and the states of the plurality of participants detected by the image processing unit 102.
  • the state of the conversation is the conversational relationship between the participants in the conversation.
  • the state of the conversation includes at least either the content of the speech, the number of speeches or the speech time.
  • the state of conversation is establishment of conversation.
  • the determination unit determines that the conversation is established when the participant looks at the other party of the conversation and speaks.
  • the determination unit has a second participant's speech and the second participant sees the first direction. It is determined that there is a conversation between the first participant and the second participant when in the direction of the participant. Note that even when the direction in which the second participant is looking is not the direction of the first participant, it may be determined that there is a conversation. For example, when the second participant speaks after the first participant speaks, or after the first participant speaks, the second participant's face moves up and down (Aichichi) It is possible to determine that there is a conversation even when, for example.
  • a voice signal formed by detecting the voice of each participant participating in the conversation by the microphone is supplied to the voice processing unit 101.
  • the audio processing unit 101 processes the audio signal to detect the speech of each participant participating in the conversation.
  • an image signal obtained by capturing an image of each participant participating in a conversation with a camera is supplied to the image processing unit 102.
  • the image processing unit 102 processes the image signal to detect the state of each participant participating in the conversation, for example, the direction in which it is viewed.
  • the speech of each participant participating in the conversation detected by the voice processing unit 101 and the state of each participant participating in the conversation detected by the image processing unit 102 are supplied to the determination unit 103.
  • the determination unit 103 determines the state and presence of the conversation based on the speech of each participant and the state of each participant, and obtains determination information.
  • the state and the presence of the conversation are determined based on the speech of each participant participating in the conversation and the state detected by the image processing. Therefore, the state and the presence of the conversation can be determined more accurately than in the case where the state and the presence of the conversation are determined only by the participant's speech.
  • FIG. 2 shows an example of the configuration of an information processing apparatus 200 according to the second embodiment.
  • the information processing apparatus 200 includes N (N is an integer) cameras 201-1 to 201 -N, M (M is an integer) microphones 202-1 to 202 -M, and an image / sound control system 203.
  • a monitor 204, a server 205, and a mobile terminal 206 are included.
  • the cameras 201-1 to 201-N are for taking images of participants participating in a conversation.
  • the cameras 201-1 to 201-N are installed to image participants participating in a conversation, particularly faces.
  • a camera capable of capturing the entire circumference such as a 360 ° camera, may be installed at the center of the participant, or a plurality of cameras may be installed to capture the entire circumference.
  • FIG. 3 shows an example of a plane map of a room in which a conversation takes place.
  • the circled display with “A” to “D” indicates the participant display showing the participants participating in the conversation, and each participant is located in the center of the room. I'm around.
  • a 360 ° camera capable of imaging the entire circumference is mounted on a desk. In this case, the orientation and position of the camera in the planar map are adjusted to be constant.
  • FIG. 4 shows another example of a plane map of a room in which a conversation takes place.
  • the circular display with “A” to “D” indicates the participant display of the conversation, and each participant is around the desk placed at the center of the room.
  • a camera 1 which is a 360 ° camera capable of imaging the entire circumference is installed on a desk, and a camera 2 is installed so as to capture a whiteboard present around the room.
  • a whiteboard can be imaged, and when the participant who has written on the whiteboard explains the content to be written in front of the whiteboard, the face of the participant can also be imaged.
  • the camera 1 and the camera 2 are installed, the position and the orientation of the camera in the plane map are adjusted.
  • the microphones 202-1 to 202-M are for detecting the voices of the participants participating in the conversation.
  • the microphones 202-1 to 202-M may be microphones attached to each of the participants, or may be a plurality of microphones constituting a microphone array for detecting the voice of each participant .
  • the image / sound control system 203 processes the image signals obtained by the cameras 201-1 to 201 -N and the sound signals obtained by the microphones 202-1 to 202 -M, and a plane map image of a room in which a conversation is conducted. Generate The image voice control system 203 supplies the generated planar map image to the monitor 204, and displays the planar map image on the monitor 204.
  • the image voice control system 203 supplies the generated planar map image to the mobile terminal 206 instead of the monitor 204 or together with the monitor 204 according to the user operation, and the planar map image to the mobile terminal 206. indicate. Also, the image voice control system 203 supplies the generated planar map image to the server 205 and records it, and also reproduces the planar map image from the server 205 according to the user's operation to monitor 204 or the mobile terminal 206. To display the reproduced planar map image.
  • the image / sound control system 203 includes a control unit 231, a user operation unit 232, an audio processing unit 233, an image processing unit 234, a determination unit 235, an image generation unit 236, and a communication unit 237.
  • the control unit 231 controls the operation of each unit of the image and sound control system 203.
  • the user operation 232 is, for example, a key, a button, a touch panel, or a remote control for the user to perform various operations.
  • the face of each participant may be registered in the image processing unit 234 at the preliminary preparation stage.
  • the face of each participant registered may be associated with the number of the microphone attached to each participant. This allows voice detection associated with each participant.
  • the face of each participant is captured by a camera.
  • the size of the participant's face and the distance from the camera to the participant are associated and measured. This makes it possible to estimate the distance from the camera to the participant based on the size of the face of the participant captured by the camera.
  • the image processing unit 234 performs face detection processing on the image signal (captured image) to determine the position and state of the face of each participant, for example, the direction in which it is viewed.
  • the direction in which the user is looking is determined by determining the direction of the face or the viewing direction.
  • the technique for determining the position and the line of sight of the face is described in, for example, "Japanese Patent Application Laid-Open No. 2012-226665", but it goes without saying that other methods may be used.
  • the image processing unit 234 performs personal verification by comparing the face detected in the face detection process with the face registered in advance, and each detected face is the face of any participant. Identify if it is.
  • the image processing unit 234 determines the position (direction, distance) on the planar map of the predetermined participant based on the position and size of the participant's face within the imaging angle of view.
  • the direction of the participant viewed from the camera on the planar map can be determined from the position of the participant's face in the imaging angle of view.
  • the ratio of the size of the face at this registration to the size of the current face You can determine the distance from the participant to the
  • the participant does not necessarily face the camera.
  • the user may write on a whiteboard during conversation, and the participant's face may not exist in the captured image of the camera. If the face of the participant can not be detected, the place where the face was detected last is fixed as the position (face position) of the participant.
  • an object tracking technique may be used to perform object tracking from a place where the face disappears, and the position (face position) of the face participant on the planar map may be updated.
  • the audio processing unit 233 processes an audio signal corresponding to each participant, and detects an utterance of each participant participating in the conversation.
  • voice detection is performed by the microphone attached to each participant
  • the voice processing unit 233 can easily grasp which participant each detected voice belongs to. Thereby, matching between the voice and the participant is performed.
  • the voice processing unit 233 can grasp which participant each detected voice belongs to as follows. That is, the microphone array is installed, for example, at the same position as or around a 360 ° camera capable of imaging the entire circumference, and detects a sound and also detects the direction in which the sound is emitted. Therefore, the voice processing unit 233 refers to the position information of the face of each participant detected by the image processing unit 234 as described above, and which participant the voice detected by the microphone array belongs to Understand Thereby, matching between the voice and the participant is performed.
  • the technology of detecting the sound direction by the microphone array is described, for example, in "Japanese Patent Application Laid-Open No. 9-251299", but it goes without saying that other methods may be used.
  • the audio processing unit 233 processes an audio signal corresponding to each participant, and detects an utterance of each participant participating in the conversation.
  • the volume is measured from the audio signal for each participant, and when the state above the threshold continues for a predetermined time or more, it is determined to be a speech. If the state above the threshold value does not satisfy the predetermined time, it is not determined that the speech is an utterance relating to consent, denial, false alarm or the like.
  • the determination unit 235 detects a conversation based on the speech of each participant obtained by the audio processing unit 233 and the state of each participant obtained by the image processing unit 234. In this case, for example, after or immediately before the end of the first participant, there is a second participant's utterance and the direction in which the second participant looks is the first participant. It is determined that there is a conversation between the first participant and the second participant.
  • the image generation unit 236 generates a plane map image of a space such as a room used for conversation.
  • the image generation unit 236 includes in the planar map image, a participant display indicating each participant participating in the conversation detected by the image processing unit 234. Then, the image generation unit 236 dynamically changes the position of the participant display according to the position (face position) of the participant determined by the image processing unit 234. Further, the image generation unit 236 includes a conversation line connecting the two corresponding participant displays in the plane map image based on the conversation determination information of the determination unit 235.
  • FIG. 5 shows an example of a planar map image generated by the image generation unit 236.
  • the circle display with “A” to “D” indicates a participant display indicating the participants participating in the conversation.
  • the display format of the participant display may be a name, a registered face, a color, or a combination of plural symbols other than the symbols as illustrated. Further, the display format may be fixed, or may be set or switched to the user.
  • the participant display of “A” to “D” in this example indicates the current position of the participants of “A” to “D”. Also, in this example, there is a conversation line connecting the display of the participants of "B” and “C”, which indicates that there is a conversation between the participants of "B” and “C”. The display position of the conversation line moves along with the movement of the position of the corresponding participant display.
  • the speech lines displayed on the planar map image in this manner may be deleted after being displayed for a predetermined time after the speech is detected.
  • FIG. 6 shows another example of the planar map image generated by the image generation unit 236.
  • the circle display with “A” to “D” indicates the participant display indicating the participants participating in the conversation.
  • the number of conversations is accumulated, and each conversation line is accompanied by a letter indicating the number of conversations.
  • the count of the number of conversations between participants is incremented each time it is determined that a conversation exists between the participants as described above.
  • there are five conversations between the "B" and “C” participants and one conversation between the "A” and “B” participants, and "A” and "B” Two conversations between participants are shown.
  • the cumulative number of conversations may be all from the beginning of the conversation, or may be the number of conversations that have been performed within a certain period of time, for example, the past five minutes.
  • the number of conversations may be indirectly indicated as the thickness of the conversation line corresponds to the number of conversations. Also, it is conceivable to use a combination of adding a letter indicating the number of conversations to the conversation line and making the thickness of the conversation line according to the number of conversations.
  • FIG. 8 shows another example of the planar map image generated by the image generation unit 236.
  • characters indicating the number of utterances are attached to the participant display corresponding to each participant.
  • participant "A” has 3 utterances
  • participant "B” has 6 utterances
  • participant "C” has 5 utterances
  • participant "A" It is shown that the number of statements of "D" is two.
  • the size (size) of the participant display is indirectly indicated as the one corresponding to the number of utterances. May be It is also conceivable to use a combination of a letter indicating the number of utterances in the participant display and a setting of the size of the participant display according to the number of utterances. It is also conceivable to put a letter indicating the speaking time instead of the number of speakings on the participant display.
  • the image generation unit 236 supplies the generated planar map image to the monitor 204 and causes the monitor 204 to display the planar map image.
  • the image generation unit 236 supplies the generated planar map image to the server 205 to hold it.
  • the image generation unit 236 supplies the generated planar map image to the mobile terminal 206 through the communication unit 237 instead of the monitor 204 or together with the monitor 204 according to the user's operation, and the plane is transmitted to the mobile terminal 206. Display map image.
  • the image generation unit 236 reproduces the planar map image from the server 205 and supplies the planar map image to the monitor 204 or the mobile terminal 206 according to the user's operation, and displays the reproduced planar map image. It is also conceivable to instruct the reproduction of the planar map image from the server 205 from the mobile terminal 206 via the communication unit 237.
  • the cameras 201-1 to 201-N are installed so that all the people participating in the conversation, in particular the face, are imaged.
  • a camera capable of imaging the entire circumference such as a 360 ° camera may be installed at the center of the participant, or a plurality of cameras may be installed so as to enable imaging of the entire circumference.
  • the orientation and position of the camera in the planar map are adjusted to be constant.
  • microphones 202-1 to 202-M are installed as preparation in advance.
  • a microphone may be attached to all people participating in a conversation, or a microphone array may be placed in the center of a participant.
  • the microphones are associated with the participants.
  • the face of each participant is taken by a camera and registered as preparation in advance.
  • the distance between the participant and the camera is imaged at a constant state, and the size is also measured and held together with the face.
  • the information on the distance in this case may be held together.
  • the participant is registered for the first time, it becomes a new registration, but when there are already registered participants, it is sufficient to additionally register the remaining participants.
  • step ST1 captured images including the participants participating in the conversation are obtained using the cameras 201-1 to 201-N. Then, in step ST2, the image processing unit 234 processes the captured image signal to determine the position and state of each participant's face, for example, the direction in which it is viewed (the direction or line of sight).
  • step ST3 the microphones 202-1 to 202-M are used to detect the voices of the participants participating in the conversation.
  • step ST4 the audio processing unit 233 processes the audio signal to detect the speech of each participant participating in the conversation.
  • step ST5 the determination unit 235 determines based on the utterances of all or part of the participants obtained by the audio processing unit 233 and the state of all or part of the participants obtained by the image processing unit 234. Detect conversations. In this case, for example, after or immediately before the end of the first participant, there is a second participant's utterance and the direction in which the second participant looks is the first participant. It is determined that there is a conversation between the first participant and the second participant. Also, for example, when the second participant speaks after the first participant speaks, or after the first participant speaks, the face of the second participant moves up and down (aichichi) ", It is determined that there is a conversation between the first participant and the second participant.
  • the image generation unit 236 generates a plane map image of a space such as a room used for conversation.
  • the planar map image includes a participant display indicating each participant participating in the conversation detected by the image processing unit 234, and the position of the participant display is determined by the image processing unit 234. It is dynamically changed according to the position (face position) of the participant.
  • the planar map image includes a conversation line connecting the corresponding two participant displays based on the conversation determination information of the determination unit 235, and the number of utterances of each participant and the conversation between the two participants Indications such as numbers are also included.
  • step ST7 the image generation unit 236 outputs the created planar map image.
  • the planar map image is supplied to the monitor 204, and the planar image is displayed on the monitor 204.
  • the planar map image is supplied to the server 205, and the planar map image sequentially generated by the server 205 is accumulated and held.
  • the planar map image is transmitted to the mobile terminal 206 through the communication unit 237, and this planar display is displayed on the mobile terminal 206.
  • the determination unit 235 determines the state and presence of conversation based on the speech of each participant participating in the conversation and the state detected by the image processing. It is a thing. Therefore, it becomes possible to determine the state and the presence of the conversation more accurately than in the case where the state and the presence of the conversation are determined only by the speech of the participants.
  • the image processing unit 234 processes the image signal to further detect the position of each participant participating in the conversation
  • the image generation unit 236 is a plane map image The position of the participant display indicating each participant in the is changed according to the position of each detected participant. Therefore, it is possible to visually recognize easily where each participant participating in the conversation is located.
  • the participant display present in the planar map image generated by the image generation unit 236 has a size corresponding to the number of utterances of the corresponding participant, or the participant display A letter accompanied by the number of utterances of the corresponding participant is attached to. Therefore, it is possible to easily visually recognize the number of utterances of each participant.
  • a conversation line present in the planar map image generated by the image generation unit 236 has a thickness corresponding to the number of conversations between corresponding participants, or Is accompanied by a letter indicating the number of conversations between corresponding participants. Therefore, it is possible to easily visually recognize the number of conversations between each two participants.
  • the planar map image generated by the image generation unit 236 is supplied to the monitor 204 as a display unit, and the planar map image is displayed on the monitor 204. Therefore, for example, a facilitator of a conversation can confirm a planar map image having various information on speech and conversation on the monitor 204.
  • the planar map image generated by the image generation unit 236 is supplied to the server 205 and held. Therefore, the planar map image of the past can be reproduced from the server 205, supplied to, for example, the monitor 204 and displayed, and the planar map image of the past can be easily confirmed.
  • the planar map image read by the image generation unit 236 or the past planar map image read from the server 205 is supplied to the mobile terminal 206 through the communication unit 237 as necessary.
  • the current or past planar map image is displayed on the mobile terminal 206. Therefore, for example, a facilitator of a conversation can confirm a planar map image having various information on speech and conversation on the mobile terminal 206.
  • the face of the participant is registered in advance, and the personal verification is performed by comparing the face detected from the image and the registered face.
  • this can not provide an appropriate display when an unregistered person participates. Therefore, when individual verification fails, it is also conceivable to newly register the face as a participant.
  • the accurate distance can not be known unless a means capable of measuring the distance such as a stereo camera is used. Therefore, the distance from the camera of the new participant is fixed, or the distance to the camera is simply calculated using an average face size.
  • the position, the number of utterances, and the number of conversations of the participants are displayed for each group.
  • the determination of whether or not the members of the group have been replaced may be replaced at the moment when a face appears on the camera for capturing an image of another group, or after a set time has elapsed since the replacement. You may replace it later. In this case, the time when the face appears first on the camera is also recorded, and it is determined that the time has been set in advance and it has been replaced after a lapse of a predetermined time, and the number of conversations and the like are displayed.
  • the conversation line is displayed in the same manner as described above, but the conversation line regarding the conversation between participants in another space is displayed across the plane maps.
  • the example of FIG. 12 has shown the example of 2 rooms, the same may be said of the case of 3 or more rooms.
  • the speech contents may be converted into sentences and displayed by speech recognition from the acquired speech. In this case, it may be considered to extract and display only the keyword, or to display the full text of the utterance content.
  • the participant was displayed on the position on the plane map observed by the camera image of the participant of conversation.
  • the participant display which shows each participant according to the number of conversations of each participant. For example, a person with a large number of conversations is placed closer to the center of the screen, and a person with a smaller number of conversations is placed outside the screen.
  • when there are many conversations between two participants they are arranged near each other, and when the number of conversations between two participants is small, they are arranged far.
  • the coulomb force F is expressed by the following equation (1).
  • k is a proportionality constant
  • m1 and m2 are magnetic amounts of the objects 1 and 2 respectively
  • r is a distance between the two objects.
  • F km 1 m 2 / r 2 (1)
  • the virtual object 0 is arranged as the magnetic amount m0 at the center of the plane map, and when there are four participants, the magnetic amounts m1 to m4 proportional to the number of conversations are given to the objects 1 to 4, respectively.
  • the amount of magnetism increases as the number of conversations increases.
  • m0 and m1 to m4 attract each other by the Coulomb force calculated by equation (1).
  • the calculated Coulomb forces repel each other with a force inversely proportional to the number of conversations.
  • the attractive force on m0 tends to center all participants in position. On the other hand, they try to leave each other by opposing each other with a force that is inversely proportional to the number of conversations. The position of the participant is stopped and determined, with a balance between attractive and repulsive forces being maintained. When the number of conversations changes, the display position on the planar map of the participants also changes.
  • FIG. 14A shows a state in which the number of conversations of the participant of “A” is small and the number of conversations of the remaining 3 people is large, and it can be easily visually recognized from this state.
  • FIG. 14 (b) shows a state in which the number of conversations of the participants of “A” is large and plays a hub role of conversation, and it is easily recognized visually that this state is from now on it can.
  • each participant display indicating each participant is determined according to the number of conversations of each participant as described above, adding a character indicating the number of conversations to the conversation line, or May be made according to the number of conversations, and each participant display may be accompanied by a character indicating the number of utterances of each participant, or the size of each participant display may be the number of utterances of each participant And the size according to the speech time (see FIGS. 6 to 9).
  • FIGS. 15 (a) and 15 (b) show the case where the size of the participant display of each participant is changed in the speech time as shown in FIG. 14 (b).
  • FIG. 15 (a) it is possible to confirm that the speaking time of the participant of "A” is long, for example, a state of being silently speaking like a German concert.
  • FIG. 15 (b) the participant of "A” has many conversations, but the speaking time is not so long, that is, it seems to be playing a role as a chairperson or facilitator of the conversation group Can be confirmed.
  • the state of conversation can be objectively grasped by arranging the participant display indicating each participant at a position according to the number of conversations.
  • a viewer such as a facilitator may switch the display method of a plurality of plane maps such as a plane map based on a position observed by a camera or a plane map based on a position according to the number of conversations.
  • the evaluation rank of the conversation is displayed for each conversation group.
  • the evaluation ranks are displayed in three stages of A, B, and C from the top. For example, in the group displayed in the upper right, it is evaluated as "overall evaluation A".
  • the evaluation for each group is evaluated by, for example, the number of utterances or the number of conversations.
  • the evaluation value Et of each group is obtained using the following formula (2).
  • Ngs is the number of utterances
  • Ngc is the number of conversations
  • ⁇ g and ⁇ g are coefficients.
  • An evaluation rank can be obtained by processing the evaluation value calculated by Equation (2) with a predetermined threshold value. In addition, you may display an evaluation value as it is, without converting into an evaluation rank.
  • Et ⁇ g ⁇ Ngs + ⁇ g ⁇ Ngc (2)
  • the evaluation value Em of each participant can be similarly obtained by the number of utterances and the number of conversations using the following equation (3).
  • Nms is the number of utterances
  • Nmc is the number of conversations
  • ⁇ m and ⁇ m are coefficients.
  • An evaluation rank can be obtained by processing the evaluation value calculated by Equation (3) with a predetermined threshold value. In addition, you may display an evaluation value as it is, without converting into an evaluation rank.
  • Em ⁇ m ⁇ N ms + ⁇ m ⁇ N mc (3)
  • the evaluation value of each participant since the evaluation is low if only some people are excited, the evaluation value of each participant may be added to the evaluation.
  • the evaluation value Et ′ of each group is determined based on the following formula (4).
  • min (Em) represents the lowest evaluation value of all the participants participating in the conversation group, and ⁇ g is a coefficient.
  • Et ′ ⁇ g ⁇ Ngs + ⁇ g ⁇ Ngc + ⁇ g ⁇ min (Em) (4)
  • the number of utterances is used in the equations (2) to (4), the number of utterances may be changed to the utterance time, or both of them may be used.
  • information of scores or grades automatically assigned to each student or each group can be considered.
  • the score or the score for example, the cumulative or instantaneous one is appropriately displayed according to the operation of the teacher.
  • information to assist students can be considered. For example, a summary of the previous conversations is displayed in order to participate in the next conversation. Also, as information presented to students, information for warning students can be considered. For example, the number of utterances and the amount of utterances contributing to the overall flow are displayed.
  • information such as speech or conversation is used as information for planning the situation of conversation, but information on utterances related to consent, denial, false alarm etc. is also used for conversation situation It is also conceivable to use it as information for planning. For example, the number of occurrences of consent, denial, false alarm etc. may be counted, and the number of utterances as well as the number of conversations and the number of utterances may be displayed on the planar map image.
  • a microphone and a camera were separate bodies
  • these are united.
  • a microphone is integrated in a 360-degree camera
  • a microphone is integrated in each of a plurality of cameras covering the entire periphery
  • the state of the detected participant is not limited to this.
  • the state of the participant includes facial expressions of the participant (joy, anger, hate, pleasure, surprise, etc.), gestures (movement of fingers, hands, arms), movement of the face (upper or lower nodding (agreement, It may be made to detect a swing in the horizontal direction (negative), biological information (temperature change or pulse change), and the like.
  • people who are nodding are likely to be actively participating in the conversation, and such information is counted and displayed along with the number of conversations and the number of utterances. It may be done.
  • FIGS. 18 to 23 show examples of screen display on the monitor 204 or the mobile terminal 206.
  • the state of conversation in pods (conversation group) A to D is shown in the screen display example of FIG.
  • the pod identifiers of POD A to POD D are displayed corresponding to the display of each pod. Further, in each pod display, as shown by an arrow P1, the participant is shown by an image including a face.
  • the timeline of the discussion is displayed in the area indicated by the arrow P2.
  • a thumbnail image is disposed at the beginning of each utterance as indicated by an arrow P3 so as to indicate who the utterance is, and a name character is also disposed as indicated by an arrow P4. It may be either one of the thumbnail image and the name character.
  • the display of the area where the timeline of this discussion is displayed is automatically updated so that a new message is displayed at the latest position every time there is a message, but the user performs a scroll operation on the screen. By doing this, it is possible to confirm past remarks.
  • the screen display example of FIG. 19 shows the state of conversation in pods (conversation groups) A to D, as in the display example of FIG.
  • the pod identifiers of POD A to POD D are displayed corresponding to the display of each pod. Further, in each pod display, as shown by an arrow P1, the participant is shown by an image including a face. Further, in each pod display, the timeline of the discussion is displayed in the area indicated by the arrow P2.
  • the color of the image of each participant dynamically changes according to the number of utterances in the participant display indicated by the arrow P1. For example, a participant with a large number of utterances is yellow, a participant with a medium number of utterances is red, and a participant with a small number of utterances is green.
  • the difference in color is represented by the difference in pattern superimposed on the image.
  • the pattern to be superimposed on the image of each participant may be dynamically changed according to the number of utterances.
  • not only the number of utterances but also the number of consenting and nodding utterances and the number of conversations can be similarly expressed by colors and patterns. As a result, for example, the teacher who is the user can easily visually confirm the number of utterances of each participant in each pod, etc., and it becomes easy to intervene in the pod which has felt that the discussion is stuck.
  • the screen display example of FIG. 20 shows the state of conversation in pods (conversation groups) A to D, as in the display example of FIG.
  • the pod identifiers of POD A to POD D are displayed corresponding to the display of each pod.
  • the timeline of the discussion is displayed in the area indicated by the arrow P2.
  • the area indicated by the arrow P1 can be switched to the shared screen in the pod in addition to the state used for the participant display by the face image or the like.
  • the pods A and B are switched to the shared screen. For example, a teacher who is a user can operate such screen switching to know what material or description is being discussed in each pod.
  • the speech of the conversation participant displayed in the area indicated by the arrow P2 is accumulated in the server 205, and for example, the timeline is sent to the mobile terminal 206 of each student Come on.
  • the time of each utterance is associated with the time axis of the camera image and held.
  • the screen display example of FIG. 21 shows the state of conversation by four participants.
  • the participant is indicated by an image including a face.
  • a timeline of the discussion is displayed in the area indicated by the arrow Q2.
  • name characters are arranged at the beginning of each statement as indicated by an arrow Q4 so that it can be understood who is speaking. It may be a thumbnail image instead of the name letter.
  • the slide and the board used in the discussion are displayed. In the illustrated example, among the four participants, the participant corresponding to the image displayed in the upper right of the area indicated by the arrow Q1 is facing backward for the board at this point in time.
  • the image can not be captured, and tracking of the person is performed and the image is cropped. It is also possible to associate the participant with the speech by making the frame color surrounding the image of each participant and the color of the character part of the first name of each speech the same color. In the illustrated example, the line type is changed instead of the frame color.
  • the image display example of FIG. 22 shows the state of conversation by four participants.
  • the face image of the four participants is displayed at the four corners of the rectangular frame.
  • circles corresponding to each participant are displayed, and these circles are made to move diagonally.
  • the circle and the color of the frame of the image of the corresponding participant are made the same color.
  • the line type is changed instead of the frame color.
  • the circle of each participant increases as the number of utterances increases, and the distance from the center of the rectangular frame decreases as the number of conversations increases.
  • the participant displayed in the upper right image has a large number of utterances and many conversations
  • the participant displayed in the upper left image has a small number of utterances and a small number of conversations I understand.
  • the image display example of FIG. 23 shows the state of conversation by four participants.
  • a face image showing four participants is displayed.
  • the face image of the participant having a large number of utterances is displayed larger.
  • a conversation line connecting the participants is displayed, and the larger the number of conversations, the thicker the display.
  • the participant shown in the upper left image has a large number of utterances, particularly the number of conversations with the participant shown in the lower right image.
  • the participant shown in the upper right image has a medium number of utterances, but the number of conversations with the participant particularly shown in the lower right image is large, and the participant shown in the lower left image It turns out that there is no conversation between them.
  • the present technology can also be configured as follows.
  • An audio processing unit that detects the speech of a plurality of participants in a conversation from an audio signal;
  • An image processing unit that detects states of a plurality of participants in the conversation from an image signal;
  • An information processing apparatus comprising: a determination unit that determines a state of conversation based on the utterances of the plurality of participants and the states of the plurality of participants.
  • the information processing apparatus according to (1) wherein the state of the conversation is a relationship between the participants of the conversation based on the conversation.
  • the state of the conversation at least includes any of the content of the utterance, the number of utterances, and the utterance time.
  • the information processing apparatus When it is determined that there is a conversation between the first participant and the second participant, the information processing apparatus according to (6) or (7).
  • the voice processing unit measures the volume from the voice signal, and determines that it is a speech when the state above the threshold continues for a certain period of time or more, described in any of (1) to (8). Information processing equipment.
  • the information processing apparatus according to (9), wherein the voice processing unit determines that the utterance relates to consent, denial, or false alarm when the state of the threshold or more does not reach a predetermined time.
  • the image processing unit processes the image signal to further detect the position of each participant participating in the conversation,
  • the image generation unit changes a position of a participant display indicating the respective participant in the planar map image according to the position of the detected participant.
  • the information processing apparatus according to (11) .
  • the image generation unit changes the position of the participant display indicating the respective participants in the planar map image according to the number of conversations of the respective participants. apparatus.
  • the information processing apparatus according to any one of (11) to (17), wherein the conversation line has a thickness corresponding to the number of conversations between corresponding participants. (19) The information processing apparatus according to any one of (11) to (18), wherein a character indicating the number of conversations between corresponding participants is attached to the conversation line. (20) The information processing apparatus according to any one of (11) to (19), further including: a display unit configured to display the planar map image generated by the image generation unit. (21) The information processing apparatus according to any one of (11) to (20), further including: a server configured to hold the planar map image generated by the image generation unit.
  • the information processing apparatus according to any one of (11) to (21), further including: a communication unit that transmits the planar map image generated by the image generation unit to the mobile terminal.
  • a communication unit that transmits the planar map image generated by the image generation unit to the mobile terminal.
  • a voice processing step in which the voice processing unit detects the speech of a plurality of participants in a conversation from the voice signal;
  • An image processing step in which the image processing unit detects the states of the plurality of participants in the conversation from the image signal;
  • An information processing method comprising a detecting step of determining a state of conversation based on the speech of the plurality of participants and the state of the plurality of participants.
  • (24) computer Voice processing means for detecting the utterances of a plurality of participants in a conversation from an audio signal; Image processing means for detecting the states of the plurality of participants in the conversation from the image signal; A program that functions as a determination unit that determines the utterances of the plurality of participants and the states of the plurality of participants.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

会話の状況把握をより詳細に行い得るようにする。　音声信号を処理して会話に参加しているそれぞれの参加者の発言を検出する。画像信号を処理して会話に参加しているそれぞれの参加者の状態、例えば見ている方向を検出する。それぞれの参加者の発言とそれぞれの参加者の状態に基づいて会話の状態及び存在を判定する。参加者の発言だけで会話の状態及び存在を判定するものに比べて、会話の状態及び存在を精度よく判定することが可能となる。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置、情報処理方法およびプログラムに関し、詳しくは、複数の参加者により構成される会話（ディスカッション、会議、グループワーク、アクティブラーンニングなど）の状況を把握するための情報処理装置等に関する。
　会話において、その会話の状況を把握することは非常に重要である。例えば、特許文献１には、会話の参加者の発話時間を記録して表示する技術が提案されている。また、例えば、特許文献２には、複数の参加者が装着した名札型のセンサによって得られる音声データなどから会話の状況を把握して相関図を呈示する技術が提案されている。これらの技術は、音声と加速度センサによるうなずきなどの動きはとれるが不十分であった。
特開平４－３２３６８９号公報 特開２０１３－０５８２２１号公報
　本技術の目的は、会話の状況把握をより詳細に行い得るようにすることにある。
　本技術の概念は、
　音声信号から会話の複数の参加者の発言を検出する音声処理部と、
　画像信号から上記会話の複数の参加者の状態を検出する画像処理部と、
　上記複数の参加者の発言と上記複数の参加者の状態に基づいて会話の状態を判定する判定部を備える
　情報処理装置にある。
　本技術において、音声処理部により、音声信号から会話の複数の参加者の発言が検出される。また、画像信号から会話の複数の参加者の状態が検出される。そして、判定部により、複数の参加者の発言と複数の参加者の状態に基づいて会話の状態が判定される。
　例えば、会話の状態は、会話の参加者間の会話による関係性である、ようにされてもよい。また、例えば、会話の状態は、少なくとも、発言内容、発言回数または発言時間のいずれかを含む、ようにされてもよい。また、例えば、会話の状態は、会話の成立である、ようにされてもよい。この場合、例えば、参加者が会話の相手を見て話しをしているとき、会話が成立したと判定する、ようにされてもよい。
　例えば、画像処理部は、参加者の状態として見ている方向を検出する、ようにされてもよい。そして、この場合、例えば、画像処理部は、参加者の顔の向きまたは視線方向から見ている方向を検出する、ようにされてもよい。
　例えば、判定部は、第１の参加者の発言の後に第２の参加者の発言があり、かつ第２の参加者の見ている方向が第１の参加者の方向であるとき、第１の参加者と第２の参加者との間の会話があると判定する、ようにされてもよい。
　このように本技術においては、音声信号から検出された会話の複数の参加者の発言と画像信号から検出された会話の複数の参加者の状態に基づいて会話の状態を判定するものである。そのため、参加者の発言だけで会話の状態を判定するものに比べて、会話の状態を精度よく判定することが可能となる。
　なお、本技術において、例えば、会話に使用されている空間の平面マップ画像を生成する画像生成部をさらに備え、この平面マップ画像には、会話に参加しているそれぞれの参加者を示す参加者表示が存在し、この平面マップ画像には、検出された会話に基づいて、対応する２つの参加者表示をつなぐ会話線が存在する、ようにされてもよい。これにより、例えば、誰と誰が会話をしたかを視覚的に容易に認識可能となる。
　例えば、画像処理部は、画像信号を処理して会話に参加しているそれぞれの参加者の位置をさらに検出し、画像生成部は、平面マップ画像におけるそれぞれの参加者を示す参加者表示の位置を、この検出されたそれぞれの参加者の位置に応じて変更する、ようにされてもよい。これにより、会話に参加しているそれぞれの参加者がどの位置にいるかを視覚的に容易に認識可能となる。
　また、例えば、画像生成部は、平面マップ画像におけるそれぞれの参加者を示す参加者表示の位置を、それぞれの参加者の会話数に応じて変更する、ようにされてもよい。この場合、例えば、画像生成部は、それぞれの参加者を示す参加者表示の位置を、会話数が多いほど平面マップ画像の中央寄りに配置する、ようにされてもよい。これにより、誰の会話数が多いかを視覚的に容易に認識可能となる。また、この場合、例えば、画像生成部は、２参加者の参加者表示の間隔を、この２参加者間の会話数が多いほど近くする、ようにされてもよい。これにより、誰と誰との間の会話の数が多いかを視覚的に容易に認識可能となる。
　例えば、参加者表示は、対応する参加者の発言数に応じたサイズとされる、ようにされてもよい。また、例えば、参加者表示には、対応する参加者の発言数を示す文字が添えられる、ようにされてもよい。これにより、それぞれの参加者の発言数の多少を視覚的に容易に認識可能となる。
　例えば、会話線は、対応する参加者間の会話数に応じた太さとされる、ようにされてもよい。また、例えば、会話線には、対応する参加者間の会話数を示す文字が添えられる、ようにされてもよい。これにより各２参加者間の会話数の多少を視覚的に容易に認識可能となる。
　例えば、画像生成部で生成された平面マップ画像を表示する表示部をさらに備える、ようにされてもよい。これにより、表示部にて平面マップ画像を確認することが可能となる。また、例えば、画像生成部で生成された平面マップ画像を保持するサーバをさらに備える、ようにされてもよい。これにより、サーバから過去の平面マップ画像を再生して確認することが可能となる。また、例えば、画像生成部で生成された平面マップ画像をモバイル端末に送信する通信部をさらに備える、ようにされてもよい。これにより、モバイル端末において、平面マップ画像を確認することが可能となる。
　本技術によれば、会話の状況把握をより詳細に行い得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施の形態としての情報処理装置の構成例を示すブロック図である。 第２の実施の形態としての情報処理装置の構成例を示すブロック図である。 会話が行われる部屋の平面マップの一例を示す図である。 会話が行われる部屋の平面マップの他の一例を示す図である。 画像生成部で生成される平面マップ画像の一例を示す図である。 画像生成部で生成される平面マップ画像の他の一例を示す図である。 画像生成部で生成される平面マップ画像の他の一例を示す図である。 画像生成部で生成される平面マップ画像の他の一例を示す図である。 画像生成部で生成される平面マップ画像の他の一例を示す図である。 情報処理装置の処理の流れを説明するための図である。 大きな部屋（会場）で複数のグループに分かれて会話を行う場合における平面マップ画像の一例を示す図である。 別の部屋に居る参加者が一つの会話に参加する場合における平面マップ画像の一例を示す図である。 参加者表示、発言数、会話数以外の情報を平面マップやマップ外の領域に表示する場合における平面マップ画像の一例を示す図である。 各参加者の会話数に応じて各参加者を示す参加者表示の位置を決定する例を説明するための図である。 発言時間で各参加者の参加者表示のサイズを変化させた場合を説明するための図である。 参加者の発言や会話の状況に応じて評価を行いその評価値を表示することを説明するための図である。 各参加者の評価ランクを表示することを説明するための図である。 モニタあるいはモバイル端末における画面表示例を示す図である。 モニタあるいはモバイル端末における画面表示例を示す図である。 モニタあるいはモバイル端末における画面表示例を示す図である。 モニタあるいはモバイル端末における画面表示例を示す図である。 モニタあるいはモバイル端末における画面表示例を示す図である。 モニタあるいはモバイル端末における画面表示例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．変形例
　＜１．第１の実施の形態＞
　［情報処理装置］
　図１は、第１の実施の形態としての情報処理装置１００の構成例を示している。この情報処理装置１００は、音声処理部１０１と、画像処理部１０２と、判定部１０３を有している。
　音声処理部１０１には、会話（ディスカッション、会議、グループワーク、アクティブラーンニングなど）に参加している各参加者の音声がマイクで検出されてなる音声信号が供給される。この場合、参加者にそれぞれ取り付けられたマイクを用いて音声検出がなされてもよく、あるいは複数のマイクで構成されるマイクアレーを用いて音声検出がなされてもよい。
　音声処理部１０１は、音声信号から会話に参加している複数の参加者の発言を検出する。この場合、例えば、参加者毎に音声信号から音量を計測し、閾値以上の状態が一定時間以上継続した場合には発言であると判定する。閾値以上の状態が一定時間に満たない場合には、同意、否定、あいづち等に係る発声であるとして、発言とは判定しない。
　画像処理部１０２には、会話に参加している参加者の画像がカメラで撮られてなる画像信号が供給される。この場合、３６０度カメラのように全周囲を撮像できるカメラを全参加者の中央に配置してそれぞれの参加者を撮像してもよく、あるいは全周囲をカバーするように複数台のカメラを配置してそれぞれの参加者を撮像してもよい。
　画像処理部１０２は、画像信号から会話に参加している複数の参加者の状態を検出する。このように検出される参加者の状態は、当該参加者の発言が会話の状態および存在を判定するために必要とする状態である。例えば、参加者の状態には、当該参加者が見ている方向が含まれる。画像処理部１０２は、参加者の見ている方向を検出するために、画像処理によって、当該参加者の顔の向きを検出するか、あるいは当該参加者の視線方向を検出する。
　判定部１０３は、音声処理部１０１で検出された複数の参加者の発言と、画像処理部１０２で検出された複数の参加者の状態に基づいて、会話の状態および存在を判定する。例えば、会話の状態は、会話の参加者間の会話による関係性である。また、例えば、会話の状態は、少なくとも、発言内容、発言回数または発言時間のいずれかを含む。また、例えば、会話の状態は、会話の成立である。例えば、判定部は、参加者が会話の相手を見て話をしているとき、会話が成立したと判定する。
　また、例えば、判定部は、第１の参加者が発言した後に、あるいはその発言が終わる直前に、第２の参加者の発言があり、かつ第２の参加者の見ている方向が第１の参加者の方向であるとき、第１の参加者と第２の参加者との間の会話があると判定する。なお、第２の参加者の見ている方向が第１の参加者の方向でないときであっても、会話があると判定するようにされてもよい。例えば、第１の参加者が発言した後に、第２の参加者が発声するとき、あるいは第１の参加者が発言した後に、第２の参加者の顔が上下に動く（あいづち）」のときなどでも会話があると判定することが可能である。
　図１に示す情報処理装置１０の動作を簡単に説明する。会話に参加している各参加者の音声がマイクで検出されてなる音声信号が音声処理部１０１に供給される。この音声処理部１０１では、音声信号が処理されて、会話に参加している各参加者の発言が検出される。また、会話に参加しているそれぞれの参加者の画像がカメラで撮られてなる画像信号が画像処理部１０２に供給される。この画像処理部１０２では、画像信号が処理されて、会話に参加しているそれぞれの参加者の状態、例えば見ている方向が検出される。
　音声処理部１０１で検出された会話に参加している各参加者の発言と、画像処理部１０２で検出された会話に参加している各参加者の状態が、判定部１０３に供給される。判定部１０３では、それぞれの参加者の発言とそれぞれの参加者の状態に基づいて、会話の状態及び存在が判定され、判定情報が得られる。
　このように図１に示す情報処理装置１００においては、会話に参加しているそれぞれの参加者の発言と画像処理で検出された状態に基づいて会話の状態及び存在が判定される。そのため、参加者の発言だけで会話の状態及び存在を判定するものに比べて、会話の状態及び存在を精度よく判定できる。
　＜２．第２の実施の形態＞
　［情報処理装置］
　図２は、第２の実施の形態としての情報処理装置２００の構成例を示している。この情報処理装置２００は、Ｎ個（Ｎは整数）のカメラ２０１-1～２０１-Nと、Ｍ個（Ｍは整数）のマイク２０２-1～２０２-Mと、画像音声制御システム２０３と、モニタ２０４と、サーバ２０５と、モバイル端末２０６を有している。
　カメラ２０１-1～２０１-Nは、会話に参加している参加者の画像を撮るためのものである。カメラ２０１-1～２０１-Nは、会話に参加している参加者、特に顔を撮像するように設置される。この場合、３６０°カメラのように全周囲を撮像できるカメラが参加者の中央に設置されてもよく、また、全周囲を撮像できるように複数台のカメラが設置されてもよい。
　図３は、会話が行われる部屋の平面マップの一例を示している。この例において、「Ａ」～「Ｄ」が付された丸表示は会話に参加している参加者を示す参加者表示を示しており、各参加者は部屋の中央に置かれているテーブルの回りにいる。この例においては、全周囲を撮像できる３６０°カメラが机の上に設置されている。この場合、平面マップ内におけるカメラの向きと位置が一定状態となるように調整される。なお、この例においては、部屋にテーブルが１つあって、その周囲に４名の参加者がいる状態を示しているが、テーブルの数や形状、参加者の人数などは任意である。
　図４は、会話が行われる部屋の平面マップの他の一例を示している。この例において、「Ａ」～「Ｄ」が付された丸表示は会話の参加者表示を示しており、各参加者は部屋の中央に置かれている机の回りにいる。この例においては、全周囲を撮像できる３６０°カメラであるカメラ１が机の上に設置されていると共に、部屋の周辺に存在するホワイトボードを撮るようにカメラ２が設置されている。このカメラ２では、ホワイトボードを撮像でき、またホワイトボードに書き込みをした参加者が書き込み内容をホワイトボードの前で説明する際に、当該参加者の顔を撮像することもできる。この場合、カメラ１およびカメラ２を設置する際に、平面マップにおけるカメラの位置と向きが調整される。
　図２に戻って、マイク２０２-1～２０２-Mは、会話に参加している各参加者の音声を検出するためのものである。この場合、マイク２０２-1～２０２-Mは、参加者のそれぞれに取り付けられたマイクであってもよく、あるいは各参加者の音声を検出するマイクアレーを構成する複数のマイクであってもよい。
　画像音声制御システム２０３は、カメラ２０１-1～２０１-Nで得られた画像信号やマイク２０２-1～２０２-Mで得られた音声信号を処理して、会話が行われる部屋の平面マップ画像を生成する。画像音声制御システム２０３は、生成された平面マップ画像をモニタ２０４に供給し、モニタ２０４に平面マップ画像を表示する。
　また、画像音声制御システム２０３は、生成された平面マップ画像を、ユーザの操作に応じて、モニタ２０４に代わって、あるいはモニタ２０４と共に、モバイル端末２０６に供給し、モバイル端末２０６に平面マップ画像を表示する。また、画像音声制御システム２０３は、生成された平面マップ画像をサーバ２０５に供給して記録し、また、ユーザの操作に応じて、サーバ２０５から平面マップ画像を再生してモニタ２０４やモバイル端末２０６に供給し、再生された平面マップ画像を表示する。
　画像音声制御システム２０３は、制御部２３１と、ユーザ操作部２３２と、音声処理部２３３と、画像処理部２３４と、判定部２３５と、画像生成部２３６と、通信部２３７を有している。制御部２３１は、画像音声制御システム２０３の各部の動作を制御する。ユーザ操作２３２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。
画像処理部２３４には、事前準備の段階で各参加者の顔が登録され得る。ここで、各参加者にマイクを取り付けることで各参加者の音声を検出する場合、登録される各参加者の顔とそれぞれの参加者に取り付けられるマイクの番号とを関連付けておいてもよい。これにより、各参加者に関連付けされた音声検出が可能となる。
　各参加者の顔画像を登録する際には、それぞれの参加者の顔をカメラで撮像することが行われる。このとき、参加者の顔の大きさとカメラから当該参加者までの距離を関連付けて計測しておく。これにより、カメラで撮像された参加者の顔の大きさに基づいて、カメラから参加者までの距離を推定することが可能となる。
　なお、上述の方法でカメラから参加者までの距離の推定が困難である場合、あるいは距離の推定が必要ない場合には、カメラから参加者までの距離を固定として取り扱うことも考えられる。また、カメラから参加者までの距離を、２台以上のカメラを使ってステレオカメラを構成することで計測することも考えられる。この技術は、例えば、“特開昭６２－０８０７６８号公報”に記載されているが、これ以外の方法でも良いことは勿論である。
　画像処理部２３４は、画像信号（撮像画像）に対して顔検知処理を行って、各参加者の顔の位置と状態、例えば見ている方向を決定する。見ている方向は、顔の向きあるいは視線方向を決定することで決定される。顔の位置や視線を決定する技術は、例えば、“特開２０１２－２２６６６５号公報”に記載されているが、これ以外の方法でも良いことは勿論である。この場合、画像処理部２３４は、顔検知処理で検知された顔と予め登録している顔との比較をすることで個人照合を行って、検知されたそれぞれの顔がいずれの参加者の顔であるかを特定する。
　また、画像処理部２３４は、所定の参加者の平面マップ上における位置（方向、距離）を、撮像画角内における参加者の顔の位置と大きさに基づいて決定する。この場合、撮像画角内における参加者の顔の位置から、平面マップ上におけるカメラから見た参加者の方向を決定できる。また、上述したように、登録時に参加者の顔の大きさとカメラから参加者までの距離が関連付けて計測されているので、この登録時の顔の大きさと現在の顔の大きさの比率でカメラから参加者までの距離を決定できる。
　なお、上述ではカメラの撮像画像に対して顔検知処理を行って各参加者の顔の位置などを決定しているが、参加者が必ずしもカメラの方を向いているわけではない。例えば、会話中にホワイトボードに板書したりして、カメラの撮像画像に参加者の顔が存在しない場合がある。参加者の顔が検知できなかった場合は、最後に顔を検知した場所を参加者の位置（顔位置）として固定する。あるいは、この場合、例えば、物体追跡技術を使って、顔が見えなくなった場所から物体追尾を行い、平面マップ上の顔の参加者の位置（顔位置）を更新してもよい。この物体追跡技術は、例えば、“特開平６－１６９４５８号公報”に記載されているが、これ以外の方法でも良いことは勿論である。
　音声処理部２３３は、それぞれの参加者に対応した音声信号を処理して、会話に参加しているそれぞれの参加者の発言を検出する。ここで、それぞれの参加者に取り付けられたマイクで音声検出を行う場合、音声処理部２３３は、各検出音声がどの参加者のものであるかを容易に把握できる。これにより、音声と参加者とのマッチングが行われる。
　一方、音声をマイクアレーで検出する場合、音声処理部２３３は、各検出音声がどの参加者のものであるかを以下のようにして把握できる。すなわち、マイクアレーは、例えば、全周囲を撮像できる３６０°カメラと同じ位置、あるいはその周辺に設置され、音声を検出すると同時に、その音声が発せられている方向も検出する。そのため、音声処理部２３３は、上述したように画像処理部２３４で検出されるそれぞれの参加者の顔の位置情報を参照して、マイクアレーで検出される音声がどの参加者のものであるかを把握する。これにより、音声と参加者とのマッチングが行われる。なお、マイクアレーによる音声方向検出の技術は、例えば、“特開平９－２５１２９９号公報”に記載されているが、これ以外の方法でも良いことは勿論である。
　音声処理部２３３は、それぞれの参加者に対応した音声信号を処理して、会話に参加しているそれぞれの参加者の発言を検出する。この場合、例えば、参加者毎に音声信号から音量を計測し、閾値以上の状態が一定時間以上継続した場合には発言であると判定する。閾値以上の状態が一定時間に満たない場合には、同意、否定、あいづち等に係る発声であるとして、発言とは判定しない。
　判定部２３５は、音声処理部２３３で得られたそれぞれの参加者の発言と、画像処理部２３４で得られたそれぞれの参加者の状態に基づいて、会話を検出する。この場合、例えば、第１の参加者が発言した後に、あるいはその発言が終わる直前に、第２の参加者の発言があり、かつ第２の参加者の見ている方向が第１の参加者の方向であるとき、第１の参加者と第２の参加者との間の会話があると判定する。
　画像生成部２３６は、会話に使用されている部屋などの空間の平面マップ画像を生成する。この場合、画像生成部２３６は、この平面マップ画像に、画像処理部２３４で検出された会話に参加しているそれぞれの参加者を示す参加者表示を含める。そして、画像生成部２３６は、この参加者表示の位置を、画像処理部２３４で決定された当該参加者の位置（顔位置）に応じてダイナミックに変更する。また、画像生成部２３６は、この平面マップ画像に、判定部２３５の会話判定情報に基づいて、対応する２つの参加者表示をつなぐ会話線を含める。
　図５は、画像生成部２３６で生成される平面マップ画像の一例を示している。この例において、「Ａ」～「Ｄ」が付された丸表示は会話に参加している参加者を示す参加者表示を示している。なお、参加者表示の表示形式は、図示のような記号の他に、名前でもよく、登録している顔でもよく、色でもよく、それらの複数の組み合わせであってもよい。また、表示形式は固定であってもよく、あるいはユーザに設定したり、切り替えたりしてもよい。
　また、この例における「Ａ」～「Ｄ」の参加者表示は、「Ａ」～「Ｄ」の参加者の現在位置を示している。また、この例では、「Ｂ」と「Ｃ」の参加者表示を結ぶ会話線が存在し、「Ｂ」と「Ｃ」の参加者間に会話が存在したことが示されている。なお、会話線の表示位置は、対応する参加者表示の位置が移動する場合には、それに伴って移動する。このように平面マップ画像に表示される会話線は、会話が検出されてから一定時間表示した後に削除されてもよい。
　図６は、画像生成部２３６で生成される平面マップ画像の他の一例を示している。この例においても、「Ａ」～「Ｄ」が付された丸表示は会話に参加している参加者を示す参加者表示を示している。この例では、「Ｂ」と「Ｃ」、「Ａ」と「Ｂ」、「Ａ」と「Ｄ」のそれぞれの参加者表示を結ぶ会話線が存在し、それぞれの参加者間に会話が存在したことが示されている。
　この場合、会話数が累積されており、それぞれの会話線に会話数を示す文字が添えられている。ここで、参加者間の会話数のカウントは、上述したようにその参加者間に会話が存在すると判定される毎にインクリメントされていく。この例においては、「Ｂ」と「Ｃ」の参加者間の会話が５回であり、「Ａ」と「Ｂ」の参加者間の会話が１回あり、「Ａ」と「Ｂ」の参加者間の会話が２回であることが示されている。この会話数の累積については、会話開始からの全ての数でもよく、あるいは過去一定の時間内、例えば過去５分間の間に行われた会話の数を累積してもよい。
　なお、会話線に会話数を示す文字を添える代わりに、図７に示すように、会話線の太さを会話数に応じたものとして間接的に会話数を示すようにされてもよい。また、会話線に会話数を示す文字を添えることと、会話線の太さを会話数に応じたものとすることとを、併用することも考えられる。
　図８は、画像生成部２３６で生成される平面マップ画像の他の一例を示している。この例においては、図６に示す例に対して、さらに、各参加者に対応した参加者表示に発言数を示す文字が添えられている。この例においては、参加者「Ａ」の発言数が３回であり、参加者「Ｂ」の発言数が６回であり、参加者「Ｃ」の発言数が５回であり、参加者「Ｄ」の発言数が２回であることが示されている。
　なお、参加者表示に発言数を示す文字を添える代わりに、図９に示すように、参加者表示の大きさ（サイズ）を発言数に応じたものとして間接的に発言数を示すようにされてもよい。また、参加者表示に発言数を示す文字を添えることと、参加者表示の大きさを発言数に応じたものとすることとを、併用することも考えられる。また、参加者表示に発言数ではなく発言時間を示す文字を沿えることも考えられる。
　図２に戻って、画像生成部２３６は、生成された平面マップ画像を、モニタ２０４に供給し、モニタ２０４に平面マップ画像を表示させる。また、画像生成部２３６は、生成された平面マップ画像を、サーバ２０５に供給して、保持させる。また、画像生成部２３６は、生成された平面マップ画像を、ユーザの操作に応じて、モニタ２０４に代わって、あるいはモニタ２０４と共に、通信部２３７を通じてモバイル端末２０６に供給し、モバイル端末２０６に平面マップ画像を表示させる。また、画像生成部２３６は、ユーザの操作に応じて、サーバ２０５から平面マップ画像を再生してモニタ２０４やモバイル端末２０６に供給し、再生された平面マップ画像を表示させる。なお、サーバ２０５からの平面マップ画像の再生を、モバイル端末２０６から通信部２３７を介して指示することも考えられる。
　図２に示す情報処理装置２００の処理の流れを説明する。まず、図１０（ａ）に示すように、事前準備として、カメラ２０１-1～２０１-Nが、会話に参加している全ての人、特に顔が撮像されるように設置される。例えば、３６０°カメラのように全周囲を撮像できるカメラが参加者の中央に設置されるか、あるいは全周囲を撮像できるように複数台のカメラが設置される。この場合、平面マップ内におけるカメラの向きと位置が一定状態となるように調整される。
　また、事前準備として、マイク２０２-1～２０２-Mが設置される。例えば、会話に参加している全ての人にマイクが取り付けられるか、あるいはマイクアレーが参加者の中央に設置される。ここで、会話に参加している全ての人にマイクが取り付けられる場合には、マイクと参加者との関連付けがされる。また、事前準備として、各参加者の顔がカメラで撮られて登録される。この場合、参加者とカメラの距離が一定の状態で撮像され、顔と共にその大きさも計測されて保持される。なお、この場合の距離の情報も一緒に保持されてもよい。また、この場合、参加者の登録が初めてのときは新規登録となるが、既に登録された参加者があるときは、残りの参加者を追加登録することで足りる。
　事前準備が終わると、会話に伴って、図１０（ｂ）に示すメイン処理が繰り返えし行われる。ステップＳＴ１において、カメラ２０１-1～２０１-Nを用いて、会話に参加している各参加者を含む撮像画像を得る。そして、ステップＳＴ２において、画像処理部２３４で、撮像画像信号を処理して、各参加者の顔の位置と状態、例えば見ている方向（顔の向きや視線）を決定する。
　また、ステップＳＴ３において、マイク２０２-1～２０２-Mを用いて、会話に参加している各参加者の音声を検出する。次に、ステップＳＴ４において、音声処理部２３３で、音声信号を処理して、会話に参加しているそれぞれの参加者の発言を検出する。
　そして、ステップＳＴ５において、判定部２３５で、音声処理部２３３で得られた、参加者の全部または一部の発言と、画像処理部２３４で得られた参加者の全部または一部の状態に基づいて、会話を検出する。この場合、例えば、第１の参加者が発言した後に、あるいはその発言が終わる直前に、第２の参加者の発言があり、かつ第２の参加者の見ている方向が第１の参加者の方向であるとき、第１の参加者と第２の参加者との間の会話があると判定する。また、例えば、第１の参加者が発言した後に、第２の参加者が発声するとき、あるいは第１の参加者が発言した後に、第２の参加者の顔が上下に動く（あいづち）」のとき、第１の参加者と第２の参加者との間の会話があると判定する。
　次に、ステップＳＴ６において、画像生成部２３６で、会話に使用されている部屋などの空間の平面マップ画像を生成する。この場合、平面マップ画像に、画像処理部２３４で検出された会話に参加しているそれぞれの参加者を示す参加者表示が含められ、この参加者表示の位置は、画像処理部２３４で決定された当該参加者の位置（顔位置）に応じてダイナミックに変更される。また、この場合、平面マップ画像には、判定部２３５の会話判定情報に基づいて対応する２つの参加者表示をつなぐ会話線が含められる他、各参加者の発言数や２参加者間の会話数などの表示も含められる。
　次に、ステップＳＴ７において、画像生成部２３６で、作成された平面マップ画像を出力する。この場合、平面マップ画像をモニタ２０４に供給して、モニタ２０４に平面画像を表示させる。また、この場合、平面マップ画像をサーバ２０５に供給して、サーバ２０５に順次生成される平面マップ画像を蓄積保持させる。さらに、この場合、平面マップ画像を、通信部２３７を通じてモバイル端末２０６に送信し、このモバイル端末２０６に平面マップ画像を表示させる。
　上述したように図２に示す情報処理装置２００において、判定部２３５では、会話に参加しているそれぞれの参加者の発言と画像処理で検出された状態に基づいて会話の状態及び存在を判定するものである。そのため、参加者の発言だけで会話の状態及び存在を判定するものに比べて、会話の状態及び存在を精度よく判定することが可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で生成される平面マップ画像には、会話に参加しているそれぞれの参加者を示す参加者表示が存在し、この平面マップ画像には、検出された会話に基づいて、対応する２つの参加者表示をつなぐ会話線が存在するものである。そのため、誰と誰が会話をしたかを視覚的に容易に認識可能となる。
　また、図２に示す情報処理装置２００において、画像処理部２３４は、画像信号を処理して会話に参加しているそれぞれの参加者の位置をさらに検出し、画像生成部２３６は、平面マップ画像におけるそれぞれの参加者を示す参加者表示の位置を、この検出されたそれぞれの参加者の位置に応じて変更するものである。そのため、会話に参加しているそれぞれの参加者がどの位置にいるかを視覚的に容易に認識可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で生成される平面マップ画像に存在する参加者表示は、対応する参加者の発言数に応じたサイズとされ、あるいは当該参加者表示には、対応する参加者の発言数を示す文字が添えられるものである。そのため、それぞれの参加者の発言数の多少を視覚的に容易に認識可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で生成される平面マップ画像に存在する会話線は、対応する参加者間の会話数に応じた太さとされ、あるいは当該会話線には、対応する参加者間の会話数を示す文字が添えられるものである。そのため、各２参加者間の会話数の多少を視覚的に容易に認識可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で生成された平面マップ画像は表示部としてのモニタ２０４に供給され、このモニタ２０４に平面マップ画像が表示されるものである。そのため、会話の例えばファシリテーターは発言や会話に関する種々の情報を持つ平面マップ画像をモニタ２０４で確認可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で生成された平面マップ画像はサーバ２０５に供給されて保持されるものである。そのため、このサーバ２０５から過去の平面マップ画像を再生して例えばモニタ２０４に供給して表示させることができ、過去の平面マップ画像を容易に確認することが可能となる。
　また、図２に示す情報処理装置２００において、画像生成部２３６で平面マップ画像またはサーバ２０５から読み出された過去の平面マップ画像は必要に応じて通信部２３７を通じてモバイル端末２０６に供給され、このモバイル端末２０６に現在または過去の平面マップ画像が表示されるものである。そのため、会話の例えばファシリテーターは発言や会話に関する種々の情報を持つ平面マップ画像をモバイル端末２０６で確認可能となる。
　＜３．変形例＞
　なお、上述実施の形態においては、予め参加者の顔を登録して、画像から検出した顔と登録している顔を比較することで個人照合を行っている。しかしながら、これでは登録していない人が参加した場合に適切な表示をすることができない。そこで、個人照合に失敗した場合は、その顔を新たに参加者として登録することも考えられる。
　この場合、新規参加者に関しては顔の大きさと距離の関係が登録されていないので、ステレオカメラなどの距離を計測できる手段を用いていない場合は、正確な距離は分からない。そこで、新規参加者のカメラからの距離は固定にするか、平均的な顔の大きさを用いて簡易的にカメラまでの距離を算出するようにされる。
　また、上述実施の形態においては、会話を1つのグループで行っている例を示したが、大きな部屋（会場）で複数のグループに分かれて会話を行う場合もある。このような場合に、参加者がグループ間で入れ替わることがある。その場合、図１１に示すように、カメラをグループ毎に配置しておき、あるグループのカメラに映っている顔をそのグループの参加者とする。なお、この図１１の例では、グループ１は「Ａ」～「Ｄ」の４人の参加者で構成され、グループ２は「Ｅ」～「Ｈ」の４人の参加者で構成され、グループ３は「Ｉ」～「Ｋ」の３人の参加者で構成されている。
　そして、グループごとに参加者の位置や発言数、会話数を表示する。グループのメンバーが入れ替わったかどうかの判定は、ある参加者が別のグループを撮像するためのカメラに顔が映った瞬間に入れ替えてもよいし、入れ替わった後、予め設定してある時間を経過した後に入れ替えてもよい。この場合は、最初にカメラに顔が映った時間も記録しておき、予め設定してある時間を経過した後に入れ替わったと判断して、会話数などを表示する。
　また、上述した実施の形態においては、１つの部屋（空間）内で行われる会話について述べた。しかし、テレビ会議や電話会議、ウェブ会議などによって、別の部屋に居る参加者が一つの会話に参加する場合もある。このような場合、図１２のように参加者が存在する複数の空間の平面マップを全て用意し、すべての参加者の位置を表示する。この図１２に示す例では、部屋１には「Ａ」～「Ｄ」の４人の参加者が存在し、部屋２には「Ｆ」～「Ｇ」の２人の参加者が存在する。
　同じ空間内の参加者同士の会話に関しては上述した同様に会話線を表示するが、別の空間に居る参加者同士の会話に関する会話線については、平面マップ間を跨いで表示する。なお、図１２の例は２部屋の例を示しているが、３部屋以上の場合も同様である。なお、別の部屋にいる参加者同士の会話の成立は互いにモニタを見ているか否かで判定することが可能である。
　また、上述実施の形態においては、会話への参加者の位置や発言数、会話数を平面マップに表示していたが、図１３に示すように参加者表示、発言数、会話数以外の情報を平面マップやマップ外の領域に表示してもよい。例えば、図示のように、取得した音声から音声認識によって発言内容を文章化して表示するようにされてもよい。この場合、発言内容は、キーワードのみを抽出して表示すること、あるいは発言内容の全文を表示すること等が考えられる。
　また、上述実施の形態においては、会話の参加者のカメラ画像で観測された平面マップ上の位置に参加者を表示していた。しかし、図１４（ａ），（ｂ）に示すように、各参加者の会話数に応じて各参加者を示す参加者表示の位置を決定してもよい。例えば、全体の会話数が多い人ほど画面の中央寄りに配置し、全体の会話数が少ない人ほど画面の外側に配置する。また、２参加者間の会話数が多い場合は近くに配置し、２参加者間の会話数が少ない場合は遠くに配置する。
　配置の方法としては、例えば、磁気力におけるクーロンの法則の式を用いる。クーロン力Fは、以下の数式（１）で示される。ここで、ｋは比例定数、ｍ１、ｍ２は物体１、２のそれぞれの磁気量、ｒは２物体間の距離である。
　　　F = km1m2/r2　　・・・（１）
　まず、平面マップの中央に仮想物体0を磁気量ｍ０として配置し、４名の参加者がいる場合は物体１～４にそれぞれ、会話数に比例した磁気量ｍ１～ｍ４を与える。会話数が多いほど磁気量は増える。ｍ０とｍ１～ｍ４は数式（１）で計算されるクーロン力で互いに引きつけ合う。一方、ｍ１～ｍ４はそれぞれで反発しあうが、お互いに会話数が多いほど反発し合う力は弱くなるので、ｍ１´＝１/ｍ１のように、会話数に応じた磁気量を逆数にする。ｍ１の代わりにｍ１´を数式（１）に代入することで、計算されるクーロン力は会話数に反比例した力で互いに反発し合う。
　ｍ０に対する引きつけ合う力で、すべての参加者の位置は中央に寄ろうとする。一方、会話数に反比例した力でお互いに反発しあうことによって、離れようとする。引きつけ合う力と反発しあう力の均衡が保たれる状態で、参加者の位置は停止し、決定される。会話数が変わると参加者の平面マップ上での表示位置も変わる。
　これにより、参加者表示の位置は会話数が多いほど平面マップ画の中央寄りに配置されることから、誰の会話数が多いかを視覚的に容易に認識可能となる。また、２参加者間の会話数が多いほど当該２参加者の参加者表示が近づけられることから、誰と誰の会話の数が多いかを視覚的に容易に認識可能となる。例えば、図１４（ａ）は「Ａ」の参加者の会話数が少なく、残りの３名の会話数が多い状態を示しており、これからその状態であることを視覚的に容易に認識できる。また、図１４（ｂ）は、「Ａ」の参加者の会話数が多く、会話のハブ的な役割をしている状態を示しており、これからその状態であることを視覚的に容易に認識できる。
　なお、このように各参加者の会話数に応じて各参加者を示す参加者表示の位置を決定する場合にあっても、会話線に会話数を示す文字を添えること、あるいは会話線の太さを会話数に応じたものとすることができ、また、各参加者表示にそれぞれの参加者の発言数を示す文字を添えること、あるいは各参加者表示のサイズをそれぞれの参加者の発言数や発言時間に応じたサイズにすることができる（図６～図９参照）。
　例えば、図１５（ａ），（ｂ）は、図１４（ｂ）に対して発言時間で各参加者の参加者表示のサイズを変化させた場合を示している。図１５(ａ)の場合、「Ａ」の参加者の発言時間が長く、例えば独演会の様にひたすら発言している様子が確認できる。また、図１５（ｂ）の場合、「Ａ」の参加者は、会話は数多くしているが発言時間はそれほど長くない、すなわち、その会話グループの司会者やファシリテーター的な役割をしている様子が確認できる。
　このように、各参加者を示す参加者表示を会話数に応じた位置に配置することで、会話の状態を客観的に把握できる。カメラで観測された位置に基づいた平面マップや会話数に応じた位置に基づいた平面マップなど、複数の平面マップの表示方法をファシリテーターなどの閲覧者が切り替え可能としてもよい。
　また、上述していないが、参加者の発言や会話の状況に応じて、評価を行いその評価値を表示する手段について説明する。例えば、図１６に示すように、会話グループごとに、その会話の評価ランクが表示される。図１６では、評価ランクを上からＡ，Ｂ，Ｃの３段階で表示している。例えば、右上に表示されているグループでは、“総合評価Ａ”と評価されている。
　このように、グループ毎に評価ランクが表示されると、ファシリテーターにとってどのグループの会話を補助すればよいか分かりやすくなる。さらには、図１７に示すように各参加者の評価ランクを表示すれば、どの参加者が会話に参加できていないかが分かる。
　グループ毎の評価は、例えば、発言数や会話数で評価する。例えば、以下の数式（２）を用いて、各グループの評価値Ｅｔを求める。ここで、Ｎgsは発言数、Ｎgcは会話数、αg、βgは係数である。数式（２）で計算された評価値を予め定めてある閾値で処理することで、評価ランクが求められる。なお、評価ランクに変換せずに、評価値をそのまま表示してもよい。
　　　Et = αg・Ngs + βg・Ngc 　　　・・・（２）
　また、各参加者の評価値Ｅｍも、同じように、以下の数式（３）を用いて、発言数と会話数で求められる。ここで、Ｎmsは発言数、Ｎmcは会話数、αm、βmは係数である。数式（３）で計算された評価値を予め定めてある閾値で処理することで、評価ランクが求められる。なお、評価ランクに変換せずに、評価値をそのまま表示してもよい。
　　　Em = αm・Nms + βm・Nmc 　　　・・・（３）
　また、グループの評価値については、一部の人だけで盛り上がっていては評価が低いので、各参加者の評価値を評価に加えてもよい。例えば、以下の数式（４）に、基づいて、各グループの評価値Ｅｔ´を求める。ここで、ｍｉｎ(Em)はその会話グループに参加しているすべての参加者の最低評価値を表し、γgは係数である。これによって、評価値の低い参加者が居ると、グループ全体の評価は下がる。
　　　Et’ = αg・Ngs + βg・Ngc + γg・min(Em)　　　・・・（４）
　なお、数式（２）～（４）においては発言数を用いたが、この発言数を発言時間に替えてもよいし、双方を使用してもよい。
　なお、上述では、会話に参加している参加者や、会話グループの評価を行う例を示したが、それと共に、あるいはそれとは別個に、会話の結論に影響を与えた内容を評価することも考えられる。
　また、上述では、モニタ２０４やモバイル端末２０６に会話に参加している参加者や会話グループの評価値を表示する例を示したが、先生が複数の生徒の会話グループを監視する場合、先生向けあるいは生徒向けに以下のような情報を提示することが考えられる。
　先生向けに提示する情報としては、先生に介入を提案するための情報が考えられる。この場合、各グループがどういう状態にあるかが可視化される。また、この場合、各グループのうち、最も可視化が必要なグループが解かるように優先順位が付けられる。例えば、全然発言しない生徒がいるグループの優先順位は高くされる。先生は、この優先順位の高いグループの状態を優先して可視化しで、そのグループがどのような状態にあるかを知ることができる。
　また、先生向けに提示する情報としては、各生徒あるいは各グループの自動的に付けられた点数あるいは成績の情報が考えられる。この点数あるいは成績は、例えば、累積あるいは瞬間のものが先生の操作に応じて適宜表示される。
　また、生徒向けに提示する情報としては、生徒をアシストする情報が考えられる。例えば、次の会話に参加させるために、これまでの会話のサマリが表示される。また、生徒向けに提示する情報としては、生徒に警告するための情報が考えられる。例えば、発言回数や、全体の流れに寄与する発言の量が表示される。
　また、上述実施の形態においては、発言や会話などの情報を会話の状況を図るための情報として利用する例を示したが、同意、否定、あいづち等に係る発声の情報も会話の状況を図るための情報として利用することも考えられる。例えば、同意、否定、あいづち等に係る発生数もカウントしておき、平面マップ画像に、会話数や発言数とともに、その発声数も表示するようにされてもよい。
　また、上述実施の形態においては、マイクとカメラが別体である例を示したが、これらが一体となっていることも考えられる。例えば、３６０度カメラにマイクが一体になっている例、あるいは、全周囲をカバーする複数台のカメラのそれぞれにマイクが一体になっている例などが考えらえる
　また、上述実施の形態においては、画像信号を処理して検出する参加者の状態として見ている方向を示したが、検出される参加者の状態はこれに限定されない。例えば、参加者の状態として、参加者の顔の表情（喜び、怒り、哀しみ、楽しみ、驚きなど）、ジェスチャー（指、手、腕の動き）、顔の動き（上下方向のうなずき（同意、あいづち）、左右方向の首振り（否定））、生体情報（体温変化や脈拍変化）などを検出するようにされてもよい。また、会話中に発言がなくても、例えば沢山うなずいている人は会話に積極的に参加している可能性が高く、そういった情報をカウントして、会話数や発言数とともに、表示するようにされてもよい。
　また、上述実施の形態においては、音声信号から会話の参加者の発言を検出し、画像信号から会話の参加者の状態を検出する例を示したが、画像信号から参加者の発言と参加者の状態の双方を検出することも考えられる。
　また、図１８～図２３は、モニタ２０４あるいはモバイル端末２０６における画面表示例を示している。図１８の画面表示例には、ポッド（会話グループ）Ａ～Ｄにおける会話の状態が示されている。各ポッドの表示に対応して、ＰＯＤ　Ａ～ＰＯＤ　Ｄのポッド識別子が表示されている。また、各ポッド表示において、矢印Ｐ１で示すように、参加者が顔を含む画像で示されている。
　また、各ポッド表示において、矢印Ｐ２で示す領域には、議論のタイムラインが表示されている。この場合、誰の発言であるかがわかるように、それぞれの発言の先頭に矢印Ｐ３で示すようにサムネール画像が配置され、さらには矢印Ｐ４で示すように名前文字も配置されている。なお、サムネール画像と名前文字のいずれか一方であってもよい。この議論のタイムラインが表示されている領域の表示は、発言があるごとに新規の発言が最新位置に表示されるように自動的に更新されていくが、ユーザは、画面上でスクロール操作をすることで、過去の発言を確認することが可能とされる。
　図１９の画面表示例には、図１８の表示例と同様に、ポッド（会話グループ）Ａ～Ｄにおける会話の状態が示されている。各ポッドの表示に対応して、ＰＯＤ　Ａ～ＰＯＤ　Ｄのポッド識別子が表示されている。また、各ポッド表示において、矢印Ｐ１で示すように、参加者が顔を含む画像で示されている。また、各ポッド表示において、矢印Ｐ２で示す領域には、議論のタイムラインが表示されている。
　この例では、さらに、矢印Ｐ１で示す参加者表示において、各参加者の画像の色が発言数に応じてダイナミックに変化していくものである。例えば、発言数が多い参加者は黄色とし、発言数が中ぐらいの参加者は赤色とし、発言数が少ない参加者は緑色とするなどである。なお、図示の例では、色の違いを画像に重畳した模様の違いで表している。勿論、各参加者の画像に重畳する模様を発言数に応じてダイナミックに変化させていってもよい。また、発言数だけでなく、同意、うなずきの発声の数や、会話の数を、同様に色や模様で表現することもできる。これにより、各ポッドにおける参加者それぞれの発言数等を例えばユーザである先生は視覚的に容易に確認でき、議論の行き詰まりを感じたポッドに介入し易くなる。
　図２０の画面表示例には、図１８の表示例と同様に、ポッド（会話グループ）Ａ～Ｄにおける会話の状態が示されている。各ポッドの表示に対応して、ＰＯＤ　Ａ～ＰＯＤ　Ｄのポッド識別子が表示されている。また、各ポッド表示において、矢印Ｐ２で示す領域には、議論のタイムラインが表示されている。また、この例では、矢印Ｐ１で示す領域は、顔画像等による参加者表示のために使用する状態の他に、ポッド内の共有画面にも切り替え可能とされる。図示の例においては、ポッドＡ，Ｂは、共有画面に切り替えられている。例えば、ユーザである先生はこのような画面切り替えを操作して、各ポッドで如何なる資料あるいは記述に基づいて議論がなされているかを知ることができる。
　なお、各ポッド表示において、矢印Ｐ２で示す領域に表示される会話参加者の発言はサーバ２０５に蓄積され、例えば、授業の終了時に、タイムラインが各生徒のモバイル端末２０６に議事録的に送られてくる。生徒がタイムライン中の発言をタップすると、その発言の時間から収録映像（カメラ画像）を見返すことも可能とされる。この場合、カメラ画像の時間軸に対して各発言の時刻が関連付けされて保持されていることになる。
　図２１の画面表示例には、４名の参加者による会話の状態が示されている。矢印Ｑ１で示す領域に、参加者が顔を含む画像で示されている。また、矢印Ｑ２で示す領域に、議論のタイムラインが表示されている。この場合、誰の発言であるかがわかるように、それぞれの発言の先頭に矢印Ｑ４で示すように名前文字が配置されている。名前文字の代わりにサムネール画像であってもよい。また、矢印Ｑ３で示す領域に、議論で使用されているスライドや板書が表示されている。なお、図示の例では、４名の参加者のうち、矢印Ｑ１で示す領域の右上に表示された画像に対応した参加者は、この時点では板書のために後ろ向きとなっていることから、顔画像をとらえることができず、人物追尾がなされて画像がクロッピングされている。なお、各参加者の画像を囲む枠色と各発言の先頭の名前の文字部分の色とを同一色として参加者と発言とを対応づけることも考えられる。図示の例では、枠色の代わりに線種を変えて示している。
　図２２の画像表示例には、４名の参加者による会話の状態が示されている。４名の参加者は、顔画像が矩形枠の４つの角に表示されている。この場合、それぞれの参加者に対応した円が表示され、これらの円は対角線上を移動するようになされている。なお、参加者と円との対応をわかりやすくするために、円とそれに対応する参加者の画像の枠の色とを同一色とすることが行われる。図示の例では、枠色の代わりに線種を変えて示している。各参加者の円は発言数が多いほど大きくなり、また、会話数が多いほどその中心の矩形枠中心からの距離が短くなる。図示の例においては、右上の画像で表示される参加者は、発言数が多く、かつ会話数も多く、左上の画像で表示される参加者は、発言数が少なく、かつ会話数も少ないことがわかる。
　図２３の画像表示例には、４名の参加者による会話の状態が示されている。４名の参加者を示す顔画像が表示されている。この場合、発言数が多い参加者の顔画像ほど大きく表示される。また、参加者間を結ぶ会話線が表示されており、会話数が多いほど太く表示される。図示の例においては、左上の画像で示される参加者は、発言数が多く、特に右下の画像で示される参加者との間の会話数が多いことがわかる。また、右上の画像で示される参加者は、発言数が中くらいであるが、特に右下の画像で示される参加者との間の会話数が多く、左下の画像で示される参加者との間の会話はないことがわかる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）音声信号から会話の複数の参加者の発言を検出する音声処理部と、
　画像信号から上記会話の複数の参加者の状態を検出する画像処理部と、
　上記複数の参加者の発言と上記複数の参加者の状態に基づいて会話の状態を判定する判定部を備える
　情報処理装置。
　（２）上記会話の状態は、上記会話の参加者間の会話による関係性である
　前記（１）に記載の情報処理装置。
　（３）上記会話の状態は、少なくとも、発言内容、発言回数または発言時間のいずれかを含む
　前記（１）に記載の情報処理装置。
　（４）上記会話の状態は、会話の成立である
　前記（１）に記載の情報処理装置。
　（５）上記判定部は、上記参加者が会話の相手を見て話をしているとき、上記会話が成立したと判定する
　前記（４）に記載の情報処理装置。
　（６）上記画像処理部は、上記参加者の状態として、見ている方向を検出する
　前記（１）から（５）のいずれか記載の情報処理装置。
　（７）上記画像処理部は、上記参加者の顔の向きまたは視線方向から該参加者の見ている方向を検出する
　前記（６）に記載の情報処理装置。
　（８）上記判定部は、第１の参加者の発言の後に第２の参加者の発言があり、かつ上記第２の参加者の見ている方向が上記第１の参加者の方向であるとき、上記第１の参加者と上記第２の参加者との間の会話があると判定する
　前記（６）または（７）に記載の情報処理装置。
　（９）上記音声処理部は、上記音声信号から音量を計測し、閾値以上の状態が一定時間以上継続した場合には発言であると判定する
　前記（１）から（８）のいずれかに記載の情報処理装置。
　（１０）上記音声処理部は、閾値以上の状態が一定時間に満たない場合には、同意、否定またはあいづちに係る発声であると判定する
　前記（９）に記載お情報処理装置。

　（１１）上記会話に使用されている空間の平面マップ画像を生成する画像生成部をさらに備え、
　上記平面マップ画像には、上記会話に参加しているそれぞれの参加者を示す参加者表示が存在し、
　上記平面マップ画像には、上記検出された会話に基づいて、対応する２つの参加者表示をつなぐ会話線が存在する
　前記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）上記画像処理部は、上記画像信号を処理して上記会話に参加しているそれぞれの参加者の位置をさらに検出し、
　上記画像生成部は、上記平面マップ画像における上記それぞれの参加者を示す参加者表示の位置を、上記検出されたそれぞれの参加者の位置に応じて変更する
　前記（１１）に記載の情報処理装置。
　（１３）上記画像生成部は、上記平面マップ画像における上記それぞれの参加者を示す参加者表示の位置を、上記それぞれの参加者の会話数に応じて変更する
　前記（１１）に記載の情報処理装置。
　（１４）上記画像生成部は、上記それぞれの参加者を示す参加者表示の位置を、会話数が多いほど上記平面マップ画像の中央寄りに配置する
　前記（１３）に記載の情報処理装置。
　（１５）上記画像生成部は、２参加者の参加者表示の間隔を、該２参加者間の会話数が多いほど近くする
　前記（１３）または（１４）に記載の情報処理装置。
　（１６）上記参加者表示は、対応する参加者の発言数に応じたサイズとされる
　前記（１１）から（１５）のいずれかに記載の情報処理装置。
　（１７）上記参加者表示には、対応する参加者の発言数を示す文字が添えられる
　前記（１１）から（１６）のいずれかに記載の情報処理装置。
　（１８）上記会話線は、対応する参加者間の会話数に応じた太さとされる
　前記（１１）から（１７）のいずれかに記載の情報処理装置。
　（１９）上記会話線には、対応する参加者間の会話数を示す文字が添えられる
　前記（１１）から（１８）のいずれかに記載の情報処理装置。
　（２０）上記画像生成部で生成された平面マップ画像を表示する表示部をさらに備える
　前記（１１）から（１９）のいずれかに記載の情報処理装置。
　（２１）上記画像生成部で生成された平面マップ画像を保持するサーバをさらに備える
　前記（１１）から（２０）のいずれかに記載の情報処理装置。
　（２２）上記画像生成部で生成された平面マップ画像をモバイル端末に送信する通信部をさらに備える
　前記（１１）から（２１）のいずれかに記載の情報処理装置。
　（２３）音声処理部が、音声信号から会話の複数の参加者の発言を検出する音声処理ステップと、
　画像処理部が、画像信号から上記会話の複数の参加者の状態を検出する画像処理ステップと、
　会話検出部が、上記複数の参加者の発言と上記複数の参加者の状態に基づいて会話の状態を判定する検出ステップを有する
　情報処理方法。
　（２４）コンピュータを、
　音声信号から会話の複数の参加者の発言を検出する音声処理手段と、
　画像信号から上記会話の複数の参加者の状態を検出する画像処理手段と、
　上記複数の参加者の発言と上記複数の参加者の状態を判定する判定手段として機能させる
　プログラム。
　１００・・・情報処理装置
　１０１・・・音声処理部
　１０２・・・画像処理部
　１０３・・・判定部
　２００・・・情報処理装置
　２０１-1～２０１-N・・・カメラ
　２０２-1～２０２-M・・・マイク
　２０３・・・画像音声制御システム
　２０４・・・モニタ
　２０５・・・サーバ
　２０６・・・モバイル端末
　２３１・・・制御部
　２３２・・・ユーザ操作部
　２３３・・・音声処理部
　２３４・・・画像処理部
　２３５・・・判定部
　２３６・・・画像生成部
　２３７・・・通信部

Claims (24)

  1. 　音声信号から会話の複数の参加者の発言を検出する音声処理部と、
    　画像信号から上記会話の複数の参加者の状態を検出する画像処理部と、
    　上記複数の参加者の発言と上記複数の参加者の状態に基づいて会話の状態を判定する判定部を備える
    　情報処理装置。
  2. 　上記会話の状態は、上記会話の参加者間の会話による関係性である
    　請求項１に記載の情報処理装置。
  3. 　上記会話の状態は、少なくとも、発言内容、発言回数または発言時間のいずれかを含む
    　請求項１に記載の情報処理装置。
  4. 　上記会話の状態は、会話の成立である
    　請求項１に記載の情報処理装置。
  5. 　上記判定部は、上記参加者が会話の相手を見て話をしているとき、上記会話が成立したと判定する
    　請求項４に記載の情報処理装置。
  6. 　上記画像処理部は、上記参加者の状態として、見ている方向を検出する
    　請求項１に記載の情報処理装置。
  7. 　上記画像処理部は、上記参加者の顔の向きまたは視線方向から該参加者の見ている方向を検出する
    　請求項６に記載の情報処理装置。
  8. 　上記判定部は、第１の参加者の発言の後に第２の参加者の発言があり、かつ上記第２の参加者の見ている方向が上記第１の参加者の方向であるとき、上記第１の参加者と上記第２の参加者との間の会話があると判定する
    　請求項６に記載の情報処理装置。
  9. 　上記音声処理部は、上記音声信号から音量を計測し、閾値以上の状態が一定時間以上継続した場合には発言であると判定する
    　請求項１に記載の情報処理装置。
  10. 　上記音声処理部は、閾値以上の状態が一定時間に満たない場合には、同意、否定またはあいづちに係る発声であると判定する
    　請求項９に記載お情報処理装置。
  11. 　上記会話に使用されている空間の平面マップ画像を生成する画像生成部をさらに備え、
    　上記平面マップ画像には、上記会話に参加しているそれぞれの参加者を示す参加者表示が存在し、
    　上記平面マップ画像には、上記検出された会話に基づいて、対応する２つの参加者表示をつなぐ会話線が存在する
    　請求項１に記載の情報処理装置。
  12. 　上記画像処理部は、上記画像信号を処理して上記会話に参加しているそれぞれの参加者の位置をさらに検出し、
    　上記画像生成部は、上記平面マップ画像における上記それぞれの参加者を示す参加者表示の位置を、上記検出されたそれぞれの参加者の位置に応じて変更する
    　請求項１１に記載の情報処理装置。
  13. 　上記画像生成部は、上記平面マップ画像における上記それぞれの参加者を示す参加者表示の位置を、上記それぞれの参加者の会話数に応じて変更する
    　請求項１１に記載の情報処理装置。
  14. 　上記画像生成部は、上記それぞれの参加者を示す参加者表示の位置を、会話数が多いほど上記平面マップ画像の中央寄りに配置する
    　請求項１３に記載の情報処理装置。
  15. 　上記画像生成部は、２参加者の参加者表示の間隔を、該２参加者間の会話数が多いほど近くする
    　請求項１３に記載の情報処理装置。
  16. 　上記参加者表示は、対応する参加者の発言数に応じたサイズとされる
    　請求項１１に記載の情報処理装置。
  17. 　上記参加者表示には、対応する参加者の発言数を示す文字が添えられる
    　請求項１１に記載の情報処理装置。
  18. 　上記会話線は、対応する参加者間の会話数に応じた太さとされる
    　請求項１１に記載の情報処理装置。
  19. 　上記会話線には、対応する参加者間の会話数を示す文字が添えられる
    　請求項１１に記載の情報処理装置。
  20. 　上記画像生成部で生成された平面マップ画像を表示する表示部をさらに備える
    　請求項１１に記載の情報処理装置。
  21. 　上記画像生成部で生成された平面マップ画像を保持するサーバをさらに備える
    　請求項１１に記載の情報処理装置。
  22. 　上記画像生成部で生成された平面マップ画像をモバイル端末に送信する通信部をさらに備える
    　請求項１１に記載の情報処理装置。
  23. 　音声処理部が、音声信号から会話の複数の参加者の発言を検出する音声処理ステップと、
    　画像処理部が、画像信号から上記会話の複数の参加者の状態を検出する画像処理ステップと、
    　会話検出部が、上記複数の参加者の発言と上記複数の参加者の状態に基づいて会話の状態を判定する検出ステップを有する
    　情報処理方法。
  24. 　コンピュータを、
    　音声信号から会話の複数の参加者の発言を検出する音声処理手段と、
    　画像信号から上記会話の複数の参加者の状態を検出する画像処理手段と、
    　上記複数の参加者の発言と上記複数の参加者の状態を判定する判定手段として機能させる
    　プログラム。
PCT/JP2019/000597 2018-01-12 2019-01-10 情報処理装置、情報処理方法およびプログラム Ceased WO2019139101A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019564747A JP7276158B2 (ja) 2018-01-12 2019-01-10 情報処理装置、情報処理方法およびプログラム
EP19738367.2A EP3739573B1 (en) 2018-01-12 2019-01-10 Information processing device, information processing method, and program
CN201980007295.6A CN111542876B (zh) 2018-01-12 2019-01-10 信息处理装置、信息处理方法以及程序产品
US16/959,884 US11837233B2 (en) 2018-01-12 2019-01-10 Information processing device to automatically detect a conversation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-003778 2018-01-12
JP2018003778 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019139101A1 true WO2019139101A1 (ja) 2019-07-18

Family

ID=67219559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000597 Ceased WO2019139101A1 (ja) 2018-01-12 2019-01-10 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11837233B2 (ja)
EP (1) EP3739573B1 (ja)
JP (1) JP7276158B2 (ja)
CN (1) CN111542876B (ja)
WO (1) WO2019139101A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182089A (ja) * 2020-05-20 2021-11-25 清水建設株式会社 人物関係抽出システム
WO2021245759A1 (ja) * 2020-06-01 2021-12-09 ハイラブル株式会社 音声会議装置、音声会議システム及び音声会議方法
JP2022072455A (ja) * 2020-10-29 2022-05-17 京セラ株式会社 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム
JPWO2024100703A1 (ja) * 2022-11-07 2024-05-16
KR102772721B1 (ko) * 2024-04-02 2025-02-26 케이에듀테크 주식회사 온라인 및 오프라인 하이브리드 러닝 참여자 분석 시스템
JP7847733B1 (ja) * 2025-07-15 2026-04-17 三菱電機株式会社 発言データ提供装置、発言推定システム、発言データ提供システム、発言データ提供方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7177348B2 (ja) * 2019-02-06 2022-11-24 日本電信電話株式会社 音声認識装置、音声認識方法およびプログラム
JP2021099670A (ja) * 2019-12-23 2021-07-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7528638B2 (ja) 2020-08-26 2024-08-06 トヨタ自動車株式会社 コミュニケーションシステム
JP7354992B2 (ja) * 2020-11-19 2023-10-03 トヨタ自動車株式会社 発言評価システム、発言評価方法、及び、プログラム
US20250343987A1 (en) * 2024-01-26 2025-11-06 Huddly As Systems and methods for framing meeting environments and participants using camera spatial positioning information
FR3163196A1 (fr) * 2024-06-11 2025-12-12 Orange Traitement de données d’image, notamment de visioconférence, pour déterminer l’interlocuteur d’un locuteur courant

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6280768A (ja) 1985-10-04 1987-04-14 Hitachi Ltd ステレオ画像処理方法
JPH04323689A (ja) 1991-04-24 1992-11-12 Toshiba Corp 会議進行支援装置
JPH06169458A (ja) 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 移動体の自動追尾装置
JPH09251299A (ja) 1996-03-15 1997-09-22 Toshiba Corp マイクロホンアレイ入力型音声認識装置及び方法
JP2000184345A (ja) * 1998-12-14 2000-06-30 Nec Corp マルチモーダルコミュニケーション支援装置
WO2008139717A1 (ja) * 2007-05-09 2008-11-20 Panasonic Corporation 表示装置、表示方法、表示プログラム
WO2009004731A1 (ja) * 2007-07-05 2009-01-08 Panasonic Corporation 画像音声通信装置及び画像表示方法
JP2010266522A (ja) * 2009-05-12 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 対話状態分割装置とその方法、そのプログラムと記録媒体
JP2011237965A (ja) * 2010-05-10 2011-11-24 Seiko Epson Corp 会話比率算出装置、接客データ記録装置、会話比率算出方法およびプログラム
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2013058221A (ja) 2012-10-18 2013-03-28 Hitachi Ltd 会議分析システム
JP2017009825A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351628B (en) * 1999-04-14 2003-10-01 Canon Kk Image and sound processing apparatus
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
US6782363B2 (en) * 2001-05-04 2004-08-24 Lucent Technologies Inc. Method and apparatus for performing real-time endpoint detection in automatic speech recognition
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
KR100580619B1 (ko) * 2002-12-11 2006-05-16 삼성전자주식회사 사용자와 에이전트 간의 대화 관리방법 및 장치
WO2007044806A2 (en) * 2005-10-11 2007-04-19 Aol Llc Ordering of conversations based on monitored recipient user interaction with corresponding electronic messages
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
EP2012304B1 (en) * 2007-07-06 2012-09-05 Zero To One Technology Methods for electronically analysing a dialogue and corresponding systems
WO2009104564A1 (ja) * 2008-02-20 2009-08-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間における会話サーバ、会話のための方法及びコンピュータ・プログラム
US8289288B2 (en) * 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
US8416715B2 (en) * 2009-06-15 2013-04-09 Microsoft Corporation Interest determination for auditory enhancement
EP2541543B1 (en) 2010-02-25 2016-11-30 Panasonic Intellectual Property Management Co., Ltd. Signal processing apparatus and signal processing method
US10198775B2 (en) * 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
US20150189233A1 (en) * 2012-04-30 2015-07-02 Goggle Inc. Facilitating user interaction in a video conference
JP6385150B2 (ja) * 2014-06-13 2018-09-05 株式会社Ｎｔｔドコモ 管理装置、会話システム、会話管理方法及びプログラム
JP6400445B2 (ja) 2014-11-27 2018-10-03 Kddi株式会社 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
WO2016158014A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、通信システム、情報処理方法及びプログラム
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
JP6651989B2 (ja) * 2015-08-03 2020-02-19 株式会社リコー 映像処理装置、映像処理方法、及び映像処理システム
CN106453030B (zh) * 2015-08-12 2019-10-11 大连民族学院 一种获取社交关系链的方法及装置
JP6772023B2 (ja) * 2015-10-30 2020-10-21 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド ユーザー状態検出による集団相互作用の方法及びシステム
US20170301037A1 (en) * 2016-04-19 2017-10-19 International Business Machines Corporation Group discourse architecture
CN106291744A (zh) * 2016-07-29 2017-01-04 深圳朝伟达科技有限公司 岩质边坡估计交互式稳定性显示系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6280768A (ja) 1985-10-04 1987-04-14 Hitachi Ltd ステレオ画像処理方法
JPH04323689A (ja) 1991-04-24 1992-11-12 Toshiba Corp 会議進行支援装置
JPH06169458A (ja) 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 移動体の自動追尾装置
JPH09251299A (ja) 1996-03-15 1997-09-22 Toshiba Corp マイクロホンアレイ入力型音声認識装置及び方法
JP2000184345A (ja) * 1998-12-14 2000-06-30 Nec Corp マルチモーダルコミュニケーション支援装置
WO2008139717A1 (ja) * 2007-05-09 2008-11-20 Panasonic Corporation 表示装置、表示方法、表示プログラム
WO2009004731A1 (ja) * 2007-07-05 2009-01-08 Panasonic Corporation 画像音声通信装置及び画像表示方法
JP2010266522A (ja) * 2009-05-12 2010-11-25 Nippon Telegr & Teleph Corp <Ntt> 対話状態分割装置とその方法、そのプログラムと記録媒体
JP2011237965A (ja) * 2010-05-10 2011-11-24 Seiko Epson Corp 会話比率算出装置、接客データ記録装置、会話比率算出方法およびプログラム
JP2012226665A (ja) 2011-04-21 2012-11-15 Canon Inc 情報処理装置、その処理方法、プログラム及び撮像装置
JP2013058221A (ja) 2012-10-18 2013-03-28 Hitachi Ltd 会議分析システム
JP2017009825A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739573A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182089A (ja) * 2020-05-20 2021-11-25 清水建設株式会社 人物関係抽出システム
JP7471911B2 (ja) 2020-05-20 2024-04-22 清水建設株式会社 人物関係抽出システム
JP2024147690A (ja) * 2020-06-01 2024-10-16 ハイラブル株式会社 音声会議装置、音声会議システム及び音声会議方法
WO2021245759A1 (ja) * 2020-06-01 2021-12-09 ハイラブル株式会社 音声会議装置、音声会議システム及び音声会議方法
JPWO2021245759A1 (ja) * 2020-06-01 2021-12-09
JP7766887B2 (ja) 2020-06-01 2025-11-11 ハイラブル株式会社 音声会議装置、音声会議システム及び音声会議方法
US12260876B2 (en) 2020-06-01 2025-03-25 Hylable Inc. Voice conference apparatus, voice conference system and voice conference method
JP7530070B2 (ja) 2020-06-01 2024-08-07 ハイラブル株式会社 音声会議装置、音声会議システム及び音声会議方法
JP2022072455A (ja) * 2020-10-29 2022-05-17 京セラ株式会社 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム
JP7560321B2 (ja) 2020-10-29 2024-10-02 京セラ株式会社 仮想イベントシステム、情報処理装置、出力制御方法及びプログラム
WO2024100703A1 (ja) * 2022-11-07 2024-05-16 マクセル株式会社 映像表示装置、映像表示システム及び映像表示装置の制御方法
JPWO2024100703A1 (ja) * 2022-11-07 2024-05-16
JP7792533B2 (ja) 2022-11-07 2025-12-25 マクセル株式会社 映像表示装置、映像表示システム及び映像表示装置の制御方法
KR102772721B1 (ko) * 2024-04-02 2025-02-26 케이에듀테크 주식회사 온라인 및 오프라인 하이브리드 러닝 참여자 분석 시스템
JP7847733B1 (ja) * 2025-07-15 2026-04-17 三菱電機株式会社 発言データ提供装置、発言推定システム、発言データ提供システム、発言データ提供方法及びプログラム

Also Published As

Publication number Publication date
JPWO2019139101A1 (ja) 2021-01-28
CN111542876A (zh) 2020-08-14
US20200335105A1 (en) 2020-10-22
US11837233B2 (en) 2023-12-05
EP3739573B1 (en) 2023-06-28
EP3739573A4 (en) 2021-01-13
JP7276158B2 (ja) 2023-05-18
EP3739573A1 (en) 2020-11-18
CN111542876B (zh) 2025-01-14

Similar Documents

Publication Publication Date Title
JP7276158B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20120077172A1 (en) Presentation system
JP7062126B1 (ja) 端末、情報処理方法、プログラム、および記録媒体
JP2018205638A (ja) 集中度評価機構
CN114554135A (zh) 线上会议方法及电子设备
JP7841578B2 (ja) 配信システム
WO2022137547A1 (ja) コミュニケーション支援システム
JP6901190B1 (ja) 遠隔対話システム、遠隔対話方法及び遠隔対話プログラム
CN112312062A (zh) 多人会议记录回放的3d展示方法、存储介质及终端设备
JPWO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
US20220189200A1 (en) Information processing system and information processing method
JP6267819B1 (ja) 授業システム、授業サーバ、授業支援方法、及び授業支援プログラム
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
US20230196632A1 (en) Information processing device and information processing method
JP6456163B2 (ja) 情報処理装置、音声出力方法及びコンピュータプログラム
JP6849228B2 (ja) 教室システム
Bergstrom et al. Conversation votes: enabling anonymous cues
JP2024147690A (ja) 音声会議装置、音声会議システム及び音声会議方法
JP2009060220A (ja) コミュニケーションシステム及びコミュニケーションプログラム
CN104539873B (zh) 远程会议系统和进行远程会议的方法
JP2018165978A (ja) 授業システム、授業サーバ、授業支援方法、及び授業支援プログラム
Bergstrom et al. Vote and be heard: Adding back-channel signals to social mirrors
CN117793607A (zh) 一种播放控制方法及装置
JP2019057061A (ja) 情報出力装置及びプログラム
JP2012003698A (ja) 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738367

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564747

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019738367

Country of ref document: EP

Effective date: 20200812

WWG Wipo information: grant in national office

Ref document number: 201980007295.6

Country of ref document: CN