JPH11272663A - 議事録作成装置及び作成方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】伝送帯域が狭い通信網を利用したパソコン会議
システムでも精度の高い議事録を作成でき、会議中の発
言が会議参加者の誰のものか容易に判断できるようなシ
ステムが現在実現されていない。 【解決手段】音声入出力部３により入力し音声データが
音声蓄積部９に蓄積され、音声テキスト変換部６により
テキストデータに変換され、当人あるいは相手のパソコ
ンの議事録作成部７に送る。音声入出力部３で音声入力
を検出をトリガにして画像入力部２より発言者の顔の画
像を撮影し議事録作成部７に送る。議事録作成部７に送
られた画像データとテキストデータを用いて議事録作成
部７で会議議事録を作成し、議事録記録部８に記録す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、パーソナルコン
ピュータ( 以下パソコンを記述する) 等の情報処理機器
を用いたパソコン会議システムであって、特に会議中の
発言内容と発言者を撮影した画像を会議議事録として自
動作成機能を有するパソコン会議システム及び記録媒体
に関する。

【０００２】

【従来の技術】通常テレビ会議やテレビ電話は、専用ハ
ードを用いてデータの送受信を行い、画像表示にテレビ
モニタを使用している。これは、ＩＴＵ−Ｔ国際標準に
準拠した方式を採用し、画像・音声はデータ圧縮を行い
送受信している。

【０００３】また、通常パソコン会議を行う場合、図１
４のように、各会議参加者は会議参加端末の制御を行な
っているサーバに接続して会議を進行している。また、
テレビ会議で会議録を作成する特許が出願されているが
（特開平６−２２５３０号公報，特開平７−１８２３６
５号公報）、音声や画像データをこのサーバに記録し、
蓄積してあとで作成しているに過ぎない。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うなパソコン会議サーバを用いた場合、議事録の作成は
会議終了後になり手間がかかる。また会議参加端末の全
ての発言内容を、テキスト変換する手段を利用すること
が考えられるが、送信されてくる音声信号は必ずしも品
質が高いものとは限られない。一般にこのようなパソコ
ン会議システムで使用する音声信号はＩＴＵ−Ｔ勧告
Ｇ．７１１・Ｇ．７２２のような音声圧縮符号化が行わ
れている。

【０００５】端末間に用いられている通信網の状態によ
ってはサーバで受信、復号した音声信号からテキスト変
換するのは極めて困難であり、誤認識された議事録を作
成してしまうという問題点がある。また会議中の発言が
誰のものかすぐに判断することは困難である。

【０００６】

【課題を解決するための手段】このような、課題を解決
するために本願発明は、音声データを入力するための入
力手段と、この入力手段によって入力された音声データ
に識別子を付与して記憶する音声蓄積手段と、この音声
蓄積手段に記憶された音声データを文字データに変換す
る変換手段と、この変換手段によって変換された文字デ
ータをこの文字データに変換された音声データに付与さ
れた識別子をもとに並べ替え、議事録を作成する手段と
を有することを特徴とする。

【０００７】また、音声データおよびこの音声データに
対応する画像データを入力する画像入力手段と、この入
力手段によって入力された音声データおよびこの音声デ
ータに対応する画像データに識別子を付与して記憶する
記憶手段と、この記憶手段に記憶された音声データを文
字データに変換する変換手段と、この変換手段によって
変換された前記文字データと前記文字データに変換され
た音声データに対応する前記記憶手段に記憶された画像
データとを前記識別子をもとに並べ替え、議事録を作成
する手段とを有することを特徴とする。

【０００８】また、入力された音声データに識別子を付
与して記憶し、記憶された音声データを文字データに変
換し、変換された文字データを前記音声データに付与さ
れた識別子をもとに並べ替え、議事録を作成することを
特徴とする。

【０００９】また、入力された音声データおよびこの音
声データに対応する画像データに識別子を付与して記憶
し、この記憶された音声データを文字データに変換し、
この変換された前記文字データと前記文字データに変換
された音声データに対応する記憶された画像データとを
前記識別子をもとに並べ替え、議事録を作成することを
特徴とする。

【００１０】また、複数のコンピュータを介してデータ
をやり取りし、議事録を作成するプログラムをコンピュ
ータで実行可能なように記録された記録媒体であって、
入力された音声データに識別子を付与して記憶し、記憶
された音声データを文字データに変換し、変換された文
字データを前記音声データに付与された識別子をもとに
並べ替え、議事録を作成するプログラムをコンピュータ
で実行可能なように記録された記録媒体である。

【００１１】また、複数のコンピュータを介してデータ
をやり取りし、議事録を作成するプログラムをコンピュ
ータで実行可能なように記録された記録媒体であって、
入力された音声データおよびこの音声データに対応する
画像データに識別子を付与して記憶し、この記憶された
音声データを文字データに変換し、この変換された前記
文字データと前記文字データに変換された音声データに
対応する記憶された画像データとを前記識別子をもとに
並べ替え、議事録を作成するプログラムをコンピュータ
で実行可能なように記録された記録媒体である。

【００１２】このような本願発明により、会議中に発言
された音声データは、音声入力側でテキスト変換処理が
行われる事により、誤りの少ない精度の高い議事録を作
成する事が可能になる。

【００１３】また議事録を、会議に参加している人のパ
ソコン上で作成してしまうため、別途パソコン会議サー
バを用意する必要もなくなった。また、議事録に発言者
の顔画像を添付する事により会議終了後に議事録を読ん
だときに、会議参加者の誰が発言したかが容易に知る事
ができる。

【００１４】

【発明の実施の形態】以下、本願発明の実施例を図面を
参照して詳細に説明する。 （第１の実施例）図１は本願発明のパソコン会議システ
ムの構成を示す図である。図１において、パソコン１が
本願発明に用いる情報処理機器であるパソコン本体であ
る。

【００１５】画像入力部２はパソコン使用者である会議
出席者を撮影するデジタルビデオカメラやデジタルカメ
ラ等である。音声入出力部３は、マイクやスピーカ等よ
り構成されている。

【００１６】またデータ入力部４は、画像入力部２、音
声入出力部３以外のデータを入力するものであり、具体
的にはパソコンのキーボードや、描画入力用のディジタ
イザやその他の補助手段の入力手段である。

【００１７】パソコン会議処理部５はパソコン上でテレ
ビ・データ会議のサービスを提供すると共に、画像・音
声・データの圧縮伸長する手段を持っている。このパソ
コン会議処理部５は、画像入力部２・音声入出力部３・
データ入力部４から得られた各種データを、他のパソコ
ン使用者とデータの送受信を行う事により、離れたパソ
コンの間で相手の顔を見ながら、同じデータをリアルタ
イムに共有することを可能にする。

【００１８】また、送受信するデータを、画像はＩＴＵ
−Ｔ国際標準Ｈ．２６１準拠方式やＨ．２６３準拠方式
の符号化をする。音声ならＧ．７１１やＧ．７２８準拠
方式等の符号化をする。

【００１９】音声テキスト変換処理部６は音声入出力部
３から入力された発言者の音声信号を認識してテキスト
データに変換するものである。議事録作成部７は画像入
力部２より入力されたパソコン使用者の顔画像データと
音声テキスト変換処理部６から得られる発言者のテキス
トデータと、その他のデータを記録して議事録データと
して作成する。この議事録作成部７は、会議を行ってい
る相手から送られてくるデータも使用する。

【００２０】議事録記録部８は議事録作成部７で作成さ
れた議事録を記録しておくところである。音声蓄積部９
は、音声テキスト変換処理部６に処理される前に音声信
号データを一時的に記録しておくところである。

【００２１】通信インターフェース（以下、通信ＩＦと
記述する）１０は通信網１１と接続するための網インタ
ーフェースである。通信網はＩＳＤＮ・電話網・ＬＡＮ
・インターネット等のネットワーク回線である。モニタ
１２はパソコン会議処理部５の出力画面や、議事録結果
画像、他の会議参加者の顔画像などを表示するものであ
る。パソコン会議を行っている相手も同じ構成をもつも
のである。

【００２２】通常のパソコン会議での、発言者が発言さ
れた音声信号データの流れは図２のフローチャートのよ
うになる。まず、ステップＳ２１で、会議参加者の発言
が音声入出力部３から入力される。入力されたデータは
デジタルデータである。次にステップＳ２２で前記Ｓ２
１で得られた音声データをパソコン会議処理部５で国際
標準に準拠されている符号化方式により圧縮する。次の
ステップＳ２３で通信ＩＦ１０を介して各会議参加者の
パソコンへ送信する。

【００２３】次に、音声信号がテキストデータに変換さ
れて送信される流れを図３のフローチャートに示す。ま
ず、ステップＳ３１で、会議参加者の発言が音声入出力
部２から入力される。ステップＳ３２で図４のような音
声データフォーマットで音声蓄積部９に蓄積される。

【００２４】図４の音声データフォーマットは、ＩＤ番
号４１、Ｓ３１で音声入力された時の時刻データ４２、
音声デジタル信号４３で構成される。ＩＤ番号４１は、
会議の参加者を特定するＩＤで、パソコン会議処理部５
により割り当てられたユーザＩＤと発言番号である。

【００２５】発言番号とは会議中に発せられた発言順に
付けられる番号で、同じ会議中には発言番号が同じ数値
が存在しないようにする。例えば一番最初の発言者の発
言番号は“００００１”とすると次の発言にたいしては
“００００２”が割り当てられるものとする。

【００２６】ユーザＩＤは、パソコン会議処理部５が起
動された時に自動的に割り当てられたものを使用する。
また、会議参加者が任意に変更することも可能である。
時刻データ４２は、Ｓ３１で音声入出力部３から発言者
の発言が入力された時の、パソコンの時刻を使用する。

【００２７】次に、ステップＳ３３でＳ３２の音声蓄積
部９に記録されている図４の音声データを、音声テキス
ト変換処理部６でテキストデータに変換する。図４の音
声データの音声デジタル信号４３の部分が、音声デジタ
ルデータからテキストデータに変換される。この音声テ
キストデータが次のステップＳ３４にて通信ＩＦ１０を
介して他の会議参加者の議事録作成部７に送られるか、
または自分のパソコンの議事録作成部７に送られる。場
合により両者へ送られる。Ｓ３４でのテキストデータの
送信先は会議開始の時に会議参加者によって設定する。

【００２８】例えばＡ、Ｂ、Ｃの三箇所のパソコンで会
議をした場合。Ａが議事録を作成すると設定した場合、
会議参加者ＢとＣに対してテキストデータ送信要求を出
す。ステップＳ３４のテキストデータの送信先はＡは自
身の議事録作成部に、ＢとＣはＡの議事録作成部に送
る。最終的に議事録はＡのパソコンの議事録作成部７で
作成され、Ａのパソコンの議事録記録部８に記録され
る。ＢとＣは、Ａの議事録を参照すればよい。

【００２９】次にＡとＢで両者が議事録を作成すると設
定した場合。ＡはＢとＣに、ＢはＡとＣに対してテキス
トデータ送信要求を出す。ＡとＢのパソコンの議事録作
成部７で議事録が作成され、ＣはＡとＢのどちらの議事
録も参照することが可能になる。

【００３０】また、全ての参加者が議事録作成の設定を
しない場合は、Ａ・Ｂ・Ｃにはテキストデータ送信要求
がこないことになる。その時は、各議事録作成部７より
会議参加者に対して「議事録を作成するか？Ｙ／Ｎ」の
要求を出す。全ての参加者がこの質問に対してＮＯ( 拒
否) をした場合、テキストデータ送信要求信号はどのパ
ソコンからも送信されず、議事録も作成されない。また
ＹＥＳ（賛成）をした場合はそのパソコンから他のパソ
コンに対してテキストデータ送信要求をだす。

【００３１】また、ステップＳ３２で音声蓄積部９に記
録されている図４の音声データを、音声テキスト変換処
理部６でテキストデータに変換する処理は、ＣＰＵ使用
率が低い時に行えば効率がよい。

【００３２】例えば、発言者が発言しておらず、音声信
号を他会議参加者に送信していない時などに処理が行な
われるとにより、パソコン会議中の画像や音質の劣化や
レスポンスの低下を押さえることができる。

【００３３】また、他パソコンへ向けてのテキストデー
タ送信時に、通信網上の画像・音声・データの伝送状態
を監視して、伝送帯域を再割り当てをすることにより、
パソコン会議中の画像や音質の劣化やレスポンスの低下
を押さえることができる。例として伝送状態を監視中に
会議参加者の発言が無い時は、音声信号の送信は無い状
態なので、音声信号の伝送帯域を減らして、テキストデ
ータを送信する伝送帯域を増やして送信をする。

【００３４】次に議事録作成方法を詳しく説明する。上
述したＳ３４で議事録作成部７に送信された図４のフォ
ーマットの音声データからテキストに変換したデータ
は、図５ような状態で記憶されている。

【００３５】前述している通りテキストデータの送信
は、必ずしもリアルタイムで行っていないため、記憶さ
れているデータは時間列順には並んでいない。まず発言
テキストデータに付加している時刻コードにて、時間列
順に並び替えをおこなう。これで、会議中に発言した順
番で発言内容が並んだだことになり、最終的には図６の
ようなフォーマットに再編成される。これで、発言内容
が時間列順に並んだ状態で記憶される。

【００３６】ユーザから会議議事録の表示を求められた
時は、議事録作成部７は図７のようなレイアウトでパソ
コンのモニタ１２に表示する。モニタへの表示は会議中
に発言された内容７２と発言した発言者の名前７１を表
示する。発言者の名前７１は図４の音声データのＩＤ情
報４１を使用する。

【００３７】以上のように第１の実施例によれば、会議
議事録に必要となる会議中の発言内容を発言者側でテキ
スト文章化するので、通信網の状態が悪くても精度の高
い議事録が作成する事が可能になる。

【００３８】（第２の実施例）次に、本願発明の第２の
実施例について詳しく説明する。会議中に発言者の発言
をトリガにして発言者の顔を撮影し、そのデータを議事
録に使用するまでを図８のフローチャートにもとづき説
明する。

【００３９】まず、ステップＳ８１で、会議参加者の発
言が、音声入出力部３から入力されたことを検出する。
画像入力部２は、常にパソコン使用者の顔を撮影して会
議参加の端末の画面上にデータを表示している。

【００４０】ステップＳ８２ではＳ８１で発言を検出
し、これをトリガにして次のタイミングで、画像入力部
２から入力された発言者の顔画像データに、ＩＤと時刻
データを付加する。

【００４１】図９はユーザＩＤを付加した顔画像データ
のフォーマットである。顔画像データのＩＤ９１は上述
したＳ３２で得られた発言者番号と同じ数値が与えられ
る。画像データ９２はＳ８２で撮影された発言者の顔の
画像データである。

【００４２】次に、ステップＳ８３にて通信ＩＦ１０を
介してテキストデータ送信要求信号を出したパソコンの
議事録作成部７に、Ｓ８２で得られた画像データ送る。
次にステップＳ８４で議事録作成部７に蓄積されている
Ｓ３４で蓄積されていた音声データと、Ｓ８３で得られ
た顔画像データを関連付けて議事録を作成する。

【００４３】次に議事録作成方法を説明する。Ｓ８２で
得られた図９のフォーマットの発言者の顔画像データ
と、Ｓ３２で得られた図４のフォーマットの音声データ
が、図１０ような状態で記憶されている。

【００４４】前述している議事録作成方法と同様に、ま
ず発言テキストデータに付加している時刻コードにて時
間列順に並び替えをおこなう。これで、会議中に発言し
た順番で発言内容が並んだだことになる。次に発言デー
タと発言者の顔データに付加してある発言番号を比較し
て、同じ数字で並び替えることにより、最終的には図１
１のような状態に再編成される。これで、発言者の顔画
像データ・発言内容が時間列順に並んだ状態で、議事録
記録部８に記録される。

【００４５】ユーザから会議議事録の表示を求められた
時は、議事録記録手段８のデータを議事録作成部７が、
図１２のようなレイアウトでパソコンのモニタ１２に表
示する。モニタ１２には会議中に発言された内容の文章
１２１、発言した発言者の発言時の表情を撮影した画像
１２２を表示する。

【００４６】前述では発言の検出をトリガにして、次の
タイミングで次の１フレームの画像データを用いている
が、会議に使用している画像の送受信の送信方法にＩＴ
Ｕ−Ｔ勧告Ｈ．２６３やＭＰＥＧ４を用いている場合
は、発言者の発言をトリガにして次のタイミングのＩピ
クチャを利用して前述の効果を出すこともできる。

【００４７】静止画も前もって入手し、これをくり返し
使う方法も考えられる。実際の会議に入る前の会議参加
者の一人でも議事録作成の設定を行ない他者が参照した
とき（他の参加者のパソコンに対してテキスト送信要求
をだした時）に、各画像入力部２で参加者の顔を撮影
し、発言者ＩＤ９１を付加してテキスト送信要求をだし
ているパソコンに送信をし、議事録に使用する顔画像デ
ータに使う。

【００４８】この画像はパソコン会議中に送信されてい
る動画像データに比べて画質の良い静止画となり、くり
返し画像データをやり取りする必要がなくなる。図９で
示した顔画像データのフォーマットに時刻を付加しても
よい。この時のフォーマットを図１３に示す。この時刻
データを用いれば、図１０と図１１で説明した並びかえ
がより効率的にできる。

【００４９】以上のように本願発明の第２の実施例によ
れば、会議で話された内容が自動的に議事録として作成
され、議事録作成者の仕事を軽減する。また、発言内容
の横に発言者の顔画像を表示することにより、誰の発言
の物か後に読んでも容易にわかるようになる。

【００５０】

【発明の効果】以上のように、本発明によれば、音声テ
キスト変換処理を自分のパソコン上にて行うことによ
り、精度の高いテキスト変換が可能になり、会議議事録
に使用することができる。また、議事録に発言者の顔画
像を貼り付けることにより、後で議事録を参照したとき
に容易に発言者を確認できる。

【図面の簡単な説明】

【図１】本願発明の一実施形態である会議システムの構
成を示すブロック図である。

【図２】本願発明の一実施形態であるパソコン会議での
通常の音声信号の処理の流れを示すフローチャートであ
る。

【図３】本願発明の一実施形態である第１の実施例の音
声信号がテキスト変換処理され送信される流れのフロー
チャートである。

【図４】本願発明の一実施形態である第１の実施例の音
声信号のフォーマットの模式図である。

【図５】本願発明の一実施形態である第１の実施例の議
事録を作成する前の議事録作成手段に記憶されているテ
キストデータの模式図である。

【図６】本願発明の一実施形態である第１の実施例の議
事録を作成した後の議事録記録手段に記憶されている音
声データの模式図である。

【図７】本願発明の一実施形態である第１の実施例のテ
キスト変換された議事録をモニタ上に表示したときの図
である。

【図８】本願発明の一実施形態である第２の実施例の入
力された顔画像データとテキストデータから議事録を作
成する流れを示したフローチャートでる。

【図９】本願発明の一実施形態である第２の実施例の顔
を撮影した画像のフォーマットの模式図である。

【図１０】本願発明の一実施形態である第２の実施例の
議事録を作成する前の議事録作成手段に記憶されている
画像データとテキストデータの模式図である。

【図１１】本願発明の一実施形態である第２の実施例の
議事録を作成した後の議事録記録手段に記憶されている
画像データとテキストデータの模式図である。

【図１２】本願発明の一実施形態である第２の実施例の
顔画像とテキストデータからなる議事録をモニタ上に表
示したときの図である。

【図１３】本願発明の一実施形態である第２の実施例の
顔を撮影した画像に時刻コードを付加した場合のフォー
マットの模式図である。

【図１４】従来の会議システムの概略図である。

【符号の説明】

１…パソコン、２…画像入力部、３…音声入出力部 ４…データ入力部、５…パソコン会議処理部 ６…音声テキスト変換処理部、７…議事録作成部 ８…議事録記録部、９…音声蓄積部 １０…通信インターフェース、１１…通信網、１２…モ
ニタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 諸星 利弘 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 福元 富義 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (6)

【特許請求の範囲】
1. 【請求項１】音声データを入力するための入力手段と、 この入力手段によって入力された音声データに識別子を
   付与して記憶する音声蓄積手段と、 この音声蓄積手段に記憶された音声データを文字データ
   に変換する変換手段と、 この変換手段によって変換された文字データをこの文字
   データに変換された音声データに付与された識別子をも
   とに並べ替え、議事録を作成する手段とを有することを
   特徴とする議事録作成装置。
2. 【請求項２】音声データおよびこの音声データに対応す
   る画像データを入力する画像入力手段と、 この入力手段によって入力された音声データおよびこの
   音声データに対応する画像データに識別子を付与して記
   憶する記憶手段と、 この記憶手段に記憶された音声データを文字データに変
   換する変換手段と、 この変換手段によって変換された前記文字データと前記
   文字データに変換された音声データに対応する前記記憶
   手段に記憶された画像データとを前記識別子をもとに並
   べ替え、議事録を作成する手段とを有することを特徴と
   する議事録作成装置。
3. 【請求項３】入力された音声データに識別子を付与して
   記憶し、 記憶された音声データを文字データに変換し、 変換された文字データを前記音声データに付与された識
   別子をもとに並べ替え、議事録を作成することを特徴と
   する議事録作成方法。
4. 【請求項４】入力された音声データおよびこの音声デー
   タに対応する画像データに識別子を付与して記憶し、 この記憶された音声データを文字データに変換し、 この変換された前記文字データと前記文字データに変換
   された音声データに対応する記憶された画像データとを
   前記識別子をもとに並べ替え、議事録を作成することを
   特徴とする議事録作成方法。
5. 【請求項５】複数のコンピュータを介してデータをやり
   取りし、議事録を作成するプログラムをコンピュータで
   実行可能なように記録された記録媒体であって、 入力された音声データに識別子を付与して記憶し、 記憶された音声データを文字データに変換し、 変換された文字データを前記音声データに付与された識
   別子をもとに並べ替え、議事録を作成するプログラムを
   コンピュータで実行可能なように記録された記録媒体。
6. 【請求項６】複数のコンピュータを介してデータをやり
   取りし、議事録を作成するプログラムをコンピュータで
   実行可能なように記録された記録媒体であって、 入力された音声データおよびこの音声データに対応する
   画像データに識別子を付与して記憶し、 この記憶された音声データを文字データに変換し、 この変換された前記文字データと前記文字データに変換
   された音声データに対応する記憶された画像データとを
   前記識別子をもとに並べ替え、議事録を作成するプログ
   ラムをコンピュータで実行可能なように記録された記録
   媒体。