JPH04111659A - 情報蓄積通信装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、静止画、音声、描画、およびそれらを指示す
るためのポインティングからなるマルチメディア情報を
送信装置側に一時蓄積した後、その情報を狭帯域伝送路
の通信回線を介して受信装置に同期送信し、送受信装置
双方で各タデイア情報を出力することができる情報蓄積
通信装置に関するものである。

〔従来の技術〕

画像、音声、およびポインティング等のマルチメディア
を用いた通信会議において、会議欠席予定者が予めマル
チメディアデータを蓄積しておき、会議中にその蓄積デ
ータを送信端末と受信端末とて同期をとって出力する方
法が予定されている。

そのための対策として、マルチメディア同期出力のため
の蓄積方式が、例えば、林他　「マルチメディア通信端
末における同期編集制御法」信学論Ｂ、　Ｖｏｌ、Ｊ７
０−Ｂ、Ｎｏ、２、ｐｐ、２１４〜２２１で検討されて
いる。

［発明が解決しようとする課題］ 従来、静止画、音声、描画、およびボインティング等の
マルチメディアを用いたプレゼンテーション（提案）を
−時蓄積して、それを送受信し再生するために、ビデオ
カメラ等によりプレゼンテーション風景を撮影した後、
その撮影映像を送受信するための広帯域の伝送路を必要
としていた。

例えば、同軸ケーブル等のビデオ画像伝送用の通信回線
等が必要となる。

６４ビツトのｌ５ＤＮ回線を使用したい場合でも、この
ような狭帯域の伝送路では、マルチメディアプレゼンテ
ーション等のマルチメディア蓄積通信は不可能であった
。

本発明の目的は、二のような従来の課順を解決し、静止
画、音声、描画、およびボインティング等のマルチメデ
ィア情報を一時蓄積し、送受信および再生を狭帯域伝送
路を用いて伝送した後、双方から出すことが可能な情報
蓄積通信装置を提供することにある。

［課題を解決するための手段］ 上記目的を達成するため、本発明の情報蓄積通信装置は
、（イ）各メディア情報の入力時の表示時間とデータの
存在時間を測定することにより、自動的に蓄積時の管理
単位に分割しながら、各メディア情報を入力する入力手
段（１０１，１０２゜１０３）と、各メディア情報を蓄
積する際に、情報出力時の各メディア情報の出力契機を
管理する同期管理情報を、各メディア情報の蓄積管理単
位毎に付加する同期管理情報生成手段（ｌ　０１７゜１
０２７．１０３４．１０５４）と、各メディア情報を送
受信した後に、上記送信装置および受信装置の双方で、
上記同期管理情報に基づいて、上記マルチメディア情報
を入力時と同時系列で並列に同期出力させる出力手段（
１０４，１０７，１０８，２０２，２０３，２０４）と
を有することに特徴がある。また、（ロ）上記出力手段
は、マルチメディア情報を並列に同期出力させる際に、
情報出力時に装置間相互で同期情報を送受信することに
より（１０９，２０５からの信号）、該マルチメディア
情報を送信装置と受信装置間で同期出力することにも特
徴がある。

［作　　用］ 本発明においては、音声情報、静止画情報と、その静止
画に対して描かれる描画情報、静止画の部分を指示する
ボインティング情報を、各メディアの同期管理情報とと
もに送受信して、出力時には、送受信装置間の同期と各
メデイア間の同期を保持して出力する。すなわち、各メ
ディア情報を管理単位に分割して、同期管理情報を付加
することにより６４　Ｋｂｐｓのｌ５ＤＮ回線を介して
受信側に個々に送信し、受信側では同期管理情報に基づ
いて蓄積しておき、その後、送信側と受信側の両保から
同期情報に従って同期出力するようにしている。従って
、狭帯域伝送路を介してマルチメディア情報を伝送でき
る。この場合、静止画ブタを圧縮せずに伝送しているが
、データを全て伝送しているため、画質の劣化はない。

これにより、従来は、広帯域伝送路を必要としたマルチ
メディア同期蓄積通信を、狭帯域伝送路を用いて伝送す
ることができるようにした。

〔実施例］ 以下、本発明の実施例を、図面により詳細に説明する。

第１図は、本発明の一実施例を示すマルチメディア情報
送信／蓄積装置と受信装置のブロック図である。

マルチメディア情報送信／蓄積装置１０には、音声入力
部１０１、描画・ボインティング入力部１０２、静止画
入力部１０３、情報蓄積部１０５、情報記憶部１０４、
情報送信部１０６、音声出力部１０７、画像表示部１０
８、および出カ用時間監視部１０９が設けられる。

一方、マルチメディア情報受信装置２０には、情報受信
部２０１、情報記憶部２０２、音声出力部２０３、画像
表示部＋０８、および出力用時間監視部２０５とが設け
られる。

ここで、送信／蓄積装置１０および受信装置２０の情報
記憶部ｌ○４，２０２、音声出力部１０７．２０３、画
像表示部１０８，２０４、および出力時間監視部１０９
，２０５は、それぞれ同等の機能を備えている。これら
の各装置は、従来から存在するハードウェアの回路で構
成することができるが、入出力および通信制御のための
プログラムは必要である。

以下、第１図における各部の構成および動作を詳細に述
べる。

第２図は、第１図における音声入力部の具体例を示すブ
ロック図である。

音声入力部１０１には、音声を入力するための各機能を
有する部分が含まれている。音声入力部１０１には、例
えば、第２図に示すように、音声を入力する音声入力装
置＋０１１と、有音／無音判定部１０１２と、区切り符
号付加部＋０１３と、無音時間閾値入力部＋０１４と、
無音部分時間測定部＋０１５と、音声セグメント生成用
記憶部１０１６と、同期管理情報生成部１０１７とが設
けられる。

音声入力装置１０１１を介して音声情報が入力すると、
有音／無音判定部１０１２において、音圧レベル等によ
り有音、無音の判定を行い、有音から無音、無音から有
音に変化したときには、それぞれ無音検出信号または有
音検出信号を、音声セグメント生成用記憶部１０１６、
区切り符号付加部１０１３および無音部分時間測定部１
０１５に対してそれぞれ送出する。音声セグメント生成
用記憶部１０１６は、音声入力開始以降、最初の有音検
出信号を受信した時点から、音声情報の第１次蓄積を行
う。音声セグメント生成用記憶部１０１６がその処理を
行っている間、区切り符号付加部１０１３が有音／無音
判定部１０１２から無音検出信号を受信した場合、音声
セグメント生成用記憶部１０１６に対して有音区間終了
を示す仮区切り符号を送出し、その時点の入力箇所に仮
区切り符号を付加する。一方、無音検出信号により、無
音部分時間測定部＋０１５が起動され、仮区切り符号付
加部１０１３から次の有音検出識別子を受信するまでの
時間を計測する。

次の有音検出信号を受信すると、無音部分時間測定部１
０１５は、仮区切り符号付加時がら次の有音検出識別子
受信までの時間と無音時間閾値入力部１０１４から、予
め入力された無音時間閾値Ｔ、ｈとを比較して、その時
間が無音時間閾値Ｔいを越えない場合には、その無音部
分は有音区間中の情報に分類し、仮区切り符号を外して
引続き情報を蓄積する。

仮区切り符号付加時から次の有音検出識別子を受信する
までの時間が無音時間閾値Ｔｔｈを越えた場合には、仮
区切り符号を本区切り符号に変更する。

このとき、音声セグメント生成用記憶部１０１６に記憶
された本区切り記号以前の音声情報を音声セグメントと
する。本区切り符号以降、有音検出識別子の情報につい
ては、無音区間とし、冗長な情報として蓄積データを破
棄する。この処理の後、音声セグメント生成用記憶部１
０１６は、生成セグメントを情報蓄積部１０５に送信し
て、情報蓄積部１０５内の音声情報Ｍ積面にＭ積する。

一方、同期管理情報生成部１０１７は、音声セグメント
生成記憶部１０１６からのセグメント生成に関する信号
により、生成セグメントに関する同期管理情報を生成す
る。これは、例えば入力開始から最新音声セグメント開
始までの経過時間の情報である。そして、これを情報蓄
積部１０５に送信する。

第３図は、第１図における描画・ボインティング入力部
の具体例を示すブロック図である。

描画・ボインティング入力部１０２には、例えば第３図
に示すように、描画・ポインティング入力装置＋０２１
．ペンアップ／ペンダウン判定部１０２２、区切り符号
付加部１０２３、無データ閾値入力部１０２４、無デー
タ区間時間測定部＋０２５．描画・ボインティングセグ
メント生成用記憶部１０２６、同期管理情報生成部１０
２７、および描画／ボインティング判定部１０２８、描
画／ボインティング識別子付加部１ｏ２９が設けられる
。

描画・ボインティング情報が描画・ボインティング入力
装置１０２１を介して入力すると、ペンアップ／ペンダ
ウン判定部１ｏ２２において、ペンアップ／ペンダウン
の判定を行い、ペンアップの瞬間とペンダウンの瞬間に
は、それぞれペンアップ検出信号、ペンダウン検出信号
を、描画・ボインティングセグメント生成用記憶部１０
２６゜区切り符号付加１？１ｉ１０２３、および無デー
タ区間時間測定ｇ１０２Ｂに対してそれぞれ送出する。

描画・ボインティングセグメント生成用記憶部１０２６
は、描画・ボインティング入力開始以降、最初のペンダ
ウン検出信号を受信した時点から描画・ボインティング
情報の第１次蓄積を行う。描画・ボインティングセグメ
ント生成用記憶部１０２６がこの処理を行っている間、
区切り符号付加部１０２３がペンアップ／ペンダウシ判
定部１０２２からペンアップ検出信号を受信した場合、
描画・ボインティングセグメント生成用記憶部１０２６
に対して、データ存在区間終了を示す仮区切り符号を送
出して、その時点の入力箇所に仮区切り符号を付加する
。一方、ペンアップ検出信号により、無データ区間時間
測定部１０２５が起動されて、仮区切り符号付加時から
次のペンダウン検出識別子を受信するまでの時間を計測
する。

次のペンダウン検出信号の受信時に、無データ区間時間
測定部１０２５は、仮区切り符号付加時から次のペンダ
ウン検出識別子の受信までの時間と無データ時間閾値入
力部１０２４から予め入力された無データ時間閾値Ｔい
とを比較して、その時間が無データ時間閾値７ｔｈを越
えない場合には、その無データ区間はデータ存在区間中
の情報に分類し、仮区切り符号を外して引続き情報の蓄
積を行う６ また、無データ区間時間測定部１ｏ２５は、仮区切り符
号付加時から、次のペンダウン検出識別子を受信するま
での時間が無データ時間閾値Ｔｔｈを越えた場合には、
仮区切り符号を重置切り符号に変更する。

この時に、描画・ボインティングセグメント生成用記憶
部１０２６に記憶された重置切り符号以前の描画・ボイ
ンティング情報を、描画・ボインティングセグメントと
する。重置切り符号以降でベンダウン検出時以前の情報
については、無データ区間とし、その部分は冗長な情報
であるから蓄積データを破棄する。この処理の後、描画
／ボインティング判定部１０２８は、生成されたセグメ
ントが描画かボインティングかの判定を行うことにより
、描画／ボインティング識別子付加部１０２９に判定結
果の信号を送出する。描画／ボインティング識別子付加
部１０２９は、その信号を受信した後、その信号に応じ
て描画／ボインティングセグメント生成用記憶部１０２
６のセグメントに描画／ボインティングを示す識別子を
付与する。

そして、描画／ボインティングセグメント生成用記憶部
１０２６は、生成セグメントを情報蓄積部＋０５に送信
して、情報Ｍ種部１０Ｓ内の描画・ボインティング情報
Ｍ積邪にこれを蓄積させる。

一方、同期管理情報生成！＋０２７は、描画・ボインテ
ィングセグメント生成記憶部１０２６からのセグメント
生成に関する信号により、生成セグメントに関する同期
管理情報、例えば入力開始から最新描画・ボインティン
グセグメント開始までの経過時間等を生成し、これも情
報Ｗ横部１０５に送信する。

第４図は、第１図における静止画像入力部の詳細ブロッ
ク図である。

静止画像入力部１０３には、例えば、第４図に示すよう
に、静止画入力装置１０３１．ページ替え指示部１０３
２、静止画セグメント生成用記憶部１０３３、および同
期管理情報生成部１０３４が設けられる。

静止画情報が静止画入力装置１０３１から入力すると、
静止画セグメント生成用記憶部１０３３は表示されるＩ
ページ分のデータを１セグメントとして一時蓄積すると
ともに、画像表示装置１０８に表示する。複数の静止画
が使用される場合には、静止画セグメント生成用記憶部
１０３３はページ替λ指示部１０３２から入力されたペ
ージ替え信号に従って静止画セグメントの更新処理を施
こす。その後、静止画セグメント生成用記憶部１０３３
は、生成セグメントを情報蓄積部１０５に送信して、情
報蓄積部１０５内の静止画情報蓄積部に蓄積する。

一方、同期管理情報生成部１０３４は、静止画セグメン
ト生成用記憶部１０３３からのセグメント生成に関する
信号により、生成セグメントに関する同期管理情報、例
えば入力開始からその静止画セグメント表示開始までの
時間等の情報を生成して、情報蓄積部１０５に送信する
。

第５図は、第１図における情報蓄積部の詳細ブロック図
である。

情報蓄積部１０５には、第５図に示すように、音声情報
蓄積部１０５１、描画・ボインティング情報蓄積部１０
５２、静止画情報蓄積部１０５３、および同期管理情報
蓄積部１０５４が設けられる。

音声人力部ｌｏｔ内の音声セグメント生成用記憶１１１
＋１０１６から生成セグメントが送られると、音声情報
蓄積部１０５＋はこれを蓄積する。また、音声入力部１
０１内の同期管理情報生成部１０１７から生成セグメン
トに関する同期管理情報が送られると、この情報を同期
管理情報蓄積部＋０５４に蓄積するとともに、音声情報
蓄積部１０５１における音声情報の蓄積メモリアドレス
情報を同期管理情報蓄積部１０５４に転送する。

描画・ボインティング入力１１０２内の描画・ボインテ
ィングセグメント生成用記憶部１０２６から生成セグメ
ントが送られると、描画／ボインティング情報蓄積［１
０５２はこの情報を蓄積する。また、描画・ボインティ
ング入力部１０２内の同期管理情報生成部１０２７から
同期管理情報が送られると、これを同期管理情報蓄積部
１０５４に蓄積するとともに、描画／ボインティング情
報蓄積部１０５２における描画・ボインティング情報の
蓄積メモリアドレス情報を同期管理情報蓄積部１０５４
に転送する。

静止画入力部＋０３内の静止画生成用記憶部１０３３か
ら生成セグメントが送られると、静止画情報蓄積部１０
５３がこれを蓄積する。また、静止画入力部＋０３内の
同期管理情報生成部１０３４から生成セグメントに関す
る同期管理情報が送られると、これを同期管理情報蓄積
部１０５４に蓄積するとともに、静止画情報蓄積部１０
５３における静止画情報の蓄積メモリアドレス情報を同
期管理情報蓄積部１０５４に転送する。

第６図は、本発明における各メディアの時間軸上の存在
例を示す図である。

すなわち、マルチメディアを用いてプレゼンテーション
を行った場合には、各メディアの時間軸上には、太線で
示すメディアが存在する。ｖ−ｔｉｍｅｌ、ｖ　ｔｉｍ
ｅ２．ｖ　ｔｉｍｅ３．ｖ　ｔｉｎ＋ｅ４．ｖ−ｔｉｍ
ｅ５は、それぞれ音声セグメントの開始時間であり、ま
たｗ−ｔｉ＋ｓｅｔ０ｗ　ｔｉ＋ｘｅ２．ｗ　ｔｉｍｅ
３．は、それぞれ描画・ボインティングセグメントの開
始時間であり、またｓ　ｔｉ＋Ｉｅ１、ｓ　ｔｉｍｅ２
．は、それぞれ静止画セグメントの開始時間である。

第７図は、第５図における同期管理情報蓄積部の同期管
理情報テーブル例を示す図である。

このテーブルは、各セグメントの開始時刻およびそのセ
グメントの蓄積メモリアドレスを示している。音声、描
画・ボインティング、静止画の各メディア欄の左側がセ
グメントの開始時刻、右側がそのセグメントの蓄積メモ
リアドレスである。

マルチメディア情報の送受信においては、マルチメディ
ア情報送信／Ｍ積面１０は、情報蓄積部１０５の各メデ
ィア情報蓄積部１０５１．１０５２．１０５３から各メ
ディア情報を読み出すと同時に、同期管理情報蓄積部１
ｏ５４から第７図に示すような同期管理情報を読み出し
て、それらの情報を一時、情報記憶部１０４に記憶する
。このとき、各メディアの同期管理情報中の蓄積メモリ
アドレスは、情報記憶部１０４の蓄積メモリアドレスに
変更される。読み出された各メディア情報および同期管
理情報は、情報送信部＋０６から通信回線３０を介して
マルチメディア情報受信装置２０の情報受信部２０１に
送信され、さらに情報記憶部２０２に一時蓄積される。

各メディア情報の出力時には、送信側および受信側とも
に、出力用時間監視部１０９，２０５が情報記憶部１０
４，２０２に蓄積されている第７図の同期管理情報に従
って、各メディアセグメントの出力契機を時間監視して
いる。そして、出力用時間監視部１０９．２０５からそ
れぞれ情報記憶部１０４，２０２に対して各メディアの
セグメント出力開始信号を送出する。

情報記憶部１０４，２０２は、その出力開始信号を受信
すると、音声情報を音声出力部１０７゜２０３に、描画
・ポインティング情報、静止画情報を画像表示部１０８
，２０４に、それぞれ出力して、第６図に示す入力時と
同じ並列出力を再現することができる。

マルチメディア情報送信／蓄積装置ｌＯおよびマルチメ
ディア情報受信装置２０の双方において、各メディア情
報を同時に出力する場合には、マルチメディア情報送受
信装置１０．２０の双方で出力開始情報としての装置間
同期情報を送受信し合い、それらの情報を契機としてセ
グメント出力の制御を行えばよい。

このように、本発明では、音声、描画ともに無データ時
の圧縮は行うが、静止画情報および描画情報を圧縮・符
号化せずに、マルチメディア出力時の自然さを保持した
ままの通信を行うことにより、狭帯域伝送路でマルチメ
ディア情報の伝送が可能となる。

〔発明の効果１ 以上説明したように、本発明によれば、広帯域伝送路の
みで伝送されていた静止画、音声、描画およびボインテ
ィング等のマルチメディア情報を、−時蓄積して、送受
信および再生を行うことにより、マルチメディア情報を
狭帯域の伝送路により送受信することが可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例を示すマルチメディア情報送
信／蓄積装置と受信装置のブロック図、第２図は第１図
における音声入力部の具体例を示すブロック図、第３図
は第１図における描画・ボインティング入力部の具体例
を示すブロック図、第４図は第１図における静止画入力
部の具体例を示すブロック図、第５図は第１図における
情報蓄積部の具体例を示すブロック図、第６図は本発明
における各メディアの時間軸上の存在例を示す図、第７
図は第５図における情報蓄積部の同期管理情報テーブル
例を示す図である。 １０・マルチメディア情報送信７Ｍ種装置、２０：マル
チメディア情報受信装置、３ｏ０通信回線、１０１：音
声入力部、１０２：描画・ボインティング入力部、１０
３：静止画入力部、１０４：情報記憶部、１０５・情報
蓄積部、１０６．情報送信部、１０７：音声出力部、１
０８：画像表示部、１０９：出力用時間監視部、２０１
：情報受信部、２０２・情報記憶部、２０３：音声出力
部、２０４　：Ｉｉ像表示部、２０５：出力用時間監視
部。 第 図

Claims (2)

【特許請求の範囲】
1. （１）静止画、音声、描画、およびポインティングから
   なるマルチメディア情報を送信装置側に一時蓄積し、通
   信回線を介して該送信装置側から受信装置側に送信した
   後に、該送信装置と受信装置の双方から上記各メディア
   情報を出力するマルチメディア蓄積通信装置において、
   各メディア情報の入力時の表示時間とデータの存在時間
   を測定することにより、自動的に蓄積時の管理単位に分
   割しながら、各メディア情報を入力する入力手段と、各
   メディア情報を蓄積する際に、情報出力時の各メディア
   情報の出力契機を管理する同期管理情報を、各メディア
   情報の蓄積管理単位毎に付加する同期管理情報生成手段
   と、各メディア情報を送受信した後に、上記送信装置お
   よび受信装置の双方で、上記同期管理情報に基づいて、
   上記マルチメディア情報を入力時と同時系列で並列に同
   期出力させる出力手段とを有することを特徴とする情報
   蓄積通信装置。
2. （２）請求項１に記載の情報蓄積通信装置において、上
   記出力手段は、マルチメディア情報を並列に同期出力さ
   せる際に、情報出力時に装置間相互で同期情報を送受信
   することにより、該マルチメディア情報を送信装置と受
   信装置間で同期出力することを特徴とする情報蓄積通信
   装置。