JPH11262096A

JPH11262096A - 記録再生装置

Info

Publication number: JPH11262096A
Application number: JP5700298A
Authority: JP
Inventors: Takashi Osawa; 隆大澤; Hiroshi Katsurabayashi; 浩桂林; Eriko Tamaru; 恵理子田丸
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-03-09
Filing date: 1998-03-09
Publication date: 1999-09-24
Anticipated expiration: 2018-03-09
Also published as: JP3594068B2

Abstract

(57)【要約】【課題】記録媒体上の再生箇所の時間的な位置や、記
録されている音声情報の時間的な流れ、さらには、記録
されている音声情報に関連する情報が何であるかを、聴
覚的な情報のみで容易に把握できる記録再生装置を提供
する。【解決手段】指定された再生対象の音声情報の全記録
時間中の時間位置に応じた、聴空間上の仮想音源位置を
定めるための仮想音源配置情報を生成する仮想音源配置
手段１９を設ける。再生部１７は、記録媒体から、指定
された再生対象の読み出し、その音声情報について、仮
想音源配置手段１９からの仮想音源配置情報に基づいて
全記録時間中のそれぞれの時間位置の音声出力が、その
時間位置に対応して聴空間上位置に定位して聴取される
ように再生処理する。再生部７で処理した音声は、音声
出力部１８から出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば会議など
における音声情報を記録し、再生する記録再生装置に関
する。

【０００２】

【従来の技術】従来のこの種の記録再生装置としては、
市販の製品でいえば、カセットテープレコーダや、例え
ばミニディスクを用いたディスクレコーダなどが代表的
なものである。それらは、カセットテープやディスクな
どの記録媒体に音声情報を記録し、再生の必要があれ
ば、時間や機器のカウンタ数値を指定して所望の箇所の
再生を開始することができる。

【０００３】特に、ミニディスクなどのようなディスク
媒体に記録されている音声の場合、ランダムアクセス機
能により、所望の音声情報の記録位置に瞬時にアクセス
することが可能となっている。

【０００４】この種の記録再生装置において、再生時
に、記録された音声のどのあたりの箇所を再生している
かは、表示されているカウンタ数値や時刻情報を見るこ
とで確認することができる。

【０００５】また、これらの市販の機器の機能を更に充
実させたシステムとして、特に、会議、講演会などをタ
ーゲットにした記録再生システムが、従来から提案され
ている。それらの代表的な例としては、特開平６−３４
３１４６号公報に記載されたものがある。

【０００６】このシステムでは、会議の音声・映像など
のマルチメディア情報を記録する一方で、会議参加者の
ペン入力やキーボード入力などのユーザ入力情報と、そ
の入力時刻を記録する機能がある。そして、後で、ユー
ザ入力情報の入力時刻を利用して、そのユーザ入力情報
に関連するマルチメディア情報を再現できるような仕組
みが備えられている。

【０００７】そして、記録した音声を再生している時に
は、時間軸上に音声波形を示した画面を表示させ、そこ
に再生している箇所を示す印が表示されているので、記
録中のどのあたりを再生しているかをユーザは確認する
ことができる。

【０００８】

【発明が解決しようとする課題】上述の従来技術に挙げ
たテープレコーダ、ディスクレコーダなどの市販の機器
や、特開平６−３４３１４６号公報に記載のような記録
再生システムは、記録情報中のどのあたり、あるいは、
いつの記録情報を再生しているかを確認するには、カウ
ンタ数値や時刻を表示している視覚的ディスプレイを見
て確認する必要がある。

【０００９】また、ディスクレコーダではランダムアク
セス機能により、記録時の本来の時間的流れとは全く関
係なく、さまざまな箇所に自由にアクセスすることが容
易なため、アクセスが本来の時間の流れとは異なる順序
で行われることが良くあるが、このような場合に、個々
のアクセス箇所の情報の時間関係を把握しづらいという
問題がある。また、再生した音声情報から記録時の時間
的な音声情報の流れを把握するためには、個々の再生ア
クセス位置における時刻やカウンタの値を覚えておき、
そこから本来の音声情報の流れを再構成する必要があ
る。

【００１０】この発明は、以上の点にかんがみ、記録媒
体上の再生箇所の時間的な位置を、聴覚的な情報のみで
把握できるようにし、更に、記録されている音声情報の
時間的な流れを、聴覚的な情報のみで容易に把握できる
記録再生装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、請求項１の発明による記録再生装置は、入力音声情
報を、記録のために処理する記録音声信号処理手段と、
前記記録音声信号処理手段で処理された音声情報を、そ
の先頭から終わりまでの全記録時間に関する付加情報と
ともに記録媒体に格納する音声情報格納手段と、前記記
録媒体に記録されている前記音声情報の内から再生対象
の音声情報を指定する再生指定手段と、前記再生指定手
段により指定された再生対象の音声情報の付加情報か
ら、前記再生対象の音声情報の前記全記録時間中の時間
位置に応じた、聴空間上の仮想音源位置を定めるための
仮想音源配置情報を生成する仮想音源配置手段と、前記
仮想音源配置手段からの前記仮想音源配置情報を受け取
るとともに、前記再生指定手段により指定された音声情
報を前記記録媒体から読み出し、その読み出した音声情
報について、前記全記録時間中のそれぞれの前記時間位
置の音声出力が、前記仮想音源配置情報に基づいて決定
される聴空間上位置に定位して聴取されるように再生処
理する再生手段と、前記再生手段で再生処理された音声
情報による音声を出力するための音声出力手段と、前記
各手段の動作を制御する制御手段と、を備えることを特
徴とする。

【００１２】また、請求項２の発明は、請求項１に記載
の記録再生装置において、前記再生指定手段は、前記記
録媒体に記録されている前記音声情報の内から再生対象
の音声情報を指定するとともに、その再生対象の音声情
報の内の所望の再生区間を指定するものであり、前記仮
想音源配置手段は、前記指定手段で指定された前記再生
区間の情報をも取得して、この指定された再生区間の先
頭から終りまでの各時間位置に応じた聴空間上位置を定
めるための仮想音源配置情報を生成して、その仮想音源
配置情報を前記再生手段に送り、前記再生手段は、前記
指定された再生区間内の音声情報について、それぞれの
時間位置の音声出力が、前記仮想音源配置情報に基づい
て決定される聴空間上位置に定位して聴取されるように
再生処理することを特徴とする。

【００１３】また、請求項３の発明は、請求項１に記載
の記録再生装置において、前記音声情報の時間軸に関連
した表示情報を生成する表示情報生成手段と、前記表示
情報生成手段で生成された前記表示情報を、表示画面に
表示する表示手段と、を備え、前記仮想音源配置手段
は、前記再生対象の音声情報の各時間位置に応じた聴空
間上位置を、前記表示画面に表示された表示情報上に配
置することを特徴とする。

【００１４】また、請求項４の発明の記録再生装置は、
入力音声情報を、記録のために処理する記録音声信号処
理手段と、前記記録音声信号処理手段で処理された音声
情報を、記録媒体に記録して格納する音声情報格納手段
と、前記入力音声情報に関連する関連情報を、前記入力
音声情報の前記記録媒体上の記録位置との対応関係とと
もに、記録して格納する関連情報格納手段と、前記関連
情報格納手段から読み出された前記関連情報の複数個を
表示画面に表示する表示手段と、前記記録媒体に記録さ
れている前記音声情報の内から再生対象の音声情報を指
定する再生指定手段と、前記再生指定手段により指定さ
れた再生対象の音声情報の各時間位置に対応する前記関
連情報を、前記関連情報格納手段からの情報に基づいて
検出し、前記指定された再生対象の音声情報の各時間位
置に応じた聴空間上位置を、前記表示画面に表示された
複数の関連情報の内の、前記再生対象の音声情報の各時
間位置に応じた関連情報上に配置することを特徴とす
る。

【００１５】また、請求項５の発明は、請求項１〜請求
項４のいずれかに記載の記録再生装置において、前記再
生手段は、頭部伝達関数を用いた演算を用いて音像の定
位を実現することを特徴とする。

【００１６】また、請求項６の発明は、請求項１〜請求
項４のいずれかに記載の記録再生装置において、前記音
声出力の聴取者の頭部運動を検出する頭部運動検出手段
を備え、前記仮想音源配置手段は、前記頭部運動検出手
段で検出された頭部運動を考慮して、前記仮想音源配置
情報を生成することを特徴とする。

【００１７】

【作用】上述のような構成の請求項１の発明において
は、再生指定手段で再生する音声情報が指定されると、
仮想音源配置手段は、その指定された音声情報の付加情
報から、その全記録時間を検知し、記録媒体から順次に
再生される音声情報の、前記全記録時間中の各時間位置
に応じた仮想音源位置を聴空間上に定めるための仮想音
源配置情報を生成し、その生成した仮想音源配置情報を
再生手段に送る。

【００１８】再生手段は、再生指定手段で指定された音
声情報を記録媒体から読み出し、その読み出した音声情
報について、前記仮想音源配置手段からの仮想音源配置
情報に基づいて決定される聴空間上位置に定位して聴取
されるようにする処理を施す。そして、その処理後の音
声情報を、音声出力手段に供給する。

【００１９】この結果、音声出力手段から出力される音
声は、再生音声情報の、全記録時間中の時間位置に応じ
た聴空間上位置に定位するように聴取される。したがっ
て、音声情報を聴取するだけで、現在再生中の音声情報
が、指定した音声情報のどの当たりのものかを知ること
ができる。また、再生中の音声情報の音像定位位置は、
時間の経過とともに変化するので、音声情報の時間的な
流れを容易に把握することができる。

【００２０】また、請求項２の発明によれば、再生指定
手段は、再生対象の音声情報のうちの所望の再生区間を
指定することが可能であり、仮想音源配置手段は、その
指定された再生区間内における各時間位置に応じた聴空
間上位置を定めるための仮想音源配置情報を生成する。
したがって、音声情報の全体を再生する場合でなくと
も、その指定された音声再生区間が、全体のどの当たり
のものであるかを知ることができる。また、その再生区
間内における音声情報の時間的な流れも容易に把握する
ことができる。

【００２１】また、請求項３の発明によれば、音声情報
の時間軸に関連した表示情報が表示情報生成手段で生成
される。例えば、入力音声情報が会議音声の場合におい
て、複数の会議参加者のそれぞれの発言区間が検出さ
れ、その各会議参加者の発言区間がチャートとして表示
手段の表示画面に表示される。

【００２２】仮想音源配置手段は、再生対象の音声情報
の各時間位置に応じた聴空間上位置を、表示画面の表示
情報上に配置する。前記発言区間のチャートが表示され
る例では、チャート上の当該音声の発言者の発言区間の
部分に、再生音声出力が定位するようにする仮想音源配
置情報を生成する。

【００２３】したがって、この仮想音源配置情報により
再生手段で、各時間位置の音声情報が処理されて、音声
出力手段により音声出力されることにより、例えば、各
発言者の音声出力は、その発言者の発言区間の表示部分
からあたかも出力されるかの如く聴取される。

【００２４】また、請求項４の発明においては、音声記
録手段により記録される音声情報に関連する関連情報
が、音声情報との対応が付けられて、関連情報格納手段
に格納されている。この関連情報としては、例えば、会
議において提示された文書資料などが挙げられる。

【００２５】そして、再生時において、複数の関連情報
が画面に表示されている時に、音声情報が再生される場
合、仮想音源配置手段により、音声出力は、表示画面上
に表示されている対応する時間位置に関連して格納され
ている関連情報から出力されるように定位するようにさ
れる。前述の会議の文書資料の場合であれば、再生され
ている音声情報が記録された時に、提示されていた文書
資料の位置からあたかも音声が出力されるようになり、
聴取者は、どの文書資料に関する音声情報であるかを容
易に把握することができる。

【００２６】また、請求項５の発明によれば、頭部伝達
関数が用いられて音声処理が行われて、音像が、定位感
良く、上述のような聴空間上の所定の位置に配置でき
る。

【００２７】また、請求項６の発明によれば、聴取者の
頭の位置が変わっても、その頭部の運動を検出して、そ
の頭部運動に応じた仮想音源配置を行うことができるの
で、聴空間として絶対空間内に音像を位置付けることが
できる。

【００２８】

【発明の実施の形態】以下、この発明による記録再生装
置の実施の形態を図を参照しながら説明する。

【００２９】［第１の実施の形態］図２は、第１の実施
の形態の記録再生装置のシステム概観を示すもので、マ
イクロホン１で収音した音声の信号を、Ａ／Ｄ変換ボー
ド２によりデジタル信号に変換し、例えばパーソナルコ
ンピュータ３に入力する。パーソナルコンピュータ３で
は、入力されたデジタル音声信号を、必要に応じて圧縮
処理を施し、例えば内蔵ハードディスクに記録する。

【００３０】パーソナルコンピュータ３には、ユーザ操
作入力部として、キーボード４やマウス５が接続されて
いる。このユーザ操作入力部からの再生指示があると、
パーソナルコンピュータ３では、指示されたデジタル音
声情報を、ハードディスクから読み出し、圧縮されてい
る場合には、伸長処理を施して、Ｄ／Ａ変換ボード６を
通じて、この例では、ヘッドフォン７に供給し、音声を
再生出力する。８は、パーソナルコンピュータ３の表示
情報を表示するためのディスプレイである。

【００３１】そして、この第１の実施の形態では、パー
ソナルコンピュータ３では、ヘッドフォン７の聴取者が
再生音声を聴取するだけで、一塊の音声情報のうちの、
どの時間位置部分を再生しているかを容易に把握するこ
とができるようにするため、後述するように、聴感上の
仮想音源位置（音像位置）を、聴空間上の所定の位置に
配置するようにする演算処理を行う。

【００３２】図１は、この第１の実施の形態の記録再生
装置を、その処理機能によりブロック化して示した機能
ブロック図である。すなわち、この第１の実施の形態の
記録再生装置は、音声入力部１１と、記録音声信号処理
部１２と、音声情報格納部１３と、ユーザ入力部１４
と、制御部１５と、表示部１６と、再生部１７と、音声
出力部１８と、仮想音源配置部１９とから構成される。

【００３３】音声入力部１１は、記録する音声信号の入
力部であり、この例の場合には、マイクロホン１により
構成される。記録音声信号処理部１２は、Ａ／Ｄ変換や
圧縮処理など、記録のための音声信号処理を施す部分で
あり、Ａ／Ｄ変換ボード２と、パーソナルコンピュータ
３のソフトウエアとからなる。

【００３４】音声情報格納部１３は、記録音声信号処理
部１２からの音声信号を記録媒体に記録して格納するも
のであって、この例の場合には、記録媒体としてハード
ディスクを用いるので、ハードディスクドライバにより
構成される。なお、記録媒体としては、メモリなどの半
導体素子や、いわゆるＭＯやＭＤなどの光磁気ディス
ク、また、フロッピーディスクなどを用いることもでき
る。

【００３５】ユーザ入力部１４は、ユーザ入力を受け付
けるものであって、この例の場合には、キーボード４や
マウス５により構成される。

【００３６】制御部１５は、パーソナルコンピュータ３
のソフトウエアにより構成されるもので、ユーザ入力部
１４からのユーザ入力を受け付けて解析し、そのユーザ
に応じて、記録音声信号処理部１２、音声情報格納部１
３、再生部１６、仮想音源配置部１９を制御し、音声情
報の記録媒体への書き込みや読み出し、また、音像の定
位処理などを制御する。また、この実施の形態の場合に
は、制御部１５は、表示部１６や、後述する仮想音源配
置部１９なども制御する。

【００３７】表示部１６は、制御部１５の制御を受け
て、所定の情報を表示するもので、この例の場合は、Ｃ
ＲＴやＬＣＤ（液晶ディスプレイ）などを表示素子とし
て用いたパーソナルコンピュータ３の表示部を使用す
る。

【００３８】再生部１７は、制御部１５の制御を受け、
また、後述する仮想音源配置部１９からの仮想音源配置
情報を受けて、音声情報格納部１３から読み出された音
声情報を、音声出力部１８に供給する信号に変換する処
理を行うもので、パーソナルコンピュータ３のソフトウ
エアと、Ｄ／Ａ変換ボード６とからなる。

【００３９】この実施の形態の場合、再生部１７では、
ユーザにより指定された音声情報のうちの、指定された
再生区間内の各時間位置の音声情報が、その各時間位置
に応じた聴空間上位置の仮想音源から出力されるように
定位させるようにする演算処理を施す。

【００４０】この実施の形態の再生部１７で用いる演算
方法は、日本音響学会誌４９巻７号（１９９３）、Ｐ５
１５〜Ｐ５２１の「住空間音疑似体験システムの開発」
に記載されている演算方法を用いている。

【００４１】この方法は、仮想聴空間内で、指定された
仮想音源方向から聞こえるように音の定位を実現させる
演算方法で、聴取者の頭の位置・方向と、仮想音源の位
置を与えると、頭部伝達関数が決定され、この頭部伝達
関数と、左右２チャンネルのデジタル音声信号とのコン
ボリューション演算を行うことにより、仮想聴空間上の
指定された仮想音源位置に定位するように音声出力をさ
せることができるというものである。

【００４２】この実施の形態の場合、再生部１７は、聴
取者の頭の位置・方向および仮想音源の位置と、これら
に対する頭部伝達関数との対応テーブルを、例えばＲＯ
Ｍなどのメモリに格納して用意している。すなわち、予
め、聴取者の頭の位置・方向および仮想音源の位置とし
て想定される複数個の情報が与えられ、それらに対応す
る頭部伝達関数がそれぞれ計測されることにより得られ
るテーブルの情報が、例えばＲＯＭに格納されて用意さ
れている。

【００４３】仮想音源配置部１９は、前記の頭部伝達関
数を求める演算のための仮想音源配置情報を生成して、
再生部１７に供給する。すなわち、この第１の実施の形
態の場合には、再生要求される音声情報の再生区間の時
間軸上の位置情報に基づいて、聴空間上において、前記
時間軸上の各位置に応じた位置に仮想音源を配置するよ
うにするための仮想音源配置情報を生成し、再生部１８
に供給する。この仮想音源配置部１９は、この例ではパ
ーソナルコンピュータ３のソフトウエアにより構成され
る。

【００４４】仮想音源配置部１９で用いられる音声情報
の時間軸上の位置情報は、後述するように、制御部１５
と、音声情報格納部１３から与えられる。制御部１５か
らの時間軸情報は、ユーザ入力部１４からのユーザ入力
に応じたものであり、また、音声情報格納部１３からの
時間軸情報は、音声情報に関連して記録された音声記録
開始時刻や終了時刻などの情報である。

【００４５】音声出力部１８は、再生された音声信号か
ら放音音声を出力する音響変換を行うもので、この例の
場合には、ヘッドフォン７で構成されている。再生部１
７での前記の仮想音源定位処理により、仮想聴空間上に
おいて、再生信号の各時間軸上の位置に応じた位置にあ
る仮想音源から音声が出力されているように、ヘッドフ
ォン７で音声出力が聴取される。

【００４６】この第１の実施の形態における音声情報の
記録時の処理および再生時の処理を、以下に詳述する。

【００４７】［第１の実施の形態の音声記録時の説明］
まず、第１の実施の形態における音声情報の記録シーン
について説明するとともに、音声入力部１１、記録音声
信号処理部１２、音声情報格納部１３について説明す
る。

【００４８】ユーザ入力部１４から音声記録命令が入力
されると、その命令は、制御部１５で処理され、記録音
声信号処理部１２および音声情報格納部１３に送られ
る。記録音声信号処理部１２では、音声記録命令に応じ
て、Ａ／Ｄ変換ボードにおいて、音声入力部１１からの
入力音声信号のＡ／Ｄ変換処理を行い、必要な圧縮処理
を施す。音声情報格納部１３では、記録音声信号処理部
１２からの音声情報の記録を開始する。

【００４９】ユーザ入力部１４から記録終了命令が入力
されると、制御部１５はその命令を記録音声信号処理部
１２および音声情報格納部１３に送る。この記録終了命
令に応じて、記録音声信号処理部１２は、音声のＡ／Ｄ
変換処理および圧縮処理を終了し、音声情報格納部１３
は音声情報の記録を終了する。

【００５０】この音声記録に際し、音声情報格納部１３
では、記録された音声に、記録開始時刻と記録終了時刻
の時間情報を対応付けて記録する。

【００５１】また、音声情報格納部１３では、記録開始
から記録終了まで時間的に連続する音声情報を、一つの
音声情報ファイルとして格納管理するようにしており、
ユーザ入力部１４からのユーザ入力操作により付与され
た音声情報ファイル名の情報が、制御部１５を通じて音
声情報格納部１３に記録される。さらに、複数の音声情
報ファイルを格納するために、各音声情報ファイルの記
録媒体上の位置も、格納して保持している。

【００５２】なお、この第１の実施の形態においては、
各音声情報ファイルに関する時間情報は、その音声情報
ファイルの全記録時間（記録開始から記録終了までの時
間）が判れば良いので、記録する時間情報としては、記
録開始時刻と、記録音声情報量、あるいは記録音声情報
量と記録終了時刻などであっても良い。

【００５３】この実施の形態の場合、ユーザは、音声情
報格納部１３に、どのような音声情報ファイルが格納さ
れているかを表示部１６に表示することが可能である。
この例では、格納されている音声情報ファイルのファイ
ル名を表示する。そして、ユーザは、このファイル名の
表示によって、どのような音声情報が格納されているか
を知ることができるだけでなく、ファイル名をユーザ入
力部１４の、例えばマウスを用いる等して選択操作する
ことにより、その選択した音声情報ファイルの再生指定
をすることができるように構成されている。

【００５４】［第１の実施の形態の音声再生時の説明］
次に、この第１の実施の形態の場合の再生時の動作につ
いて、以下に説明する。

【００５５】再生に当たって、ユーザは、ユーザ入力部
１４から、再生命令と、音声出力先と、再生音声指定情
報とを含む再生要求を入力する。音声出力先は、この例
ではヘッドフォン７であり、また、再生音声指定情報
は、音声情報ファイル名と、再生開始オフセットと、再
生終了オフセットとからなる。

【００５６】再生開始オフセットは、再生要求する音声
情報ファイルの先頭からどれだけ後の時間位置から再生
を開始するかの情報であり、ゼロであれば、音声情報フ
ァイルの先頭からの再生の要求である。同様に、再生終
了オフセットは、再生要求する音声情報ファイルの記録
終了時点からどれだけ前の時間位置までを再生するかの
情報であり、ゼロであれば、音声情報ファイルの最後の
記録終了時点までの再生要求となる。

【００５７】制御部１５は、ユーザ入力部１４からのユ
ーザ入力が再生命令を含む再生要求であることを判別す
ると、再生命令と、音声出力先と、再生音声指定情報と
を含む再生要求の情報を再生部１７に送るとともに、そ
の再生要求のあったときの現在時刻を保持しておく。

【００５８】以下に、制御部１５からの再生要求の情報
が渡されたときの再生部１７の動作と、再生部１７に関
連して動作する仮想音源配置部１９の動作を説明する。
まず、再生部１７の動作を、図３のフローチャートを参
照しながら説明する。

【００５９】再生部１７は、音声情報の再生要求を受け
取ると、図３の処理ルーチンを起動して、まず、ステッ
プ１０１において、仮想音源配置部１９に再生音声指定
情報（音声情報ファイル名、再生開始オフセット、再生
終了オフセット）を送る。

【００６０】仮想音源配置部１９は、この再生音声指定
情報の送付を受けると、後述するようにして、再生開始
オフセットから再生終了オフセットまでの再生区間内の
音声情報の各時間位置に対応する聴空間上の位置に、仮
想音源を配置するようにするための仮想音源配置情報を
生成する。

【００６１】再生部１７は、この仮想音源配置部１９で
生成された仮想音源配置情報を、ステップ１０２で受け
取る。そして、ステップ１０３に進み、この仮想音源配
置情報と、聴取者の頭の位置の情報とを用いて、前記テ
ーブルに記録されている情報を参照し、再生対象の音声
情報の各時刻における頭部伝達関数を決定する。

【００６２】なお、この例では、音声出力部１８は、頭
部に装着されたヘッドフォンであるため、聴取者の頭部
の方向、位置は、固定されていると考えてよく、予め、
それらの情報、すなわち、位置および方向の情報は与え
られている。

【００６３】こうして頭部伝達関数が決定したら、ステ
ップ１０４に進み、音声情報格納部１３に格納されてい
る、指定された再生区間の音声情報のデジタルデータ
と、頭部伝達関数とのコンボリューション演算を行い、
再生対象の音声情報の各時刻のヘッドフォン７への再生
音声信号を計算する。そして、ステップ１０５に進み、
ステップ１０４で計算された再生音声信号を音声出力部
１８としてのヘッドフォン７に供給し、順次、音声出力
する。

【００６４】次に、仮想音源配置部１９の、この再生時
の動作を、図４のフローチャートを参照して説明する。

【００６５】仮想音源配置部１９では、再生部７から再
生音声指定情報（音声情報ファイル名、再生開始オフセ
ット、再生終了オフセット）が送られてくると、ステッ
プ２０１に進み、音声情報格納部１３から、指定された
音声情報ファイルの記録開始時刻および記録終了時刻の
情報を取得して、指定された音声情報ファイルの全記録
時間を求める。

【００６６】次に、ステップ２０２に進み、再生音声の
聴空間上の仮想音源位置を決める。この場合の仮想音源
位置の決定方法の概念図を図５に示す。

【００６７】まず、この例においては、図５に示すよう
に、ユーザの頭部９を中心とした半径ｒの円弧状の空間
の座標系を仮想的に定義し、これをユーザの頭部座標系
とする。そして、この頭部座標系において、所定の聴空
間範囲を決定する角度αから角度βまでに相当する時間
を定義し、この仮想的な時間空間上に再生音声の各時間
位置の仮想音源を配置するようにする。

【００６８】この場合の聴空間範囲はどのように定義す
ることもできるが、この実施の形態では、上述したよう
に、音声情報格納部１３から取得した音声情報ファイル
の記録開始時刻および記録終了時刻を対応させて、音声
情報ファイルの記録開始時刻Ｒｓを角度α、記録終了時
刻Ｒｅを角度βに対応させる。なお、この例では、角度
αは、例えば３０度、角度βは、例えば１５０度とす
る。

【００６９】このようにユーザの頭部座標系を定義した
後、再生音声指定情報の再生開始オフセットおよび再生
終了オフセットで指定される再生開始時刻Ｔｓおよび再
生終了時刻Ｔｅの時点にそれぞれ対応する、聴空間上の
角度θｓおよび角度θｅを求める。この角度θｓおよび
角度θｅが、再生開始時刻Ｔｓおよび再生終了時刻Ｔｅ
の仮想音源位置となる。

【００７０】次に、角度αから角度βまでの角度範囲に
おいて、単位時間Δｔ当たりの単位角度Δθを求める。
これにより、再生開始時刻Ｔｓから再生終了時刻Ｔｅの
間の区間においては、単位時間Δｔごとに角度位置が定
められ、それぞれの角度位置が、対応する時刻の音声の
仮想音源位置と定められる。

【００７１】こうして、指定された再生区間の各時刻の
音声が定位すべき位置、すなわち、仮想音源位置を決め
るための情報が得られると、ステップ２０３に進み、仮
想音源配置部１９は、聴空間を形成する頭部座標系の半
径ｒと、再生開始オフセットにより定まる再生開始時刻
Ｔｓの聴空間上の角度と、単位時間Δｔ当たりの角度Δ
θを、仮想音源配置情報として、再生部１７に送る。

【００７２】前述したように、再生部１７では、これら
の情報に基づいて、再生対象区間内の各時間位置に応じ
た仮想音源位置から音声が出力されるようにする音声処
理を、音声情報格納部１３から読み出された再生対象の
音声情報ファイルの指定された再生区間の音声情報に対
して施す。

【００７３】この実施の形態では、以上のようにして再
生して、音声出力することにより、聴感上、聴空間上
を、音声の時間軸上の変化に応じて、仮想音源が移動す
るようにして再生されるようになる。

【００７４】なお、上記例では、頭部を中心にした半径
ｒの円上に各時刻の音声出力を配置するようにする例で
あったが、別の配置方法でもよい。例えば、図６に示す
ように、直線上に各時刻の音声を配置しても構わない。

【００７５】この図６の例は、仮想３次元空間上の、点
Ａ（ｘａ，ｙａ，ｚａ）と、点Ｂ（ｘｂ，ｙｂ，ｚｂ）
の時刻を、指定した音声情報ファイルの記録開始時刻Ｒ
ｓと、記録終了時刻Ｒｅとに対応させる。そして、単位
時間Δｔ当たりの移動距離を、移動ベクトルΔｖ（＝
（ｓ，ｔ，ｕ））として求める。すると、点Ａと点Ｂの
直線方程式から、指定した音声再生区間の各時刻の仮想
音源位置が定まる。

【００７６】この図６の例の場合には、図４のフローチ
ャートのステップ２０３では、開始オフセットの位置
と、単位時間Δｔ当たりの移動ベクトルΔｖを再生部１
７に送ればよい。

【００７７】なお、上記例では、角度αと角度β、ある
いは点Ａと点Ｂを、指定した音声情報ファイルの記録開
始時刻と記録終了時刻に当てはめたが、予めユーザが別
の日時を指定しても構わない。また、上述の説明では、
一つの音声を聴空間上に定位させるように再生したが、
複数の音声を選択して、それらを聴空間上に配置して、
並列的に再生させるようにすることもできる。

【００７８】このように、ユーザは同時に複数の音声を
聴取できる。複数の音声を同時に理解することはできな
いが、単語を拾うことはできる。これにより、記録され
た音声の文脈や流れを推定することができる。また所望
の情報がどれであるか、あるいはどこにあるかの見当を
すばやくつけることができる。

【００７９】［第２の実施の形態］第１の実施の形態で
は、聴取者の頭部を中心とした頭部座標系を用いた聴空
間上において、再生時間位置に対応して仮想音源を、頭
部位置に対して相対的に配置するようにした。すなわ
ち、第１の実施の形態では、音声の再生時間位置に対応
して仮想音源を、頭部に対する相対空間上に配置させる
ようにした。しかし、この発明は、このような相対空間
上において、再生時間位置に対応させて仮想音源位置を
配置させる場合に限らない。

【００８０】以下に説明する第２の実施の形態は、絶対
空間上に時間軸を位置付け、その絶対空間上の時間軸上
において、再生区間の各時間位置に対応した仮想音源位
置を配置することができるようにした場合である。

【００８１】この第２の実施の形態においては、図７に
示すように、図１に示した第１の実施の形態の機能ブロ
ック図のブロックに加えて、聴取者の頭部の動きを検出
する頭部運動検出部２１を設ける。

【００８２】頭部運動検出部２１は、例えば３次元磁気
センサを用いて構成する。この３次元磁気センサにより
頭部の位置、および方向（角度）を検出する。これを用
いて、時間軸の位置を、聴取者は絶対空間上に位置づけ
ることが可能になる。

【００８３】すなわち、頭部が動いたとしても、絶対空
間上の時間軸の位置は動かない。この概念を、図８を用
いて説明する。

【００８４】今、時刻Ｔにおける聴取者の位置をＰ
（Ｔ）、時刻（Ｔ＋１）における聴取者の位置をＰ（Ｔ
＋１）とする。頭部運動検出部２１が無い場合には、頭
部がＰ（Ｔ＋１）に移動すると、次の時刻（Ｔ＋２）の
音声も、頭部が移動した分だけ移動した位置に聞こえる
ことになる。

【００８５】この実施の形態の場合には、頭部運動検出
部２１によって頭部位置および方向角度情報が検出さ
れ、その検出された頭部位置および方向角度情報は、制
御部１５を介して仮想音源配置部１９に送られる。仮想
音源配置部１９では、頭部位置Ｐ（Ｔ＋１）に基づい
て、時刻（Ｔ＋２）以降の音声情報の頭部座標系の位置
を計算し、その情報を再生部１７に送る。再生部１７で
は、送られた仮想音源配置情報から各時刻における頭部
伝達関数を特定し、時刻（Ｔ＋２）以降の音声信号を計
算し直す。

【００８６】この頭部の位置が変化した場合における仮
想音源配置部１９の動作を、図９のフローチャートを参
照して説明する。

【００８７】すなわち、仮想音源配置部１９は、制御部
１５から頭部位置および方向角度情報を受け取ると、ス
テップ３０１において、頭部位置および方向角度情報が
以前の時刻の頭部位置および方向角度情報と同じかを判
別する。もし同じであれば、処理を終了し、もし異なれ
ば、ステップ３０２に進む。ステップ３０２では、検出
された頭部位置および方向角度情報に基づいて、これか
ら再生する音声の各時刻における頭部座標系における仮
想音源位置を特定するための仮想音源配置情報を計算す
る。そして、ステップ３０３に進み、その仮想音源配置
情報を再生部１７に送る。

【００８８】次に、この場合の再生部１７の処理動作の
フローチャートを図１０に示す。

【００８９】すなわち、仮想音源配置部１９より各時刻
の仮想音源位置に関する情報が送られると、ステップ４
０１へ進み、その情報に基づいて、指定された再生区間
内の各時刻の音声の頭部伝達関数を特定する。そして、
ステップ４０２に進み、音声情報格納部１３に記録され
ている、これから再生する音声信号のデジタルデータを
読み出して、特定された頭部伝達関数とコンボリューシ
ョン演算を行う。次に、ステップ４０３に進み、ステッ
プ４０２の演算結果をＤ／Ａ変換ボードを介してヘッド
フォン７に出力する。

【００９０】このような機能をもつことで、第２の実施
の形態によれば、絶対空間上に時間軸を位置づけ、その
時間軸上で音声を再生することが可能である。また、特
定の音声をよく聞きたいときに、そこに近づくことで聞
き易くするようなことが可能である。

【００９１】また、第２の実施の形態によれば、絶対空
間上に時間軸を位置づけ、その時間軸上で音声を再生す
ることが可能であるので、仮想空間上の時間軸におい
て、仮想音源を再生音声の時間位置に応じて単に配置す
るだけでなく、画面上に表示されたチャート（時間軸を
有し、その時間軸にそって情報が視覚的に表現されたも
の）上に、再生音声の時間位置に応じて仮想音源を配置
することもできる。

【００９２】以下に、第２の実施の形態のいくつかの実
施例について説明する。

【００９３】［第１の実施例］この第２の実施の形態の
第１の実施例においては、音声情報の時間軸に関連する
表示情報が表示部１６の画面に表示される場合に、再生
対象の音声情報が、どの表示情報部分に関連するかを、
表示画面上の表示情報に仮想音源を配置することによ
り、容易に把握することができるようにした場合であ
る。

【００９４】この場合に、前述したように、表示画面の
ような固定的な空間上において、仮想音源を配置するよ
うにする場合には、聴取者の頭部の位置が変化すると、
音源位置が変化してしまうことになるので、聴取者の頭
部位置に応じた補正を行うようにしている。

【００９５】この第１の実施例を、会議情報の記録再生
の場合を例に取って、以下に説明することにする。前述
した図７は、この第１の実施例の場合の記録再生装置の
機能ブロック図でもある。

【００９６】この第１の実施例においては、図１に示し
た第１の実施の形態の機能ブロック図のブロックに加え
て、聴取者の頭部の動きを検出する頭部運動検出部２１
と、音声情報の時間軸上に関連する情報を視覚的に配置
したチャートを作成するチャート作成部２２を設ける。

【００９７】この第１の実施例の場合には、ユーザ入力
部１４から、再生命令と、再生開始オフセットおよび再
生終了オフセットを含む再生指示情報とが入力される
と、表示部１６の画面には、図１１に示すように、再生
区間を示す時間軸バー３１が、チャート作成部２２で作
成されて表示される。この図１１の例の場合は、再生開
始オフセットおよび再生終了オフセットがともにゼロ
で、会議開始から終了までを再生区間として指定した状
態を示している。

【００９８】このチャートは、ユーザが入力部１４から
直接的に入力して表示させるようにすることもできる。
すなわち、この実施例の場合に、ユーザは、ユーザ入力
部１４より、時間軸バー、文字、画像情報を入力するこ
とにより、制御部１５を介して表示部１６に、時間軸バ
ー３１を表示できる。

【００９９】そして、この第１の実施例の場合には、再
生音声信号は、この表示部１６の画面に表示された時間
軸バー３１上の、各再生音声の時間位置に対応する位置
に仮想音源が定位するように、仮想音源配置部１９で、
仮想音源配置情報が生成され、その仮想音源配置情報に
より、前述と同様にして、再生部１７において、頭部伝
達関数を用いた演算処理が行われる。この場合の仮想音
源配置部１９での処理は、前述の図６を用いて説明した
場合に相当する。

【０１００】ただし、前述したように、聴取者の頭部の
位置が変化した場合には、仮想音源配置部１９で、その
変化後の頭部を中心とした仮想音源配置情報の演算がや
り直される。そして、その変化後の仮想音源配置情報が
再生部１７に与えられる。さらに、頭部運動検出部２１
で検出された頭部の位置情報も、再生部１７に与えられ
る。そして、再生部１７では、それらの情報に基づく変
化後の頭部伝達関数が求められ、その頭部伝達関数が用
いられて、各時間位置の音声情報のコンボリューション
演算が行われる。

【０１０１】すなわち、この第１の実施例においては、
制御部１５は、時間軸バー３１の表示情報（画面の位
置、画面中の時間軸バー３１の位置、時間軸バー上の時
間情報）を仮想音源配置部１９に送る。すると、仮想音
源配置部１９では、３次元磁気センサより検出される聴
取者の頭部位置および方向角度情報と、画面上の時間軸
バー３１についての情報から、頭部座標系における時間
軸バー３１上の、再生音声の各時間位置における仮想音
源位置に関する情報を生成して、再生部１７に供給する
ようにする。

【０１０２】なお、仮想音源配置部１９では、ユーザか
らの音声再生命令があった時に、それに伴って送られて
くる再生開始オフセット、再生終了オフセットの情報か
ら、再生対象区間の音声の各時刻における仮想音源の配
置位置を決定するのは前述の場合と同様である。

【０１０３】図１１において、丸印３２は、この実施例
の場合の仮想音源の定位位置の例を示すものである。す
なわち、表示部１６の画面上の時間軸バー３１上におい
て、再生中の音声の時間位置に応じた位置から音声が出
力されるように、仮想音源が配置されるものである。な
お、図１１では、概念的に判りやすくするために、丸印
３２により仮想音源位置を示したが、実際上は、この丸
印３２は表示上は、存在せず、当該丸印３２の位置から
音声出力が発せられるように聴取されるものである。

【０１０４】これにより、図１１の模式図に示すように
して、聴取者は、単に、再生音声を聴取するだけで、現
在再生中の音声が、時間軸上のどの位置の音声であるか
が分かる。

【０１０５】［第２の実施例］この第２の実施例も会議
情報の記録再生装置の場合の例である。この第２の実施
例の場合の記録再生装置の機能ブロック図を図１２に示
す。

【０１０６】この第２の実施例においては、音声入力部
１１は、複数人の会議出席者の各々に割り当てられた複
数本のマイクロホンで構成され、発言区間検出部２３で
は、各会議出席者ごとの発言区間を検出し、その検出結
果を、音声情報格納部１３に格納するようにする。この
第２の実施例の場合には、チャート作成部２２は、各会
議出席者ごとの発言区間を時間軸上において表示するよ
うにする発言者チャートの作成部を構成する。

【０１０７】各会議出席者の発言区間は、図１３のフロ
ーチャートおよび図１４の説明図に示すようにして、発
言区間検出部２３において検出される。この例では、各
会議出席者のマイクロホンからの音声情報が、予め設定
されている或るレベル以上、かつ、或る時間だけ継続し
た場合には、そのマイクロホンを使用する会議出席者が
発言しているとして検出する。

【０１０８】すなわち、図１４に示すように、マイクロ
ホンから、あるレベルＬ１以上の音声信号が出力される
と、ステップ５０１へ進み、予め、発言開始を検出する
ために適切な単位時間長として定められた時間区間Δｔ
１以上に渡って、前記レベルＬ１以上の音声信号レベル
が持続するかを監視する。もし、持続しなければ、それ
は発言とはみなさず、発言区間の検知を終了する。も
し、持続したと判別した場合、ステップ５０２へ進み、
現在の時刻（Ｔ１）を検出し、Ｔ１−Δｔ１を発言開始
時刻とする。

【０１０９】そして、ステップ５０３へ進み、音声の終
了時刻を求めるために、音声が、ある時刻Ｔ２から、予
め、発言終了を検出するために適切な単位時間長として
定められた時間Δｔ２以上、あるレベルＬ２を下回った
か否かを監視する。そして、下回った場合、ステップ５
０４へ進み、Ｔ２―Δｔ２を発言終了時刻として検出す
る。

【０１１０】なお、上述の例では、発言開始時刻の検出
のためのレベルＬ１と、発言終了時刻の検出のためのレ
ベルＬ２とは、Ｌ１＝Ｌ２としたが、レベルＬ１とレベ
ルＬ２とは、必ずしも等しくなくともよい。

【０１１１】以上のようにして検知された会議参加者毎
の発言区間に関する情報は、図１５に示すようなデータ
構造にまとめられる。発言区間検出部２３は、この発言
区間の関する情報を、発言状況の記録情報として、音声
情報格納部１３に格納するようにする。

【０１１２】図１５に示すように、記録される発言区間
に関する情報は、それぞれの発言区間を識別するための
発言識別データ（発言ＩＤ）と、その発言者、発言開始
時刻および発言終了時刻とからなる。発言者の情報とし
ては、予め登録された会議出席者名が記録される。な
お、発言者名と発言者識別データとの対応テーブルを別
に用意して、発言者識別データを発言者名の代わりに記
録するようにしてもよい。

【０１１３】この第２の実施例においては、再生に際
し、ユーザは、ユーザ入力部１４からチャート作成の命
令と、前述の場合と同様にして、再生時間範囲を指定す
ることができる。チャート作成命令および再生時間範囲
が入力されると、その命令および再生時間範囲の情報
は、制御部１５を介して、チャート作成部２２へ送られ
る。

【０１１４】チャート作成部２２は、音声情報格納部１
３から指定された再生時間範囲の発言状況の記録情報を
読み出して、図１６に示すような発言者チャートを作成
し、制御部１５を通じて表示部１６に表示する。

【０１１５】発言チャートは、図１６に示すように、発
言者を識別するための発言者名Ａ，Ｂ，Ｃを表示する発
言者名領域４１と、発言の遷移の状態を視覚的に表示す
るための発言遷移表示領域４２とから構成される。発言
遷移表示領域４２には、発言区間検出部２３で検出され
た、発言者ごとの発言区間が、矩形のバー表示ＶＢによ
り表示される。

【０１１６】図１６において、Ｔｓは、ユーザにより指
定された再生区間の開始時刻、Ｔｅは当該再生区間の終
了時刻である。図１６の例は、再生開始オフセットおよ
び再生終了オフセットがゼロの場合の例であり、会議の
開始から終了までの区間が対象となっている。

【０１１７】この発言者チャートにより、各会議出席者
が、いつ、どのくらいの時間の発言を行ったのかが、矩
形の発言区間バーＶＢの表示位置と長さにより示され
る。そして、この発言遷移表示領域４２の全会議参加者
の発言区間バーＶＢの遷移として表示される発言構造を
読み取ることで、誰の発言から誰の発言へと遷移したの
かという、前記再生区間における発言遷移構造を読み取
ることも可能となる。

【０１１８】そして、聴取者に対する表示部１６の位置
や、発言者チャートの表示部１６内の発言区間バーＶＢ
の表示位置は、制御部１５から仮想音源配置部１９に送
られる。仮想音源配置部１９では、再生中の音声に対応
する発言区間バーＶＢの位置を、仮想音源位置とするよ
うな仮想音源配置情報を生成し、再生部１７に送る。

【０１１９】再生部１７は、この仮想音源配置情報に基
づいて、前述と同様の演算処理を再生する音声信号に対
して行い、音声出力部１８としてのヘッドフォン７に出
力する。

【０１２０】図１６の例では、丸印で示す発言区間バー
の位置に仮想音源が存在するように、音声出力されてい
る。すなわち、発言者Ａ，Ｂ，Ｃのそれぞれの発言に対
応するように定位するようにされる。なお、図１６の例
では、３人の発言を同時に再生していることを示してい
る。

【０１２１】このように、ユーザは、同時に複数の音声
を聴取することもできる。複数の音声を同時に理解する
ことは困難であるが、単語を拾うことはできる。これに
より、記録された音声情報の文脈や流れを推定すること
ができる。また、所望の情報がどれであるか、あるいは
どこにあるかの見当を、素早く付けることができる。

【０１２２】なお、表示部１６が動く可能性がある場合
には、表示部１６の位置を検出する機構を設ければよ
い。例えば、携帯型のパーソナルコンピュータ上で記録
再生装置を実現する場合には、携帯型のパーソナルコン
ピュータに３次元磁気センサを装着することで実現でき
る。また、表示部１６は、可搬なパーソナルコンピュー
タや電子黒板のようなものであってもよい。

【０１２３】［第３の実施例］図１７は、第２の実施の
形態の記録再生装置の第３の実施例の機能ブロック図で
ある。この第３の実施例は、会議情報の記録再生装置で
あって、会議において使用した参照資料としての文書の
情報を、すべて記録しておき、再生に際して、その文書
を表示画面に表示し、会議の再生音声がどの文書に関す
るものであるかを、仮想音源配置により、再生音声を聴
取するだけで把握することができるようにする場合の例
である。

【０１２４】図１７において、文書記録部５１には、会
議資料として使用された文書情報が記録されている。こ
の文書情報には、ワープロソフトやプレゼンテーション
用のソフトなどで作成されたさまざまな文書を含む。

【０１２５】表示文書履歴記録部５２では、会議音声情
報の記録が行われている際に、表示部１６に表示されて
いた文書の表示履歴が記録されている。表示文書履歴記
録部５２ヘの履歴の記録は、ユーザ入力部１４から文書
の表示・非表示の命令が入力される都度、制御部１５に
よって記録される。

【０１２６】表示文書履歴記録部５２に記録されている
情報の構造を図１８に示す。文書ＩＤは、各文書の識別
情報である。同じ文書が異なる時間に再び資料として使
用される場合もある。表示開始時刻および表示終了時刻
は、文書が表示されていた時間を示すためのものであ
る。

【０１２７】表示文書記録部５３は、音声情報を再生し
ている時に表示している文書とその表示位置や大きさが
記録されている。これは、ある時点での文書の表示状態
を表わす記録であり、履歴ではない。したがって、表示
状態をユーザが変化させれば、この記録も変化する。

【０１２８】表示文書記録部５３に記録されている情報
の構造の例を図１９に示す。この実施例では、文書の表
示位置を、文書の中心位置で記録しているが、文書のど
の位置情報をどのように表現するかを限定するものでは
ない。

【０１２９】文書チャー卜作成部５４は、表示部１６の
画面上において、時間軸上に文書を配置する機能を有す
る。具体的に言えば、文書チャート作成部５４は、会議
で使われた文書を、時系列的に表示部１６に表示するた
めの情報を作成するものである。

【０１３０】図２０は、会議における各文書の表示状況
を時間軸上に示したものである。すなわち、図２０で
は、文書１は、時刻ｔ０〜ｔ１の時間帯において表示さ
れ、文書２は、時刻ｔ２〜ｔ３の時間帯において表示さ
れ、文書３は、時刻ｔ４〜ｔ５の時間帯において表示さ
れたことを示している。

【０１３１】図２１は、会議音声の再生に先立ち、表示
部１６の表示画面において、前述の第２の実施例と同様
の時間軸バー３１に対応して、各文書を並べた文書チャ
ートの例を示すものである。

【０１３２】この文書チャートは、文書チヤート作成部
５４によって作成される。文書チャート作成部１５の処
理動作を図２２のフローチャートに示す。

【０１３３】すなわち、文書チャート作成部５４は、文
書チャート作成命令、チャート作成時間、表示文書履歴
フアイル名が、ユーザ入力部１４より制御部１５を介し
て入力されると、この文書チャー卜を作成する。ここ
で、チャート作成時間とは、表示部１６に表示する時間
軸バー３１の時間区間のことを指す。

【０１３４】文書チャートの作成方法の別の方法として
は、ユーザ自身が、時間軸バー３１と文書を、表示文書
履歴記録部５２の情報を参照しながら、手入力で表示画
面上に作成する方法がある。なお、その場合には、文書
チャート作成部５４は使われない。

【０１３５】この第３の実施例においては、前述の実施
例と同様にして、音声情報を再生する場合に、仮想音源
配置部１９は、再生対象の音声の時間位置において記録
時に表示されていた文書を検索し、その文書位置に仮想
音源を配置するように仮想音源配置情報を生成する。こ
のため、仮想音源配置部１９には、制御部１５を通じ
て、文書チャートに関する表示情報が与えられている。

【０１３６】再生部１７は、それを受けて、各音声の時
間位置に対応した文書位置を仮想音源として音声出力が
なされるように音声信号に対して、前述したような演算
処理を施す。

【０１３７】この結果、再生音声は、表示部１６に表示
された時間軸バー３１に沿って表示されている文書に定
位して出力するようにされる。図２１の丸印で示したの
は、それぞれの文書１、文書２、文書３に対応する音声
の定位位置を示している。

【０１３８】なお、再生音声の時間位置に対応する文書
がない場合、すなわち、会議中において、文書が表示さ
れていなかった時間帯の音声情報については、図２１に
おいて、破線の丸印で示すように、時間軸バー３１上に
おいて、その前後の文書の中心に定位させるように仮想
音源位置を配置して、当該再生音声情報の時間軸上の位
置は知らせることができる。

【０１３９】表示させている文書の大きさと、時間軸の
スケールの関係によっては、ある文書に関する音声情報
の定位位置と、文書の位置とにずれが生じることもあ
る。このずれを考慮する場合を考ると、仮想音源配置部
１９は、表示文書履歴記録部５２の記録情報から、その
文書に関連した音声情報の時間帯を認識し、その時間帯
においては、表示文書記録部５３の情報を用いて文書の
中心位置に音声を定位させることがより望ましい。

【０１４０】また、チャート作成部２２と、文書チャー
ト作成部５４を併用することで、表示部１６の表示画面
上において、時軸上バー３１に関連させて、発言者チャ
ートと、文書チャートとを重ねて表示させる方法もあ
る。この場合のイメージ図を図２３に示す。この場合に
は、再生音声の各時間位置に応じた仮想音源位置は、発
言者チャート上であってもよいし、文書チャート上であ
ってもよい。

【０１４１】さらに、別の実施例として、音声再生時に
文書を必ずしも時間軸に沿って表示しないような場合も
考えられる。図２４は、文書の表示位置が時間軸に沿っ
てはいない場合の表示例である。

【０１４２】このような例の場合には、仮想音源配置部
１９は、表示文書履暦記録部５２を参照して、文書が表
示された時間帯と、その文書ＩＤを認識し、その時間帯
になったときに、表示文書記録部５３からその文書が表
示されているか否かを判定し、表示されていれば、図２
４において、実線の丸印６１で示すように、そこに音声
を定位させる。そして、文書が表示されていなければ、
予め決められた、例えば図２４で破線の丸印６２で示す
ような、文書が表示されないような場所に定位させる用
にする方法で実施することができる。

【０１４３】以上のようにして、この発明による記録再
生装置の第１および第２の実施の形態においては、再生
された音声を聴取するだけで、その再生音声の時間位置
が、記録音声情報の全体中で、どの時間位置のものであ
るかを容易に把握することができる。

【０１４４】また、いつ、どのような話題があったかを
記憶する時に、頭部座標系、または絶対空間の座標系の
場所に話題を結び付けて記憶することができる。

【０１４５】また、様々な音声情報にアクセスした場
合、それらの時間関係を記録しておかなくとも、空間的
な位置と話題を対応づけて記憶することによって、話題
の流れをつかみ易くなる。このようなことは、我々が日
常用いる記憶方略にも役立てることが可能である。

【０１４６】また、再生したい話題を再生するためのイ
ンデックスが、音声情報に付与されていなくとも、その
話題が再生された時の音声の位置から時刻を連想できる
という効果もある。

【０１４７】また、聴取者は、表示チャート上の視覚情
報と重ねあわせて音声情報を聴取することができる。そ
れによって、音声情報の理解が促進される。

【０１４８】なお、以上の第２の実施の形態において、
表示部１６として、頭部搭載型ディスプレイを用いた場
合には、頭部運動出部２１は不要である。

【０１４９】

【発明の効果】以上説明したように、請求項１の発明に
よれば、再生された音声を聴取するだけで、その再生音
声の時間位置が、記録音声情報の全体中で、どの時間位
置のものであるかを容易に把握することができる。ま
た、再生中の音声情報の音像定位位置は、時間の経過と
ともに変化するので、音声情報の時間的な流れを容易に
把握することができる。

【０１５０】また、請求項２の発明によれば、音声情報
の全体を再生する場合でなくとも、その指定された音声
再生区間が、全体のどの当たりのものであるかを知るこ
とができる。また、その再生区間内における音声情報の
時間的な流れも容易に把握することができる。

【０１５１】また、請求項３の発明によれば、表示画面
に表示された音声に関連する表示情報に再生音声出力が
定位するようにできるので、例えば、会議における各発
言者の音声出力は、その発言者の発言区間の表示部分か
らあたかも出力されるかの如く聴取されるようにするこ
とができる。

【０１５２】また、請求項４の発明によれば、指定され
た再生区間の音声に関連する、例えば、会議において提
示された文書資料などを表示画面に表示したときに、そ
の関連する文書に音声出力を定位するようにすることが
できるため、聴取者は、再生中の音声が、どの文書資料
に関する音声情報であるかを容易に把握することができ
る。

【０１５３】また、請求項５の発明によれば、頭部伝達
関数が用いられて音声処理が行われて、音像が、定位感
良く、上述のような聴空間上の所定の位置に配置でき
る。

【０１５４】また、請求項６の発明によれば、聴取者の
頭の位置が変わっても、その頭部の運動を検出して、そ
の頭部運動に応じた仮想音源配置を行うことができるの
で、聴空間として絶対空間内に音像を位置付けることが
できる。

【図面の簡単な説明】

【図１】この発明による記録再生装置の第１の実施の形
態の機能ブロック図である。

【図２】この発明による記録再生装置の第１の実施の形
態が適用されるシステムの全体の概要を説明するための
図である。

【図３】この発明による記録再生装置の第１の実施の形
態の再生部の動作の例のフローチャートである。

【図４】この発明による記録再生装置の第１の実施の形
態の仮想音源配置部の動作の例のフローチャートであ
る。

【図５】この発明による記録再生装置の第１の実施の形
態における仮想音源配置の方法の例を示す概念図であ
る。

【図６】この発明による記録再生装置の第１の実施の形
態における仮想音源配置の方法の例を示す概念図であ
る。

【図７】この発明による記録再生装置の第２の実施の形
態の第１の実施例の機能ブロック図である。

【図８】頭部の動きと、音の定位位置との関係を説明す
るための図である。

【図９】この発明による記録再生装置の第２の実施の形
態の第１の実施例において、頭部運動検出部を具備した
時の仮想音源配置部の動作を説明するためのフローチャ
ートである。

【図１０】この発明による記録再生装置の第２の実施の
形態の第１の実施例において、頭部運動検出部を具備し
た時の再生部の動作を説明するためのフローチャートで
ある。

【図１１】第１の実施例において、表示部上の時間軸上
で再生音声出力を定位させている様子を示す図である。

【図１２】この発明による記録再生装置の第２の実施の
形態の第２の実施例の機能ブロック図である。

【図１３】第２の実施例における発言区間検出部の動作
を説明するためのフローチャートである。

【図１４】第２の実施例における発言区間検出部の動作
を説明するために用いる図である。

【図１５】第２の実施例における発言区間検出部の動作
を説明するために用いる図である。

【図１６】第２の実施例において、表示部上の発言者チ
ャート上で再生音声出力を定位させている様子を示す図
である。

【図１７】この発明による記録再生装置の第２の実施の
形態の第３の実施例の機能ブロック図である。

【図１８】第３の実施例における表示文書履歴記録部の
記録情報の構造の例を示す図である。

【図１９】第３の実施例における表示文書記録部の記録
情報の構造の例を示す図である。

【図２０】第３の実施例において、記録時に文書が表示
されていた様子を時間軸上で示した図である。

【図２１】第３の実施例において、表示部上の文書チャ
ート上で再生音声出力を定位させている様子を示す図で
ある。

【図２２】第３の実施例における文書チャート作成部の
動作を説明するためのフローチャートである。

【図２３】第３の実施例において、表示部上の発言者チ
ャートあるいは文書チャート上で再生音声出力を定位さ
せる場合の表示画面を示す図である。

【図２４】第３の実施例において、表示部上の文書チャ
ート上で再生音声出力を定位させる場合の表示画面を示
す図である。

【符号の説明】

１１音声入力部１２記録音声信号処理部１３音声情報格納部１４ユーザ入力部１５制御部１６表示部１７再生部１８音声出力部１９仮想音源配置部２１頭部運動検出部２２チャート作成部２３画像入力部２４画像信号記録処理部２５画像情報格納部２６発言区間検出部３１時間軸バー５１文書記録部５２表示文書履歴記録部５３表示文書記録部５４文書チャート作成部

Claims

【特許請求の範囲】

【請求項１】入力音声情報を、記録のために処理する記
録音声信号処理手段と、前記記録音声信号処理手段で処理された音声情報を、そ
の先頭から終わりまでの全記録時間に関する付加情報と
ともに記録媒体に格納する音声情報格納手段と、前記記録媒体に記録されている前記音声情報の内から再
生対象の音声情報を指定する再生指定手段と、前記再生指定手段により指定された再生対象の音声情報
の付加情報から、前記再生対象の音声情報の前記全記録
時間中の時間位置に応じた、聴空間上の仮想音源位置を
定めるための仮想音源配置情報を生成する仮想音源配置
手段と、前記仮想音源配置手段からの前記仮想音源配置情報を受
け取るとともに、前記再生指定手段により指定された音
声情報を前記記録媒体から読み出し、その読み出した音
声情報について、前記全記録時間中のそれぞれの前記時
間位置の音声出力が、前記仮想音源配置情報に基づいて
決定される聴空間上位置に定位して聴取されるように再
生処理する再生手段と、前記再生手段で再生処理された音声情報による音声を出
力するための音声出力手段と、前記各手段の動作を制御する制御手段と、を備えることを特徴とする記録再生装置。
【請求項２】請求項１に記載の記録再生装置において、前記再生指定手段は、前記記録媒体に記録されている前
記音声情報の内から再生対象の音声情報を指定するとと
もに、その再生対象の音声情報の内の所望の再生区間を
指定するものであり、前記仮想音源配置手段は、前記指定手段で指定された前
記再生区間の情報をも取得して、この指定された再生区
間の先頭から終りまでの各時間位置に応じた聴空間上位
置を定めるための仮想音源配置情報を生成して、その仮
想音源配置情報を前記再生手段に送り、前記再生手段は、前記指定された再生区間内の音声情報
について、それぞれの時間位置の音声出力が、前記仮想
音源配置情報に基づいて決定される聴空間上位置に定位
して聴取されるように再生処理することを特徴とする記
録再生装置。
【請求項３】請求項１に記載の記録再生装置において、前記音声情報の時間軸に関連した表示情報を生成する表
示情報生成手段と、前記表示情報生成手段で生成された前記表示情報を、表
示画面に表示する表示手段と、を備え、前記仮想音源配置手段は、前記再生対象の音声情報の各
時間位置に応じた聴空間上位置を、前記表示画面に表示
された表示情報上に配置することを特徴とする記録再生
装置。
【請求項４】入力音声情報を、記録のために処理する記
録音声信号処理手段と、前記記録音声信号処理手段で処理された音声情報を、記
録媒体に記録して格納する音声情報格納手段と、前記入力音声情報に関連する関連情報を、前記入力音声
情報の前記記録媒体上の記録位置との対応関係ととも
に、記録して格納する関連情報格納手段と、前記関連情報格納手段から読み出された前記関連情報の
複数個を表示画面に表示する表示手段と、前記記録媒体に記録されている前記音声情報の内から再
生対象の音声情報を指定する再生指定手段と、前記再生指定手段により指定された再生対象の音声情報
の各時間位置に対応する前記関連情報を、前記関連情報
格納手段からの情報に基づいて検出し、前記指定された
再生対象の音声情報の各時間位置に応じた聴空間上位置
を、前記表示画面に表示された複数の関連情報の内の、
前記再生対象の音声情報の各時間位置に応じた関連情報
上に配置することを特徴とする記録再生装置。
【請求項５】請求項１〜請求項４のいずれかに記載の記
録再生装置において、前記再生手段は、頭部伝達関数を用いた演算を用いて音
像の定位を実現することを特徴とする記録再生装置。
【請求項６】請求項１〜請求項４のいずれかに記載の記
録再生装置において、前記音声出力の聴取者の頭部運動を検出する頭部運動検
出手段を備え、前記仮想音源配置手段は、前記頭部運動検出手段で検出
された頭部運動を考慮して、前記仮想音源配置情報を生
成することを特徴とする記録再生装置。