JPH0895596A - 速見速聴き装置及び方法 - Google Patents
速見速聴き装置及び方法Info
- Publication number
- JPH0895596A JPH0895596A JP6227545A JP22754594A JPH0895596A JP H0895596 A JPH0895596 A JP H0895596A JP 6227545 A JP6227545 A JP 6227545A JP 22754594 A JP22754594 A JP 22754594A JP H0895596 A JPH0895596 A JP H0895596A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- listening
- information
- sound information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 音情報を用いて映像や音の外殻や雰囲気を短
時間のうちに把握できる速見速聴き装置及び方法を提供
する。 【構成】 まず、映像・入力部１０１から実時間で映像
情報（画像情報と音情報から成る情報）或は音情報を入
力し、実時間で入力された映像或いは音情報を映像・音
・特徴量蓄積部１０５に蓄積し、蓄積された映像或いは
音情報を入力する。次に、音特徴抽出部１０３により、
入力された映像或いは音情報において、音情報から種々
の特徴量を抽出する。次に、特徴量管理部１０４によ
り、抽出された特徴量に基づいて映像或いは音情報を加
工する。加工した映像或いは音情報はインターフェース
部１０６より出力する。この特徴量に基づく加工によっ
て、速見、速聴を実現する。
時間のうちに把握できる速見速聴き装置及び方法を提供
する。 【構成】 まず、映像・入力部１０１から実時間で映像
情報（画像情報と音情報から成る情報）或は音情報を入
力し、実時間で入力された映像或いは音情報を映像・音
・特徴量蓄積部１０５に蓄積し、蓄積された映像或いは
音情報を入力する。次に、音特徴抽出部１０３により、
入力された映像或いは音情報において、音情報から種々
の特徴量を抽出する。次に、特徴量管理部１０４によ
り、抽出された特徴量に基づいて映像或いは音情報を加
工する。加工した映像或いは音情報はインターフェース
部１０６より出力する。この特徴量に基づく加工によっ
て、速見、速聴を実現する。
Description
【０００１】
【産業上の利用分野】本発明は、映像や音の内容を短時
間に把握する場合等に好適な速見速聴き装置及び方法に
関するものである。
間に把握する場合等に好適な速見速聴き装置及び方法に
関するものである。
【０００２】
【従来の技術】映像情報の速見技術には、ビデオブラウ
ザ（大場：“動画像一覧表示技術：ビデオブラウザ”，
１９９４テレビジョン学会全国大会，ｐｐ．２１９−２
２０，１９９１）がある。これは、映像を早送りした
り、映像の切れ目であるカット点の前後のみを再生した
りする等の操作によって、映像を見る時間を短縮するも
のである。また、映像の一覧性を向上させ、カット点直
後の静止画を空間的に並べてディスプレイや紙の上に印
刷し、一目で映像の外殻を把握できるようにする技術
（外村ら：“Ｐａｐｅｒ Ｖｉｄｅｏ：映像情報の紙へ
の定着”，１９９４電子情報通信学会春季全国大会，Ａ
−３１５，１９９４）がある。
ザ（大場：“動画像一覧表示技術：ビデオブラウザ”，
１９９４テレビジョン学会全国大会，ｐｐ．２１９−２
２０，１９９１）がある。これは、映像を早送りした
り、映像の切れ目であるカット点の前後のみを再生した
りする等の操作によって、映像を見る時間を短縮するも
のである。また、映像の一覧性を向上させ、カット点直
後の静止画を空間的に並べてディスプレイや紙の上に印
刷し、一目で映像の外殻を把握できるようにする技術
（外村ら：“Ｐａｐｅｒ Ｖｉｄｅｏ：映像情報の紙へ
の定着”，１９９４電子情報通信学会春季全国大会，Ａ
−３１５，１９９４）がある。
【０００３】音を利用したものでは、ワードスポッティ
ング（Ｌｙｎｎ Ｗｉｌｃｏｘ ｅｔ．ａｌ，“Ｗｏｒ
ｄｓｐｏｔｔｉｎｇ ｆｏｒ Ｖｏｉｃｅ Ｅｄｉｔｉ
ｎｇａｎｄ Ａｕｄｉｏ Ｉｎｄｅｘｉｎｇ，Ｇｅｏｒ
ｇｉａ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏ
ｇｙ”，１９９２）と呼ばれる方法が存在し、これはマ
イクから音声を入力、認識してその言葉と同じ言葉が出
てくる場所をテープ等の蓄積媒体から検索するものであ
る。
ング（Ｌｙｎｎ Ｗｉｌｃｏｘ ｅｔ．ａｌ，“Ｗｏｒ
ｄｓｐｏｔｔｉｎｇ ｆｏｒ Ｖｏｉｃｅ Ｅｄｉｔｉ
ｎｇａｎｄ Ａｕｄｉｏ Ｉｎｄｅｘｉｎｇ，Ｇｅｏｒ
ｇｉａ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏ
ｇｙ”，１９９２）と呼ばれる方法が存在し、これはマ
イクから音声を入力、認識してその言葉と同じ言葉が出
てくる場所をテープ等の蓄積媒体から検索するものであ
る。
【０００４】
【発明が解決しようとする課題】映像や音の内容を把握
したり、どの様な映像や音が蓄えられているのを短時間
で知るためには、再生したり早送りしたりしなければな
らない。しかし、この様な方法では、所望の部分にたど
り着いたり、全体の雰囲気をつかんだりするまでにかな
りの時間を要する。これらの解決方法としては、前述し
たようなビデオブラウザも考えられるが、単純な早送り
では音が再生できなかったり、映像の構造的な特徴量に
のみ依存しているので、選ばれたブラウズする画像が映
像の中で起きた事象を必ずしも反映しているとは言えな
い。また、つなぎ目での音がぶつ切れになって不自然で
あったり、さらに時間短縮を行いたい場合に数多くのカ
ットや画像からどの様に重要なものだけを選択するかと
いう問題が生じる。前述のワードスポッティング技術で
は、単語が予め分かっていなくてはならないのでブラウ
ジングの機能は全く考えられていない。
したり、どの様な映像や音が蓄えられているのを短時間
で知るためには、再生したり早送りしたりしなければな
らない。しかし、この様な方法では、所望の部分にたど
り着いたり、全体の雰囲気をつかんだりするまでにかな
りの時間を要する。これらの解決方法としては、前述し
たようなビデオブラウザも考えられるが、単純な早送り
では音が再生できなかったり、映像の構造的な特徴量に
のみ依存しているので、選ばれたブラウズする画像が映
像の中で起きた事象を必ずしも反映しているとは言えな
い。また、つなぎ目での音がぶつ切れになって不自然で
あったり、さらに時間短縮を行いたい場合に数多くのカ
ットや画像からどの様に重要なものだけを選択するかと
いう問題が生じる。前述のワードスポッティング技術で
は、単語が予め分かっていなくてはならないのでブラウ
ジングの機能は全く考えられていない。
【０００５】本発明は上記のような問題点を解決するた
めになされたものであり、その目的は、音情報を用いて
映像や音の外殻や雰囲気を短時間のうちに把握できる速
見速聴き装置及び方法を提供することにある。
めになされたものであり、その目的は、音情報を用いて
映像や音の外殻や雰囲気を短時間のうちに把握できる速
見速聴き装置及び方法を提供することにある。
【０００６】さらに詳しくは、映像は音の中で起きた事
象を反映した映像或いは音の区間の選択を可能にし、幾
つかの音の区間を再生する際には各区間のつなぎ目をぶ
つ切れの少ない自然なものにして映像や音の外殻や雰囲
気をより短時間で把握できるようにする技術を提供す
る。また、音を利用して複数のカットや画像を幾つかに
まとめたり、音の特徴量と事象を対応付けることによっ
て、利用者が欲しいと思った事象に応じた速見或いは速
聴きをすることを可能にする技術を提供する。さらに、
欲しいと思った事象がはっきりと分からなくても異なる
事象に対応する音の区間をある間隔で入れ替えながら周
期的に再生する事が可能で、ブラウジングにも適した技
術を提供する。
象を反映した映像或いは音の区間の選択を可能にし、幾
つかの音の区間を再生する際には各区間のつなぎ目をぶ
つ切れの少ない自然なものにして映像や音の外殻や雰囲
気をより短時間で把握できるようにする技術を提供す
る。また、音を利用して複数のカットや画像を幾つかに
まとめたり、音の特徴量と事象を対応付けることによっ
て、利用者が欲しいと思った事象に応じた速見或いは速
聴きをすることを可能にする技術を提供する。さらに、
欲しいと思った事象がはっきりと分からなくても異なる
事象に対応する音の区間をある間隔で入れ替えながら周
期的に再生する事が可能で、ブラウジングにも適した技
術を提供する。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明では、実時間で画像情報と音情報か
らなる映像情報或は音情報を入力する映像・音情報入力
部と、前記実時間で入力された映像或いは音情報を蓄積
し該蓄積された映像或いは音情報を出力し該映像或いは
音情報の特徴量を蓄積する映像・音・特徴量蓄積部と、
前記入力された映像或いは音情報において音情報から種
々の特徴量を抽出し該特徴量を管理する映像・音管理制
御部と、前記特徴量の管理された映像或いは音情報を出
力するインターフェース部と、を有する速見速聴き装置
を手段とする。
め、請求項１の発明では、実時間で画像情報と音情報か
らなる映像情報或は音情報を入力する映像・音情報入力
部と、前記実時間で入力された映像或いは音情報を蓄積
し該蓄積された映像或いは音情報を出力し該映像或いは
音情報の特徴量を蓄積する映像・音・特徴量蓄積部と、
前記入力された映像或いは音情報において音情報から種
々の特徴量を抽出し該特徴量を管理する映像・音管理制
御部と、前記特徴量の管理された映像或いは音情報を出
力するインターフェース部と、を有する速見速聴き装置
を手段とする。
【０００８】請求項２の発明では、前記映像・音管理制
御部が、音情報から種々の特徴量を抽出する音特徴抽出
部と、該特徴量を管理し該特徴量に基づいて音情報を加
工、変換する特徴量管理部とを有する速見速聴き装置を
手段とする。
御部が、音情報から種々の特徴量を抽出する音特徴抽出
部と、該特徴量を管理し該特徴量に基づいて音情報を加
工、変換する特徴量管理部とを有する速見速聴き装置を
手段とする。
【０００９】請求項３の発明では、前記音特徴抽出部
が、音情報から種々の特徴量を抽出しある条件を満たす
特徴量が存在する音区間を音情報から検出する音情報変
化検出手段を具備する速見速聴き装置を手段とする。
が、音情報から種々の特徴量を抽出しある条件を満たす
特徴量が存在する音区間を音情報から検出する音情報変
化検出手段を具備する速見速聴き装置を手段とする。
【００１０】請求項４の発明では、前記特徴量管理部
が、一定の特徴量を有する音区間と映像或いは音の中で
発生した事象とを対応付ける事象対応付け手段を具備す
る速見速聴き装置を手段とする。
が、一定の特徴量を有する音区間と映像或いは音の中で
発生した事象とを対応付ける事象対応付け手段を具備す
る速見速聴き装置を手段とする。
【００１１】請求項５の発明では、前記特徴量管理部
が、特定の特徴量を有する或いは特定の事象に対応する
該音区間をつなぎ合わせるつなぎ合わせ手段を具備する
速見速聴き装置を手段とする。
が、特定の特徴量を有する或いは特定の事象に対応する
該音区間をつなぎ合わせるつなぎ合わせ手段を具備する
速見速聴き装置を手段とする。
【００１２】請求項６の発明では、前記特徴量管理部
が、入力が映像情報の場合には該音区間に対応する画像
情報を同期させる再生手段を具備する速見速聴き装置を
手段とする。
が、入力が映像情報の場合には該音区間に対応する画像
情報を同期させる再生手段を具備する速見速聴き装置を
手段とする。
【００１３】請求項７の発明では、前記音情報変化検出
手段が、音情報から周波数スペクトルを算出し、スペク
トルの包絡線からピークを検出し、該ピークの特徴量が
ある条件を満たす音区間を音情報から検出するものであ
る速見速聴き装置を手段とする。
手段が、音情報から周波数スペクトルを算出し、スペク
トルの包絡線からピークを検出し、該ピークの特徴量が
ある条件を満たす音区間を音情報から検出するものであ
る速見速聴き装置を手段とする。
【００１４】請求項８の発明では、前記事象対応付け手
段が、該ピークの特徴量を典型的な事象における該ピー
クの特徴量と比較することによって該音区間と事象を対
応付けるものである速見速聴き装置を手段とする。
段が、該ピークの特徴量を典型的な事象における該ピー
クの特徴量と比較することによって該音区間と事象を対
応付けるものである速見速聴き装置を手段とする。
【００１５】請求項９の発明では、前記つなぎ合わせ手
段が、音情報に含まれる特定の特徴量或いは事象を有す
る音区間をつなぎ合わせ、再生した場合に要する時間の
総和を該特徴量或いは該事象毎に算出し、再生時間の制
限に応じて制限時間に最も近い音区間を選択する音区間
選択手段を有する速見速聴き装置を手段とする。
段が、音情報に含まれる特定の特徴量或いは事象を有す
る音区間をつなぎ合わせ、再生した場合に要する時間の
総和を該特徴量或いは該事象毎に算出し、再生時間の制
限に応じて制限時間に最も近い音区間を選択する音区間
選択手段を有する速見速聴き装置を手段とする。
【００１６】請求項１０の発明では、前記つなぎ合わせ
手段が、選択された該音区間において、音情報のパワー
が低くなったところをつなぎ合わせ点とするものである
速見速聴き装置を手段とする。
手段が、選択された該音区間において、音情報のパワー
が低くなったところをつなぎ合わせ点とするものである
速見速聴き装置を手段とする。
【００１７】請求項１１の発明では、前記つなぎ合わせ
手段が、選択された該音区間において、該音区間の両端
のパワーを低くしてつなぎ合わせ点とするものである速
見速聴き装置を手段とする。
手段が、選択された該音区間において、該音区間の両端
のパワーを低くしてつなぎ合わせ点とするものである速
見速聴き装置を手段とする。
【００１８】請求項１２の発明では、前記再生手段が、
音情報変化抽出手段によって一定の特徴量或いはつなぎ
合わせ手段によって対応づけられた特定の事象毎に分類
された音区間の集まりを各々の振幅を周期的に変化させ
て再生する手段を有する速見速聴き装置を手段とする。
音情報変化抽出手段によって一定の特徴量或いはつなぎ
合わせ手段によって対応づけられた特定の事象毎に分類
された音区間の集まりを各々の振幅を周期的に変化させ
て再生する手段を有する速見速聴き装置を手段とする。
【００１９】請求項１３の発明では、まず、実時間で画
像情報と音情報からなる映像情報或いは音情報を入力
し、前記実時間で入力された映像或いは音情報を蓄積
し、実時間でない場合には蓄積された映像或いは音情報
を入力し、次に、前記入力された映像或いは音情報にお
いて音情報から種々の特徴量を抽出し、次に、前記抽出
した特徴量に基づいて前記映像或いは音情報を加工し、
次に、前記加工した映像或いは音情報を出力する速見速
聴き方法を手段とする。
像情報と音情報からなる映像情報或いは音情報を入力
し、前記実時間で入力された映像或いは音情報を蓄積
し、実時間でない場合には蓄積された映像或いは音情報
を入力し、次に、前記入力された映像或いは音情報にお
いて音情報から種々の特徴量を抽出し、次に、前記抽出
した特徴量に基づいて前記映像或いは音情報を加工し、
次に、前記加工した映像或いは音情報を出力する速見速
聴き方法を手段とする。
【００２０】請求項１４の発明では、映像或は音情報を
加工する過程において、音情報から抽出された種々の特
徴量のうち、ある条件を満たす特徴量が存在する音区間
を音情報から検出する音情報変化検出方法を用いる速見
速聴き方法を手段とする。
加工する過程において、音情報から抽出された種々の特
徴量のうち、ある条件を満たす特徴量が存在する音区間
を音情報から検出する音情報変化検出方法を用いる速見
速聴き方法を手段とする。
【００２１】請求項１５の発明では、一定の特徴量を有
する音区間と映像或いは音の中で発生した事象とを対応
付ける事象対応付け方法を用いる速見速聴き方法を手段
とする。
する音区間と映像或いは音の中で発生した事象とを対応
付ける事象対応付け方法を用いる速見速聴き方法を手段
とする。
【００２２】請求項１６の発明では、特定の特徴量を有
する或いは特定の事象に対応する該音区間をつなぎ合わ
せるつなぎ合わせ方法を用いる速見速聴き方法を手段と
する。
する或いは特定の事象に対応する該音区間をつなぎ合わ
せるつなぎ合わせ方法を用いる速見速聴き方法を手段と
する。
【００２３】請求項１７の発明では、入力が映像情報の
場合には該音区間に対応する画像情報を同期させる再生
方法を用いる速見速聴き方法を手段とする。
場合には該音区間に対応する画像情報を同期させる再生
方法を用いる速見速聴き方法を手段とする。
【００２４】請求項１８の発明では、前記音情報変化検
出方法であって、音情報から周波数スペクトルを算出
し、スペクトルの包絡線からピークを検出し、該ピーク
の特徴量がある条件を満たす音区間を音情報から検出す
る方法を用いる速見速聴き方法を手段とする。
出方法であって、音情報から周波数スペクトルを算出
し、スペクトルの包絡線からピークを検出し、該ピーク
の特徴量がある条件を満たす音区間を音情報から検出す
る方法を用いる速見速聴き方法を手段とする。
【００２５】請求項１９の発明では、前記事象対応付け
方法であって、該ピークの特徴量を典型的な事象におけ
る該ピークの特徴量と比較することによって該音区間と
事象を対応付ける方法を用いる速見速聴き方法を手段と
する。
方法であって、該ピークの特徴量を典型的な事象におけ
る該ピークの特徴量と比較することによって該音区間と
事象を対応付ける方法を用いる速見速聴き方法を手段と
する。
【００２６】請求項２０の発明では、前記つなぎ合わせ
方法であって、音情報に含まれる特定の特徴量或いは事
象を有する音区間をつなぎ合わせ、再生した場合に要す
る時間の総和を該特徴量或いは該事象毎に算出し、再生
時間の制限に応じて制限時間に最も近い音区間を選択す
る音区間選択方法を用いる速見速聴き方法を手段とす
る。
方法であって、音情報に含まれる特定の特徴量或いは事
象を有する音区間をつなぎ合わせ、再生した場合に要す
る時間の総和を該特徴量或いは該事象毎に算出し、再生
時間の制限に応じて制限時間に最も近い音区間を選択す
る音区間選択方法を用いる速見速聴き方法を手段とす
る。
【００２７】請求項２１の発明では、前記つなぎ合わせ
方法であって、選択された該音区間において、音情報の
パワーが低くなったところをつなぎ合わせ点とする方法
を用いる速見速聴き方法を手段とする。
方法であって、選択された該音区間において、音情報の
パワーが低くなったところをつなぎ合わせ点とする方法
を用いる速見速聴き方法を手段とする。
【００２８】請求項２２の発明では、前記つなぎ合わせ
方法であって、選択された該音区間において、該音区間
の両端のパワーを低くしてつなぎ合わせ点とする方法を
用いる速見速聴き方法を手段とする。
方法であって、選択された該音区間において、該音区間
の両端のパワーを低くしてつなぎ合わせ点とする方法を
用いる速見速聴き方法を手段とする。
【００２９】請求項２３の発明では、音情報変化抽出方
法によって一定の特徴量或いはつなぎ合わせ方法によっ
て対応づけられた特定の事象毎に分類された音区間の集
まりを各々の振幅を周期的に変化させて再生する再生方
法を用いる速見速聴き方法を手段とする。
法によって一定の特徴量或いはつなぎ合わせ方法によっ
て対応づけられた特定の事象毎に分類された音区間の集
まりを各々の振幅を周期的に変化させて再生する再生方
法を用いる速見速聴き方法を手段とする。
【００３０】
【作用】本発明の請求項１及び２及び１３の速見速聴き
装置及び方法は、実時間で映像情報（画像情報と音情報
から成る情報）、音情報を入力し、実時間で入力された
映像或いは音情報を蓄積し、蓄積された映像或いは音情
報を入力し、入力された映像或いは音情報において、音
情報から種々の特徴量を抽出し、その特徴量に基づいて
映像或いは音情報を管理／加工し、管理／加工した映像
或いは音情報を出力する手段を用いることにより、実時
間情報、蓄積情報によらず映像或いは音情報を入力し、
管理／加工し、出力し、その特徴量に基づく管理／加工
によって速見、速聴きを実現する。
装置及び方法は、実時間で映像情報（画像情報と音情報
から成る情報）、音情報を入力し、実時間で入力された
映像或いは音情報を蓄積し、蓄積された映像或いは音情
報を入力し、入力された映像或いは音情報において、音
情報から種々の特徴量を抽出し、その特徴量に基づいて
映像或いは音情報を管理／加工し、管理／加工した映像
或いは音情報を出力する手段を用いることにより、実時
間情報、蓄積情報によらず映像或いは音情報を入力し、
管理／加工し、出力し、その特徴量に基づく管理／加工
によって速見、速聴きを実現する。
【００３１】本発明の請求項３の音特徴抽出部は、音情
報から種々の特徴量を抽出し、ある条件を満たす特徴量
が存在する音区間を音情報から検出する手段を用いるこ
とにより、音情報を分割できるようにする。
報から種々の特徴量を抽出し、ある条件を満たす特徴量
が存在する音区間を音情報から検出する手段を用いるこ
とにより、音情報を分割できるようにする。
【００３２】本発明の請求項４の特徴量管理部は、一定
の特徴量を有する音区間と映像或いは音の中で発生した
事象とを対応付ける手段を用いることにより、音情報を
分類できるようにする。
の特徴量を有する音区間と映像或いは音の中で発生した
事象とを対応付ける手段を用いることにより、音情報を
分類できるようにする。
【００３３】本発明の請求項５の特徴量管理部は、特定
の特徴量を有する或いは特定の事象に対応する該音区間
をつなぎ合わせる手段を用いることにより、所望の音区
間をまとめる。
の特徴量を有する或いは特定の事象に対応する該音区間
をつなぎ合わせる手段を用いることにより、所望の音区
間をまとめる。
【００３４】本発明の請求項６の特徴量管理部は、入力
が映像情報の場合には該音区間に対応する画像情報を同
期させる手段を用いることにより、画像と音がずれるこ
となく再生する。
が映像情報の場合には該音区間に対応する画像情報を同
期させる手段を用いることにより、画像と音がずれるこ
となく再生する。
【００３５】本発明の請求項１４の速見速聴き方法は、
音情報から種々の特徴量を抽出し、ある条件を満たす特
徴量が存在する音区間を音情報から検出する方法を用い
ることにより、音情報を分割できるようにする。
音情報から種々の特徴量を抽出し、ある条件を満たす特
徴量が存在する音区間を音情報から検出する方法を用い
ることにより、音情報を分割できるようにする。
【００３６】本発明の請求項１５の速見速聴き方法は、
一定の特徴量を有する音区間と映像或いは音の中で発生
した事象とを対応付ける方法を用いることにより、音情
報を分類できるようにする。
一定の特徴量を有する音区間と映像或いは音の中で発生
した事象とを対応付ける方法を用いることにより、音情
報を分類できるようにする。
【００３７】本発明の請求項１６の速見速聴き方法は、
特定の特徴量を有する或いは特定の事象に対応する該音
区間をつなぎ合わせる方法を用いることにより、所望の
音区間をまとめる。
特定の特徴量を有する或いは特定の事象に対応する該音
区間をつなぎ合わせる方法を用いることにより、所望の
音区間をまとめる。
【００３８】本発明の請求項１７の速見速聴き方法は、
入力が映像情報の場合には該音区間に対応する画像情報
を同期させる方法を用いることにより、画像と音がずれ
ることなく再生する。
入力が映像情報の場合には該音区間に対応する画像情報
を同期させる方法を用いることにより、画像と音がずれ
ることなく再生する。
【００３９】本発明の請求項７、１８の音情報変化検出
手段及び方法は、音情報から周波数スペクトルを算出
し、スペクトルの包絡線からピークを検出し、該ピーク
の特徴量がある条件を満たす音の区間を音情報から検出
する方法を用いることにより、音の変化を検出して特徴
を検出する。
手段及び方法は、音情報から周波数スペクトルを算出
し、スペクトルの包絡線からピークを検出し、該ピーク
の特徴量がある条件を満たす音の区間を音情報から検出
する方法を用いることにより、音の変化を検出して特徴
を検出する。
【００４０】本発明の請求項８、１９の事象対応付け手
段及び方法は、該ピークの特徴量を典型的な事象におけ
る該ピークの特徴量と比較することによって該音区間と
事象を対応付ける。
段及び方法は、該ピークの特徴量を典型的な事象におけ
る該ピークの特徴量と比較することによって該音区間と
事象を対応付ける。
【００４１】本発明の請求項９、２０のつなぎ合わせ手
段及び方法は、音情報に含まれる特定の特徴量或いは事
象を有する音区間をつなぎ合わせ、再生した場合に要す
る時間の総和を該特徴量或いは該事象毎に算出し、再生
時間の制限に応じて制限時間に最も近い音区間を選択す
る手段を用いることにより、再生時間を変化指せ、制限
時間に応じた速見速聴きを実現する。
段及び方法は、音情報に含まれる特定の特徴量或いは事
象を有する音区間をつなぎ合わせ、再生した場合に要す
る時間の総和を該特徴量或いは該事象毎に算出し、再生
時間の制限に応じて制限時間に最も近い音区間を選択す
る手段を用いることにより、再生時間を変化指せ、制限
時間に応じた速見速聴きを実現する。
【００４２】本発明の請求項１０、２１のつなぎ合わせ
手段及び方法は、音情報のパワーが低くなったところを
つなぎ合わせ点とする方法を用いることにより、選択さ
れた該音区間をつなぎ合わせる際に生じる音の不自然な
ぶつ切れをなくす。
手段及び方法は、音情報のパワーが低くなったところを
つなぎ合わせ点とする方法を用いることにより、選択さ
れた該音区間をつなぎ合わせる際に生じる音の不自然な
ぶつ切れをなくす。
【００４３】本発明の請求項１１、２２のつなぎ合わせ
手段及び方法は、該音区間の両端のパワーを低くしてつ
なぎ合わせ点とする方法を用いることにより、選択され
た該音区間のつなぎ合わせる際に生じる音の不自然なぶ
つ切れをなくす。
手段及び方法は、該音区間の両端のパワーを低くしてつ
なぎ合わせ点とする方法を用いることにより、選択され
た該音区間のつなぎ合わせる際に生じる音の不自然なぶ
つ切れをなくす。
【００４４】本発明の請求項１２、２３の再生手段及び
方法は、前記音情報変化抽出手段によって一定の特徴量
或いは前記つなぎ合わせ手段によって対応づけられた特
定の事象毎に分類された音区間の集まりを各々の振幅を
周期的に変化させる手段を用いることにより、異なる特
徴や事象に対応した音をある間隔で順番に再生し、どの
ような特徴或は事象が含まれているのかを短時間で把握
可能とする。
方法は、前記音情報変化抽出手段によって一定の特徴量
或いは前記つなぎ合わせ手段によって対応づけられた特
定の事象毎に分類された音区間の集まりを各々の振幅を
周期的に変化させる手段を用いることにより、異なる特
徴や事象に対応した音をある間隔で順番に再生し、どの
ような特徴或は事象が含まれているのかを短時間で把握
可能とする。
【００４５】
【実施例】次に、本発明の一実施例について図面を参照
して説明する。
して説明する。
【００４６】図１は本発明の一実施例の速見速聴き装置
の概略構成を示すブロック図である。本実施例の速見速
聴き装置は、映像或いは音情報を入力する映像・音入力
部１０１と、実時間で入力された映像、音、特徴量を逐
次蓄積する映像・音・特徴量蓄積部１０５と、映像、
音、特徴量を管理し、制御する映像・音管理制御部１０
２と、出力された映像、音を提示するインターフェース
部１０６から構成されている。映像・音管理制御部１０
２は、音情報の特徴を抽出する音特徴抽出部１０３と、
特徴量に基づいて映像或いは音を加工、変換、再生する
特徴量管理部１０４で構成されており、音特徴抽出部１
０３と特徴量管理部１０４は各々、並列或いは時分割で
作動し、実時間で特徴抽出しながら映像或いは音を加
工、変換、再生できる。
の概略構成を示すブロック図である。本実施例の速見速
聴き装置は、映像或いは音情報を入力する映像・音入力
部１０１と、実時間で入力された映像、音、特徴量を逐
次蓄積する映像・音・特徴量蓄積部１０５と、映像、
音、特徴量を管理し、制御する映像・音管理制御部１０
２と、出力された映像、音を提示するインターフェース
部１０６から構成されている。映像・音管理制御部１０
２は、音情報の特徴を抽出する音特徴抽出部１０３と、
特徴量に基づいて映像或いは音を加工、変換、再生する
特徴量管理部１０４で構成されており、音特徴抽出部１
０３と特徴量管理部１０４は各々、並列或いは時分割で
作動し、実時間で特徴抽出しながら映像或いは音を加
工、変換、再生できる。
【００４７】図２は映像・音管理制御部１０２の構成を
示すブロック図である。音特徴抽出部１０３は、音の特
徴がある条件を満たす音の区間を検出する音情報変化検
出手段２０１から成り、特徴量管理部１０４は、音情報
変化検出手段２０１によって求められた音区間と映像或
いは音の中で起きた事象を対応付ける事象対応付け手段
２０２と、該音区間をつなぎ合わせるつなぎ合わせ手段
２０３と、該音区間と対応する画像情報を同期させる再
生手段２０４によって構成されている。
示すブロック図である。音特徴抽出部１０３は、音の特
徴がある条件を満たす音の区間を検出する音情報変化検
出手段２０１から成り、特徴量管理部１０４は、音情報
変化検出手段２０１によって求められた音区間と映像或
いは音の中で起きた事象を対応付ける事象対応付け手段
２０２と、該音区間をつなぎ合わせるつなぎ合わせ手段
２０３と、該音区間と対応する画像情報を同期させる再
生手段２０４によって構成されている。
【００４８】図３は、映像・音管理制御部１０２の音特
徴抽出部１０３及び特徴量管理部１０４を計算機等のソ
フトウェア的に実現する場合の処理を示すフローチャー
トである。この場合、まず、音情報変化検出処理３０１
を行い、次に、事象対応付け処理３０２を行い、次に、
つなぎ合わせ処理３０３を行い、次に、再生処理３０４
を行う。
徴抽出部１０３及び特徴量管理部１０４を計算機等のソ
フトウェア的に実現する場合の処理を示すフローチャー
トである。この場合、まず、音情報変化検出処理３０１
を行い、次に、事象対応付け処理３０２を行い、次に、
つなぎ合わせ処理３０３を行い、次に、再生処理３０４
を行う。
【００４９】次に、本実施例の動作を説明する。
【００５０】図４は音情報変化検出手段２０１または音
情報変化検出処理３０１の処理を示すフローチャート、
図５は本実施例による音の波形から周波数スペクトルと
スペクトルの包絡線を算出した様子を示す図、図６は本
実施例によるスペクトル包絡のピークや特徴量を示す
図、図７は本実施例によるつなぎ合わせ手段において用
いられる波形のパワーの時間変化を示す図、図８は本実
施例による再生手段において用いられる重み付け関数を
示す図である。
情報変化検出処理３０１の処理を示すフローチャート、
図５は本実施例による音の波形から周波数スペクトルと
スペクトルの包絡線を算出した様子を示す図、図６は本
実施例によるスペクトル包絡のピークや特徴量を示す
図、図７は本実施例によるつなぎ合わせ手段において用
いられる波形のパワーの時間変化を示す図、図８は本実
施例による再生手段において用いられる重み付け関数を
示す図である。
【００５１】映像或いは音情報は映像・音入力部１０１
によって入力され、映像或いは音が実時間で入力された
場合には、逐次映像・音・特徴量蓄積部１０５によって
蓄積される。入力された映像情報は画像情報と音情報に
分離され、音情報は音情報変化検出手段２０１によって
解析される。入力が音情報のみの場合にはそのまま音情
報変化検出手段２０１によって解析される。音情報変化
検出手段２０１では、始めに図４のスペクトル算出処理
４０１が施される。入力された音情報の波形が図５の５
０１の様に与えられたとすれば、５０２の様に数ｍｓ〜
数１０ｍｓのフレームに切り出され、ＦＦＴ（高速フー
リエ変換）処理が施される。ＦＦＴ処理を施された波形
は５０３に示すようにパワー方向の起伏が激しいのでピ
ーク検出には不適当であ。そこで、図４の周波数スペク
トル抱絡線算出処理４０２を施して、ＦＦＴケプストラ
ムを求め、リフタリング処理を施した後、もう一度ＦＦ
Ｔ処理を施してスペクトルの包絡線を算出する。算出さ
れた包絡線は、５０４のようになる。ケプストラムの算
出方法にはＦＦＴの他にＬＰＣ（線形予測分析）を用い
る方法も考えらえる。
によって入力され、映像或いは音が実時間で入力された
場合には、逐次映像・音・特徴量蓄積部１０５によって
蓄積される。入力された映像情報は画像情報と音情報に
分離され、音情報は音情報変化検出手段２０１によって
解析される。入力が音情報のみの場合にはそのまま音情
報変化検出手段２０１によって解析される。音情報変化
検出手段２０１では、始めに図４のスペクトル算出処理
４０１が施される。入力された音情報の波形が図５の５
０１の様に与えられたとすれば、５０２の様に数ｍｓ〜
数１０ｍｓのフレームに切り出され、ＦＦＴ（高速フー
リエ変換）処理が施される。ＦＦＴ処理を施された波形
は５０３に示すようにパワー方向の起伏が激しいのでピ
ーク検出には不適当であ。そこで、図４の周波数スペク
トル抱絡線算出処理４０２を施して、ＦＦＴケプストラ
ムを求め、リフタリング処理を施した後、もう一度ＦＦ
Ｔ処理を施してスペクトルの包絡線を算出する。算出さ
れた包絡線は、５０４のようになる。ケプストラムの算
出方法にはＦＦＴの他にＬＰＣ（線形予測分析）を用い
る方法も考えらえる。
【００５２】次に、求められた包絡線から図４の４０３
に示すピーク検出処理を施す。リフタリング処理によっ
て包絡線がなめらかになっているため包絡線の極大値及
び極小値から容易にピークを求めることができる。求め
られたピークの例を図６の６０４〜６０８に示す。
に示すピーク検出処理を施す。リフタリング処理によっ
て包絡線がなめらかになっているため包絡線の極大値及
び極小値から容易にピークを求めることができる。求め
られたピークの例を図６の６０４〜６０８に示す。
【００５３】音情報の波形から切り出すフレームは数ｍ
ｓ〜数１０ｍｓ程度時間軸方向にずらし、同様の処理を
繰り返し行う。この様にして各時刻において求められた
ピークを基にピーク変動算出処理４０４が施される。こ
の処理では、ピークを基準とした種々のパラメータの時
間的な変化を求める。パラメータとしては、図６に示す
ピークのパワー６０１、ピークの周波数６０２、極大ピ
ークから隣接する極小ピークまでのパワーの差６０３、
ピークの数等が考えられる。
ｓ〜数１０ｍｓ程度時間軸方向にずらし、同様の処理を
繰り返し行う。この様にして各時刻において求められた
ピークを基にピーク変動算出処理４０４が施される。こ
の処理では、ピークを基準とした種々のパラメータの時
間的な変化を求める。パラメータとしては、図６に示す
ピークのパワー６０１、ピークの周波数６０２、極大ピ
ークから隣接する極小ピークまでのパワーの差６０３、
ピークの数等が考えられる。
【００５４】これらのパラメータの時間変化から事象対
応付け手段２０２によって映像や音の中で起きた事象と
の対応付けが行われる。例えば、映像や音に音楽が含ま
れていたとすれば、ピークの周波数６０２の時間変動が
ある閾値以下であったり、一定周期でピークのパワー６
０１が大きくなる等の特徴が見られるので、この様な特
徴を含む音区間は音楽と対応付けられる。また、ピーク
の周波数がなめらかに変化したり、極大ピークと極小ピ
ークの差が大きい等の特徴が見られる場合には人の声と
対応付けられ、ピークのパワーや数が細かく変動する場
合には雑踏や雑音と対応付けられる。
応付け手段２０２によって映像や音の中で起きた事象と
の対応付けが行われる。例えば、映像や音に音楽が含ま
れていたとすれば、ピークの周波数６０２の時間変動が
ある閾値以下であったり、一定周期でピークのパワー６
０１が大きくなる等の特徴が見られるので、この様な特
徴を含む音区間は音楽と対応付けられる。また、ピーク
の周波数がなめらかに変化したり、極大ピークと極小ピ
ークの差が大きい等の特徴が見られる場合には人の声と
対応付けられ、ピークのパワーや数が細かく変動する場
合には雑踏や雑音と対応付けられる。
【００５５】次につなぎ合わせ手段２０３により、例え
ば人の声の区間だけを再生したい場合には事象対応付け
手段２０２によって対応づけられた人の声の音区間が選
択されつなぎ合わせられる。この際、図７の７０２が選
択された音区間の１つであるとすると、７０３，７０４
の様に音区間の始めと終わりの近傍においてパワーが低
くなる部分をつなぎ合わせることにより、不自然な音の
ぶつ切れを軽減することができる。また、音区間７０２
の両端のパワーを強制的に低くしてつなげる方法もあ
る。パワーの算出には音波形を数ｍｓの範囲で区切り振
幅の２乗和を用いる方法等が考えられる。算出されたパ
ワーの一例を７０１に示す。
ば人の声の区間だけを再生したい場合には事象対応付け
手段２０２によって対応づけられた人の声の音区間が選
択されつなぎ合わせられる。この際、図７の７０２が選
択された音区間の１つであるとすると、７０３，７０４
の様に音区間の始めと終わりの近傍においてパワーが低
くなる部分をつなぎ合わせることにより、不自然な音の
ぶつ切れを軽減することができる。また、音区間７０２
の両端のパワーを強制的に低くしてつなげる方法もあ
る。パワーの算出には音波形を数ｍｓの範囲で区切り振
幅の２乗和を用いる方法等が考えられる。算出されたパ
ワーの一例を７０１に示す。
【００５６】再生する音区間は一定の特徴量をもった区
間のつなぎ合わせだけでなく、音情報が急激に変化した
点の前後一定時間にすることも可能である。
間のつなぎ合わせだけでなく、音情報が急激に変化した
点の前後一定時間にすることも可能である。
【００５７】つなぎ合わせ手段２０３によって生成され
た音区間の集まりは再生手段２０４によって再生され
る。この際、入力情報が映像であった場合には、各々の
音区間に対応した画像と共に再生される。入力情報が音
のみの場合にはそのまま再生される。
た音区間の集まりは再生手段２０４によって再生され
る。この際、入力情報が映像であった場合には、各々の
音区間に対応した画像と共に再生される。入力情報が音
のみの場合にはそのまま再生される。
【００５８】再生手段には次の様なブラウジング機能も
付いている。一定の特徴量或いは特定の事象毎につなぎ
合わされた音区間に、各々振幅方向に図８の８０１〜８
０４の様な周期的に変化する重み付けを施し、８０５に
示すような位相差を与えて再生する。図８は音区間の分
類が４つの場合を示しているが、音区間の数や重み付関
数、位相差等は任意に設定できる。この様な方法で再生
することによって異なる特徴或いは事象に対応した音区
間が入れ替わりながら聞こえてくる。
付いている。一定の特徴量或いは特定の事象毎につなぎ
合わされた音区間に、各々振幅方向に図８の８０１〜８
０４の様な周期的に変化する重み付けを施し、８０５に
示すような位相差を与えて再生する。図８は音区間の分
類が４つの場合を示しているが、音区間の数や重み付関
数、位相差等は任意に設定できる。この様な方法で再生
することによって異なる特徴或いは事象に対応した音区
間が入れ替わりながら聞こえてくる。
【００５９】
【発明の効果】以上説明したように、本発明は以下に示
すような効果がある。
すような効果がある。
【００６０】請求項１〜１２の発明は、音情報からその
特徴をとらえ、映像や音の中で起きた事象との対応付け
を行い、所望の事象や特徴量がある条件を満たす音の区
間を再生するため、映像或いは音の内容を反映した速見
或いは速聴きができる。
特徴をとらえ、映像や音の中で起きた事象との対応付け
を行い、所望の事象や特徴量がある条件を満たす音の区
間を再生するため、映像或いは音の内容を反映した速見
或いは速聴きができる。
【００６１】請求項９、２０のつなぎ合わせ手段方法
は、音情報に含まれる特定の特徴量或いは事象を有する
音区間をつなぎ合わせ、再生した場合に要する時間の総
和を特徴量或いは該事象毎に算出し、利用者が指定した
再生制限時間に最も近い音区間を選択するため、再生時
間の制限に応じた速見或いは速聴きができる。
は、音情報に含まれる特定の特徴量或いは事象を有する
音区間をつなぎ合わせ、再生した場合に要する時間の総
和を特徴量或いは該事象毎に算出し、利用者が指定した
再生制限時間に最も近い音区間を選択するため、再生時
間の制限に応じた速見或いは速聴きができる。
【００６２】本発明の請求項１０、２１のつなぎ合わせ
手段及び方法は、選択された該音区間をつなぎ合わせる
際に音情報のパワーが低くなったところをつなぎ合わせ
点とするため、不自然な音のぶつ切れを軽減することが
できる。
手段及び方法は、選択された該音区間をつなぎ合わせる
際に音情報のパワーが低くなったところをつなぎ合わせ
点とするため、不自然な音のぶつ切れを軽減することが
できる。
【００６３】本発明の請求項１１、２２のつなぎ合わせ
手段及び方法は、選択された音区間をつなぎ合わせる際
に、音区間の両端のパワーを低くしてつなぎ合わせるた
め、不自然の音のぶつ切れを軽減することができる。
手段及び方法は、選択された音区間をつなぎ合わせる際
に、音区間の両端のパワーを低くしてつなぎ合わせるた
め、不自然の音のぶつ切れを軽減することができる。
【００６４】本発明の請求項１２、２３の再生手段及び
方法は、一定の特徴量或いは特定の事象毎に分類された
音区間の集まりを各々の振幅を周期的に変化させて再生
するため、どの様な特徴量或いは事象が含まれているの
かを短時間で把握する事が可能になる。
方法は、一定の特徴量或いは特定の事象毎に分類された
音区間の集まりを各々の振幅を周期的に変化させて再生
するため、どの様な特徴量或いは事象が含まれているの
かを短時間で把握する事が可能になる。
【図１】本発明の一実施例の速見速聴き装置の概略構成
を示すブロック図である。
を示すブロック図である。
【図２】本発明の一実施例の映像・音管理制御部の構成
を示すブロック図である。
を示すブロック図である。
【図３】本発明の一実施例の音特徴抽出部及び特徴量管
理部の動作を計算機等でソフトウェア的に実現した場合
の処理の流れを示すフローチャートである。
理部の動作を計算機等でソフトウェア的に実現した場合
の処理の流れを示すフローチャートである。
【図４】本実施例による音情報の周波数スペクトル算出
処理から周波数スペクトルの包絡線のピーク変動を算出
するまでの処理の流れを説明するためのフローチャート
である。
処理から周波数スペクトルの包絡線のピーク変動を算出
するまでの処理の流れを説明するためのフローチャート
である。
【図５】本実施例による音情報の波形の例とＦＦＴによ
って算出された周波数スペクトル及びケプストラムから
リフタリング処理を施しＦＦＴによって算出された周波
数スペクトルの包絡線の様子を示す図である。
って算出された周波数スペクトル及びケプストラムから
リフタリング処理を施しＦＦＴによって算出された周波
数スペクトルの包絡線の様子を示す図である。
【図６】本実施例による音情報の周波数スペクトルの包
絡線と音情報の変化をとらえるために用いる各種パラメ
ータを示す図である。
絡線と音情報の変化をとらえるために用いる各種パラメ
ータを示す図である。
【図７】本実施例による音情報のパワーの様子とパワー
が低くなったつなぎ合わせ部分を示す図である。
が低くなったつなぎ合わせ部分を示す図である。
【図８】本実施例による音区間の重み付け関数と位相差
の様子を示す図である。
の様子を示す図である。
１０１…映像・音入力部 １０２…映像・音管理制御部 １０３…音特徴抽出部 １０４…特徴量管理部 １０５…映像・音・特徴量蓄積部 １０６…インーフェース部 ２０１…音情報変化検出手段 ２０２…事象対応付け手段 ２０３…つなぎ合わせ手段 ２０４…再生手段 ３０１…音情報変化検出処理 ３０２…事象対応付け処理 ３０３…つなぎ合わせ処理 ３０４…再生処理 ４０１…周波数スペクトル算出処理 ４０２…周波数スペクトル包絡線算出処理 ４０３…ピーク検出処理 ４０４…ピーク変動算出処理
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/928
Claims (23)
- 【請求項１】 実時間で画像情報と音情報からなる映像
情報或は音情報を入力する映像・音情報入力部と、前記
実時間で入力された映像或いは音情報を蓄積し該蓄積さ
れた映像或いは音情報を出力し該映像或いは音情報の特
徴量を蓄積する映像・音・特徴量蓄積部と、前記入力さ
れた映像或いは音情報において音情報から種々の特徴量
を抽出し該特徴量を管理する映像・音管理制御部と、前
記特徴量の管理された映像或いは音情報を出力するイン
ターフェース部と、を有することを特徴とする速見速聴
き装置。 - 【請求項２】 前記映像・音管理制御部は、音情報から
種々の特徴量を抽出する音特徴抽出部と、該特徴量を管
理し該特徴量に基づいて音情報を加工、変換する特徴量
管理部とを有することを特徴とする請求項１記載の速見
速聴き装置。 - 【請求項３】 前記音特徴抽出部は、音情報から種々の
特徴量を抽出しある条件を満たす特徴量が存在する音区
間を音情報から検出する音情報変化検出手段を具備する
ことを特徴とする請求項２記載の速見速聴き装置。 - 【請求項４】 前記特徴量管理部は、一定の特徴量を有
する音区間と映像或いは音の中で発生した事象とを対応
付ける事象対応付け手段を具備することを特徴とする請
求項３記載の速見速聴き装置。 - 【請求項５】 前記特徴量管理部は、特定の特徴量を有
する或いは特定の事象に対応する該音区間をつなぎ合わ
せるつなぎ合わせ手段を具備することを特徴とする請求
項３または請求項４記載の速見速聴き装置。 - 【請求項６】 前記特徴量管理部は、入力が映像情報の
場合には該音区間に対応する画像情報を同期させる再生
手段を具備することを特徴とする請求項３または請求項
４または請求項５記載の速見速聴き装置。 - 【請求項７】 前記音情報変化検出手段は、音情報から
周波数スペクトルを算出し、スペクトルの包絡線からピ
ークを検出し、該ピークの特徴量がある条件を満たす音
区間を音情報から検出するものであることを特徴とする
請求項３記載の速見速聴き装置。 - 【請求項８】 前記事象対応付け手段は、該ピークの特
徴量を典型的な事象における該ピークの特徴量と比較す
ることによって該音区間と事象を対応付けるものである
ことを特徴とする請求項４記載の速見速聴き装置。 - 【請求項９】 前記つなぎ合わせ手段は、音情報に含ま
れる特定の特徴量或いは事象を有する音区間をつなぎ合
わせ、再生した場合に要する時間の総和を該特徴量或い
は該事象毎に算出し、再生時間の制限に応じて制限時間
に最も近い音区間を選択する音区間選択手段を有するこ
とを特徴とする請求項５記載の速見速聴き装置。 - 【請求項１０】 前記つなぎ合わせ手段は、選択された
該音区間において、音情報のパワーが低くなったところ
をつなぎ合わせ点とするものであることを特徴とする請
求項５または請求項９記載の速見速聴き装置。 - 【請求項１１】 前記つなぎ合わせ手段は、選択された
該音区間において、該音区間の両端のパワーを低くして
つなぎ合わせ点とするものであることを特徴とする請求
項５または請求項９記載の速見速聴き装置。 - 【請求項１２】 音情報変化抽出手段によって一定の特
徴量或いはつなぎ合わせ手段によって対応づけられた特
定の事象毎に分類された音区間の集まりを各々の振幅を
周期的に変化させて再生する再生手段を有することを特
徴とする請求項４または請求項５または請求項６記載の
速見速聴き装置。 - 【請求項１３】 まず、実時間で画像情報と音情報から
なる映像情報或いは音情報を入力し、前記実時間で入力
された映像或いは音情報を蓄積し、実時間でない場合に
は蓄積された映像或いは音情報を入力し、次に、前記入
力された映像或いは音情報において音情報から種々の特
徴量を抽出し、次に、前記抽出した特徴量に基づいて前
記映像或いは音情報を加工し、次に、前記加工した映像
或いは音情報を出力することを特徴とする速見速聴き方
法。 - 【請求項１４】 映像或は音情報を加工する過程におい
て、音情報から抽出された種々の特徴量のうち、ある条
件を満たす特徴量が存在する音区間を音情報から検出す
る音情報変化検出方法を用いることを特徴とする請求項
１３記載の速見速聴き方法。 - 【請求項１５】 一定の特徴量を有する音区間と映像或
いは音の中で発生した事象とを対応付ける事象対応付け
方法を用いることを特徴とする請求項１４記載の速見速
聴き方法。 - 【請求項１６】 特定の特徴量を有する或いは特定の事
象に対応する該音区間をつなぎ合わせるつなぎ合わせ方
法を用いることを特徴とする請求項１４または請求項１
５記載の速見速聴き方法。 - 【請求項１７】 入力が映像情報の場合には該音区間に
対応する画像情報を同期させる再生方法を用いることを
特徴とする請求項１４または請求項１５または請求項１
６記載の速見速聴き方法。 - 【請求項１８】 前記音情報変化検出方法であって、音
情報から周波数スペクトルを算出し、スペクトルの包絡
線からピークを検出し、該ピークの特徴量がある条件を
満たす音区間を音情報から検出する方法を用いることを
特徴とする請求項１４記載の速見速聴き方法。 - 【請求項１９】 前記事象対応付け方法であって、該ピ
ークの特徴量を典型的な事象における該ピークの特徴量
と比較することによって該音区間と事象を対応付ける方
法を用いることを特徴とする請求項１５記載の速見速聴
き方法。 - 【請求項２０】 前記つなぎ合わせ方法であって、音情
報に含まれる特定の特徴量或いは事象を有する音区間を
つなぎ合わせ、再生した場合に要する時間の総和を該特
徴量或いは該事象毎に算出し、再生時間の制限に応じて
制限時間に最も近い音区間を選択する音区間選択方法を
用いることを特徴とする請求項１６記載の速見速聴き方
法。 - 【請求項２１】 前記つなぎ合わせ方法であって、選択
された該音区間において、音情報のパワーが低くなった
ところをつなぎ合わせ点とする方法を用いることを特徴
とする請求項１６または請求項２０記載の速見速聴き方
法。 - 【請求項２２】 前記つなぎ合わせ方法であって、選択
された該音区間において、該音区間の両端のパワーを低
くしてつなぎ合わせ点とする方法を用いることを特徴と
する請求項１６または請求項２０記載の速見速聴き方
法。 - 【請求項２３】 音情報変化抽出方法によって一定の特
徴量或いはつなぎ合わせ方法によって対応づけられた特
定の事象毎に分類された音区間の集まりを各々の振幅を
周期的に変化させて再生する再生方法を用いることを特
徴とする請求項請求項１５または請求項１６または請求
項１７記載の速見速聴き方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6227545A JPH0895596A (ja) | 1994-09-22 | 1994-09-22 | 速見速聴き装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6227545A JPH0895596A (ja) | 1994-09-22 | 1994-09-22 | 速見速聴き装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0895596A true JPH0895596A (ja) | 1996-04-12 |
Family
ID=16862584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6227545A Pending JPH0895596A (ja) | 1994-09-22 | 1994-09-22 | 速見速聴き装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0895596A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1125572A (ja) * | 1997-07-07 | 1999-01-29 | Matsushita Electric Ind Co Ltd | 光ディスクプレーヤ |
| US6339804B1 (en) | 1998-01-21 | 2002-01-15 | Kabushiki Kaisha Seiko Sho. | Fast-forward/fast-backward intermittent reproduction of compressed digital data frame using compression parameter value calculated from parameter-calculation-target frame not previously reproduced |
| JP2005143074A (ja) * | 2003-11-07 | 2005-06-02 | Psytechnics Ltd | 品質評価装置 |
| US7379099B2 (en) | 1996-12-19 | 2008-05-27 | Nikon Corporation | Image playback device and method and electronic camera with image playback function |
| US7730814B2 (en) | 2004-01-26 | 2010-06-08 | Nec Corporation | Video image type determination system, video image processing system, video image processing method and video image processing program |
| JPWO2022234636A1 (ja) * | 2021-05-07 | 2022-11-10 |
-
1994
- 1994-09-22 JP JP6227545A patent/JPH0895596A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7379099B2 (en) | 1996-12-19 | 2008-05-27 | Nikon Corporation | Image playback device and method and electronic camera with image playback function |
| US8154614B2 (en) | 1996-12-19 | 2012-04-10 | Nikon Corporation | Image playback device and method and electronic camera with image playback function |
| US8711243B2 (en) | 1996-12-19 | 2014-04-29 | Nikon Corporation | Image playback device and method and electronic camera with image playback function |
| US9099149B2 (en) | 1996-12-19 | 2015-08-04 | Nikon Corporation | Image playback device and method and electronic camera with image playback function |
| JPH1125572A (ja) * | 1997-07-07 | 1999-01-29 | Matsushita Electric Ind Co Ltd | 光ディスクプレーヤ |
| US6339804B1 (en) | 1998-01-21 | 2002-01-15 | Kabushiki Kaisha Seiko Sho. | Fast-forward/fast-backward intermittent reproduction of compressed digital data frame using compression parameter value calculated from parameter-calculation-target frame not previously reproduced |
| JP2005143074A (ja) * | 2003-11-07 | 2005-06-02 | Psytechnics Ltd | 品質評価装置 |
| US7730814B2 (en) | 2004-01-26 | 2010-06-08 | Nec Corporation | Video image type determination system, video image processing system, video image processing method and video image processing program |
| JPWO2022234636A1 (ja) * | 2021-05-07 | 2022-11-10 | ||
| WO2022234636A1 (ja) * | 2021-05-07 | 2022-11-10 | 日本電気株式会社 | 信号処理装置、信号処理方法、信号処理システム及びコンピュータ読み取り可能な記憶媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0969399B1 (en) | Multimedia system and method for automatic clip selection | |
| US6697564B1 (en) | Method and system for video browsing and editing by employing audio | |
| US7522967B2 (en) | Audio summary based audio processing | |
| EP1547060B1 (en) | System and method for generating an audio thumbnail of an audio track | |
| JP4332988B2 (ja) | 信号処理装置及び方法 | |
| EP1081960A1 (en) | Signal processing method and video/voice processing device | |
| US20020028060A1 (en) | Editing method for recorded information | |
| JP3891111B2 (ja) | 音響信号処理装置及び方法、信号記録装置及び方法、並びにプログラム | |
| WO2007132690A1 (ja) | 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム | |
| KR960038911A (ko) | 가라오케용 기록매체와 이 기록매체로부터 가라오케 데이타를 재생하는 방법과 재생 장치 및 기록매체에 가라오케 데이타를 기록하는 방법과 기록 장치 | |
| KR20010092767A (ko) | 영상 정보의 편집 방법 및 편집 장치 | |
| JP3340905B2 (ja) | 動画像処理方法 | |
| WO2004114278A1 (en) | System and method for spectrogram analysis of an audio signal | |
| JP4812733B2 (ja) | 情報編集装置、情報編集方法、情報編集プログラムおよびそのプログラムを記録した記録媒体 | |
| JP3840928B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
| JPH0895596A (ja) | 速見速聴き装置及び方法 | |
| KR20050029282A (ko) | 콘텐트-기반 콘텐트 표를 생성하기 위한 방법, 시스템, 및프로그램 제품 | |
| US20060098942A1 (en) | Video reproduction apparatus and intelligent skip method therefor | |
| JP3642019B2 (ja) | Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方法 | |
| JPH0728830A (ja) | オーディオデータファイルの分析処理装置 | |
| JP3506410B2 (ja) | 劇的映像制作支援方法および装置 | |
| JPH08249343A (ja) | 音声情報取得装置及び音声情報取得方法 | |
| JP2005167456A (ja) | Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置 | |
| Tucker et al. | Novel techniques for time-compressing speech: an exploratory study |