JPH08137902A - イメージ空間域指定サウンド検索装置 - Google Patents

Abstract

(57)【要約】 【目的】 サウンド検索装置に関し、利用者が検索の動
機としてサウンドに対して持つイメージを１以上のイメ
ージ評価要素について評価値の範囲を条件として与える
ことによりサウンドを検索する手段を提供することを目
的とする。 【構成】 １以上のイメージ評価要素で評価されたサウ
ンドを格納したサウンドイメージ評価データ格納部１
と、イメージ評価要素毎の評価値の範囲を指定するイメ
ージパラメータ入力手段２と、サウンドイメージ評価デ
ータ格納部１に対して、上記指定された範囲が形成する
イメージ空間域内に評価されて存在するサウンドを検索
するサウンド検索手段３とを備えるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマルチメディアを用いた
映像システムおよびプレゼンテーションシステムにおい
て、ある程度継続した時間、映像の場面の雰囲気を醸し
出すためのバックグラウンドミュージック（ＢＧＭ）や
短い旋律をもったハープ、チャイム、ベル、楽器等の音
で作る場面切替え等の効果音であるミュージックエフェ
クト（ＭＥ）、同じ効果音でも実在の物が発する音に近
いもの、例えば、波の音、ドアの閉まる音、物の落ちる
音、爆発音のようなサウンドエフェクト（ＳＥ）等、映
像に付加する各種の音（サウンド）を検索するサウンド
検索装置に関する。

【０００２】近年のコンピュータシステムの高性能化に
より、パーソナルコンピュータを用いたマルチメディア
システムが実現されつつある。この様なシステムにおい
ては、従来のように文字だけではなく、映像、サウン
ド、動画といったメディアを気軽に取り扱うことがで
き、ホームビデオやアニメーション、プレゼンテーショ
ンに利用されている。

【０００３】現在、これらのシステムに対するライブラ
リが整備されつつあるが、目的のものを検索するシステ
ムの整備が遅れている。従って、ライブラリ中のサウン
ドを一度も聞いたことのない利用者でも検索できるよう
な技術が強く求められている。

【０００４】

【従来の技術】映像に関しては、解像度を犠牲にして縮
小することにより、１画面あたりの表示数を増やし、一
覧検索する方法が一般的になっている。

【０００５】しかし、サウンドに関しては空間的に並列
におかれたものを区別して聞くことができないため、利
用者が暇な時間にサウンドをきいて利用者自身がインデ
ックスを作成しておき、必要な時にそのインデックスを
用いて目的のサウンドを探すというような方法によって
行ってきた。

【０００６】上記の如く、従来は系統立ててサウンドを
検索するという技術は存在しなかった。一部のライブラ
リにおいては、インデックスが存在していたが、あらか
じめシステムに用意された限定された言葉をキーとして
検索するシステムであり、あいまい検索ができなかっ
た。

【０００７】

【発明が解決しようとする課題】このように、あいまい
検索ができないために利用者が持っているイメージを表
現してサウンドを検索するには不十分であるという問題
があった。

【０００８】本発明はこのような点にかんがみて、利用
者が検索の動機としてサウンドに対して持つイメージを
１以上のイメージ評価要素について評価値の範囲を条件
として与えることによりサウンドを検索する手段を提供
することを目的とする。

【０００９】

【課題を解決するための手段】上記の課題は下記の如く
に構成されたイメージ空間域指定サウンド検索装置によ
って解決される。

【００１０】図１は、本発明の構成図である。サウンド
イメージ評価データ格納部１はサウンドを１以上の評価
要素に従って評価し、サウンドに各イメージ評価要素の
評価値とサウンドを再生するための録音情報の格納アド
レスを対応させて記憶したデータベースを格納している
ものであり、イメージパラメータ入力手段２は第１の発
明において各イメージ評価要素毎の評価値の範囲を指定
するための手段である。

【００１１】サウンド検索手段３は上記イメージパラメ
ータ入力手段２で指定した範囲が形成するイメージ空間
域に評価されて存在するサウンドを上記サウンドイメー
ジ評価データ格納部１を検索して探し出すものである。

【００１２】また、サウンドマップ表示・選択手段４は
第２および第３の発明において追加して備えるもので、
第１の発明において検索されたサウンドを任意の３以下
の評価要素について画面上に３次元または２次元空間に
位置づけるように表示してサウンドを視覚的に区別して
選択指定するものである。

【００１３】

【作用】第１の発明においては、イメージパラメータ入
力手段２により入力された評価要素の評価値の範囲とサ
ウンドイメージ評価データ格納部１のデータと比較し、
範囲内にあるサウンドを探し出したときには、図に表示
していないが別途データ記憶部に上記サウンドイメージ
評価データにあるサウンドの番号、名称等と各評価要素
の評価データ、音として再生することができる録音情報
の格納アドレス等を蓄積記憶するようにし、画面にはサ
ウンドの一覧表等として表示する。

【００１４】第２の発明においては上記第１の発明によ
り画面に表示したサウンドの一覧表の他にサウンドの評
価要素の内３つ以内を指定することにより、検索結果の
サウンドのイメージ評価データを２次元または３次元の
画面で表示するようにしてサウンドの区別を視覚的にも
行うことができるようにする。

【００１５】第３の発明においては第２の発明において
指定した範囲のイメージ空間の大きさが無いような場合
にも指定した範囲から距離の近いものを候補として取り
入れる検索を行うようにする。

【００１６】

【実施例】図２は本発明の実施例の構成図である。計算
機部11には検索制御手段21の制御の下に各種機能を実現
する手段を備え、各手段でデータを記憶し、加工し、受
け渡すためのデータ記憶部27を備える。

【００１７】また、計算機部11に接続される装置として
はサウンドイメージの評価データを格納するサウンドイ
メージ評価データ格納部１、各サウンドの音としての再
生演奏を行うための録音情報であるサウンドデータを格
納するサウンドデータ格納部14がある。

【００１８】さらに、サウンドの検索を行う利用者との
インターフェースとして、画面を通じて入出力を行う表
示・入力部12と検索したサウンドを音として演奏するサ
ウンド演奏部15を備えてサウンド検索装置を構成する。

【００１９】図３は検索のフローチャートである。フロ
ーチャートに従いサウンドの検索の仕組みを説明する。
検索の流れは検索制御手段21により各機能を担う手段を
起動して行くものであり流れに従い各手段、装置の各部
の説明を行う。

【００２０】ステップS31 の〔イメージパラメータ入
力〕ではイメージパラメータ入力手段２が動作する。図
４にはイメージパラメータ入力画面の説明図を示す。図
４では複数のサウンドの評価要素43の内、明るさ、暖か
さの２つの要素について画面上の範囲44の項目で利用者
が各評価要素の評価値の範囲を指定をした場合を示して
いる。

【００２１】各評価要素の評価値は−１００から＋１０
０までの値で表している。マイナスはその要素を持つ程
度が少ないことを示し、プラスはその要素の程度が多い
ことを示す。例えば明るさが＋１００の場合は飛び切り
明るいイメージのサウンドを示し、−１００の場合は逆
に暗いイメージが極端に強い要素を持つことを示すもの
である。中間の値は数値により明るさ、暗さの程度を示
すものである。これらの数値はアンケート等を用いて心
理学で統計的に多くの人が感じる程度を数値化したもの
である。

【００２２】図４において、明るさの要素については−
５０から＋８０までの範囲に評価されているサウンドを
検索することを指定していることがバー表示44a で示さ
れている。同様に暖かさについては０から＋１００まで
をバー表示44b で指定している。

【００２３】他の評価要素43についてはバー(44c,44d,4
4e,44f) が−１００から＋１００までの表示となってい
るのはこれらの評価要素43については条件を与えない、
または積極的に全範囲を指定したこと、すなわちこれら
の評価要素43については評価値を問わないことを示して
いる。

【００２４】図４の左端の欄の表示要素42とあるのは検
索結果をサウンドマップに示す要素を指定するもので任
意の３つ以下を指定することができる。これは、サウン
ドマップ(71,81) は画面を利用して表示するので３次元
表示が限界であるためである。

【００２５】指定の＊マークの付いた評価要素43を軸と
した表示を行うので、ここでは明るさ、暖かさの２つの
評価要素を軸とした２次元の画面がサウンドマップ71と
して表示されることになる。後に説明するが図７に示し
たようなものである。

【００２６】次に、ステップS32 の〔サウンド検索〕に
おいて、上記のように入力されたイメージパラメータに
基づいて、サウンドイメージ評価データ格納部１を検索
することになる。

【００２７】まず、サウンドのイメージ評価データの構
成について説明する。図５にサウンドイメージ評価デー
タの説明図を示す。構成はサウンドの番号、名称に対応
して複数の評価要素52毎の評価が−１００から＋１００
までの間の評価値として与えられた表形式のデータベー
スである。項目として右端にはサウンドデータアドレス
53が記録されおり各サウンドの実際の音としての再現を
行うために録音データを記録したディジタル録音情報の
格納されているアドレスを示している。

【００２８】サウンドの評価要素52は３種類から６種類
程度を使用することにより、サウンドを区別するように
分布させる。サウンドの評価要素毎の評価値は統一され
た手法により一般の人々の感じる度合を統計的に処理し
て設定されたものである。

【００２９】サウンド検索手段３はイメージパラメータ
入力手段２がデータ記憶部27に記憶した評価要素毎の評
価値の範囲に入るサウンドをサウンドイメージ評価デー
タ格納部１の各サウンドを評価して検索する。検索結果
はデータ記憶部27にテーブルとして図５のサウンドイメ
ージ評価データ51と同様の形式で記憶しておく。

【００３０】いくつかの評価要素について評価値の範囲
を与えて検索しているので検索結果のサウンドの候補の
数が多くさらに目的のサウンドとして絞り込む必要があ
る可能性が強い。これらの候補の中から如何に目的のサ
ウンドを探すかをステップS33 の〔マップによる絞り込
み？〕で利用者に問い合わせている。

【００３１】第１の発明に対応する方法としてはここで
Ｎを選ぶことになる。すなわち、ステップS36 の〔サウ
ンドタイトル表示〕に移る。図６にサウンドタイトル表
示画面の説明図を示す。

【００３２】上記のように検索された結果がデータ記憶
部27にテーブルとして記憶されており図６に示すように
図５とほゞ同様の形式でサウンドタイトル表示手段24が
これを表示する。１画面に入りきらないときは画面上の
スクロールによって隠れた部分を見ることができるよう
になっている。

【００３３】これにより、利用者は候補として選んだサ
ウンドの一覧61を見て、サウンドの名称や評価要素の評
価点から目的のサウンドらしきものを演奏選択欄62に＊
マークをつけて選択することにより、ステップS37 の
〔サウンド演奏〕でサウンド演奏部15に実際の音として
演奏させることができる。

【００３４】サウンド演奏手段26がデータ記憶部27に記
憶されている検索結果のテーブルから、前記マーク付け
により指定されたサウンド番号に対応するサウンドデー
タアドレスを知り、サウンドの録音情報を記憶したサウ
ンドデータ格納部14の該当するアドレスから読み出して
サウンド演奏部15に送出することでサウンドの演奏が実
現する。

【００３５】サウンドタイトル表示画面61にあるものの
中で目的に叶ったものが無かったときはステップS38 の
〔目的のサウンド？〕によりステップS31 に移り再度イ
メージパラメータの修正入力することで検索の範囲を変
えてやり直すことができる。

【００３６】次に第２、第３の発明に対応する部分とし
て、ステップS33 でＹを選んだ場合について説明する。
図７はサウンドマップ表示（２次元）例の説明図であ
り、ステップS34 の〔サウンドマップ表示〕においては
サウンドマップ表示・選択手段４により図７の様な画面
が表示される。

【００３７】図７は図４で明るさ、暖かさの各評価要素
について指定された範囲に検索された結果を明るさ73a
、暖かさ73b の２つの軸が作る２次平面上に検索され
たサウンドをプロットしたものである。明るさの下限72
c は−５０、上限72a は＋８０、暖かさの左限72d は
０、右限72b は＋１００の位置に四角の枠を示している
がこれがイメージパラメータとして与えられた範囲であ
る。

【００３８】この四角の枠の中に検索結果として各軸の
評価で小四角形75および大四角形74を記してある。小四
角形75はこの評価位置で一意に決まったサウンドの候補
があることを示し、大四角形74はこの２軸では同一の数
値の評価値を持つサウンドが複数あることを示す。これ
は全く同一の評価値の組合わせのサウンドの場合とこの
２つの評価要素の値だけは同一であるが他の評価要素に
ついての値が異なるものも含む。すなわち多次元の空間
にマッピングされたものを２次元の窓から覗くのでこの
様なことが発生する。

【００３９】左上方に点線の枠76で囲まれた小四角形が
２つ(75a,75b) ある。この点線の枠76は利用者がステッ
プS35 の〔サウンド選択〕で図中の２つの×印を指定し
て範囲を選んだことを示している。すなわち、この２次
元のマップ表示の中で左上方にあるもの、つまり明るさ
の度合が高く、暖かさの度合が低いものを視覚的に選択
したのである。

【００４０】この様に、サウンドのタイトルが未だ表示
されていない状態でサウンドの分布を視覚的に見ながら
この位置にあるサウンドを選んでみようというやり方が
でき、目に見えないサウンドを平面の中で視覚的に区別
して選択することができるのである。

【００４１】大四角形74で表示されたサウンドを選択す
るとき、ここには複数のサウンドが存在することを事前
に意識できることになる。ここで選択された複数のサウ
ンドの候補は次のステップS36 でタイトルの表示が行わ
れ、以下の流れは上記第１の発明に対応する動作と同じ
である。

【００４２】第３の発明に対応するものは上記図７のサ
ウンドマップの中で点線枠76で指定したサウンドの選択
の代わりに枠の大きさのない点で指し示したときの機能
をいう。すなわち、そのような場合は点の近傍で近いも
のを選択することになり、単一のサウンドを指し示す場
合の操作が簡単になる。 〔その他の実施例〕図８にはサウンドマップ表示（３次
元）例の説明図を示す。

【００４３】サウンドマップ表示について上記の実施例
の説明では２次元で図７のように表示したものを説明し
たが、近年のコンピュータグラフィックス技術の進展に
より３次元表示も普及してきたことに対応して、3 次元
のマッピング情報を表示する手段としてより直観に近い
表示方法としてこれを利用するものである。

【００４４】ホログラフィを用いたような本当の意味で
の３次元表示も将来は可能と思われるが、現実的には通
常の２次元の画面表示を使用し擬似的に３次元表示を行
う。図８には白丸85と黒丸86で示した２つのサウンドを
３つの評価要素を軸82とした３次元空間にマッピングし
て示してある。

【００４５】各２要素が作る平面に投影した２次元での
位置(85a,85b,85c,86a,86b,86c) をもあわせて表示して
いる。これ等のサウンドの選択は図の中程に示した直方
体84で空間を作りその範囲を示すことにより行う。

【００４６】位置、大きさの指定は通常の画面上のポイ
ンターで各軸上の各２点合計６点を示すことで行う。軸
が構成する平面への投影83は利用者の指定によりＯＮ、
ＯＦＦする。また、画面の観察位置、角度を左右上下に
移動して別な視点で立体的な表示を行うことも可能であ
る。

【００４７】

【発明の効果】以上の説明から明らかなように本発明に
よれば、サウンドを単なる名称による検索だけでなく、
利用者が所望するサウンドを、検索の動機として持つイ
メージを、サウンドの評価要素の評価値の範囲でパラメ
トリックに与えることにより、サウンドの知識がなくて
も一般利用者が膨大な量のサウンドのライブラリから容
易にサウンドを検索する手段を提供することにより、映
像作品の作成に要する時間の節約、サウンド探しの技術
の学習負荷の軽減、プレゼンテーションの訴求力の向上
等、という時間的、経済的、質的な著しい工業的効果が
ある。

【図面の簡単な説明】

【図１】 本発明の構成図

【図２】 本発明の実施例の構成図

【図３】 検索のフローチャート

【図４】 イメージパラメータ入力画面の説明図

【図５】 サウンドイメージ評価データの説明図

【図６】 サウンドタイトル表示画面の説明図

【図７】 サウンドマップ表示（２次元）例の説明図

【図８】 サウンドマップ表示（３次元）例の説明図

【符号の説明】

１ サウンドイメージ評価データ格納部 ２ イメージパラメータ入力手段 ３ サウンド検索手段 ４ サウンドマップ表示・選択手段 11 計算機部 12 表示・入力部 14 サウンドデータ格納部 15 サウンド演奏部 21 検索制御手段 24 サウンドタイトル表示手段 26 サウンド演奏手段 27 データ記憶部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 １以上のイメージ評価要素で評価された
   サウンドを格納したサウンドイメージ評価データ格納部
   と、 イメージ評価要素毎の評価値の範囲を指定するイメージ
   パラメータ入力手段と、 サウンドイメージ評価データ格納部について上記指定さ
   れた範囲が形成するイメージ空間域に評価されて存在す
   るサウンドを検索するサウンド検索手段と、を備えたこ
   とを特徴としたイメージ空間域指定サウンド検索装置。
2. 【請求項２】 前記サウンドイメージ評価データ格納部
   のサウンドを、指定した３以下の評価要素の空間に表示
   し選択するサウンドマップ表示・選択手段を追加して備
   え、 空間域を視覚的に指定することにより前記サウンドイメ
   ージ評価データ格納部のサウンドを検索することを特徴
   とした請求項１のイメージ空間域指定サウンド検索装
   置。
3. 【請求項３】 前記空間域が大きさを持たないときは近
   傍の空間に存在する前記サウンドイメージ評価データ格
   納部のサウンドを検索することを特徴とした請求項２の
   イメージ空間域指定サウンド検索装置。