JPH103549A - 発音体識別支援装置 - Google Patents

Abstract

(57)【要約】 本発明は発音体識別の重要な一過程である倍音の検出・
確認を支援するためのオペレータインタフェースを提供
する。これにより発音体識別システムのオペレータは倍
音の確認を正確かつ迅速に行なうことができ、その結果
更に発音体識別をより正確かつ迅速に行なうことができ
る。 【課題】倍音の存在等を確認するためのオペレータイン
タフェースを提供し、それにより正確かつ迅速な発音体
識別に寄与する。 【解決手段】本発明による音源識別支援装置は被識別デ
ータ表示用ウインドウと入力装置からなる。倍音系列を
指定するデータを入力装置が取得すると、それに応じた
パターンがウインドウ上に描画される。入力装置として
ポインティングデバイスを用いれば、半自動的に随時デ
ータ入力を行なうことができ、パターンを自由に動かせ
る。このような構成によって、従来と比較して倍音の確
認を容易に行なえるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はパターン認識の分野
に属する。

【０００２】

【従来の技術】まず発音体識別の方法について簡単に説
明する。被識別データとしては、観測された音の周波数
成分（スペクトル）を時間ごとに濃淡表示した画像（図
２）がよく用いられる。図２の横軸は周波数、縦軸は時
刻、紙面と垂直方向の軸は濃淡表示されたスペクトルで
ある。この画像の座標系としては、ウインドウ端からの
ドット数を表すｘ−ｙ座標系と本来の周波数−時刻を表
すｆ−ｔ座標系の２通りがある。

【０００３】一つの発音体が発する音は時間的にほぼ一
定もしくは連続的に変化する周波数成分とその整数倍の
周波数成分（倍音）の系列からなる。したがって、この
画像上には、倍音系列にあたる位置にほぼ縦の線状のパ
ターンが現れる。一方、発音体が発する音の周波数成分
は、発音体の種類ごとに異なった特徴（例えば１００Ｈ
ｚの位置に線状のパターンがある、３倍音が比較的強
い、など）を持つ。したがって（１）線状のパターンを
画像から検出、（２）線状のパターンを調べて既知の発
音体のパターンと照合、を行えば、発音体を識別するこ
とができる。これらを行なうための一つの重要な操作と
して、互いに倍音の関係にあるパターンの系列を見つけ
ることがある。このことができれば、倍音同士で互いに
足りない部分を補間することにより線状の各パターンを
より正確に検出でき、また特定の倍音の存在を確認する
ことにより発音体の種類を限定できる場合がある。

【０００４】水中音響情報処理の分野における従来の典
型的な発音体識別システムには、上記のパターンの系列
を見つけることを支援するためのインタフェースが備わ
っている（図３）。以下その例を説明する。従来システ
ムはディスプレイ、トラックボール、タッチパネルから
なる。その操作手順は例えば次の通りである。

【０００５】１．タッチパネル上の「倍音確認」用ボタ
ンを押し、操作開始。

【０００６】２．トラックボールのポインタを画像上の
一つのパターンに合わせる。

【０００７】３．タッチパネル上の「周波数決定」用ボ
タンを押し、周波数ｆ１決定。

【０００８】４．トラックボールのポインタを画像上の
別のパターンに合わせる。

【０００９】５．タッチパネル上の「周波数決定」用ボ
タンを押し、周波数ｆ２決定。

【００１０】６．周波数 ｍ（ｆ２−ｆ１）＋ｆ１（ｍ
＝０，±１，…）にあたる位置に縦の直線を描画。

【００１１】７．「倍音確認」用ボタンが押された場
合、操作終了。

【００１２】「倍音確認」用ボタン以外が押された場
合、２へ。

【００１３】

【発明が解決しようとする課題】互いに倍音の関係にあ
るパターンの系列を見つけることを上述した従来技術で
のインタフェースで行なう場合、以下の（ａ）〜（ｅ）
のような課題が生ずる。

【００１４】（ａ）同時刻における各パターンの周波数
が比較しにくい。

【００１５】周波数が時間的に大きく変動するパターン
系列に関しては、異なる時刻で周波数を比較することは
あまり意味がない。

【００１６】しかし従来例ではウインドウ上で横軸（周
波数）方向に離れた点が同時刻のものかどうかを目視で
判定するための目印がない。

【００１７】（ｂ）片手での操作が困難である。

【００１８】従来例では入力デバイスとしてトラックボ
ールとタッチパネルの両方を用いる必要があるため、片
手で素早く操作することが難しい。

【００１９】（ｃ）複数の周波数、時刻、倍音番号につ
いてパターンの系列を見つけるには、手間がかかる。

【００２０】従来例ではタッチパネルで周波数等を確定
しなければ直線群が描画されない。このため例えば周波
数が時間的に大きく変動するような２パターンを比較す
るには、各時刻ごとに周波数等の確定操作をする手間が
必要である。

【００２１】（ｄ）「準倍音」の取り扱いに難点があ
る。

【００２２】本来の意味での倍音ではないが、周波数が
変動しても常にその比が保たれるような関係の系列があ
る。それをここでは仮に「準倍音」と呼ぶことにする。

【００２３】ギアで連結された２個の回転軸を持つ発音
体が発する音がその例である。

【００２４】この発音体が発する音は２本の回転軸に対
応する２個の倍音系列を含み、基本音の周波数比は常に
ギア比に等しく保たれる。

【００２５】例えば７０Ｈｚと５０Ｈｚをそれぞれ基本
音とする２個の準倍音系列があるとする。

【００２６】このとき正しい倍音の系列は７０，１４
０，…と５０，１００，…である。しかし従来例により
５０Ｈｚと７０Ｈｚを倍音系列の候補として選んだ場
合、２０Ｈｚ間隔で１０，３０，５０，７０…Ｈｚに相
当する位置に垂直な直線群が表示される。この中には１
００，２００…等の正しい倍音は含まれておらず、逆に
１０，３０，９０…等の誤った倍音が含まれている。

【００２７】また従来例では２個の周波数とそれらの差
から表示する直線群の系列を決め、表示しているが、こ
れを準倍音系列が３個以上ある場合に自然に拡張するの
は難しい。

【００２８】（ｅ）準倍音系列の基本音の周波数比を自
動的に算出する手段がない。

【００２９】（ｄ）の例では、基本音の周波数比が７：
５であることがたちどころには分からない。

【００３０】本発明の目的はこれらの課題を解決するこ
とである。

【００３１】

【課題を解決するための手段】請求項または図で用いて
いる記号等はこの節以下でも断りなく用いることにす
る。

【００３２】上記の課題を解決するための手段は次の各
点からなる。

【００３３】（Ａ）ウインドウ上の指定した位置に水平
線を描画する。

【００３４】水平線近辺の点は目視で同時刻性が容易に
判定できるので、課題（ａ）が解決できる。

【００３５】（Ｂ）入力インタフェースとして、ユーザ
入力可能なスイッチ類を持ったポインティングデバイス
を用いる。

【００３６】本節以下このようなポインティングデバイ
スの例としてマウスを、ユーザ入力可能なスイッチ類と
してマウスボタンをそれぞれ用いて説明を行なう。単に
タッチパネルの代わりにマウスボタンを用いれば片手で
も容易に操作可能となり、課題（ｂ）が解決できる。

【００３７】（Ｃ）座標値Ｘ，Ｙの指定をマウスカーソ
ル位置により自動的に行なう。正の整数（倍音番号）ｎ
の指定は、初期値はデフォルト値により、その後はマウ
スボタン操作により増減させる（請求項２、４参照）。
またこのように指定されたｎ，Ｘ，Ｙに対し、随時請求
項１、２で述べた直線群を表示し直す。

【００３８】これにより、従来例のように周波数、倍音
番号を明示的に決定する操作なしに、マウスの移動また
はマウスのボタン操作だけでいろいろな周波数、時刻、
倍音番号について（＃）を行なうことができ、課題
（ｃ）が解決できる。

【００３９】（Ｃ’）特定の倍音のパターンを予め記憶
しておく。

【００４０】これにより、パターンが複雑な形状をして
いる場合でも、一度に複数の時刻における倍音関係を確
認できる。

【００４１】（Ｄ）周波数と倍音番号を入力パラメター
とする。

【００４２】表示する直線群は単に各倍音系列を単独で
指定した場合に表示する直線群の和集合とする。

【００４３】これにより、従来例のように２個の周波数
を入力パラメターとしたときに生じる、課題（ｄ）で述
べた不都合が解決できることが容易に分かる。

【００４４】（Ｅ）与えられた周波数比に近い整数比を
表示する。

【００４５】与えられた実数に近い整数比を求めるに
は、例えばユークリッドの互除法（２整数の最大公約数
を求めるアルゴリズム）を逆向きに行なうようなアルゴ
リズムを用いれば良い。

【００４６】これにより課題（ｅ）が解決できる。

【００４７】

【発明の実施の形態】まず、本発明の第１の実施例につ
いて説明する。

【００４８】図１は、本実施例である発音体識別支援装
置（１００）の構成図である。これは画像表示用ウイン
ドウ、倍音確認ボタン、ポインティングデバイス（以下
の例ではマウス）からなり、次のように動作する。

【００４９】○ 倍音確認ボタンはトグルボタンであ
り、これをクリックすることにより倍音確認の操作を開
始・終了する。

【００５０】○ マウスが画像表示用ウインドウから出
た場合、水平線と垂直線を消去する。

【００５１】○ マウスカーソルが画像表示用ウインド
ウ内にある場合、ｎ，Ｘ，Ｙの入力モードとなる。

【００５２】○ マウスカーソルが画像表示用ウインド
ウ内にある場合、（Ｘ，Ｙ）はマウスカーソル位置座標
とする。（図４） ○ ｎの初期値は２とする。

【００５３】○ マウス左ボタンをクリックした場合、
ｎ＞１であればｎから１を引く。マウス右ボタンをクリ
ックした場合、ｎに１を加える。（図５） ○ ｎ，Ｘ，Ｙのいずれかが更新された場合、前回描画
された水平線・垂直線があればそれを消去し、マウスカ
ーソルの位置（ｆ−ｔ座標系で（Ｆ，Ｔ）とする）に水
平な直線ｔ＝Ｔを描画し、マウスカーソル位置をｎ倍音
とするような倍音系列に当たる位置に直線群ｆ＝ｍＦ／
ｎ（ｍ＝１，２，…）を描画する（図４、５）。

【００５４】なお倍音確認したい周波数以外では同時刻
性を見る必要がないので、水平な直線ｔ＝Ｔの表示を垂
直な各直線ｆ＝ｍＦ／Ｎの近傍だけに限っても良い。

【００５５】倍音同士のものである２個のパターンがあ
るとき、マウスカーソルを一方のパターン上の一点に合
わせてマウス左右ボタンを適当にクリックしてｎを調節
すれば、他方のパターンとある垂直な直線ｆ＝ｍＦ／ｎ
が水平な直線ｔ＝Ｔ上で重なるようなｎを発見できる。
このとき前者のパターンはｎ倍音、後者のパターンはｍ
倍音のものであることの裏付けが得られる。ここで更に
前者のパターンに沿ってマウス位置（Ｆ，Ｔ）を動かせ
ば、ｆ＝ｍＦ／ｎとｔ＝Ｔの交点は後者のパターンに沿
って動く。このようにして、２個のパターンが倍音同士
のものであることを確認できる。

【００５６】次に第２の実施例について説明する。構成
は第１の例に出力装置（６１０）として整数比表示用ウ
インドウを加えたものとする。整数比表示用ウインドウ
には、実数Ｆ’／Ｆを整数比に直したものをカーソルの
移動に従って随時表示する（図６）。

【００５７】実数ｘを整数比ｂ／ａに変換するアルゴリ
ズム例はおよそ以下の通りである。

【００５８】１．Ｘ（０）＝ｘ Ｘ（ｎ＋１）＝１／（Ｘ（ｎ）−［Ｘ（ｎ）］） ２．Ｘ（Ｎ）が整数になるようなＮに対し Ａ（Ｎ）＝１，Ｂ（Ｎ）＝Ｘ（Ｎ） ３．Ａ（ｎ−１）＝Ｂ（ｎ） Ｂ（ｎ−１）＝Ｂ（ｎ）×［Ｘ（ｎ−１）］＋Ａ（ｎ） ４．ａ＝Ａ（０），ｂ＝Ｂ（０） 但し［］は整数部分を表す記号。このようにして、倍音
または「準倍音」の系列の周波数比を整数比として知る
ことができる。これにより例えば発音体が含むギアのギ
ア比が分かれば、識別に大きく寄与する。

【００５９】第３の例として、請求項４の実施形態を説
明する。

【００６０】請求項５における表示装置は画像表示用ウ
インドウとポインティングデバイス（以下の例ではマウ
ス）と記憶装置（７１０）からなる。図７はその動作イ
メージ図である。まず初期状態では記憶装置には何も記
憶されていない（図７左）。次にウインドウ上でマウス
ボタンを押しながらパターンをドラッグするとマウスの
軌跡が記憶装置に記憶され、マウスボタンを放すと記憶
が完了する（図７中）。最後にマウスカーソルを移動す
ると、記憶したパターン（７３０）が横方向に拡大され
たパターン（７４０）がポインティングデバイスの位置
に表示される。ここで拡大の中心及び倍率は、請求項５
で述べた通りとする。

【００６１】このように、パターンを事前に記憶してお
くことで、複雑な形状のパターン間の多くの時刻での倍
音性を一度に確認できる。

【００６２】第４の例として、請求項５の実施形態を説
明する。

【００６３】構成は第３の例に出力装置として整数比表
示用ウインドウを加えたものとする。整数比表示用ウイ
ンドウには、実数Ｆ’／Ｆを整数比に直したものを、カ
ーソル移動に従って随時表示する。但しＦ、Ｆ’は請求
項４で述べられているもの。実数ｘを整数比ｂ／ａに変
換するアルゴリズム例は第２の例と同じ。

【００６４】第５の例として、請求項６の実施形態を説
明する。

【００６５】図８はその構成を示す図である。周波数比
出力装置は、ここでは周波数比を実数及び整数比の形で
出力し、また周波数自体をも出力するものとする。発音
体データベースは、発音体の名称、基本音の典型的な周
波数、基本音が複数ある場合はそれらの周波数比（実
数、整数比）を１単位として種々の発音体のデータを保
持しているとする。

【００６６】データベース照合装置は、周波数比出力装
置から周波数比ａ：ｂ及び周波数ｆを受けとり、それを
発音体データベースと照合して、「適合」する発音体の
名称を出力する。

【００６７】「適合」の判定は例えば次のようにする。
データベース内のデータの周波数比エントリーがａ’：
ｂ’、それに対応する周波数がｆａ，ｆｂであるとき、 ○ ａがａ’を、ｂがｂ’を素因数とし、ｆ／ａとｆａ
の比が１±５％以内 ○ 上の条件でａをｂで、ｆａをｆｂで置き換えたもの
のいずれかが成立すれば適合、それ以外の場合は不適
合。

【００６８】ｆが基本音ではなく基本音の適当な倍音で
ある場合が考えられる。そこでａ，ｂ等の条件に素因数
を用ると良い（＝倍数であれば等しくなくても良い）。
一般にギア等で外部の負荷が加わる回転軸は、負荷の変
化により周波数が変動し易いと考えられる。そこでｆ／
ａとｆａの比の条件に幅を持たせると良い。この例では
基本音が３個以上ある場合（複数のギアで３個以上の回
転軸が連結されているような発音体のケース）は考えて
いない。

【００６９】発音体の発する音を観測した場合、その周
波数自体はドップラー効果や発音体自体の回転ムラなど
により揺らぎため、必ずしも安定しない。しかし倍音同
士の周波数比や、ギアで連結された２軸の音の周波数比
（いずれも整数比）は周波数の揺らぎによらず一定に保
たれる。このため識別対象の発音体がギアを含み回転ム
ラが大きいものであるような場合、周波数自体を用いる
よりも周波数比を用いる方が対象を正確に識別できる。

【００７０】

【発明の効果】本発明は発音体識別の重要な一過程であ
る倍音の確認を支援するためのオペレータインタフェー
スを提供する。これにより発音体識別システムのオペレ
ータは倍音の確認を正確かつ迅速に行なうことができ、
その結果更に発音体識別をより正確かつ迅速に行なうこ
とができる。

【図面の簡単な説明】

【図１】本発明請求項１による発音体識別支援装置の構
成例を示す図である。

【図２】発音体の被識別データとして用いられる画像を
説明する図である。

【図３】従来の発音体識別支援装置の構成例を示す図で
ある。

【図４】本発明請求項２におけるポインティングデバイ
スの動きと表示の変化の関係を示す図である。

【図５】本発明請求項２におけるスイッチ類の操作と表
示の変化の関係を示す図である。

【図６】発音体が複数の倍音系列を持つ場合の、本発明
請求項３による発音体識別支援装置の処理画面イメージ
を示す図である。

【図７】本発明請求項４、５における表示装置の動作イ
メージを示す図である。

【図８】本発明請求項６における半自動発音体識別装置
の構成を示す図である。

【符号の説明】

１００…発音体識別支援装置、 １１０…倍音確
認開始／終了ボタン、１２０…被識別データとしての画
像表示用ウインドウ、１３０…入力装置、
１４０…水平直線ｌ（１）、１５０…垂直直線群
ｌ（ｍ，１）、１６０…ポインティングデバイスのカー
ソル、２００…被識別データの画像イメージ、３１０…
タッチパネル、３２０…被識別データとしての画像表示
用ウインドウ、３３０…トラックボール、 ３５０…倍
音系列の候補を示す垂直な直線群、３６０…トラックボ
ールカーソル、６１０…周波数比を整数比表示する出力
ウインドウ、７００… 請求項５における表示装置、７
１０…記憶装置、７２０… 記憶すべきパターン、
７３０…記憶されたパターン、７４０… 生成・表示
されたパターン、８１０…データベース照合装置、８２
０… 発音体データベース。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 廣 神奈川県横浜市戸塚区戸塚町216番地株式 会社日立製作所情報通信事業部内 (72)発明者 吉田 正治 神奈川県横浜市戸塚区戸塚町216番地株式 会社日立製作所情報通信事業部内 (72)発明者 日野 一彦 神奈川県横浜市戸塚区戸塚町216番地株式 会社日立製作所情報通信事業部内

Claims (6)

【特許請求の範囲】
1. 【請求項１】表示用のウインドウと入力装置からなり、
   ウインドウは２個の直交座標系（仮にｘ−ｙ座標系及び
   ｆ−ｔ座標系とする）を持ち、入力装置にｘ−ｙ座標系
   での座標値（Ｘ，Ｙ）と正の整数ｎが与えられたとき、
   （Ｘ，Ｙ）のｆ−ｔ座標系での表現を（Ｆ，Ｔ）として
   直線ｔ＝Ｔ及び直線群ｆ＝ｍＦ／ｎ（ｍ＝１，２，…）
   をウインドウ上に予め指定した色で描画する表示方式及
   び装置（１００）。
2. 【請求項２】請求項１において、入力装置としてユーザ
   入力可能なスイッチ類を持ったポインティングデバイス
   を備え、スイッチ類の特定の操作があった場合正の整数
   ｎの値を更新し、ポインティングデバイスのカーソル移
   動に伴い随時ｘ−ｙ座標値（Ｘ，Ｙ）を新しいカーソル
   位置座標で更新し、ｎ，Ｘ，Ｙのいずれかの値が上記に
   より更新された場合（Ｘ，Ｙ）のｆ−ｔ座標系での表現
   を（Ｆ，Ｔ）として直線ｔ＝Ｔ、直線群ｆ＝ｍＦ／ｎ
   （ｍ＝１，２，…）を描画する表示方式及び装置。
3. 【請求項３】請求項２において、周波数比出力装置（４
   １０）を備え、スイッチ類の別の特定の操作があった場
   合、正の整数ｎ，ｘ−ｙ座標値Ｘ，Ｙを固定し、ｎ，
   Ｘ，Ｙの固定完了後は、ｆ−ｔ座標系による表現でポイ
   ンティングデバイスのカーソルが（Ｆ’，Ｔ’）にあり
   （Ｘ，Ｙ）のｆ−ｔ座標系での表現が（Ｆ，Ｔ）である
   場合、直線ｔ＝Ｔ’を描画しｆ座標の比Ｆ’／Ｆを整数
   比に変換して出力装置に出力する表示方式及び装置。
4. 【請求項４】ウインドウとポインティングデバイスと記
   憶装置（７１０）からなり、ポインティングデバイスで
   ウインドウ上のパターン（７２０）をトレースすること
   によりその軌跡を記憶装置に記憶し、軌跡の記憶完了後
   は、ｆ−ｔ座標系による表現でポインティングデバイス
   のカーソルが（Ｆ’，Ｔ’）にあり記憶したパターンが
   （Ｆ，Ｔ’）を含む場合、直線ｔ＝Ｔ’を描画し記憶し
   た軌跡（７３０）及びそのｆ座標をＦ’／Ｆ倍して得ら
   れるパターン（７４０）を描画する表示方式及び装置
   （７００）。
5. 【請求項５】請求項４において、周波数比出力装置（４
   １０）を備え、カーソル位置と記憶したパターンのｆ座
   標の比Ｆ／Ｆ’を整数比に変換して随時出力装置に出力
   する表示方式及び装置。
6. 【請求項６】請求項３、５において、及びデータベース
   照合装置（８１０）及び発音体データベース（８２０）
   を備え、周波数比出力装置とデータベース照合装置、デ
   ータベース照合装置と発音体データベースがそれぞれ接
   続され、周波数比出力装置は周波数比を出力し、発音体
   データベースには発音体ＩＤ、その倍音系列の周波数、
   倍音系列が複数ある場合はそれらの周波数比の組のデー
   タが格納され、データベース照合装置はその周波数比に
   適合する発音体ＩＤを探索して出力する半自動発音体識
   別装置（８００）。