JPS60500228A - 音響発生装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 音響発生装置 本発明は映像を音響へ変換することを含む音響発生方法および装置に関し、少な くとも一つの動いている対象を含んでいる映像を解析し、そしてこの解析から音 楽音を発生させることを可能とするものである。

本発明はこのように、 動いている対象を舎兄でいる映像を観察することと、該対象の移動の間変化する 、該映像の少なくとも二つのパラメータを表す映像信号を発生させることと、該 映像信号から音響制御信号を発生させ、そして発生した音響の少なくとも二つの 異なるパラメータの変化を制御するため前記音響制御信号を利用することによっ て音響合成を達成することより実質的になることを特徴とする音響合成方法に関 する。

本発明はまた、動いている対象を含んでいる映像を観察しそして該対象の移動の 間変化する該映像の少なくとも二つのパラメータを表す映像信号を発生するため の第１の手段と、前記１１！ｌｌａ像信号から音響制御信号を発生しそして発生 される音響の少な（とも二つの異なるパラメータの変化を制御するため前記音響 制御信号を利用することによって音響合成を達成するための第２の手段よりなる 音響発生装置をその目的とする。

このタイプの装置において、第１の手段は、有利、に、は・映、像信号を発生さ せるだめのビデオ信号ゼネレータよりなること、ができる２゜゛さらに、第２の 手段は、有利には音の高低、音質、その強度、尋して多分音の継続頻度もしくは その持続時間、またはこれらパラメータの任意の組合せから選ばれた音響パラメ ータを制御するように設計することができる。

フランス特許第２．０５７．６４５号に記載されているように、例えば音声コン トロールによって作動されるノイスまたは音響合成装置や、またはフランス特許 第２，２２６，０９２号に記載されているような音響シンセサイザーの制御信号 を発生するために音響アナライザーを使用する装置を構成するこ止は事実既知で ある。またフランス特許第２゜２０６、０３０号には、音響発生を人のエネルギ ー移動の影響に服せしめるシステムが開示されている。しかしながらこれら文献 の一つとして、ビデオ信号発生のための映像をこれら信号を変換した後に音響シ ンセサイザーを制御する目的で使用することに関していない。運動はどの公知技 術でも実際に処理できないが、本発明は映像の解析を音響合成に使用する可能性 を提供し、そのため例えばダン号−または人々の群の手、体その田の任意の特定 の運動によって影響されることができるから、本発明によってこれが可能になる 。さらに詳細な映像解析を基にして、それ自体既知の音の物理的パラメータと音 質との間の関係を利用することにより、音響合成における多数の重要なパラメー タを制御可能であることが認識されるであろう。

特定の実施態様において、本発明は少なくとも一つのビデオ信号ゼーネレーター と、もしビデオ信号がすてにデジタルでなカナれ、ばアナログ、からデジタル、 変貌墨出１、−デーシタ、ルイＥと゛デ第１信号をＰバラメー・り・を表す・′ 信号、の世６数ｐ・へ変１換するための手段、と、パラメータの数−に等１し山 ・）撒（のアナログ勿）らデ・シタル菱簑箸０セッ上、とへＰ値号俺そ０聞力が ラウドスピーカ−へ接続されている音響シンセサイザーの入力の第２の複数ｑへ 接続するためのマトリックスとよりなる、ビデオ信号を音響信号へ変換す為ため の装置を使用することを含む。

本発明の他の特徴および利益は、添付図面を参照した以下の説明の追求からもっ と明らかになるであろう。図面において、第１図は該装置の構成要素の概略図で ある。

第２図は装置内で使用するために映像から抽出することができるパラメータの例 である。

第３図は、第１図の装置に使用されるビデオ信号を複数の信号へ変換するための 手段の概略図である。

第４図は、映像解析のフローチャートである。

第５図は、この場合は結線論理に構成した第３図のインターフェースの変形を図 示する。

第１図は本発明による装置を図示し、Ｉは後で明らかになるように、〜または二 辺上の白黒もしくはカラービデオカメラ、ビデオテープレコーダー、ビデオディ スクまたは任意の他の手段によって構成し得るビデオ信号ゼネレーターを指す。

ビデオディスクの場合を除いて、手段１によって送出されるビデオ信号は通常デ ジタル形ではない。ゼ名レーター出力１１から、従ってビデオ信号はアナログか らデシクル変換器２　（入力２０）へ供給され、アナログ信号をデジタル信号へ 変換し、その出力２１から後で記載するようにマイクロプロセッサ−装置または 結線論理によって構成することができろインタフェース３０入力３０へ伝送され る。ビデオ信号が始めからデジタル形で発生するのであれば、それはインターフ ェース３へ直接受は入れられる。インターフェースのＰ出力の複数ｐはまたＰデ ジタルから一アサ゛ログ・変復器へ：供１給゛シ５、該変４換′器のＩＰｊ出ガ は轡萩７１トリックス５へ接続され、そのため−アナｌログ変膜器４・のＰ］比 出力アーナログ音響シンセサイザー６の入力へ接続された出力の複数ｑを形成す るように転換することが可能であり、該シンセサイザーの単一出力はラウドスピ ーカ−７へ接続される。

シンセサイザー６は緊張下にある十分な数の入力を持たなければならない。少な くとも、音の高低を規定するシンセサイザー回路上の作用を発生するための第１ の入力６１と、音響の音質および従って音響に含まれる和音の数を規定するシン セサイザー回路上の作用を発生するための第２の入力６２と、音の強度を規制す るシンセサイザー回路上の作用を発生するための第３の入力６３と、音符の継続 の頻度を規制するシンセサイザー回路上の作用を発生するための第４の入力６４ と、前記音符の持続時間を規制するシンセサイザー回路上の作用を発注するため の図示しない第５の入力６５とを制御する能力を持つことが望ましい。音響シン セサイザーがビブラート、ゆがみ、再反ツ、戻口等の特別の効果のだめの電圧制 御の可能性を提供する場合は、特別効果を制御するための入力へ接続を提供する ことが可能である。

従って接続マトリックス５は、変換器４の出力のある数ｐから出発してシンセサ イザー６のｑの出力を制御することを可能とする。

このマトリックスは、Ｐ信号をＱ信号に変換するためにＰ信号を組み合わしるこ とか可能な任意の装置によって容易に構成することができる。この接続マトリッ クスは熟練した当業者には明らかであり、出力および入力を相互に接続すること ができるプラグイン端子によって簡単に構成し得る。

インターフェース３は、デジタル化したビデオ信号をシンセサイザーを制御する ために使用されるＰ信号へ変換する主要機能を有する。映像のＰパラメータの選 択例か第２図に与えられている。フレームＣはテレヒセノトのスクリーンか、ま たは映像をフィルムへ取るカメラの視野ファインダーを表す。各フィールド走査 の間、対象はその寸法ｘ、ｙにより、そしてフレームの一角に選定された原点０ に関するその位置Ｘ、Ｙによって規定され、表されることができる。映像はステ ージ上で動いているダンサ−の映像であることができ、そしてその運動はバラメ ークＸ、Ｙ、ｘ、　ｙの変化によって表される。もしシンセサイザーを制御する ため多数の信号を持つことを望むならば、パラメータの変化速度および加速度を 表す信号を使用することができる。このようにしてパラメータｘ、ｙ、ｘ′、ｙ ゛。

×”、ｙ”、　Ｘ、　Ｙ、　Ｘ’、　Ｙ”、Ｘ”、＼′”を表す信号が得られる 。

プログラム化された論理におけるインターフェースの構成が第３図に示されてい る。

同期信号のための抽出モジュール３８はビデオ信号をデシクル化すべきビデオ信 号と、ラインおよびフィールド同期信号を送出する。

実際量も簡単な例においては、変換器２はビデオ信号を単一ビットにコード化す る。アナログからデジタル変換器２の出力は、インターフェース３０の入力３０ ５へ１６ビノトワードを送るクロック１０２　（ライン同期信号に依存して制御 される）によって制御される直並列変換器１０１の入力３０１へ接続される。

ラインおよびフィールド同期イ善号は３０２および３０３へ接続され、そしてイ ンターフェース３９の装置状態の“１゛ヘセソトする。

それらはプログラムの実行をラインおよびフィールド走査と同期化することを可 能にし、これはシステムの作動をリアルタイムに許容するために重要である。イ ンターフェース３９とマイクロプロセンサークハス３３はこのインターフェース をマイクロプロセッサ−３１へ接続する。アドレスバス３５および制御バス３５ もインターフユース３９をマイクロプロセッサ−へ接続する。マイクロプロセッ サ−３１は、アドレスバス３４、データバス３３．制御ハス３５を介して３０５ へ到達するデシクルデータを処理するためのプログラムを収容しているメモリ３ ２へ接続される。

入力／出力インターフェース３９は、その出力においてデジタル化されたビデオ 信号の処理によって得られるＰワードをｐ出力３゜４を介してＰデジタルからア ナログ変換器４へ送出する。

操作中、マイクロプロセッサ−は第４図のフローチャートを参照して鮮−７〈説 明されろ以下の態様で操作するためにプログラムされている。

第１のステップもしくはワード処理ステップにおいて、直並列変換器１０１が一 つの完全ワードに対応する１６ビツトをロードされた時、インターフェース３０ は“完全ワード”指示を送出し、そしてマイクロプロセッサ−は該ワードを内部 レジスタヘロードし、そしてフィルタリング操作を実行した後該ワード中の状態 “１°゛にあるビットの位置を検出する。

任意であるフィルタリング操作の目的は、０がら１への転移があらかじめ定めた 数の“１”が通過した後のみに生起し、そしてｌがらＯへの転移があらかじめ定 めた数の“０”　（この数がフィルタリング累乗を決定するであろう）が通過し た後のみに生起することを決定することによって寄生輝度からの自由を確保する ことにあり、これは実質上転移か処理前にある程度の安定性をもつべきとの要求 を構成する。

もし０から１または１から０への転移が該ワード中に検出されれば、マイクロプ ロセンサーはその位置（ｘｍｉｎまたはｘ　ｍａｘ　）を計算し、この情報をメ モリ中に記憶し、インターフェース中のライン同期に相当する状態のデバイス（ ラインパルス期間中１にあるヒント）を検索し、そしてもし後者が０にあれば、 同し操作を反復する前に次の完全ワードに関する指示を持つ。

第１のステップが終了し、１ラインの構成ワードのすべてが処理された時、マイ クロプロセッサ−は、処理されるラインｎに関するデータ、ｘ　ｍｉｎ　および ｘ　ｍａｘ　を、メモリに含まれそして先行のラインｎ−１の処理から得たデー タｘ　ｍｉｎおよびＸ　ｍａｘと比較することにより、第２のステップもしくは ライン処理ステップを実行する。マイクロプロセッサ−はメモリ中にｘ　ｍｉｎ テーデー最低値およびｘ　ｍａｘデータの最高値のみを保持し、その結果、ライ ンのすへてか処理された時、メモリ中にはフィールド′ｌ中の対象の位置の×の 極限値（ｘ　ｍｉｎフィールドｉ、　ｘ　ｍａｘフィールドｉ）のみが残るであ ろう。

この第２の処理ステップの間、マイクロプロセッサ−はまた処理されたラインの 階数がフィルタリング後ＹｍｉｎまはたＹ　ｍａｘに相当するかとうかを決定す る。このフィルタリング操作中、以後のラインのあらかしめ定めた数が”　１　 ”　（Ｙ　ｍ１ｎ）を含むならばそのラインは“１゛のみを含むとの決定か行わ れる。同様に、あるラインかもはや“１　”を含まないとの決定は、後続のあら かじめ定めた数のラインが“１　”　（Ｙ　ｍａｘ）を含まないときのみになさ れる。

次にマイクロプロセッサ−はメモリ中にｙ　ｍｉｎおよびｙ　ｍａｘの値を記憶 する。それは３０３において入力されるフィールド同期信号に相当するインター フェースの出力を走査する。もし後者が０にあれば、それは新しいラインを処理 する前に次の完全ワードに関する指示を持つ。もしそうでなければ、それはフィ ールド処理ステップである第３ステツプを開始する。

この第３ステツプにおいては、マイクロプロセッサ−はメモリ中に含まれるｘ　 ｍａｘフィールドｉ、　ｘ　ｍｉｎ　フィールドｉ、　ｙ　ｍｉｎフィールｔ” 　ｉ＋　ｙ　ｍａｘフィールド】のデータに関する計算を実施する。

前記マイクロプロセンサーは、横座標および縦座標中の座標の平と、対象の幅と 高さ、すなわち ｘ＝　ｘ　ｍａｘ　−ｘ　ｍｉｎ　および　ｙ　＝　ｙｍａｘ　−ｙｍｉｎを計 算する。

これらの計算か終了した時、マイクロプロセッサ−は、インターフェース３９の 出力３０４をアドレスする一方、これらデータを４個のデジタルからアナログ変 換器へ移写し、そして新しいフィールドｉ＝１を処理する前に次の完全ワードに 関する指示を持つ。

プログラムの複雑性に対する唯一の制限は実行時間である。例えば、ラインは１ ６ビツトの１０ワードを含むへきものと決定することがてきる。１ラインの走査 は５２秒継続する事実のため、１ワードの処理は５．２秒以内に、■ラインの処 理（ライン帰線インターバルの間）は１２秒以内に、１フイールドの処理（フィ ールドフライハックインターハルの間）は１．２ミリ秒以内に終了しなけれはな らない。これらの時間的要件がシステムのリアルタイム作動を支配する。

結線論理におけるインターフェース３の第２の具体例が第５図に示されている。

ビデオ信号を発する装置１の出力は、ラインおよびフィールド同期信号を抽出す るための回路４８の入力３８０へ接続される。

回路４８の出力３８２は、クロック４２を同期化する役目をする同期信号を送出 し、そして該出力は５個の入力を有する論理回路４５の入力の一つへも接続され 、該回路の二つの出力３５１および３５２は回路４のアナログからデジタル変換 器へそれぞれ信号ｙおよびＹを送出する。論理回路４５の他の四つの入力は、回 路４８の出力３８３において送出されるフィールド同期信号と、論理回路４６の 出力信号の二つと、そしてコンバラク−４１の出力信号を受信し、そのため回路 ４１の入力３１０において受信したビデオ信号をデジタル化することを可能とす る。回路４８の出力３８１によって送出されるこのビデオ信号は、コンバラタ− 回路４１の入力３１１へ送られる参照電圧と比較される。参照電圧を変えること により、スイソヂング作動かその点で生起する輝度レヘルを決定することが可能 である。

論理回路４５は、対象ｙ　ｍａｘの終わりに第１のブランクラインを検出する（ 有利にはフィルタリングと共に）機能を有する。該回路は非ブランクラインに遭 遇するや否、やパ１”への転移を受け、そしてフィールドの終わりにゼロへ復帰 する第１の信号を発生する。

値Ｙを与える、図示しないカウンターがライン同期信号をカウントするのを許さ れるのはこの信号の最先位置の間である。

論理回路４５は非ブランクラインに遭遇するや否や“１”への移転を受け（前の 信号と同様に）、そして対象終了の検出後にゼロへ復帰する第２の信号を発生す る。値ｙを与える°、図示しない第２のカウンターかライン同期信号をカウント するのを許されるのはこの信号の最先位置の間である。

コンバラク−４１の出力３】２は、フィードハックループを与えられたシフトレ ジスタ４３を励振し、そのシフト作用はライン同期信号によって同期化されるク ロック４２の信号によって同期化される。このシフトレジスタは１ライン上のパ ラメータＸの位置を発生しそして記１ｍすることを可能にする回転メモリを構成 する。回路４３の出力は７個の入力を有する論理ユニットの１人力へ接続され、 該ユニットの他の６人力はライン同期信号と、クロック信号と、第１の入力３６ ２においてライン同期信号とそして第２の入力３６３においてフィールド同期信 号を受信する論理ユニ、・トの出力がらの４信号を受信する。

論理回路４６はカウンターと、テマルチプレクサーとによって構成される。その 意図する機能は、フィールドフライハックパルスの後生起する処理操作を実施す るため、二次タイムヘースを提供することにある。回路４６はこのように、ライ ンおよびフィル−Ｆ同期信号と共にこのシステムによって実行される逐次操作を 許容する四つの論理信号を発生する。

論理回路４４．の出力３４０および３４１は、それぞれＸおよびＸを表す信号を 回路４のデジタルからアナログ変換器へ送出する。この回路４４は特にカウンタ ーとバッファーとを含むであろう。

第５図の変形例においては、値ＸおよびＹは、それぞれめいめいの軸上の投影に おける対象のスタートにおける横座標および縦座標を指定し、第２図に示した以 前の場合のように最小および最大の間の中間点てはないことが認められるであろ う。

当業者の能力内にある任意の変更も本発明の精神に入ることは完全に明らかであ る。このため特に、以上の対象についてふれる時、多かれ少なかれ相互に関して 独立している動いている多数の別々の副対象を考慮することができる。そのよう な対象はそれらの色で相互に区別することができる。さらに、同し技術はビデオ フイルム上に自動音響記録を実施するために役立つことができる。

また映像の観察に関して遅延した音響発生の場合には、音響制御信号および映像 信号の両方、または対応するパラメータは、アナログ形またはデジタル形に実行 されたレコーディングに容易に保持できることを理解ずべきである。

合成された音響それ自体および解析すべき映像の両方は、それらｄ規定する細部 にわたり記録された状態に保持されることかできる。

「− ＼ 国際調査報告

Claims (1)

【特許請求の範囲】
1. １．　動いている対象を含んでいる映像を観察することと、該対象の移動の間変 化する該映像の少なくとも二つのパラメータを表す映像信号を発生させることと 、該映像信号から音響制御信号を発生させることと、該音響信号を発生させる音 響の少なくとも二つの異なるパラメータの変化の制御のために利用することによ って音響合成を達成することより本質的になることを特徴とする音響発生方法。 ２、対象の移動の間変化する映像の少なくとも二つのパラメータを表す映像信号 は、ビデオ信号から各ラインに関して最小横座標値および最大横座標値を抽出す るためにビデオ信号を処理することを含む第１ステツプと・ 各ラインの最小横座標および各ラインの最大横座標を比較することにより、最小 横座標の最低値と最大横座標の最高値を決定することを可能とし、そして横座標 が検出された最初のラインおよび最後のラインの縦座標を決定することにより、 最大縦座標および最小縦座標の値をそれぞれ検出することを可能とする、フライ ハックの間実施される第２のステップと、その間に対象の中間点の座標と該対象 の横座標および縦座標における寸法とが決定され、そしてそれらの結果が音響発 生のため音響シンセサイザーの入力へ接続される第３のステップよりなる３ステ ツプにおいて得゛られる第１項による音響発生方法。 ３、　動いている対象を含んでいる映像を観察しそして該対象の移動の間変化す る該映像の少なとも二つのパラメータを表す映像信号を発生させるだめの第１の 手段と、該映像信号から音響制御信号を発生させそして該音響制御信号を発生さ せる音Ｕの少なくとも二つの異なるバラメークの変化ψ制御に利用することによ って音響合成を達成するための第２の手段とを含むことを特徴とする音響発生装 置。 ４、　前記第１の手段は前記信号を発生させるためのビデオ信号ゼネレーターよ りなる第３項による音響発生装置。 ５、　前記映像信号は、映像中の参照点に関する対象の位置と、参照点Ｓこ関す る対象の移動速度と、対象の体積と、対象の体苗の変化速度とを表す信号を含ん でいる第３項または第４項による装置。 ６、前記映像信号は、対象の加速度と、そして対象の体積の変化の加速庇上を表 す信号をさらに含んでいる第５項による装置。 ７、　音２のパラメータは、音の高低、その音質、その強度、音の継続の頻度、 そｎ、らの持続時間から選ばれる第６項による装置。