JPH08511373A

JPH08511373A - デジタル音声のデジタル画像への同期

Info

Publication number: JPH08511373A
Application number: JP6523165A
Authority: JP
Inventors: ホームズ，ダニエル，ジェー．; モルナール，ジョン，ダブリュ．; タール，モートン，エイチ．
Original assignee: データトランスレイション，インコーポレイテッド
Priority date: 1993-04-16
Filing date: 1994-03-09
Publication date: 1996-11-26
Also published as: DE69419609D1; AU682688B2; US6049769A; EP0700568A4; US5506932A; EP0700568B1; US5748842A; CA2160561A1; AU6587794A; WO1994024670A1; DE69419609T2; EP0700568A1; CN1125014A; DK0700568T3

Abstract

(57)【要約】一つまたは複数のチャネルの入力音声からデジタル音声サンプルを取得し、かつデジタル音声サンプルを一つまたは複数のチャネルの出力音声に合成する、音声／画像入出力（Ｉ／Ｏ）ポート装置。かかる装置は、ビデオ・レート・クロックを生成し、かつ入力画像をデジタル画像にデジタル化する画像Ｉ／Ｏポート（３５）と、ビデオ・レート・クロックに基づいて音声サンプリング・クロックを生成する周波数シンセサイザー（１４４および１４８）と、サンプル入力音声をデジタル音声サンプルに変換し、かつサンプリング・クロックに従って、かかるサンプルを出力音声に合成する音声Ｉ／Ｏポート（６２）とを備える。

Description

【発明の詳細な説明】デジタル音声のデジタル画像への同期関連出願の相互参照本発明と共に出願される「サブサンプル画像イメージのコンピュータ・ディスプレイ上のディスプレイ」、「適応型画像圧縮」、「適応型画像伸張」、ならびに「コンピュータ用画像周辺装置」は、これらを言及することにより本明細書に組込まれている。本発明の背景本発明は、画像および音声データのデジタル処理に関し、特に、画像チャネルと音声チャネルとの間の同期を維持する音声／画像入出力ポート装置に関する。高解像度カラー・コンピュータ・ディスプレイの費用と処理力が低下するにつれて、マイクロコンピュータに関する用途で新たに登場してきたものの一つに、ビデオ・ポスト・プロダクションがある。つまり、編集プロセス中にコンピュータのディスプレイをモニターとして使用して、画像イメージをディスプレイし、かつ編集することである。コンピュータ画像編集システムでは、画像／音声ソース（典型的例がビデオ・テープ・レコーダー）が読みとられ、データは、コンピュータのディスク上にデジタル形式で記憶される。画像／音声データは、再生され、編集され、そして画像装置に再び書き込んでもよい。従来の画像／音声データのデジタル処理方法では、プログラムの音声部分は画像部分とずれてしまい、同期が失われる結果となっていた。本発明の概要本発明は、二つ以上のデータのストリーム（一方のストリームは画像情報を、他方のストリームは音声情報を表す）を同期させる装置を提供する。この装置は、画像データと音声データが、両方とも外部ソースから情報を入力するとき、そして個別のまたは結合された音声／画像データ・ストリームを出力するとき、確実に一緒に再生されるようにする。この技術は、特に画像編集において価値がある。画像編集では、話者の画像と話の内容を表す音声とを同期させ、かつかかる同期を維持することが必須である。概して、第一の態様では、本発明は、一つまたは複数のチャネルの入力音声からデジタル音声サンプルを取得し、かつデジタル音声サンプルを一つまたは複数のチャネルの出力音声に合成する、音声／画像入出力（Ｉ／Ｏ）装置を扱っている。かかる装置は、画像Ｉ／Ｏポートと、周波数シンセサイザーと、音声Ｉ／Ｏポートとを備える。画像Ｉ／Ｏポートは、ビデオ・レート・クロックを生成し、また、入力アナログ画像をデジタル画像にデジタル化し、かつデジタル画像から出力アナログ画像を合成するように構成されている。周波数シンセサイザーは、ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成されている。オーディオＩ／Ｏポートは、サンプリング・クロックに従って、入力音声をデジタル音声サンプルにサンプル化し、かつサンプリング・クロックに従って、デジタル音声サンプルを出力音声に合成するように構成されている。第二の態様では、本発明は、一つまたは複数のチャネルのデジタル音声サンプルを取得するための音声／画像入力ポート装置を扱っている。かかる装置は、画像入力ポートと、周波数シンセサイザーと、オーディオ入力ポートとを備える。画像入力ポートは、入力画像をデジタル画像にデジタル化し、かつビデオ・レート・クロックを生成するように構成されている。周波数シンセサイザーは、ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成されている。オーディオ入力ポートは、サンプリング・クロックに従って、入力音声をデジタル音声サンプルにサンプル化するように構成されている。第三の態様では、本発明は、デジタル音声サンプルを出力音声／画像に合成する音声／画像出力ポート装置を扱っている。かかる装置は、画像出力ポートと、周波数シンセサイザーと、オーディオ出力ポートとを備える。画像出力ポートは、デジタル画像から出力画像を合成し、かつビデオ・レート・クロックを生成するように構成されている。周波数シンセサイザーは、ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成されている。オーディオ出力ポートは、サンプリング・クロックに従って、デジタル音声サンプルから出力音声を合成するように構成されている。本発明の好適実施態様には、以下の特徴が含まれ得る。音声／画像Ｉ／Ｏポート装置は、汎用ホストコンピュータの周辺スロットに搭載される画像周辺機器基板の前に置いても。コンピュータの非同期操作を、画像および音声の入力ポートおよび出力ポートの同期操作に連結する、先入れ先出しバッファ（ＦＩＦＯ）があってもよい。周辺機器基板は、画像データがホストコンピュータの記憶装置上に記憶され、かつ検索されるときに、画像データを圧縮かつ伸張するＣＯＤＥＣを有してもよい。画像入力ポートは、入力画像の同期信号を検知するように構成された検出器と、ビデオ・レート・クロックを生成し、かつ画像出力ポートに供給する周波数ジェネレータと、入力画像の各フレームについてかつ検知された同期信号に基づいて生成される入力同期パルスを提供するように構成されたパルス・ジェネレータと、同期パルスをオーディオ出力ポートに提供するように構成されたパルス・ジェネレーターとを含んでもよい。画像Ｉ／Ｏポートは、入力および出力の両画像から独立して、ビデオ・レート・クロックを生成し得る。周波数シンセサイザーは、ビデオ・レート・クロックの比率として音声サンプリング・クロックを生成するｍ／ｎフェーズ・ロック・ループを含み得る。周波数シンセサイザーの電子装置によって、音声サンプリング・クロックのビデオ・レート・クロックに対する比率が、ビデオ・レート・クロックのタイミングによって急速に変化させられるようにすることができる。周波数シンセサイザーは、音声サンプリング・クロックの周波数の少なくとも２倍高い周波数を有するオーバーサンプル・クロックを生成するオーバーサンプル・クロック・シンセサイザーと、オーバーサンプル・クロックを周波数分割して音声サンプリング・クロックを生成する周波数分割器とを含み得る。音声／画像Ｉ／Ｏポート装置は、変化する数のデジタル音声サンプルをデジタル画像の各フレームに選択的に関連づけて、デジタル音声サンプルの数の、関連づけれた画像フレームの数に対する正確な比率を達成するようにプログラムされた、デジタル信号プロセッサー（ＤＳＰ）をさらに備え得る。音声／画像Ｉ／Ｏポート装置は、アナログ・デジタル・コンバータおよび／またはデジタル・アナログ・コンバータを含み、これらのコンバータには、音声サンプリング・クロックが供給される。ＤＳＰは、ＦＩＦＯ間の流れを制御する。本発明に含まれるデジタル画像プロセッサーの利点は、以下のとおりである。音声および画像トラックが記録されて、後に再生される場合、音声と画像は適切に同期される。すなわち、音声が画像よりも先になったり、遅れたりはしない。ビデオの音声トラックは、画像トラックとは別に記憶されてもよい。これによって、音声トラックと画像トラックの両方の編集が容易になる。この技術は、入ってくる画像および音声信号フォーマットから独立している。すなわち、この技術は、様々な画像フォーマット（例えばＮＴＳＣおよびＰＡＬ）、そして様々な音声サンプリングおよび／または再生レートに有効である。本発明の他の利点および特徴は、以下の好適実施態様についての説明および請求の範囲から明らかになるであろう。好適な実施形態についての説明好適な実施形態について、以下に説明する。図面図１は、本発明に従って作動する画像編集システムに使用されるコンポーネントの斜視図である。図２は、図１のシステムに使用されるホストコンピュータおよび画像周辺機器基板のブロック図である。図３は、ホストコンピュータのもう一つの構造のブロック図である。図４は、画像編集システムの音声チャネルのコンポーネントおよび音声の画像への同期に寄与するコンポーネントを詳述するブロック図である。図５は、図４のコンポーネントのｍ／ｎフェーズ・ロック・ループのブロック図である。図６は、画像クリップの画像および音声トラックを記憶するファイルを示すブロック図である。概観図１および図２によると、画像編集システム１１は、ホストコンピュータ１２に接続する周辺機器基板１０を含む。他のコンポーネントには、ビデオ・テープ・レコーダー（ＶＴＲ）１６、モニター１８、キーボード２０、マウス２２、および大容量記憶装置２４が含まれる。画像編集機能性を提供するソフトウェアは、二つの部分に分けられる。つまり、ホストコンピュータの中央演算処理装置（ＣＰＵ）２８上で実行し、一般的にユーザー・インターフェースおよび監視を提供する部分２６と、周辺機器基板上で実行し、一般的に周辺機器基板、周辺機器基板内のデータ転送、およびホストコンピュータと周辺機器との間のデータ転送を制御する部分１４である。画像編集システム１１では、画像は画像入力ポート３０を介して読み取られ、音声はオーディオ入力ポート３２を介して読み取られる。これらが読み取られる際に、画像はデジタル化されて圧縮され、音声はデジタル化される。画像および音声はディスク２４に記憶される。圧縮された画像／音声データは、伸張されてディスプレイ１８およびスピーカー（図示されていない）で再生される。画像編集ソフトウェア２６によって、ユーザーは、圧縮画像および音声の部分を画像／音声プログラムにアセンブルすることができる。ユーザーは、プログラムを編集する際に、プログラムを再生し、かつ小さい増加分（一つのフレームくらいの小ささ）に、またはアセンブルされた組み合わせに、プログラムを再配置することができる。ユーザーが結果として得られたプログラムに満足すると、プログラムは、画像出力ポート３４およびオーディオ出力ポート３６を介して、画像取り込み装置（例えばＶＴＲ１６）または放送装置へと、フル・フレーム・レートで出力され得る。図２では、周辺機器基板は、画像および音声ポート３０〜３６（ＶＴＲ１６またはその他の画像機器を接続するためのもの）、バスコントロール回路４２（ホストコンピュータとのインターフェース）、多様な信号処理経路、ならびに監視用マイクロプロセッサ４８を有している。上記経路には、デジタル画像をホストコンピュータ・ディスク２４までまたはここから転送するための圧縮／伸張符号器／復号器（ＣＯＤＥＣ）６０を経由する両方向経路と、デジタル画像をホストコンピュータ・ディスプレイ１８上にディスプレイする一方向色空間変換（ＣＳＣ）およびサブサンプルの経路１８とが含まれる。画像入出力（Ｉ／Ｏ）回路３５は、画像データをＶＴＲのアナログ形式（ＮＴＳＣまたはＰＡＬ等）からデジタル形式（ＹＵＶ４：２：２フォーマット等）に変換し、デジタル画像を画像バス３８にのせる。（画像伸張の間に、Ｃ０ＤＥＣ６０によって画像バス３８に書き込むことも可能である。）マイクロプロセッサ４８は、周辺機器基板のコンポーネントを制御する。画像の入力がなされる間に、ＣＯＤＥＣ６０は画像バス３８からＹＵＶフォーマット画像を受け取り、これを圧縮形式に圧縮し、かつ圧縮画像を圧縮ＦＩＦＯ９２に記憶する。バスコントロール回路４２は、圧縮ＦＩＦＯ９２から圧縮画像データを受け取り、これをホストのＲＡＭ５０のバッファに記憶する。ホストＣＰＵ２８は、定期的にバッファの内容をディスク２４に一度に書き込む。これと同時に、音声チャネルは、ＶＴＲ１６（またはその他の音声ソース）からのデータを、オーディオ入力ポート３２およびコントローラ６２を介して周辺機器のデータ・バス４６に転送する。再生の間、上記プロセスは逆に進行する。ホストＣＰＵ２８が、ディスク２４から圧縮画像データを読み取って、ＲＡＭ５０のバッファに転送する。バスコントロール回路４２は、バッファからのデータを伸張ＦＩＦＯ９４にコピーする。ＣＯＤＥＣ６０は、伸張ＦＩＦＯ９４からデータを取り出し、データを伸張し、これを画像データ・バス３８に出力する。その後、伸張画像データを、サブサンプル経路を介してホストのディスプレイ１８に表示し、かつ／または画像出力ポート３４を介して出力することが可能となる。同時に、音声チャネルは、周辺機器のデータ・バス４０からのデータを、音声コントローラ６２およびオーディオ出力ポート３６を介してＶＴＲに転送する。図３に示されるホストコンピュータのもう一つの構成では、ホストコンピュータＣＰＵ２８、ディスプレイ・メモリ（「フレーム・バッファ」ともいう）４４、主記憶装置５０、および／またはディスク・コントロール５２のコンポーネントが、ホストコンピュータ１２のプライベートバス５４を介して、プライベートバス５４とシステムバス４６との間のバス・コントロール・インターフェースによって、データを転送することができる。この場合、周辺機器のバス・コントロール回路４２は、システムバス４６へ／からデータを転送し、ホストのバス・インターフェース５６はさらに、ホストコンピュータのプライベートバス５４上の装置へ／からデータを導く。どの画像信号にも、スクリーンの下からスクリーンの上までの再走査をリセットする垂直帰線消去期間がある。垂直帰線消去期間中に、前のフィールドを上書きしないように、電子ビームは停止される。垂直帰線消去期間中に、「垂直同期」パルスと呼ばれる同期パルスが生じる。インターレースされたフォーマット（フレームごとに二つのインターレース・フィールドを有する）では、各フレームごとに二つの垂直帰線消去期間があり、よって、二つの垂直同期パルス（各フィールドの終わりに一つづつ）がある。二つの垂直同期パルスは、一つのフレームにおける二つのフィールドの実イメージ・データとのタイミング関係によって区別され得る。構成本発明の装置は、特に音声が画像トラックに同期される場合、一つまたは複数の音声トラックを記憶し、かつ／または再生するためのクロック供給機構を実行する。この装置は、画像に組み込まれたビデオ・レート・クロック・パルスを使用して周波数コンバータを動かし、周波数コンバータは、音声サンプリング・クロック（例えば４４．１ＫＨｚ）を生成する。音声サンプリング・クロックは、音声ポートを動かすために使用される。画像Ｉ／Ｏポート回路３５は、入力画像データから二つのクロックを抽出する。すなわち、ピクセル・レートでラインにロックされたクロック１４０（ＮＴＳＣでは１２．２７ＭＨｚ、またはＰＡＬでは１４．７５ＭＨｚ）と、１フレームにつき１回の同期パルス１４２（ＮＴＳＣでは２９．９７Ｈｚ、またはＰＡＬでは２５Ｈｚ）である。出力では、画像Ｉ／Ｏポート回路３５が、画像クロックを合成して、出力を駆動する。また画像Ｉ／Ｏポート回路３５は、実画像が入力または出力されないとしても、ビデオ・レート・クロック（ピクセル・レート・クロック１４０および同期パルス１４２の両方）を合成するように構成されているため、後述のとおり、音声を入力かつ出力する際に使用される周波数合成コンポーネントに、画像クロックを入力することができる。後者のモードの操作において、画像操作から独立して音声を入力または出力するために、例えば、本来画像データと共に記録されたものである音声トラックを入れ換えるために、新しい音声トラックを入力するために、本発明を使用することができる。画像Ｉ／Ｏポート回路３５は、コンポジットまたはＳ−画像を入力または出力してもよい。ピクセル・レート・クロック１４０は、図５と関連して以下に説明するプログラマブルｍ／ｎフェーズ・ロック・ループ１４４に送り込まれる。フェーズ・ロック・ループ１４４は、例えば音声サンプリング・レートの２５６倍のオーバーサンプル音声クロック１４６を生成する。それからオーバーサンプル・クロックは、カウントダウン分割器１４８によって、例えば４４．１ＫＨｚの音声サンプリング・クロック１５０に周波数分割される。ｍ／ｎフェーズ・ロック・ループ１４４およびカウントダウン分割器１４８は共に、ビデオ・レート・クロックに基づく音声サンプリング・クロック、すなわちライン・ロックド・ピクセル・レート・クロック１４０を得る周波数シンセサイザーを構成する。音声サンプリング・クロック１５０は、アナログ・デジタル・コンバータ（ＡＤＣ）１５２のサンプリングまたはデジタル・アナログ・コンバータ（ＤＡＣ）１５４の音声出力の合成をするために使用される。画像クロックから音声サンプリング・クロック１５０を得ることによって、音声データが、サンプルごとに画像データに確実に直接同期される。音声データはまた、フレームごとに画像データに同期されるべきである。なぜならば、画像の各フレームごとの音声サンプルの数が整数にはならないかもしれないからである。この問題を処理するために、画像クロックの同期パルス１４２が、フレーム割り込みとして、画像Ｉ／Ｏポート回路３５からデジタル信号プロセッサー（ＤＳＰ）１６０に提供される。ＤＳＰ１６０の割り込みサービス・ルーチンは、以下に説明するとおりに、サンプルを画像フレーム・レートに調製する。ＤＳＰ１６０は、Texas Instruments TMS320C31であるのが好ましい。入力において音声サンプルを画像フレームに同期させることに加えて、ＤＳＰ１６０は、ＡＤＣＦＩＦＯ１７６およびＤＡＣＦＩＦＯ１８６から／へのデータの流れを制御し（以下に説明する）、かつ二つの出力チャネルを作るために、複数音声チャネルをリアルタイムで混合する。画像がＮＴＳＣフォーマットかＰＡＬフォーマットかによって画像クロック１４０のレートが異なるため、ピクセル・レート・ライン・ロックド・クロック１４０と得られたオーバーサンプリング・クロック１４６との間の比率は、固定音声サンプリング・レート１５０が得られるように調節可能である。これは、図５に示されるｍ／ｎフェーズ・ロック・ループ１４４によって達成される。このｍ／ｎフェーズ・ロック・ループ１４４は、カウンター３１０および３１２を使用してｍおよびｎの値をプログラムさせることによって、この可能性を提供する。よって、ピクセル・レート・クロック１４０のオーバーサンプリング・クロック１４６に対する比率を有理数に調製することができる。ＮＴＳＣおよび４４．１ＫＨｚの音声サンプリング・クロックについては、ｍ／ｎ値は２４２３／２６３４であり、ＰＡＬについては、２２８７／２９８８となる。４８ＫＨｚのサンプリング・クロックは、２４１３／２４１０のＮＴＳＣｍ／ｎ値および２８００／３３６１のＰＡＬ値で得られる。除数ｎの周波数シンセサイザーが、米国特許第５，１６８，２４７号に開示されている。図５において、ｍ／ｎフェーズ・ロック・ループ１４４は、モトローラＭＣ１４５１４５ＰＬＬ／シンセサイザー３００、オペアンプ３０２、電圧制御発振器（ＶＣＯ）３０４、ならびにコンポーネント３０１および３０３を含む。ＰＬＬ／シンセサイザー３００は、二つのカウンター３１０および３１２、フェーズ・コンパラター３１４、ならびに４ビット・バス・インターフェースを組み込んでいる。カウンター３１２は、基準周波数（画像回路３５から入力されたピクセル・レート・ライン・ロックド・クロック１４０）でｍからカウント・ダウンする。カウンター３１０は、出力音声サンプリング・クロック１４６レートで、ｎからカウント・ダウンする。ｍおよびｎの値は、プログラム可能に入力され得る。ＰＬＬ／シンセサイザー３００の出力はフェーズ信号で、このフェーズ信号は、ｏｐａｍｐ３０２に送り込まれる。ｏｐａｍｐ３０２は、ＶＣＯ３０４の出力を望ましい周波数に整調するためのトリマ信号３０６を生成して、オーバーサンプリング・クロック１４６を生成する。ｍおよびｎの値は、画像レートを合わせるように調製（プログラム）されることができ、さらに、望ましいサンプリング・クロック（例えば４４．１ＫＨｚ）を生成する。ＰＬＬ１４４は、画像クロックの変化に素早く対応する。このことは、画像テープが必ずしも固定レートの画像クロックの発信を生み出さないという点で、重要である。しかし、回路は、特定のフレームのタイミング（クロッキング）とは無関係に、フレームごとのサンプルを適切な数に維持する。図４について、以下の論点が、各チャネルの構造および操作を示している。つまり、典型的にこのシステムは、ステレオを記録して複写するため、第二音声チャネルの回路構成要素が重複しているということである。各オーディオ入力ポート３２は、アンプリファイヤー１７２、ＡＤＣ１５２、直列・並列コンバータ１７４、ならびにＡＤＣＦＩＦＯ１７６を含む。各オーディオ出力ポート３６は、ＤＡＣＦＩＦＯ１８６、コンバータ１８４、ＤＡＣ１５４、ならびにアンプリファイヤー１８２を備える。ＦＩＦＯ１７６および１８６は、３２ビット幅（二つのチャネルについては、それぞれが１６ビット幅）で、データ量が２５６Ｋで、毎秒２０メガザンプルのパーツを使用している。ＡＤＣ１５２およびＤＡＣ１５４は１６ビット幅だが、デジタル・データは、ビットがシリアルに通信される。直列・並列コンバータ１７４および並列・直列コンバータ１８４は、ビットシリアルストリームを１６ビットパラレルストリームに、またはその逆に変換する。図６については、画像入力ポート３０およびオーディオ入力ポート３２で読み取られたプログラムの三つのトラックは、ホストのディスク２４で四つのファイルに記憶される。第１ファイル２００は、圧縮画像イメージ自体を記憶し、各フレームは、タイム・スタンプによって識別される。第２ファイル２０２および第３ファイル２０４は、左音声チャネルと右音声チャネルのそれぞれにサンプル音声を保持する。各チャネルの音声サンプルは、シングル・チャネルSoundDesigne r IIフォーマット・ファイルに記憶され、このファイルの中には、各音声サンプルが１６ビットとして記憶される。サンプルは、ファイル中の発生によって単純に整理され、整数のサンプル数によって識別される。ファイル２０６の第４タイプは、クリップ記述子を含み、各クリップ記述子は、編集済み最終プログラムに使用される画像および音声ファイルの部分を示している。各クリップ記述子は、実画像および音声情報を含む画像ファイルと一つ以上の音声ファイルとの組み合わせを指し示す。ユーザーがプログラムを編集する際、実圧縮画像イメージまたは音声サンプル・データは、ディスク・ファイルからディスク・ファイルへとコピーされる必要はない。クリップ記述子ファイルのポインターを操作することによって、編集が行われる。そして再生（画像機器（例えばＶＴＲ）への記録）の間、クリップ記述子ファイルは順序正しく読み取られる。各クリップについて、指示された画像フレームおよび音声サンプルは、ディスクから読み取られ、画像およびオーディオ出力ポートに提供され、後述のとおり同期される。作用図４において、画像Ｉ／Ｏ回路３５は、ピクセル・レートのライン・ロックド・クロック１４０およびフレーム・レートの同期パルス１４２を生成する。ライン・ロックド・ピクセル・レート・クロック１４０は、画像Ｉ／Ｏポート回路３５に読み込まれた画像に基づくか、または画像から独立して画像Ｉ／Ｏポート回路３５によって合成されてもよく、こうすることによって、音声は、画像なしに録音または再生することができる。画像がＮＴＳＣフォーマットかまたはＰＡＬフォーマットであるかによって、ピクセル・レートは変化し、よってライン・ロックド・ピクセル・レート・クロック１４０の周波数も変化する。ｍ／ｎフェーズ・ロック・ループ１４４がライン・ロックド・ピクセル・レート・クロック１４０を正確に測定して、オーバーサンプル音声クロック１４６（例えば、４４．１ＫＨｚの音声サンプリング・レートの２５６倍）を生じさせるように、ｍおよびｎの値は選択される。周波数分割器１４８（例えば256毎のカウントダウン回路）は、音声サンプリング周波数１５０（例えば４４．１ＫＨｚ）を生じさせる。音声サンプリング周波数は、音声入力の記録または音声出力の複写のいずれにも使用できる。音声入力（画像入力の有無を問わない）は、以下のとおりに行われる。入力ＡＤＣ１５２は、オーディオ入力ポート３２を介して外部音声装置からアナログ音声入力を受け取り、音声サンプリング周波数で決められるレートで、かかる音声をサンプル化する。サンプルは、ＡＤＣ１５２からビット直列形式で提供される。これは、直列・並列コンバータ１７４によって１６ビット並列形式に変換され、それから３２ビット・ワードにリフォーマットされ、ＡＤＣＦＩＦＯ１７６に待機させられる。データはＡＤＣＦＩＦＯ１７６に待機させられるため、ＤＳＰ１６０は、都合のよいときにＡＤＣＦＩＦＯ１７６を空にすることができ、また、入力直列ストリームの各ビットを拾うために入力ラインを常時モニターする必要はない。定期的に、例えば、それぞれのＰＡＬまたはＮＴＳＣフレーム境界で２５分の１秒または２９．９７分の１秒に１回、画像Ｉ／Ｏ回路３５は、フレーム同期信号１４２を出力する。フレーム同期１４２は、ＤＳＰの割り込みラインに接続されている。ＤＳＰ１６０は、音声サンプルを画像フレームと並べるために、サンプルをフレーム境界の直前かつ／または直後に調節することによって、割り込みをかけてもよい。ＰＡＬ画像（この毎秒２５フレームは、毎秒４４，１００サンプルの音声サンプル・レートの正確なサブマルチプルである）については、調節は一切必要なく、各フレームはこれに関連した１，７６４個の音声サンプルを有している。ＮＴＳＣビデオ（フレーム・レートは毎秒２９．９７フレーム）（これは、音声サンプリング・レートのサブマルチプルですらない）については、システムは、音声と画像の密接な同期を維持するために、音声サンプルをフレームに割り当てる。ＤＳＰ１６０は、フレームごとに割り当てられるサンプル数を１４７１と１４７２とに交互にする。このようにして、音声および画像情報は、２００秒で１．７１サンプル内に、または３３秒で１７．１サンプル内に密に再生される。システムに入力される音声の検証を提供するために、入力音声データ・ストリームは、音声出力回路３６へ（直列・並列コンバータ１７４の出力を並列・直列コンバータ１８４の入力に接続するラインを介して）送り戻されため、ユーザーは、音声データが画像／音声システムによって記録される際に、音声データを監視することができる。ＤＳＰ１６０から、サンプル化された音声はＤＳＰデータ・バス１８８に置かれる。そこから、サンプル化された音声は音声入力ＦＩＦＯ９６に記憶され、その後で、バス・コントロール回路４２は音声データを受け取り、これをホストコンピュータのＲＡＭ５０のディスク・バッファに記憶する。そしてホストＣＰＵ２８は、ディスク・バッファをディスク２４に一度に書き込む。一般的に、音声のデジタル化および記憶と同時に、画像はデジタル化され、ＣＯＤＥＣ６０によって圧縮され、かつディスク２４に記憶される。周辺機器とホストを通るデータ経路（画像および二つの音声）は、三つのストリームを独立プロセスとして扱うことができる。特定のフレームと特定の音声サンプルの関係に注釈を付ける相関マーカーを生成するために、記録中に追加の処理を行う必要はない。いずれのデータ構造も、画像編集中に連関が妨害されたり整理し直されたりするまでは、連関を記録する（各ストリームの第１データを指し示すことを除いて）必要がない。音声出力（画像出力の有無を問わない）は、以下のとおりに行われる。三つのストリームは、互いの間に明白な同期の初期接続手順なしに、独立したものとして扱われてもよい。音声出力サンプリング・クロックが画像クロックによって動かされるので、必要なことは、フレームまたはサンプルの正確な数が、画像およびオーディオ出力ポート３４および３６に提供されることである。同期されたクロックは、正確に同期されたレートで、出力がアナログ画像装置に確実に提供されるようにする。再生の間に、画像Ｉ／Ｏ回路３５は、記録中に生じるかもしれないタイミング・バリエーションとは関係なく、再生される画像の適切なタイミングを設定する非常に正確な出力クロックを生成する。（記録された音声は、関連画像なしに再生してもよい。画像Ｉ／Ｏ回路３５は、実画像データがない場合でも、画像クロック１４０および１４２を合成することができる。）ホストＣＰＵ２８、周辺機器のマイクロプロセッサ４８、およびバス・コントロール回路４２は、ＦＩＦＯが空にならない状態を確実に維持するレートで、画像および音声データをホストのディスク２４から伸張ＦＩＦＯ９４およびオーディオアウトプットＦＩＦＯ９８へ動かすために共に作動する。次にＤＳＰ１６０は、オーディオアウトプットＦＩＦＯ９８から音声データを引き出してＤＡＣＦＩＦＯ１８６へと動かす。画像／音声出力が開始すると、画像の第１フレームがＣＯＤＥＣ６０によって復号され、画像出力ポート３４に出力される準備ができるまで、音声出力ＤＡＣ１５４からｍｐサンプリング・クロック１５０はまとめられる。従って、画像出力ポート３４が開始するのを待つ間、音声データは、画像出力回路３５からの同期信号と、音声サンプリング・クロック１５０の開始を待って、ＤＡＣＦＩＦＯ１８６に待機させられる。画像の第１フレームが画像出力ポート３４に提供されると、音声サンプリング・クロック１５０のブロックが解除され、ＤＳＰ１６０は、並列・直列コンバータ１８４がＤＡＣＦＩＦＯ１８６からデータを引き出してＤＡＣ１５４に入れることを可能にする。音声出力が一旦開始すると、三つのデータ経路間でさらに同期を行う必要はなく、クロック同期のみが必要である。音声サンプリング・クロック１５０は画像クロック１４０および１４２から得られるため、音声サンプルが音声出力ポート３２で出力されるレートは、画像フレームが画像出力ポート３４で出力されるレートに同期され続ける。ＤＡＣ１５４が、サンプリング・クロック１５０によって指示されるレートで、サンプル化された音声を変換するため、かつ記録中に音声が画像に同期されるため、ピクセル・レート・ライン・ロック・クロック１４０から得られるサンプリング・クロック１５０によって、かつデータ自体によって、再生中の出力画像３４と音声３６の同期が維持される。再生の間、ＣＯＤＥＣ６０が伸縮ＦＩＦＯ９４からの関連画像データを要求するのとほぼ同時に、ＤＳＰ１６０は音声出力ＦＩＦＯ９８からデータを要求する。各フレームの画像がＣＯＤＥＣ６０を介して伸張され、かつ画像出力ポート３４を介して最後まで再生されるため、画像Ｉ／Ｏ回路３５は、音声回路に対して、次のブロックの音声サンプルを取得し、かつこの音声サンプルを音声出力ストリームにロードせよと指示する、フレーム割り込みを生成する。ＤＳＰ１６０は、同期１４２を使用して、対応する画像フレームについて、ＤＡＣ１５４への音声の提供を同期させる。音声が記録中に入ってくる画像と同期されるため、画像１秒につき、二つのステレオ音声チャネルのそれぞれについて、音声サンプルの目標数（例えば４４，１００）がある。音声サンプル・レートを画像レートで再生することによって、幾数かの画像フレームの間に、まさに下記の数のサンプルが記録または再生されるようになる。本発明の他の実施態様は、特許請求の範囲内のものである。デジタル音声をデジタル画像に同期させる本機構は、他の形態のデジタル画像／音声（例えば高精細度テレビジョン）に直接適用可能である。画像フレーミング信号（垂直、水平およびピクセル）は常に何らかの形式で存在するであろうし、また、記録された音声情報を事前または同時に画像情報に同期させるために、比例したクロックを得るためのソースとして画像フレーミング信号を利用することが可能である。多重フォーマット画像は、異なる画像フレーミング・レートが存在する場合に音声記録および記憶再生基準を維持するために、単一のまたは制限されたフォーマットの音声に翻訳する必要がある。本発明は、多重画像フォーマットを別個にまたは同時に記録した音声と共に使用すること、そして再生時に音声を多重フォーマット画像に同期させることを可能かつ容易にする。音声は最初にデジタル・フォーマットでかかるシステムに提供されるかもしれないが、本発明は、再生の間、独立して記録された画像への音声の同期を維持する。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＧＢ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＶＮ (72)発明者モルナール，ジョン，ダブリュ. アメリカ合衆国，マサチューセッツ州 01824，チェルムズフォード，ミルロード 172 (72)発明者タール，モートン，エイチ. アメリカ合衆国，マサチューセッツ州 01740，ボルトン，マナーロード 36

Claims

【特許請求の範囲】１．一つまたは複数のチャネルの入力音声からデジタル音声サンプルを得て、かつ交替に、デジタル音声サンプルを一つ又は複数のチャネルの出力音声に合成する音声／画像入出力（Ｉ／Ｏ）装置であり、該装置は、入力アナログ画像をデジタル画像に変換するように構成された画像入力ポートと、デジタル画像から出力アナログ画像を合成するように構成された画像出力ポートとを備えた、ビデオ・レート・クロックを生成する画像Ｉ／Ｏポート回路と、該ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成された周波数シンセサイザーと、該サンプリング・クロックに従って入力アナログ音声をデジタル音声サンプルにサンプル化かつ変換するように構成された音声入力ポートと、該サンプリング・クロックに従ってデジタル音声サンプルを出力アナログ音声に合成するように構成された音声出力ポートとを備える、音声Ｉ／Ｏポート回路とを備える。２．記憶装置および周辺スロットを有する汎用コンピュータと、該周辺スロットにインストールされており、前記デジタル画像サンプルおよびデジタル音声サンプルを、前記音声入力ポートおよび画像入力ポートから、該記憶装置へと転送し、かつ前記記憶装置からのデータを前記音声出力ポートおよび画像出力ポートへと転送するように構成された、周辺インターフェース回路構成要素とをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。３．前記周辺インターフェース回路構成要素が、前記コンピュータの非同期操作を、前記画像および音声の入力ポートおよび出力ポートの同期操作に連結するＦＩＦＯをさらに備える、請求項２記載の音声／画像Ｉ／Ｏ装置。４．前記周辺インターフェース回路構成要素が、前記記憶装置に記憶させるために、前記デジタル画像を圧縮画像データに圧縮するための、かつ該画像データが前記記憶装置から前記画像出力ポートに転送されるときに、前記画像データを伸張するための、ＣＯＤＥＣをさらに備える、請求項２記載の音声／画像Ｉ／Ｏ装置。５．前記画像入力ポート回路が、前記入力アナログ画像中の同期信号を検知するように構成された検出器と、前記ビデオ・レート・クロックを生成し、かつ前記画像出力ポートを供給する、周波数ジェネレータと、前記入力アナログ画像の各フレームごとに生成され、かつ検知された前記同期信号に基づいている入力同期パルスを、前記Ｉ／Ｏポート回路に提供するように構成されたパルス・ジェネレータと、同期パルスを前記音声Ｉ／Ｏポート回路に提供するように構成されたパルス・ジェネレータとをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。６．前記画像Ｉ／Ｏポート回路構成要素が、入力および出力の両方の画像から独立して前記ビデオ・レート・クロックを生成するように構成された周波数ジェネレーターをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。７．前記周波数シンセサイザーが、前記ビデオ・レート・クロックの調整可能な比率として前記音声サンプリング・クロックを生成する、ｍ／ｎフェーズ・ロック・ループを備える、請求項１記載の音声／画像Ｉ／Ｏ装置。８．前記ｍ／ｎフェーズ・ロック・ループが、ｍカウンター、ｎカウンター、フェーズ・ディテクター、ならびに発振器を含む、請求項７記載の音声／画像Ｉ／Ｏ装置。９．前記周波数シンセサイザーが、前記音声サンプリング・クロックの周波数の少なくとも２倍高い周波数を有するオーバーサンプル・クロックを生成する、オーバーサンプル・クロック・シンセサイザーと、前記音声サンプリング・クロックを生成するために、該オーバーサンプル・クロックを周波数分割する、周波数分割器とをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。 10．有限時間を超えた前記デジタル音声サンプル数の、該有限時間を超えた前記デジタル画像の関連されたフレームの数に対する正確な比率を達成するために、変化するデジタル音声サンプル数を前記デジタル画像の各フレームに選択的に関連させ、かつ前記デジタル音声サンプルおよび前記デジタル画像が、前記画像および音声出力ポートに提示されるときに、変化する前記デジタル音声サンプル数を、前記デジタル画像の各フレームに選択的に関連させるようにプログラムされたデジタル信号プロセッサーをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。 11．有限時間を超えた前記デジタル音声サンプル数の、該有限時間を超えた前記デジタル画像の関連されたフレームの数に対する正確な比率を達成するために、変化するデジタル音声サンプル数を前記デジタル画像の各フレームに選択的に関連させ、かつ前記デジタル音声サンプルおよび前記デジタル画像が、前記画像および音声出力ポートに提示されるときに、変化する前記デジタル音声サンプル数を、前記デジタル画像の各フレームに選択的に関連させるようにプログラムされたデジタル信号プロセッサーをさらに備える、請求項８記載の音声／画像Ｉ／Ｏ装置。 12．前記音声入力ポートが、前記入力アナログ音声を前記デジタル音声サンプルに変換するアナログ・デジタル・コンバータであり、前記音声サンプリング・クロックが供給されるアナログ・デジタル・コンバータと、前記デジタル音声サンプルを前記出力アナログ音声に変換するデジタル・アナログ・コンバータであり、前記音声サンプリング・クロックが供給されるデジタル・アナログ・コンバータとをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。 13．前記デジタル音声サンプルおよび前記デジタル画像を記憶する記憶装置を有するホストコンピュータと、前記音声入力ポートと前記記憶装置との間の前記デジタル音声サンプルを記憶する、第１および第２ＦＩＦＯと、前記記憶装置と前記音声出力ポートとの間の前記デジタル音声サンプルを記憶する、第３および第４ＦＩＦＯと、前記第１および第２ＦＩＦＯと前記第３および第４ＦＩＦＯとの間の前記デジタル音声サンプルの流れを制御する、デジタル信号プロセッサーとをさらに備える、請求項１記載の音声／画像Ｉ／Ｏ装置。 14．入力アナログ画像をデジタル画像に変換し、かつビデオ・レート・クロックを生成するように構成された、画像入力ポートと、該ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成された、周波数シンセサイザーと、前記サンプリング・クロックに従って入力アナログ音声をデジタル音声サンプルにサンプル化かつ変換するように構成された、音声入力ポートとを備える、一つまたは複数のチャネルのデジタル音声サンプルを得るための音声／画像入力装置。 15．記憶装置および周辺スロットを有する汎用コンピュータと、該周辺スロットにインストールされており、前記デジタル画像サンプルおよびデジタル音声サンプルを、前記音声入力ポートおよび画像入力ポートから、該記憶装置へと転送するように構成された、周辺インターフェース回路構成要素とをさらに備える、請求項14記載の音声／画像入力装置。 16．前記周辺インターフェース回路構成要素が、前記コンピュータの非同期操作を、前記画像および音声の入力ポートの同期操作に連結するＦＩＦＯをさらに備える、請求項15記載の音声／画像入力装置。 17．前記周辺インターフェース回路構成要素が、前記記憶装置に記憶させるために、前記デジタル画像を圧縮画像データに圧縮するＣＯＤＥＣをさらに備える、請求項15記載の音声／画像入力装置。 18．前記画像入力ポートが、前記入力アナログ画像の同期信号を検知するように構成された検出器と、前記入力アナログ画像のフレームごとに生成され、かつ検知された前記同期信号に基づいている入力同期パルスを、前記音声入力ポートに提供するように構成されたパルス・ジェネレータと、をさらに備える、請求項14記載の音声／画像入力装置。 19．前記画像入力ポートが、入力アナログ画像から独立して前記ビデオ・レート・クロックを生成するように構成された周波数ジェネレーターをさらに備える、請求項14記載の音声／画像入力装置。 20．前記周波数シンセサイザーが、前記ビデオ・レート・クロックの調整可能な比率として前記音声サンプリング・クロックを生成する、ｍ／ｎフェーズ・ロック・ループを備える、請求項14記載の音声／画像入力装置。 21．前記ｍ／ｎフェーズ・ロック・ループが、ｍカウンター、ｎカウンター、位相検出器、ならびに発振器を含む、請求項20記載の音声／画像入力装置。 22．前記周波数シンセサイザーが、前記音声サンプリング・クロックの周波数の少なくとも２倍高い周波数を有するオーバーサンプル・クロックを生成する、オーバーサンプル・クロック・シンセサイザーと、前記音声サンプリング・クロックを生成するために、該オーバーサンプル・クロックを周波数分割する、周波数分割器とをさらに備える、請求項14記載の音声／画像入力装置。 23．有限時間を超えた前記デジタル音声サンプル数の、該有限時間を超えた前記デジタル画像の関連されたフレームの数に対する正確な比率を達成するために、変化するデジタル音声サンプル数を前記デジタル画像の各フレームに選択的に関連させるようにプログラムされた、デジタル信号プロセッサーをさらに備える、請求項14記載の音声／画像入力装置。 24．有限時間を超えた前記デジタル音声サンプル数の、該有限時間を超えた前記デジタル画像の関連しフレームの数に対する正確な比率を達成するために、変化するデジタル音声サンプル数を前記デジタル画像の各フレームに選択的に関連させるようにプログラムされた、デジタル信号プロセッサーをさらに備える、請求項21記載の音声／画像入力装置。 25．前記音声入力ポートが、前記入力アナログ音声を前記デジタル音声サンプルに変換するアナログ・デジタル・コンバータであり、前記音声サンプリング・クロックが供給されるアナログ・デジタル・コンバータをさらに備える、請求項14 記載の音声／画像入力装置。 26．前記デジタル音声サンプルおよび前記デジタル画像を記憶する記憶装置を有するホストコンピュータと、前記音声入力ポートと前記記憶装置との間の前記デジタル音声サンプルを記憶する、第１および第２ＦＩＦＯと、前記第１ＦＩＦＯと第２ＦＩＦＯとの間の前記デジタル音声サンプルの流れを制御する、デジタル信号プロセッサーとをさらに備える、請求項14記載の音声／画像入力装置。 27．デジタル画像から出力アナログ画像を合成し、かつビデオ・レート・クロックを生成するように構成された、画像出力ポートと、該ビデオ・レート・クロックに基づいて音声サンプリング・クロックを得るように構成された、周波数シンセサイザーと、該サンプリング・クロックに従って、デジタル音声サンプルから出力アナログ音声を合成するように構成された、音声出力ポートとを備える、一つまたは複数のチャネルのデジタル音声サンプルを出力音声に合成する音声／画像出力装置。 28．記憶装置および周辺スロットを有する汎用コンピュータと、該周辺スロットにインストールされており、該記憶装置から前記音声出力ポートおよび画像出力ポートへデータを転送するように構成された、周辺インターフェース回路構成要素とをさらに備える、請求項27記載の音声／画像出力装置。 29．前記周辺インターフェース回路構成要素が、前記コンピュータの非同期操作を、前記画像および音声の出力ポートの同期操作に連結するＦＩＦＯをさらに備える、請求項28記載の音声／画像出力装置。 30．前記画像周辺機器が、前記画像データが前記記憶装置から前記画像出力ポートに転送される際に、前記画像データを伸張するＣＯＤＥＣをさらに備える、請求項28記載の音声／画像出力装置。 31．前記画像出力ポートが、前記ビデオ・レート・クロックを生成し、かつ前記画像出力ポートにクロックを提供する、周波数ジェネレータと、前記音声出力ポートに同期パルスを提供するように構成された、パルス・ジェネレータと、をさらに備える、請求項27記載の音声／画像出力装置。 32．前記画像出力ポートが、出力画像から独立して前記ビデオ・レート・クロックを生成するように構成された周波数ジェネレータをさらに備える、請求項27記載の音声／画像出力装置。 33．前記周波数シンセサイザーが、前記ビデオ・レート・クロックの調整可能な比率として前記音声サンプリング・クロックを生成する、ｍ／ｎフェーズ・ロック・ループを備える、請求項27記載の音声／画像出力ポート装置。 34．前記ｍ／ｎフェーズ・ロック・ループが、ｍカウンター、ｎカウンター、位相検出器、ならびに発振器を含む、請求項33記載の音声／画像出力装置。 35．前記周波数シンセサイザーが、前記音声サンプリング・クロックの周波数の少なくとも２倍高い周波数を有するオーバーサンプル・クロックを生成する、オーバーサンプル・クロック・シンセサイザーと、前記音声サンプリング・クロックを生成するために、該オーバーサンプル・クロックを周波数分割する、周波数分割器とをさらに備える、請求項27記載の音声／画像出力装置。 36．前記デジタル音声サンプルおよび前記デジタル画像が、前記画像および音声出力ポートに提供されたときに、変化するデジタル音声サンプル数を前記デジタル画像の各フレームに選択的に関連させるようにプログラムされた、デジタル信号プロセッサーをさらに備える、請求項27記載の音声／画像出力装置。 37．前記音声出力ポートが、前記デジタル音声を前記出力アナログ音声に変換するデジタル・アナログ・コンバータであり、前記音声サンプリング・クロックが供給されるデジタル・アナログ・コンバータをさらに備える、請求項27記載の音声／画像出力装置。 38．前記デジタル音声サンプルおよび前記デジタル画像を記憶する記憶装置を有するホストコンピュータと、前記記憶装置と前記音声出力ポートとの間の前記デジタル音声サンプルを記憶する、第１および第２ＦＩＦＯと、前記第１ＦＩＦＯと第２ＦＩＦＯとの間の前記デジタル音声サンプルの流れを制御する、デジタル信号プロセッサーとをさらに備える、請求項27記載の音声／画像出力装置 39．画像入力ポートで画像を受信する工程、該画像の中の一つまたは複数の同期信号を検知する工程、該同期信号から音声サンプリング・クロックを周波数合成する工程、該音声サンプリング・クロックが供給される音声入力ポートで音声を受信する工程、および該受信画像および受信音声を記憶装置に記憶する工程を備える、画像および一つまたは複数のチャネルの音声を取得し、かつこれらをコンピュータの記憶装置にデジタル形式で記憶する方法。