JP2005202425A - 楽曲の伴奏音と歌詞字幕映像を同期出力する装置 - Google Patents

Abstract

【課題】字幕の書体や画面レイアウトを変更しても音楽と歌詞字幕の色替え関連情報を作り直す必要のない合理的な歌詞字幕データの編集方法を提供する。
【解決手段】歌詞データは、歌詞字幕を構成する一連の文字情報と、文字情報の画面レイアウトを規定した字幕座標情報と、文字情報の各１文字について規定された歌唱時間情報を含む。制御手段は、音声再生手段が楽曲を演奏する際、音声再生手段が出力するタイムベース信号に従って時間管理しつつ第１〜第２処理を行う。第１処理は、歌詞データ文字情報を文字フォントの情報に変換すると同時に、各文字フォントを歌詞データ字幕座標情報に従って配置することで歌詞字幕イメージデータを作成する。第２処理は、歌詞データ歌唱時間情報に従って歌詞字幕イメージデータの各１文字ごとに色情報を部分的に徐々に変更する。映像出力手段は、フレームメモリに書き込まれる歌詞字幕イメージデータを高速で繰り返して読み出してビデオ信号に変換して出力する。
【選択図】 図２

Description

この発明は、歌唱楽曲の映像に欠かすことのできない歌詞字幕映像の合理的な制作技法を適用して楽曲の伴奏音と歌詞字幕映像を同期出力する装置に関する。

歌唱楽曲における歌詞字幕映像としての必須条件の１つは、歌いやすく、詩情も汲み取りやすい適切な文節単位で画面レイアウトされた歌詞字幕であることであり、もう１つの条件は、楽曲進行に連動して歌詞字幕を歌いやすいタイミングで表示しながら、歌われている部分をなぞるように字幕の表示色を滑らかに色替えしていくことである。従来、キーボードや表示装置を備えたパーソナル・コンピュータにより一連の字幕映像を素材として生成できる装置があった。この従来装置では、画面対話形式のテキスト編集技術によって字幕文字の画面レイアウトを設定する処理を行うようになっている。この編集作業で制作された映像素材を楽曲進行に連動した字幕の色替え変化を施した映像としてまとめあげるプロセスでは、手動操作の映像編集機器が使用され、楽曲進行とのタイミング合わせには、収録済みの楽曲の再生音を実際に聴きながら、歌詞字幕の表示タイミングを調整し、さらに歌詞進行を促す字幕の色替え映像の制作に際しての微妙な動きについても手動操作により表現するようにしていた。

しかし、楽曲を聴きながら字幕映像を音楽進行に合せてなぞるような手動操作で行われる色替え映像編集作業では、手の動きがそのまま映像に反映されることから、各楽曲ごとに相当量の練習が必要で、完成度の高い色替え映像を得るまでには何度もやり直す必要があった。そのため、色替りする歌詞字幕の映像編集作業には相当の熟練者が必要であるし、そのような熟練者にとっても面倒で手数のかかる仕事であった。

また、字幕の書体や画面レイアウトを変更した場合などにおいては、たとえ同じ楽曲であっても映像編集作業も含めて、すべてやり直すことを余儀なくされていた。

この発明は前述した従来の問題点に鑑みなされたものであり、その目的は、特別に高度な熟練者でなくても色替りする歌詞字幕のデータ編集作業を適切に行うことができるとともに、字幕の書体や画面レイアウトを変更しても音楽と歌詞字幕の色替え関連情報を作り直す必要のない合理的な技術を提供することにある。

この発明は、楽曲の伴奏音と歌詞字幕映像を同期出力する装置であって、つぎの事項（１）〜（８）により特定されるものである。
（１）音声再生手段と、記憶手段と、制御手段と、映像出力手段を備え、楽曲の伴奏音と歌詞字幕映像を同期出力する装置であること
（２）音声再生手段は、楽曲の演奏情報に基づいて伴奏音の音声信号を出力するとともに、楽曲演奏のテンポに合わせたタイムベース信号を出力すること
（３）記憶手段は、楽曲の歌詞データを記憶すること
（４）歌詞データは、歌詞字幕を構成する一連の文字情報と、文字情報の画面レイアウトを規定した字幕座標情報と、文字情報の各１文字について規定された歌唱時間情報を含むこと
（５）制御手段は、音声再生手段が楽曲を演奏する際、音声再生手段が出力するタイムベース信号に従って時間管理しつつ第１〜第２処理を行うこと
（６）第１処理は、歌詞データ文字情報を文字フォントの情報に変換すると同時に、各文字フォントを歌詞データ字幕座標情報に従って配置することで歌詞字幕イメージデータを作成すること
（７）第２処理は、歌詞データ歌唱時間情報に従って歌詞字幕イメージデータの各１文字ごとに色情報を部分的に徐々に変更すること
（８）映像出力手段は、フレームメモリに書き込まれる歌詞字幕イメージデータを高速で繰り返して読み出してビデオ信号に変換して出力すること

（Ａ）演奏音との高い同期性のとれた楽譜データおよび歌詞データをデータベースに蓄積しておくことにより、歌詞字幕を映像化する工程における人手による作業対象を、楽譜という一般に馴染み深く受け入れやすい媒体を通じた机上の編集に集約でき、歌詞字幕の画面レイアウトを設定するための歌詞の字幕編集という作業に加え、歌詞字幕の楽曲進行に対する連動性を設定するための歌詞と楽譜の合成編集という作業を兼ね備えた、２つの作業形態をもって歌詞字幕の映像信号を曲単位で一括自動生成される。

（Ｂ）従来においては、映像編集機器を使用し、実際に音楽を聞きながら、音楽の進行に合せて歌詞字幕をなぞるような手作業を行って、音楽の進行に合せた歌詞字幕の色替えの編集を行っていた。この編集作業を適切に行うことは大変に難しくて面倒であり、熟練者による長時間の作業に依存せざるを得なかった。
これに対してこの発明では、楽譜の音符位置に合せて歌詞文字を付記していく作業をコンピュータ画面上で行うことで、歌詞字幕と音楽進行との楽譜的時間関係を歌詞の各１文字について規定した歌唱時間情報を歌詞字幕の文字情報に付加するようにしたので、楽譜の読み方についての基本的な知識があれば誰でも簡単に歌詞字幕データの編集作業を適切に行うことができる。そのように簡単に合理的に制作された歌詞字幕データに基づいて、歌詞字幕を画面に表示して音楽に合せて歌いやすく色替えすることができる。

（Ｃ）この発明による歌詞字幕データは、歌詞字幕を構成する一連の文字情報と、歌詞字幕を画面上にどのようなレイアウトで表示するのかを規定した字幕座標情報と、歌詞字幕と音楽進行との楽譜的時間関係を歌詞の各１文字について規定した歌唱時間情報とから構成される。したがって、なんらかの事情により既存の歌詞字幕データについて、字幕の書体や画面レイアウトを変更しても、歌唱時間情報は歌詞の各１文字ごとに規定されているので、歌詞字幕の色替え映像の元となっている歌唱時間情報を作り直す必要がない。そのため、歌詞字幕データはさまざまな表示出力系に適合する汎用的なものとなる。

以下において本発明の第１実施例を図１に基づいて説明すると、１はＣＲＴディスプレイによる表示装置、２はキーボードを用いた入力装置、３はハードディスクによる記憶装置、４は映像出力装置、５はＣＰＵ処理装置、６はタイマ装置をあらわす。

歌詞字幕映像の第１の条件を満たすための作業工程である歌詞データの字幕編集について述べると、歌いやすく、詩情も汲み取りやすい適切な文節単位で画面レイアウトされた歌詞字幕を生成するためには、まず歌詞の文字情報を入力し、曲単位の歌詞データを作成し、歌詞データを字幕文字フォントを使用して表示装置１に表示し、表示される画像１０を確認しながら歌詞字幕の画面レイアウトを設定する作業により、歌詞データに字幕としての文字レイアウトに関する情報（字幕座標）を付加していく処理機能により歌詞データの字幕編集をおこなう。なおこの場合において、字幕文字フォントは、字幕文字の書体を必要に応じて変更できるように記憶装置に格納しておく。

具体的には、キーボード２を用いてＣＲＴディスプレイ１の画面との対話形式による文書作成機能を利用して歌詞データの入力を行ない、曲単位で作成された歌詞文書は歌詞データファイルとしてハードディスク３にストアされる。
さらにハードディスク３の字幕文字フォント・パターンを使用して描いた歌詞データの字幕画像１０をＣＲＴディスプレイ１へ写し出し、歌詞字幕のページ割付け、ページごとの字幕レイアウト機能を利用して編集をおこなう。
これらの機能を活用した適切な字幕編集を施すことによりページ割付け、字幕レイアウトを含む、字幕座標情報の確定した歌詞データを得ることができる。

一方、楽譜データの入力は、キーボード２から音符単位の音程、音長等を、数値で入力する形式で行なうものとし、楽譜の内容としては、歌唱進行を認識するためのメロディーパートのみで十分ではあるが、前奏、間奏を含む曲全体の時間経過が表現された、曲単位の楽譜データ・ファイルとしてハードディスク３にストアされる。

つぎに、歌詞字幕映像の第２の条件を満たすための作業工程について述べると、楽曲進行に連動して歌詞字幕を歌いやすいタイミングで表示しながら、歌われている部分をなぞるように字幕の表示色を滑らかに色替えしていくには、歌詞字幕の楽曲進行との連動性を設定する作業における、楽曲進行をイメージする手段として楽譜を利用することが有効である。

この歌詞データの楽譜合成編集について述べると、音符、休符、拍子、テンポ等の楽譜を表現するのに不可欠なデータを入力して曲単位の楽譜のデータを作成し、歌詞データと楽譜データを合成した画像１１を表示装置１に表示する。
この画面の横軸を、拍子、テンポ等に依存する時間座標として扱い、歌詞データを文字単位で楽譜上の音符に対応させて楽譜原本どおり正確に配置していく作業により、歌詞データに曲進行との連動性に関する情報（歌唱時間）を付加していく処理機能を備える。

すなわち、より具体的には、楽譜データと歌詞データとを合成・編集した合成編集画像１１をＣＲＴディスプレイ１に表示し、楽譜に対応した歌詞配置ができるように、歌詞を文字単位で左右に移動させ、任意の位置へ効率よく配置させるために備えられている各種機能を利用して種々の編集をおこなう。

なおこの場合において、ＣＲＴディスプレイ１の一画面上では楽譜の全体は表示しきれないので、ページ送り機能により前後の楽譜を順送りに表示させて、全体を網羅するようにする。
また、繰り返して歌唱される小節を共通小節として扱えば、１番の歌詞１２、２番の歌詞１３、３番の歌詞１４、を並列表示でき、編集作業の効率向上が図れる。
これらの機能を活用して楽譜原本どおりに、歌詞データの楽譜合成編集が施され文字単位の歌詞時間情報の確定した歌詞データを作成し、これをハードディスク３にストアしなおしておく。

このようにして、文字単位の字幕座標情報、歌詞時間情報の確定した歌詞データを基に、前奏から始まり刻々と経過する楽曲進行の時間経過を想定して、ページ割付けされた文字群の先頭文字の歌唱時間から推定される、そのページの最適表示タイミングにおける字幕表示を、字幕座標情報にしたがった画面レイアウトで行ない、表示された文字それぞれの歌唱時間情報を基準に実行される歌唱文字を滑らかになぞっていくような文字色の塗り替え等、楽曲進行に適切に連動した一連の字幕展開を画像化するための描画信号を映像出力装置４へ連続送出していくような、歌詞字幕映像の一括生成処理機能を備える。

なおこの場合において、演奏音との高い同期性のとれた楽譜データおよび歌詞データをデータベースに蓄積しておけば、歌詞字幕の画面レイアウトを設定するための歌詞の字幕編集という作業に加え、歌詞字幕の楽曲進行に対する連動性を設定するための歌詞と楽譜の合成編集という作業を兼ね備えた、２つの作業形態をもって歌詞字幕の映像信号を曲単位で一括自動生成できる制作環境を提供することができ、歌詞字幕を映像化する工程における人手による作業対象を楽譜という一般に馴染み深く受け入れやすい媒体を通じた机上の編集に集約できる。

以上の処理機能を活用した作業工程により、歌詞データに付加された字幕座標情報と歌唱時間情報および、字幕文字フォント情報に基づいて、曲の開始からの時間経過に従って最適なタイミングでの歌詞字幕表示のための描画信号と、その字幕の歌唱進行を表現した滑らかな色替えのための描画信号を映像出力装置４へ送出する処理機能を曲の終了まで連続して実行させることで、歌詞字幕の一括自動生成処理が完結される。

なお楽曲の速さをあらわすテンポの値に応じた時間管理をするためのタイムベース信号はタイマ装置６で生成される。この時間経過を管理するためのタイムベース信号は、楽曲の速度を再現するもので楽譜上のテンポの値に依存した周波数のタイミングクロックとして処理装置５に出力する。

この場合のテンポ値は１分間に演奏される４分音符の数であり、４分音符に相当するタイミングクロック数を４８とした場合は、１分間あたり、テンポ値の４８倍の数のタイミングクロックで与えられる。
このような、テンポ値に比例したタイミングクロックを時間管理のためのタイムベース信号とすることで、任意のテンポ値で与えられる楽曲の速さと正確に連動した歌詞字幕映像を自動的に一括生成する処理が達成される。

また映像出力装置４は、図４に示したように、処理装置５から入力される描画信号、即ち映像画面をイメージしたフレームメモリへの書込みアドレスと色情報によって刻々と変化していくフレームメモリ上の字幕画像が、アドレスカウンタからビデオ信号のためのタイミングと走査順で発生される読出しアドレスによって読出され、ビデオ信号エンコーダでビデオ信号へと変換していくことにより歌詞字幕映像がビデオ信号として得られるようにしても良い。

この場合、図５のように、外部映像に同期をあわせた読出しアドレスで、フレームメモリを読出して得られる字幕画像信号を優先して外部映像信号上に混成させるようにすると、外部映像に歌詞字幕をスーパーインポーズした映像信号として得ることもできる。

また前記した処理操作において、楽譜データどおりにリアルタイム生成された一連の歌詞字幕画像と、同じ楽譜どおりに演奏された音楽とで時間的なズレが生ずるとすれば、それはテンポの相違によるものである。
図２はこれを解消するようにした本発明の第２実施例をあらわしたものである。すなわち上記したテンポの相違をなくすために設けられるのがタイマ装置６に連動したメトロノーム音発生装置７であり、楽譜データの音長の基準となるタイムベース信号は、メトロノーム音の４８倍の周波数のタイミングクロックとして出力し、楽譜上の４分音符を４８クロックとして歌詞字幕映像の進行テンポを管理する。

これは入力した楽譜データどおりにリアルタイム生成された歌詞字幕映像と楽曲の演奏音との同期性を、より高めるために設けられたものであり、任意に設定されるテンポ値により決定される拍子のメトロノーム音を発生し、このメトロノーム音と楽譜上の音長を刻むための基準となるタイムベース信号とを統一管理し発生するものであり、このメトロノーム音に合わせたテンポで演奏された音楽に対して完全に同期のとれた歌詞字幕画像を生成できる。
上記した実施例２で生成された歌詞字幕映像は、演奏速度のほうを制御して同期性を高めるようにしたものであり、メトロノーム音に合わせたテンポで演奏された楽曲に対して、より同期性の高いものとなる。

また図３には反対に演奏に合わせた楽譜データを入力することで同期性を高めるようにした本発明の第３実施例があらわされている。
これは前記したタイマ装置をタイムコード付き音声再生装置９に置き換え、演奏された楽曲のテンポに合わせた楽譜データを得るようにしたもので、演奏音と共にタイムコードを記録した録音媒体（テープ）を音声再生装置９で再生し、これにより得られるタイムコードをタイムベース信号として活用するようにしたものである。これによる場合には、すでに収録済みの楽曲や、テンポの不定な楽曲に対して有効な歌詞字幕映像生成が可能となる。

すなわち楽譜データ入力は、演奏音に合わせてＭＩＤＩキーボード８でメロディーをリアルタイムで演奏して得られる演奏情報と、収録済みの録音テープの伴奏再生音によるタイムコードを基にして楽譜データを自動生成していくようにしたもので、ＭＩＤＩ信号を通じて入力されるメロディー演奏情報とテープからの再生タイムコードを基に楽譜データを自動生成させることで、収録済みの伴奏音に対して完全に同期した楽譜データが得られることになる。
なお、歌詞字幕画像を生成する段階でも音声再生装置９から再生されるタイムコードをタイムベース信号として時間管理することで、より完全な同期生が確保される。

映像出力装置４は、処理装置５から出力される描画信号を画像化したものを、映像信号に変換し出力するものであり、ＶＴＲ（ビデオテープレコーダ）、ＬＤ（レーザディスク）等に収録するためのビデオ信号を出力するようにするほか、ＣＤ（コンパクトディスク）グラフィックス、ＣＤ−Ｉ等、種々のコンピュータグラフィックス映像媒体のためのコード体系に対応したエンコード機能を備え、ディジタルコード化した映像信号として出力できるようにしてもよい。
また、外部映像を入力し、その映像に歌詞字幕をスーパーインポーズされた映像信号を出力できるようにしても良い。

本発明の第１実施例を示した歌詞字幕映像一括自動生成システムのブロック図、および編集画面の一例図である。 本発明の第２実施例を示した歌詞字幕映像一括自動生成システムのブロック図である。 本発明の第３実施例を示した歌詞字幕映像一括自動生成システムのブロック図である。 本発明において用いられる映像出力装置の一例を示すブロック図である。 本発明において用いられるスーパーインポーズ機能付き映像出力装置の一例を示すブロック図である。

符号の説明

１ 表示装置
２ 入力装置
３ 記憶装置
４ 映像出力装置
５ 処理装置
６ タイマ装置
７ メトロノーム音発生装置
８ ＭＩＤＩキーボード
９ 音声再生装置
１０ 歌詞データの字幕画像
１１ 合成編集画像

Claims (1)

1. つぎの事項（１）〜（８）により特定される物の発明。
   （１）音声再生手段と、記憶手段と、制御手段と、映像出力手段を備え、楽曲の伴奏音と歌詞字幕映像を同期出力する装置であること
   （２）音声再生手段は、楽曲の演奏情報に基づいて伴奏音の音声信号を出力するとともに、楽曲演奏のテンポに合わせたタイムベース信号を出力すること
   （３）記憶手段は、楽曲の歌詞データを記憶すること
   （４）歌詞データは、歌詞字幕を構成する一連の文字情報と、文字情報の画面レイアウトを規定した字幕座標情報と、文字情報の各１文字について規定された歌唱時間情報を含むこと
   （５）制御手段は、音声再生手段が楽曲を演奏する際、音声再生手段が出力するタイムベース信号に従って時間管理しつつ第１〜第２処理を行うこと
   （６）第１処理は、歌詞データ文字情報を文字フォントの情報に変換すると同時に、各文字フォントを歌詞データ字幕座標情報に従って配置することで歌詞字幕イメージデータを作成すること
   （７）第２処理は、歌詞データ歌唱時間情報に従って歌詞字幕イメージデータの各１文字ごとに色情報を部分的に徐々に変更すること
   （８）映像出力手段は、フレームメモリに書き込まれる歌詞字幕イメージデータを高速で繰り返して読み出してビデオ信号に変換して出力すること
   

Images