JPH1175155A - 画像と音声の再生装置 - Google Patents

画像と音声の再生装置

Info

Publication number
JPH1175155A
JPH1175155A JP23390497A JP23390497A JPH1175155A JP H1175155 A JPH1175155 A JP H1175155A JP 23390497 A JP23390497 A JP 23390497A JP 23390497 A JP23390497 A JP 23390497A JP H1175155 A JPH1175155 A JP H1175155A
Authority
JP
Japan
Prior art keywords
sub
image
data
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23390497A
Other languages
English (en)
Other versions
JP3039472B2 (ja
Inventor
Hideki Sawada
英樹 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP23390497A priority Critical patent/JP3039472B2/ja
Priority to US09/144,228 priority patent/US6185364B1/en
Publication of JPH1175155A publication Critical patent/JPH1175155A/ja
Application granted granted Critical
Publication of JP3039472B2 publication Critical patent/JP3039472B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 【課題】 従来の再生装置では、再生装置のデータ処理
能力が低下しリアルタイムに処理できなくなった場合の
同期補正は行われていない。また、再生装置をソフトウ
ェアで実現する場合には生成する基準クロックの精度に
問題がある。 【解決手段】 コマンドテーブル１１３は符号化データ
に付加される副画像の表示時間や表示方法を示すヘッダ
情報を格納する。基準クロック生成部１１１は、音声出
力部１１０から再生を開始してから出力したＰＣＭデー
タの累積データ量と、音声復号部１０４から解析された
属性情報とを取得し、これらを用いて基準クロックを生
成する。副画像出力部１１２は、コマンドテーブル１１
３に記録された副画像の表示方法に従い作成したサブピ
クチャを、コマンドテーブル１１３に記録された表示時
間に従い画像重畳部１１５に出力する。副画像データの
復号処理と画像重畳部１１５の重畳処理は、基準クロッ
クに同期して行われる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像と音声の再生装
置に係り、特にディジタル圧縮符号化した画像データ
と、この画像データとは別に同じくディジタル圧縮符号
化した字幕などの副画像データと、同じくディジタル圧
縮符号化した音声データとをそれぞれ多重化した符号化
データを、復号再生する画像と音声の再生装置に関す
る。
【０００２】
【従来の技術】従来より、ディジタル圧縮符号化した通
常の画像データ及び音声データに加え、同じくディジタ
ル圧縮符号化した映画の字幕やカラオケの歌詞などの副
画像データをそれぞれ多重化した符号化データに対して
別々に復号処理を施し、復号した主画像と副画像を重畳
して表示する、画像と音声の再生装置が知られている
（例えば、特開平６−３１４０９２号公報）。
【０００３】図１８は上記の従来の画像と音声の再生装
置の一例のブロック図を示す。この従来の再生装置は、
記録媒体１８１に記録されている多重符号化データを再
生する。記録媒体１８１には、ディジタル圧縮符号化し
た通常の画像データと音声データに、ランレングス符号
化などによって符号化した文字データなどの副画像デー
タがあらかじめ多重化されて記録されている。
【０００４】再生装置はこの記録媒体１８１に記録され
ている多重化された符号化データを再生し、データ分離
部１８２においてそれらを分離し、副画像データは副画
像復号部１８３に供給し、主画像データは主画像復号部
１８４に供給してそれぞれ別々に復号処理する。復号さ
れた副画像データは、復号された主画像データに画像デ
ータ重畳部１８６において重畳されることにより、映像
信号として出力される。また、データ分離部１８２で分
離された圧縮符号化音声データは音声復号部１８５に供
給されて復号処理され、音声信号として出力される。
【０００５】また、このようなディジタル圧縮符号化デ
ータの同期再生方式として、動画像圧縮の国際標準規格
である、ＭＰＥＧ（Moving Picture Experts Group）方
式がある。ＭＰＥＧ方式における符号化データには、画
像データや音声データに、それらを同期して再生するた
めに用いる２種のタイムコードが一緒に多重化される。
そのタイムコードの１つは再生装置で基準クロックを生
成するための参照タイムコードであるＳＣＲ（System C
lock Reference）であり、もう１つのタイムコードは画
像データや音声データの表示や出力時間を示すＰＴＳ
（Presentaion Time Stamp）である。
【０００６】図１９はＭＰＥＧ方式に基づいた従来の再
生装置の一例のブロック図を示す。データ分離部１９２
は、記録媒体１９１から再生した画像データや音声デー
タと共に同期制御用のタイムコードを分離し、基準クロ
ックを生成するためのタイムコードであるＳＣＲは、基
準クロック生成部１９３に送り、基準クロックの初期化
あるいは補正に使用する。
【０００７】また、データ分離部１９２は、副画像の表
示時間を示すＰＴＳ１は副画像復号部１９４に、主画像
の表示時間を示すＰＴＳ２は主画像処理部１９５に、音
声の出力時間を示すＰＴＳ３は音声復号部１９６にそれ
ぞれ送る。主画像復号部１９５はデータ分離部１９２を
通して入力された主画像符号化データの復号処理を行っ
た後、ＰＴＳ２と基準クロック生成部１９３からの基準
クロックとの比較を行い、基準クロックがＰＴＳ２と一
致した時点で復号主画像データを画像データ重畳部１９
７へ出力する。
【０００８】また、副画像復号部１９４は、データ分離
部１９２を通して入力された副画像符号化データの復号
処理を行った後、ＰＴＳ１と基準クロック生成部１９３
からの基準クロックとの比較を行い、基準クロックがＰ
ＴＳ１と一致した時点で、復号副画像データを画像デー
タ重畳部１９７に供給して、復号主画像データに重畳す
る。更に、音声復号部１９６はデータ分離部１９２を通
して入力された音声符号化データの復号処理を行った
後、ＰＴＳ３と基準クロック生成部１９３からの基準ク
ロックとの比較を行い、基準クロックがＰＴＳ３と一致
した時点で出力する。
【０００９】
【発明が解決しようとする課題】ここで、再生装置をソ
フトウェアで実現した場合では、再生装置のデータ処理
能力が低下し、字幕やカラオケの歌詞などの副画像デー
タの復号処理と主画像への重畳処理を、リアルタイムに
行えなくなることがある。その場合は、副画像データの
重畳処理を適当に間引いて（コマ落とし）同期を補正す
る必要がある。
【００１０】しかるに、図１８に示した文字画像用記録
再生装置などの従来の再生装置では、再生装置のデータ
処理能力が低下しリアルタイムに処理できなくなった場
合の同期補正というようなことは行われていない。
【００１１】また、前記ＭＰＥＧ方式に準拠した図１９
に示した従来の再生装置では、再生装置で基準クロック
を生成するための参照タイムコードであるＳＣＲの分解
能が９０ｋＨｚあるいは２７ＭＨｚであり、再生装置を
ソフトウェアで実現する場合には生成する基準クロック
の精度に問題がある。
【００１２】本発明は以上の点に鑑みなされたもので、
再生装置の処理性能が低下し、字幕やカラオケの歌詞な
どの副画像データの復号処理と主画像への重畳処理をリ
アルタイムに行うことができなくなった場合において
も、同期再生が可能な画像と音声の再生装置を提供する
ことを目的とする。
【００１３】また、本発明の他の目的は、ＭＰＥＧ方式
に準拠した再生装置を構築する場合に、符号化データに
多重化されている基準クロックを生成するための参照タ
イムコードであるＳＣＲを使用せずに基準クロックを生
成し、字幕やカラオケの歌詞などの副画像データと音声
データの同期再生が可能な画像と音声の再生装置を提供
することにある。
【００１４】
【課題を解決するための手段】本発明は上記の目的を達
成するため、ディジタル圧縮符号化された画像データと
音声データに加え、同じくディジタル圧縮符号化された
映画の字幕やカラオケの歌詞などの副画像データが多重
化された多重化データを復号再生する画像と音声の再生
装置であって、多重化データから主画像データ、副画像
データ及び音声データをそれぞれ分離処理するデータ分
離部と、データ分離部で分離された音声データの復号処
理を行う音声復号部と、データ分離部で分離された主画
像データの復号処理を行う主画像復号部と、データ分離
部で分離された副画像データの復号処理を行う副画像復
号部と、音声復号部により復号後出力された音声データ
量の累積と音声復号部により解析された属性情報とから
再生開始後の進行時間を演算し、この進行時間に基づい
て基準クロックを生成する基準クロック生成部と、副画
像復号部により復号された副画像データの出力制御を、
基準クロックに基づいて行う副画像出力手段と、副画像
出力手段より出力された副画像データを、主画像復号部
により復号された主画像データに、基準クロックに同期
して重畳する画像重畳手段とを有する構成としたもので
ある。
【００１５】本発明では、ＭＰＥＧ方式に準拠した再生
装置を構築する場合に、音声データ量の累積と音声復号
部により解析された属性情報とから再正開始後の進行時
間を演算し、この進行時間に基づいて基準クロックを生
成するようにしたため、符号化データに多重化されてい
る基準クロックを生成するための参照タイムコードであ
るＳＣＲを使用することなく基準クロックを生成するこ
とができ、また、副画像データの復号処理と主画像への
重畳処理を、基準クロックに同期して行うことができ
る。
【００１６】また、本発明は、基準クロックに基づいて
取得した現在時間とコマンドテーブルを参照して得た表
示時間とを比較したときに、現在時間がコマンドテーブ
ル中１の複数の未読の表示時間を経過しているときに、
コマンドテーブル中、現在時間の次の副画像データの表
示時間と表示方法を参照すると共に、未読の複数の表示
時間に対応する複数の未読の表示方法のそれぞれを参照
して、バッファからの副画像データを順次更新処理し、
かつ、未読の複数の表示時間のうち最後の表示時間に対
応する未読の表示方法を参照して更新処理した副画像デ
ータのみを間引き出力するように構成したものである。
【００１７】本発明では、再生装置の処理性能が低下
し、字幕やカラオケの歌詞などの副画像データの復号処
理と主画像への重畳処理をリアルタイムに行うことがで
きなくなった場合においても、副画像データの更新処理
は複数の表示方法に従って行ってから最後の表示時間に
対応する未読の表示方法を参照して更新処理した副画像
データのみを出力するため、出力処理のみの省略により
歯抜けの表示を防止できる。
【００１８】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。
【００１９】図１は本発明における画像と音声の再生装
置の一実施の形態のブロック図を示す。まず、全体制御
部１０３について説明する。全体制御部１０３は、デー
タ分離部１０２と音声復号部１０４と副画像復号部１０
５と主画像復号部１０６と基準クロック生成部１１１と
音声出力部１１０と副画像出力部１１２と主画像出力部
１１４と画像重畳部１１５の制御を適応的に切り替える
メイン制御部である。
【００２０】復号部１０４〜１０６が復号処理するのに
必要十分なデータが分離処理されていない場合には、全
体制御部１０３はデータ分離部１０２に分離するデータ
量を指示して、音声データと主画像データと副画像デー
タの分離処理をさせる。前記データ量は、音声データあ
るいは主画像データあるいは副画像データの符号化デー
タ量で、いずれかを基準として分離することで、それ以
外のデータもそれに合わせて分離されることになる。
【００２１】一方、復号部１０４〜１０６が復号処理す
るのに必要十分なデータが分離処理されている場合に
は、全体制御部１０３は音声復号部１０４と副画像復号
部１０５と主画像復号部１０６にて符号化データの復号
処理をさせる。更に、全体制御部１０３は、音声出力部
１１０と副画像出力部１１２と主画像出力部１１４にて
復号処理したデータの出力処理をさせると共に、画像重
畳部１１５にて主画像と副画像の重畳処理をさせる。
【００２２】次に、データ分離部１０２について説明す
る。データ分離部１０２は適当な長さの符号化データを
記録装置１０１から読み込む。一般的に、画像データと
音声データが多重化されたディジタル符号化データは、
それぞれのデータ列の先頭にデータに関する情報が付加
されている。これをヘッダ情報、または単にヘッダと呼
ぶ。データに関する情報は、例えば、そのデータの種別
やデータ列の長さや時間情報である。
【００２３】データ分離部１０２は読み込んだ符号化デ
ータのヘッダ解析を行って、音声データ、副画像デー
タ、主画像データを抽出する。抽出された音声データ、
副画像データ、主画像データは、それぞれ音声復号部１
０４、副画像復号部１０５、主画像復号部１０６に入力
される。そして、抽出された音声データあるいは副画像
データあるいは主画像データの総量が、全体制御部１０
３から指定されたデータ量を上回るまで同処理を繰り返
す。更に、データ分離部１０２はヘッダ情報のうち副画
像データの表示時間情報を分離して、コマンドテーブル
１１３に格納する。
【００２４】次に、音声復号部１０４について説明す
る。音声復号部１０４はデータ分離部１０２で分離され
た音声データを読み出し、全体制御部１０３により指定
された音声フレーム分の復号処理を施し、復号して得た
ＰＣＭデータをＰＣＭバッファ１０７に格納する。ま
た、音声復号部１０４は同時に音声データ内に付加され
るサンプリングレートやチャンネル数を示す属性情報の
解析を行う。ＰＣＭバッファ１０７に一時的に格納され
たＰＣＭデータは、音声出力部１１０を経てスピーカ１
１６に出力される。
【００２５】次に、副画像復号部１０５について説明す
る。副画像復号部１０５はデータ分離部１０２で分離さ
れた副画像データを読み出し、１ユニット分の復号処理
を施す。ここで、「ユニット」とは、１つ以上の文字デ
ータで構成された１枚のビットマップデータである。そ
して、副画像復号部１０５は復号したビットマップデー
タをビットマップバッファ１０８に格納すると共に、副
画像データ内に付加されている副画像の表示時間や表示
方法を示すヘッダ情報を抽出してコマンドテーブル１１
３に格納する。
【００２６】次に、主画像復号部１０６について説明す
る。主画像復号部１０６はデータ分離部１０２で分離さ
れた主画像データを読み出し、１フレーム分の復号処理
を施し、復号して得られたフレームデータをフレームバ
ッファ１０９に格納する。フレームバッファ１０９に一
時的に格納されたフレームデータは、主画像出力部１１
４及び画像重畳部１１５を経てモニタ１１７に出力され
る。
【００２７】次に、基準クロック生成部１１１について
説明する。基準クロック生成部１１１は、音声出力部１
１０から再生を開始してから出力したＰＣＭデータの累
積データ量と、音声復号部１０４から解析された属性情
報とを取得し、これらを用いて再生開始後の進行時間を
算出する。そして、この進行時間に再生した最初の音声
フレームの本来の表示時間を加えたものを、同期制御に
用いる基準クロックとする。
【００２８】次に、コマンドテーブル１１３について説
明する。コマンドテーブル１１３は符号化データに付加
される副画像の表示時間や表示方法を示すヘッダ情報を
格納するバッファである。図２はコマンドテーブル１１
３のバッファ構成図を示す。図２に示すように、コマン
ドテーブル１１３は表示時間と表示方法のヘッダ情報を
一組のエントリとして格納されるエントリの集合体であ
る（ここではエントリはｎ個ある）。また、コマンドテ
ーブル１１３は、ある一定サイズのリングバッファであ
り、最終エントリまでヘッダ情報を格納すると、特に指
示しなくとも先頭のエントリに戻って格納が継続される
ものである。
【００２９】次に、図１の副画像出力部１１２について
説明する。副画像出力部１１２は次の２つの制御を行
う。１つはコマンドテーブル１１３に記録された副画像
の表示方法に従い、ビットマップバッファ１０８に格納
された１ユニット分のビットマップデータの一部あるい
はすべてを用いて、出力する副画像データ（以下サブピ
クチャと呼ぶ）を作成する制御であり、１つはコマンド
テーブル１１３に記録された表示時間に従い、画像重畳
部１１５にサブピクチャを出力する制御である。
【００３０】図３は、ビットマップバッファ１０８に格
納された１ユニット分のビットマップデータの一例を、
また、図４は出力されるサブピクチャの一例を示す。図
３に示すように、ビットマップバッファ１０８に格納さ
れた１ユニット分のビットマップデータのサイズは横方
向Ｘ画素、縦方向Ｙ画素（以下、これを（Ｘ，Ｙ）と記
すものとする）の任意なサイズであるのに対し、出力さ
れるサブピクチャのサイズは主画像データの画像サイズ
に合わせられ、図４の例では（７２０、４８０）として
いる。
【００３１】サブピクチャの更新方法には、表示のオ
ン、表示のオフ、さらに図５のように基本となるビット
マップそのものが更新される場合、あるいは図６のよう
に基本となるビットマップは変わらずに、その一部の色
情報だけが更新される場合、あるいは図７のように基本
となるビットマップも色情報も前回のままでその表示位
置だけが変わる場合がある。このようにして作成された
サブピクチャは、図１の画像重畳部１１５にて主画像に
重畳された後モニタ１１７に出力される。
【００３２】
【実施例】次に、本発明の画像と音声の再生装置におけ
る、副画像と音声の同期制御の第１の実施例を図面を参
照しながら説明する。図８は本発明装置の同期制御の一
実施例のフローチャートを示す。図１の副画像出力部１
１２は、全体制御部１０３から呼び出されると、まず、
基準クロック生成部１１１から現在時間を取得する（ス
テップ８１）。基準クロック生成部１１１は、基準時間
を要求されると音声出力部１１０から再生を開始してか
ら出力したＰＣＭデータの累積データ量を取得する。
【００３３】例えば、ＰＣＭデータのフォーマットが、
ステレオ信号で、サンプリングレート４４．１［ｋＨ
ｚ］、１サンプル当たりのビット精度が１６［ビット］
である場合、累積データ量から算出する再生開始後の再
生時間は（１）式のようになる。
【００３４】 再生時間［s］＝累積データ量［Bytes]/(44.1×1000×(16/8)×2）…（１） さらに、再生を開始した直後のＰＣＭデータの、本来符
号化データで規定されている出力時間がα〔ｓ］であっ
たとすると、基準時間は（２）式のようになる。
【００３５】 基準時間［s］＝α＋再生時間 … （２） 続いて、未読のコマンドテーブルエントリｍを参照し、
サブピクチャの出力時間Ｐmを取得する（ステップ８
２）。もし、現在時間がサブピクチャの出力時間Ｐmよ
りも小さければ（すなわち、現在時間が出力時間Ｐmに
まだ達していない）、今回処理するサブピクチャのフレ
ーム数（ＭＰＥＧ方式におけるピクチャ数）を取得し、
その取得したフレーム数が０かどうかチェックし（ステ
ップ８５）、フレーム数が０のときは、特に処理せず処
理を全体制御部１０３に戻す。
【００３６】一方、現在時間がサブピクチャの出力時間
Ｐmよりも大きければ（すなわち、現在時間が出力時間
Ｐmを過ぎているときは）、ｍの値を１インクリメント
し（ステップ８３）、次のエントリを参照し（ステップ
８２）、更に現在時間とサブピクチャの出力時間Ｐmと
を比較する。このときはｍの値が直前に１インクリメン
トされているので、現在時間がサブピクチャの出力時間
Ｐmよりも小さく、よって前回の出力時間Ｐmで処理する
ピクチャ数がフレーム数が０かどうかチェックし（ステ
ップ８５）、１フレーム以上存在する場合には、続いて
サブピクチャ更新（ステップ８６）した後サブピクチャ
を出力する（ステップ８７）。
【００３７】次に、上記の処理について図９及び図１０
と共に更に具体的に説明する。図９はコマンドテーブル
１１３の一具体例を、また図１０は副画像出力部１１２
に制御が移ったときに、基準クロック生成部１１１から
取得した現在時間とコマンドテーブル１１３に格納され
たサブピクチャの出力時間との時間関係を示す。
【００３８】まず、現在時間が図１０のａ点では、未処
理のエントリｍからサブピクチャの出力時間Ｐmを読み
出す。しかし、ａ＜Ｐmであるため（つまり、現在時間
ａが出力時間Ｐmにまだ達していないため）、図８のス
テップ８３、８５を経由して特に処理せず全体制御部１
０３に制御を戻す。同様にして、現在時間が図１０のｂ
点でも先行状態であるため、特に処理せず全体制御部１
０３に制御を戻す。
【００３９】次に、現在時間が図１０のｃ点となると、
ｃ＞Ｐmであるので、図８のステップ８３から８４に進
んでｍの値が１インクリメントされた後、ステップ８２
で未読コマンドテーブルのエントリｍ＋１が参照され、
続くステップ８３で現在時間ｃが出力時間Ｐm+1より小
と判定されるため、続くステップ８５でフレーム数が０
かどうか判定される。
【００４０】この時点では、出力時間Ｐmのピクチャが
存在するので、エントリｍに格納された表示方法（コマ
ンドＣm）に従って、サブピクチャの更新処理を行う
（ステップ８６）。コマンドＣmに、例えば前回のサブ
ピクチャ（図１１）と同じビットマップを使用してある
一部の色（図１１の）を変化させ、表示位置も前回と
同じという表示方法が記録されているとすると、図１の
画像出力部１１２は図１２のようにサブピクチャを更新
し（ステップ８６）、画像重畳部１１５にサブピクチャ
を出力し（ステップ８７）、全体制御部１０３に制御を
戻す。画像重畳部１１５では、サブピクチャを主画像デ
ータに重畳しモニタ１１７に出力する。
【００４１】同様にして、現在時間が図１０のｅ点のと
きにはエントリｍ＋１に格納された表示方法（コマンド
Ｃm+1）に従って、また現在時間が図１０のｇ点ではエ
ントリｍ＋２に格納された表示方法（コマンドＣm+2）
に従って、サブピクチャの更新処理を行う。コマンドＣ
m+1に、例えば前回のサブピクチャ（図１２）と同じビ
ットマップを使用してある一部の色（図１１の）を変
化させ、表示位置も前回と同じという表示方法が記録さ
れているとすると、図１３のようにサブピクチャを更新
する。
【００４２】また、コマンドＣm+2に、例えば前回のサ
ブピクチャ（図１３）と同じビットマップを使用してあ
る一部の色（図１１の）を変化させ、表示位置も前回
と同じという表示方法が記録されているとすると、図１
４のようにサブピクチャを更新する。そして、図１の記
録装置１０１に記録された符号化データをすべて処理し
終えるまで上記の処理を繰り返す。
【００４３】ここで、画像重畳部１１５における重畳処
理の一例として、例えば図１５に示すように主画像デー
タがモニタ１１７の一部のウィンドウ枠１２１にオーバ
ーレイ表示されている場合には、サブピクチャの文字デ
ータ以外のエリヤをオーバーレイの透明色とし、主画像
と同じウィンドウ枠１２１に、更新したサブピクチャの
ビットマップデータを張り付ける処理を行う。
【００４４】次に、本発明の画像と音声の再生装置にお
ける、副画像と音声の同期制御の第２の実施例を図面を
参照しながら説明する。図１６は副画像出力部１１２に
制御が移ったときに、基準クロック生成部１１１から取
得した現在時間とコマンドテーブル１１３に格納された
サブピクチャの出力時間との時間関係を示す。
【００４５】再生装置の処理能力が低下し、全体制御部
１０３が副画像出力部１１２を十分に呼び出すことがで
きず、図１６のｇ点のように未処理のサブピクチャが複
数たまってしまった場合（つまり遅延状態である場合）
には、まずエントリｍに格納された表示方法（コマンド
Ｃm）に従って、サブピクチャの更新処理を行う。
【００４６】コマンドＣmに、例えば前回のサブピクチ
ャ（図１１）と同じビットマップを使用してある一部の
色（図１１の）を変化させ、表示位置も前回と同じと
いう表示方法が記録されているとすると、図１２のよう
にサブピクチャを更新する。続いて、エントリｍ＋１に
格納された表示方法（コマンドＣm+1）に従って、サブ
ピクチャの更新処理を行う。コマンドＣm+1に、例えば
前回のサブピクチャ（図１２）と同じビットマップを使
用してある一部の色（図１１の）を変化させ、表示位
置も前回と同じという表示方法が記録されているとする
と、図１３のようにサブピクチャを更新する。
【００４７】続いて、エントリｍ＋２に格納された表示
方法（コマンドＣm+2）に従って、サブピクチャの更新
処理を行う。コマンドＣm+2に、例えば前回のサブピク
チャ（図１３）と同じビットマップを使用してある一部
の色（図１１の）を変化させ、表示位置も前回と同じ
という表示方法が記録されているとすると、図１４のよ
うにサブピクチャを更新する。
【００４８】そして、コマンドＣm、コマンドＣm+1に従
って作成したサブピクチャの出力は省略して（すなわち
コマ落とし処理）、コマンドＣm+2に従って作成したサ
ブピクチャのみ画像重畳部１１５に出力し、全体制御部
１０３に制御を戻す。コマンドＣmおよびコマンドＣm+1
のサブピクチャ作成そのものを省略すると、図１１の
、の部分の色変換が行われないため、表示されるサ
ブピクチャが図１７のように歯抜けの表示になってしま
うため出力処理のみ省略する。
【００４９】
【発明の効果】以上説明したように、本発明によれば、
符号化データに多重化されている基準クロックを生成す
るための参照タイムコードであるＳＣＲを使用すること
なく、音声復号部の解析結果と音声復号データ量の累積
とから再生開始後の進行時間を演算し、その進行時間に
基づいて基準クロックを生成し、その基準クロックに同
期して副画像データの復号処理と主画像データへの重畳
処理を行うようにしたため、字幕やカラオケの歌詞など
の副画像データと音声データを、従来よりも高精度で同
期して再生することができる。
【００５０】また、本発明によれば、再生装置の処理性
能が低下し、字幕やカラオケの歌詞などの副画像データ
の復号処理と主画像への重畳処理をリアルタイムに行う
ことができなくなった場合においても、副画像データの
更新処理は複数の未読の表示方法を参照して行ってから
最後の表示時間に対応する未読の表示方法を参照して更
新処理した副画像データのみを出力するため、出力処理
のみの省略により歯抜けの表示を防止できると共に、副
画像のコマ落とし処理をしながら副画像データを音声デ
ータと同期して再生することができる。
【図面の簡単な説明】
【図１】本発明における画像と音声の再生装置の一実施
の形態のブロック図である。
【図２】図１中のコマンドテーブルの一例のバッファ構
成図である。
【図３】図１中のビットマップデータの一例を示す図で
ある。
【図４】図１中のビットマップバッファから出力される
サブピクチャの一例を示す図である。
【図５】サブピクチャの更新方法の一例を示す図であ
る。
【図６】サブピクチャの更新方法の他の例を示す図であ
る。
【図７】サブピクチャの更新方法の更に他の例を示す図
である。
【図８】図１の同期制御の動作説明用フローチャートで
ある。
【図９】コマンドテーブルの一具体例を示す図である。
【図１０】図１中の基準クロック生成部から取得した現
在時間とコマンドテーブルに格納されたサブピクチャの
出力時間との時間関係の一例を示す図である。
【図１１】更新したサブピクチャの一例を示す図であ
る。
【図１２】更新したサブピクチャの他の例を示す図であ
る。
【図１３】更新したサブピクチャの他の例を示す図であ
る。
【図１４】更新したサブピクチャの更に他の例を示す図
である。
【図１５】画像表示の一例を説明する図である。
【図１６】図１中の基準クロック生成部から取得した現
在時間とコマンドテーブルに格納されたサブピクチャの
出力時間との時間関係の他の例を示す図である。
【図１７】図１６の場合に更新したサブピクチャの一例
を示す図である。
【図１８】従来の画像と音声の再生装置の一例のブロッ
ク図である。
【図１９】従来の画像と音声の再生装置の他の例のブロ
ック図である。
【符号の説明】
１０１ 記録装置 １０２ データ分離部 １０３ 全体制御部 １０４ 音声復号部 １０５ 副画像復号部 １０６ 主画像復号部 １０７ ＰＣＭバッファ １０８ ビットマップバッファ １０９ フレームバッファ １１０ 音声出力部 １１１ 基準クロック生成部 １１２ 副画像出力部 １１３ コマンドテーブル １１４ 主画像出力部 １１５ 画像重畳部

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 ディジタル圧縮符号化された画像データ
    と音声データに加え、同じくディジタル圧縮符号化され
    た映画の字幕やカラオケの歌詞などの副画像データが多
    重化された多重化データを復号再生する画像と音声の再
    生装置であって、 前記多重化データから前記主画像データ、副画像データ
    及び音声データをそれぞれ分離処理するデータ分離部
    と、 前記データ分離部で分離された前記音声データの復号処
    理を行う音声復号部と、 前記データ分離部で分離された前記主画像データの復号
    処理を行う主画像復号部と、 前記データ分離部で分離された前記副画像データの復号
    処理を行う副画像復号部と、 前記音声復号部により復号後出力された音声データ量の
    累積と該音声復号部により解析された属性情報とから再
    生開始後の進行時間を演算し、この進行時間に基づいて
    基準クロックを生成する基準クロック生成部と、 前記副画像復号部により復号された副画像データの出力
    制御を、前記基準クロックに基づいて行う副画像出力手
    段と、 前記副画像出力手段より出力された副画像データを、前
    記主画像復号部により復号された主画像データに、前記
    基準クロックに同期して重畳する画像重畳手段とを有す
    ることを特徴とする画像と音声の再生装置。
  2. 【請求項２】 前記副画像出力手段は、前記副画像復号
    部により復号された副画像データとを１ユニット分格納
    するバッファと、前記多重化データ中に付加されている
    副画像の表示時間及び表示方法のヘッダ情報を、前記デ
    ータ分離部及び前記副画像復号部から取り出して一組の
    エントリとして格納するコマンドテーブルと、前記バッ
    ファに格納されている副画像データを前記基準クロック
    に同期し、かつ、前記コマンドテーブルに格納された表
    示時間及び表示方法で出力する画像出力部とからなるこ
    とを特徴とする請求項１記載の画像と音声の再生装置。
  3. 【請求項３】 前記副画像出力部は、前記基準クロック
    に基づいて取得した現在時間と前記コマンドテーブルを
    参照して得た表示時間とを比較し、前記現在時間が前記
    表示時間に達しているときにのみ、前記コマンドテーブ
    ルの次の副画像データの表示時間と表示方法を参照する
    と共に、前記コマンドテーブルを前回参照したときの表
    示方法に従い、前記バッファから副画像データを更新し
    て出力することを特徴とする請求項２記載の画像と音声
    の再生装置。
  4. 【請求項４】 前記副画像出力手段は、副画像データの
    復号処理と主画像への重畳処理がリアルタイムに行えな
    くなった場合には、副画像データの重畳処理を間引いて
    同期補正することを特徴とする請求項第１項記載の画像
    と音声の再生装置。
  5. 【請求項５】 前記副画像出力部は、前記基準クロック
    に基づいて取得した現在時間と前記コマンドテーブルを
    参照して得た表示時間とを比較したときに、前記現在時
    間が前記コマンドテーブル中の複数の未読の表示時間を
    経過しているときに、前記コマンドテーブル中、前記現
    在時間の次の副画像データの表示時間と表示方法を参照
    すると共に、前記未読の複数の表示時間に対応する複数
    の未読の表示方法のそれぞれを参照して、前記バッファ
    からの副画像データを順次更新処理し、かつ、前記未読
    の複数の表示時間のうち最後の表示時間に対応する未読
    の表示方法を参照して更新処理した副画像データのみを
    間引き出力することを特徴とする請求項２記載の画像と
    音声の再生装置。
JP23390497A 1997-08-29 1997-08-29 画像と音声の再生装置 Expired - Fee Related JP3039472B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23390497A JP3039472B2 (ja) 1997-08-29 1997-08-29 画像と音声の再生装置
US09/144,228 US6185364B1 (en) 1997-08-29 1998-08-31 Image and sound reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23390497A JP3039472B2 (ja) 1997-08-29 1997-08-29 画像と音声の再生装置

Publications (2)

Publication Number Publication Date
JPH1175155A true JPH1175155A (ja) 1999-03-16
JP3039472B2 JP3039472B2 (ja) 2000-05-08

Family

ID=16962412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23390497A Expired - Fee Related JP3039472B2 (ja) 1997-08-29 1997-08-29 画像と音声の再生装置

Country Status (2)

Country Link
US (1) US6185364B1 (ja)
JP (1) JP3039472B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG85646A1 (en) * 1999-06-01 2002-01-15 Panasonic Singapore Lab Pte Lt A digital tv-karoke systems
JP2005252317A (ja) * 2004-03-01 2005-09-15 Hitachi Ltd 再生装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60136519D1 (de) * 2000-09-22 2008-12-24 Pace Micro Technology Plc Salt Rundfunkdatenempfänger und Verfahren zu seiner Verwendung
JP4532375B2 (ja) * 2005-09-21 2010-08-25 株式会社日立国際電気 映像復号装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60194682A (ja) 1984-03-14 1985-10-03 Mitsubishi Electric Corp 磁気記録再生装置
JPH0219088A (ja) 1988-07-06 1990-01-23 Matsushita Electric Ind Co Ltd 字幕表示装置
JPH05244546A (ja) 1992-02-29 1993-09-21 F T Shoji Kk 映像時間情報収集装置
JP2865938B2 (ja) 1992-03-02 1999-03-08 日本コロムビア株式会社 ビデオディスクプレーヤ
JPH06303545A (ja) 1993-04-19 1994-10-28 Toshiba Corp 映像信号処理装置
JPH06314092A (ja) 1993-04-28 1994-11-08 Toshiba Corp 文字画像用記録再生装置
US5652824A (en) 1993-10-29 1997-07-29 Tokyo Shibaura Electric Co Multilingual recording medium and reproducing apparatus with automatic selection of substitutes and languages based on frequency of selections
EP0686973B1 (en) 1993-12-18 2002-10-16 Sony Corporation Data reproducing device and data recording medium
US5684542A (en) * 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
JPH07222105A (ja) 1994-01-31 1995-08-18 Sony Corp 映像ソフト再生装置
US5930450A (en) * 1995-02-28 1999-07-27 Kabushiki Kaisha Toshiba Recording medium, apparatus and method of recording data on the same, and apparatus and method of reproducing data from the recording medium
JPH08322046A (ja) 1995-03-20 1996-12-03 Sony Corp データ符号化／復号化方法および装置、および符号化データ記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG85646A1 (en) * 1999-06-01 2002-01-15 Panasonic Singapore Lab Pte Lt A digital tv-karoke systems
JP2005252317A (ja) * 2004-03-01 2005-09-15 Hitachi Ltd 再生装置

Also Published As

Publication number Publication date
JP3039472B2 (ja) 2000-05-08
US6185364B1 (en) 2001-02-06

Similar Documents

Publication Publication Date Title
US6512884B1 (en) Method and apparatus for synchronized play back of audio-video signals
JP3063841B2 (ja) オーディオ・ビデオ同期再生装置
JP2993351B2 (ja) 圧縮データ記録装置
JP3104681B2 (ja) オーディオ・ビデオ同期再生方法および装置
US7941029B2 (en) Moving-image shooting device, method of shooting moving-image, recording medium in which video signals are recorded by the same shooting device, moving-image reproducing device for reproducing the video signals recorded in the same medium, and method of reproducing the moving-image
JPH06314092A (ja) 文字画像用記録再生装置
US20050008331A1 (en) Dynamic image decoding device
US20040133926A1 (en) Additional information inserting apparatus and method
US7596297B2 (en) Information processing apparatus and method program, and recording medium
JP3039472B2 (ja) 画像と音声の再生装置
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP4030276B2 (ja) デジタル映像記録再生装置
KR20010092278A (ko) 화상 기록 장치 및 방법, 화상 재생 장치 및 방법과 기록매체
JPH0946630A (ja) 画像情報記録装置及び画像情報再生装置及び光ディスク
JP2000278643A (ja) データ変換装置
JP2776401B2 (ja) 画像・音声の圧縮装置及び再生装置
JP3910149B2 (ja) 番組録画装置、番組再生装置、及び番組録画方法
JPH10174065A (ja) 画像音声多重化データ編集方法およびその装置
JPH0984008A (ja) 画像・音声の符号化装置および復号化装置
JPH1070706A (ja) 画像情報のエンコード／デコードシステム
JPH11103445A (ja) 映像記録装置及び映像編集装置
JP2002094996A (ja) 受信装置
JP2001024983A (ja) 映像信号多重化装置、映像信号多重化方法、映像信号記録装置、映像信号記録方法、及び映像記録媒体
JPH09162830A (ja) オーサリングシステム，このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法
EP1148723B1 (en) Special reproduction data generating device, medium, and information aggregate

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080303

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees