JPH10136308A - オーディオ・ビデオ同期再生装置 - Google Patents
オーディオ・ビデオ同期再生装置Info
- Publication number
- JPH10136308A JPH10136308A JP8287075A JP28707596A JPH10136308A JP H10136308 A JPH10136308 A JP H10136308A JP 8287075 A JP8287075 A JP 8287075A JP 28707596 A JP28707596 A JP 28707596A JP H10136308 A JPH10136308 A JP H10136308A
- Authority
- JP
- Japan
- Prior art keywords
- component signal
- video
- audio
- video component
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims description 30
- 230000006837 decompression Effects 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000009432 framing Methods 0.000 abstract 2
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 241000981595 Zoysia japonica Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
でもオーディオ成分信号とビデオ成分信号との同期を合
わせ得るAV同期再生装置を提供すること。 【解決手段】 このAV同期再生装置では、オーディオ
(A)データカウンタ32からAデータの積算データ量
を取得し、クロック生成部33でAヘッダ情報とAの積
算データ量とを用いてA再生の開始から現在までの再生
経過時間である基準時間を算出する。遅延検出部34で
は基準時間とビデオ(V)ヘッダ情報とを用いて本来伸
張表示されるべきVの理想フレーム数を算出すると共
に、Vフレームカウンタ31から実際に伸張表示された
Vの実フレーム数を取得し、理想フレーム数及び実フレ
ーム数の比較を行い、Aに対してのVの進捗を取得す
る。コマ落とし制御部35ではVが早いときは終了し、
Vが同期状態のときはVの伸張・表示処理を行うが、V
が遅いときはコマ落とし実行の有無判定を行う。
Description
たオーディオ・ビデオ(以下、AVとする)信号を伸張
してオーディオ成分信号とビデオ成分信号とを同期させ
て再生するAV同期再生装置に関する。
Mやハードディスク等の記録媒体にデジタル圧縮されて
記録されたAV信号を読み取り、伸張してCRTモニタ
やスピーカ等に再生するものとして知られている。
のデータをそれぞれ伸張してオーディオ成分信号とビデ
オ成分信号とを再生するAV同期再生装置において、装
置のデータ処理能力が十分高い場合やビデオ成分信号に
関するデータの圧縮符号のサイズが小さい場合には、A
V信号のデータをそれぞれ伸張する時間が短時間で実行
されるため、全てのオーディオデータやビデオフレーム
を絶え間なく再生できるようになっている。
い場合やビデオ成分信号に関するデータの圧縮符号のサ
イズが大きい場合には、伸張する時間が長時間で実行さ
れるため、オーディオ成分信号及びビデオ成分信号の本
来の再生速度であるリアルタイムで再生できず、このよ
うな場合にはビデオ成分信号はスローモーションのよう
に再生され、オーディオ成分信号は途切れ途切れに再生
されてしまう。
切れになると人間の聴覚上、違和感を強く感じるため、
通常はオーディオ成分信号を連続して再生できるように
ビデオ成分信号の方よりも優先的に処理を行っている。
このため、全体の処理能力としてオーディオ成分信号の
伸張処理及び再生処理を除いた分をビデオ成分信号の伸
張処理及び表示処理に割り当てている。このとき、オー
ディオ成分信号とビデオ成分信号を再生位置に合わせて
同期させないと、オーディオ成分信号とビデオ成分信号
との内容がずれて再生されるため、ビデオ成分信号に関
するフレームを適当に間引く所謂コマ落としが必要とな
る。
は、MPEG(Motion Picture Exp
erts Group)が知られており、MPEGでは
多重化されて圧縮符号化されたAV信号のデータを同期
して再生を実行するため、圧縮時にAV信号におけるオ
ーディオ成分信号とビデオ成分信号とのそれぞれに再生
及び表示を実行する時間情報が付加されて圧縮される。
これにより、伸張時にはこの時間情報を参照してオーデ
ィオ成分信号とビデオ成分信号との同期を合わせながら
再生を実行している。
ビデオ(画像)成分信号との同期再生に関連する周知技
術としては、例えば特開平7−107514号公報に開
示された画像・音声の圧縮装置及び再生装置が挙げられ
る。
を間引いて画像処理を簡略化して画像データの圧縮を行
い、伸張するときには間引かれた色差を補間して画像の
処理を簡略化して画像の再生を高速化することにより、
音声信号と画像信号とを同期して再生している。
されたデジタル記録音声及びビデオの同期式可変速度再
生では、オーディオ成分信号とビデオ成分信号との再生
速度を可変にする際の同期を取る方式が提案されてい
る。
し、表示する時間とオーディオ成分信号の1ブロックと
を伸張し、再生する時間を各データの属性情報から算出
してオーディオ成分信号,ビデオ成分信号のそれぞれの
マスタ・タイム・クロックとして使用し、オーディオ成
分信号又はビデオ成分信号を一層速く,或いはゆっくり
と伸張することにより同期して再生している。
07514号公報に開示された画像・音声の圧縮装置及
び再生装置の場合、再生装置の再生経過時間を取得可能
な分解能が低ければオーディオ成分信号とビデオ成分信
号との同期を正確に取ることができないという問題があ
る。例えば、装置の時計の精度が10ミリ秒間隔でしか
取れない場合に30フレーム/秒の処理を行うと、実際
にはビデオの1フレーム当たりのオーディオを伸張する
ために13ミリ秒かかったとしても、装置の時計では1
0ミリ秒で処理が完了したことになり、ビデオ処理に2
0ミリ秒割り当ててしまう。このような場合、ビデオ成
分信号は20ミリ秒で処理が完了しても、実際には3ミ
リ秒の遅れが生じてしまうことになり、従って再生装置
の時計の精度が低い環境下では使用できない。
たデジタル記録音声及びビデオの同期式可変速度再生の
場合、再生装置の再生経過時間分解能が低くても同期を
合わせるため、再生経過時間を取得することができる
が、ここでは再生装置の処理能力が低いために、ビデオ
成分信号のビデオ処理を迅速に行うことができなければ
ビデオ成分信号がオーディオ成分信号に遅れてしまうと
いう欠点がある。
なされたもので、その技術的課題は、再生装置の再生経
過時間の分解能が低い場合でもオーディオ成分信号とビ
デオ成分信号との同期を合わせ得るAV同期再生装置を
提供することにある。
ル圧縮されたAV信号を伸張し、該AV信号におけるオ
ーディオ成分信号とビデオ成分信号との同期を取って再
生実行するAV同期再生装置において、再生実行に際し
て取得可能な再生経過時間の分解能が低く、且つ正確に
同期を取り得ない使用環境下でのオーディオ成分信号の
再生データ量に基づいて該オーディオ成分信号の該再生
経過時間で定められる基準時間を取得するオーディオ成
分再生時間取得手段と、基準時間に基づいてビデオ成分
信号の伸張処理の進捗状況を判別するビデオ成分伸張処
理判別手段とを備えたAV同期再生装置が得られる。
置において、基準時間に基づいて本来伸張されて表示さ
れるべきビデオ成分信号に関する理想フレーム数を算出
する理想フレーム数算出手段と、実際に伸張されて表示
されたビデオ成分信号に関する実フレーム数を算出する
実フレーム数算出手段とを備え、ビデオ成分伸張処理判
別手段は、理想フレーム数及び実フレーム数を比較した
結果によりオーディオ成分信号に対するビデオ成分信号
の進捗状況を判断するAV同期再生装置が得られる。
同期再生装置において、ビデオ成分信号の伸張処理の進
捗状況に基づいて該ビデオ成分信号のフレームのコマ落
としの実行及びビデオ処理待ちを行うと共に、オーディ
オ成分信号の再生時間に対する該ビデオ成分信号の表示
時間の遅れ及び進みを修正回復するビデオ成分修正回復
制御手段を備えたAV同期再生装置が得られる。
分修正回復制御手段は、ビデオ成分信号のコマ落としを
実行する際、コマ落とし対象となるフレームに対して優
先順位を付けて該優先順位の高い方からコマ落としを実
行することは好ましい。更に、このAV同期再生装置に
おいて、ビデオ成分修正回復制御手段は、ビデオ成分伸
張処理判別手段によるビデオ成分信号の進捗状況結果に
基づいてオーディオ成分信号に対して該ビデオ成分信号
が進んでいると判断されたときに該ビデオ成分信号の伸
張処理及び表示処理を該オーディオ成分信号が該ビデオ
成分信号に追いつくまで待機させることは好ましい。
V同期再生装置について、図面を参照して詳細に説明す
る。
再生装置の基本構成を示したブロック図である。
号化されたAV信号のデータを格納するデータ記録装置
1と、データ記録装置1からAV信号のデータを読み出
し、多重化されて記録されているAV信号のデータを分
離するAV分離部2と、このAV分離部2によって分離
されたビデオ成分信号のデータの伸張処理を行うビデオ
処理部3と、AV分離部2によって分離されたオーディ
オ成分信号のデータの伸張処理を行うオーディオ処理部
4と、オーディオ成分信号とビデオ成分信号との同期制
御を行うAV同期制御部5と、伸張されたビデオ成分信
号のデータを表示するCRTモニタ6と、伸張されたオ
ーディオ成分信号のデータを再生するスピーカ7とから
構成される。
2によって分離されたビデオ成分信号のデータを圧縮し
て格納する圧縮ビデオバッファ11と、圧縮されたビデ
オ成分信号のデータの属性情報(ビデオヘッダ情報)を
解析して伸張するビデオデコーダ12と、伸張されたビ
デオ成分信号のデータを格納するフレームバッファ13
と、このフレームバッファ13内のビデオ成分信号のデ
ータをCRTモニタ6に送信するビデオ表示制御部14
とを備えて構成される。
2によって分離されたオーディオ成分信号のデータを圧
縮して格納する圧縮オーディオバッファ21と、圧縮さ
れたオーディオ成分信号のデータの属性情報(オーディ
オヘッダ情報)を解析して伸張するオーディオデコーダ
22と、伸張されたオーディオ成分信号のデータを格納
するPCMバッファ23と、このPCMバッファ23内
のオーディオ成分信号のデータをスピーカ7に送信する
オーディオ再生制御部24とを備えて構成される。
てから現在までに伸張されると共に、表示されたビデオ
成分信号のデータの実フレーム数を積算保存するビデオ
フレームカウンタ31と、再生を開始してから現在まで
に伸張されると共に、再生されたオーディオ成分信号の
データの積算データ量を保存するオーディオデータカウ
ンタ32と、このオーディオデータカウンタ32に保存
されている積算データ量とオーディオデコーダ22での
伸張時に得られたオーディオヘッダ情報とに基づいてオ
ーディオ成分信号の再生経過時間で示される基準時間を
算出するクロック生成部33と、このクロック生成部3
3で得られた基準時間とビデオデコーダ12で得られた
ビデオヘッダ情報とに基づいて本来伸張されて表示され
るべきビデオ成分信号の理想フレーム数を算出すると共
に、その理想フレーム数をビデオフレームカウンタ31
で得られた実フレーム数と比較し、その結果としてオー
ディオ成分信号に対するビデオ成分信号の進捗を検出す
る遅延検出部34と、この遅延検出部34で得られたオ
ーディオ成分信号に対するビデオ成分信号の進捗状況に
基づいてビデオ成分信号がオーディオ成分信号よりも遅
れているときは優先順位の高い順にコマ落としを行って
フレームを決定するコマ落とし制御部35とを備えて構
成される。
デオフレームカウンタ31は、実際に伸張されて表示さ
れたビデオ成分信号に関する実フレーム数を算出する実
フレーム数算出手段として働く。又、オーディオデータ
カウンタ32及びクロック生成部33は、再生実行に際
して取得可能な再生経過時間の分解能が低く、且つ正確
に同期を取り得ない使用環境下でのオーディオ成分信号
の再生データ量に基づいてオーディオ成分信号の再生経
過時間で定められる基準時間を取得するオーディオ成分
再生時間取得手段として働く。更に、遅延検出部34
は、基準時間に基づいて本来伸張されて表示されるべき
ビデオ成分信号に関する理想フレーム数を算出する理想
フレーム数算出手段として働くと共に、基準時間に基づ
いてビデオ成分信号の伸張処理の進捗状況を判別,即
ち、理想フレーム数及び実フレーム数を比較した結果に
よりオーディオ成分信号に対するビデオ成分信号の進捗
状況を判断するビデオ成分伸張処理判別手段として働
く。加えて、コマ落とし制御部35は、ビデオ成分信号
の伸張処理の進捗状況に基づいてビデオ成分信号のフレ
ームのコマ落としの実行及びビデオ処理待ちを行うと共
に、オーディオ成分信号の再生時間に対するビデオ成分
信号の表示時間の遅れ及び進みを修正回復するビデオ成
分修正回復制御手段として働く。
手段としてのコマ落とし制御部35は、ビデオ成分信号
のコマ落としを実行する際、コマ落とし対象となるフレ
ームに対して優先順位を付けてその優先順位の高い方か
らコマ落としを実行するが、遅延検出部34によるビデ
オ成分信号の進捗状況結果に基づいてオーディオ成分信
号に対してビデオ成分信号が進んでいると判断されたと
きには、ビデオ成分信号の伸張処理及び表示処理をオー
ディオ成分信号がビデオ成分信号に追いつくまで待機さ
せる。
るコマ落としの対象となるビデオ成分信号のデータは、
例えば図2に示されるように、既存のフレーム間参照に
よる符号化方式の一例であるMPEGのデータにより構
成される。
かのフレームを一纏めにしたGOP単位で構成され、G
OPはIピクチャ(フレーム内符号化画像の略称を示
す),Pピクチャ(フレーム間順方向予測符号化画像の
略称を示す),Bピクチャ(双方向予測符号化画像の略
称)を組み合わせて構成されている。この組み合わせを
通常フレーム構成と呼んでいる。
身で伸張可能であり、且つそれ以降のフレームの伸張時
に参照されるキーフレームのことである。Pピクチャ
は、直前に伸張されたキーフレームを伸張時に参照フレ
ームとして使用し、且つそれ以降のフレームの伸張時に
参照されるキーフレームのことである。Bピクチャは、
直前に伸張されたキーフレームを伸張時に参照フレーム
として使用し、且つそれ以降のフレームの伸張時には参
照されないフレームのことである。
に参照されるピクチャであるため、キーフレームのコマ
落としを行ったときは、以降のPピクチャとBピクチャ
との伸張は実行できなくなり、次に出現するIピクチャ
の手前までコマ落としを実行することになる。
制御部35ではコマ落としの優先順位をBピクチャ,P
ピクチャ,Iピクチャの順に設定する。
生するときのPCMバッファ23内の構成を機能的に模
試化して示したものである。ここではPCMバッファ2
3を複数個のメモリブロック(1)〜(n)に分割し、
リングバッファとして作用させている。PCMバッファ
23では、メモリブロックの先頭から順にオーディオデ
コーダ22で伸張されたオーディオ成分信号のデータを
格納し、再生を実行する。再生を行っていないメモリブ
ロックは、再生待ち状態にあり、現在のメモリブロック
の再生が完了した後に順次再生される。メモリブロック
の再生が完了したときは、ビデオ成分信号のビデオ処理
途中であってもビデオ処理を中断し、オーディオデコー
ダ22にてオーディオ成分信号の伸張処理を行い、伸張
したオーディオ成分信号のデータをこのメモリブロック
に格納する。
がn個のメモリブロックに分割されていた場合、メモリ
ブロック(1)のデータの再生から開始される。メモリ
ブロック(1)の再生が完了したとき、次にメモリブロ
ック(2)が再生される。又、メモリブロック(1)に
はオーディオデコーダ22にて伸張されたオーディオデ
ータが格納される。メモリブロック(1)のデータはメ
モリブロック(n)再生が完了した後に再生される。
装置では、ビデオ成分信号の伸張処理等の他の処理に再
生装置の処理能力が占有されているときでも割り込みが
発生すれば、オーディオ成分信号の処理に移行するた
め、オーディオ成分信号の再生は途切れ途切れになるこ
とが無く、正確なオーディオ再生時間を取得することが
できる。
生動作に際しての処理を示したフローチャートである。
記録装置1から多重化された圧縮AVデータを読み込
み、AV分離部2においてオーディオデータ(オーディ
オ成分信号のデータ)とビデオデータ(ビデオ成分信号
のデータ)とに分離し、ビデオデータは圧縮ビデオバッ
ファ11に格納し、オーディオデータは圧縮オーディオ
バッファ21に格納する。
信号に関する伸張処理及び再生処理を示すオーディオ処
理を行ってからステップA3として、ビデオ成分信号に
関する同期制御処理及びビデオの伸張・表示処理を示す
ビデオ処理を行う。
録装置1内に未処理のデータが残っているか否かを判定
し、残っているときはステップA1に戻るが、残ってい
ないときは再生処理を停止する。
テップA1,A3,A4の処理途中であってもオーディ
オ成分信号に関する処理の割り込みが発生した場合には
ステップA1,A3,A4の処理を中断してステップA
2のオーディオ処理を実行する。
関する処理動作を詳細に示したフローチャートである。
テップB1として、圧縮オーディオバッファ21から圧
縮されたオーディオ成分信号のデータを読み込み、オー
ディオデコーダ22にてオーディオデータ(オーディオ
成分信号のデータ)の伸張処理を行う。又、オーディオ
ヘッダ情報の解析も実行する。
伸張したデータをPCMバッファ23の空いているメモ
リブロックに格納してからステップB3として、ステッ
プB2で格納されたメモリブロック内のデータをオーデ
ィオ再生制御部24に送信し、再生の待ち状態に設定す
る。
る処理動作を詳細に示したフローチャートである。
プC1として、オーディオデータカウンタ32からオー
ディオ成分信号のデータに関する積算データ量を取得し
てからステップC2として、クロック生成部33にてス
テップB1で得られたオーディオヘッダ情報とステップ
C1で得られたオーディオの積算データ量とを用いてオ
ーディオ成分信号の再生を開始してから現在までの再生
経過時間で定められる基準時間を算出する。
にてステップC2で得られた基準時間とステップC6で
得られたビデオヘッダ情報とを用いて本来伸張されて表
示されるべきビデオ成分信号に関する理想フレーム数を
算出し、ビデオフレームカウンタ31から実際に伸張さ
れて表示されたビデオ成分信号に関する実フレーム数を
取得し、理想フレーム数と実フレーム数との比較を行
い、オーディオ成分信号に対してのビデオ成分信号の進
捗を取得する。
で得られたビデオ成分信号の進捗を判定し、ビデオ成分
信号がオーディオ成分信号よりも早いときは終了する
が、ビデオ成分信号が遅いときはステップC5としてコ
マ落とし制御部35にてコマ落とし実行の有無判定を行
う。このステップC5のコマ落とし実行の有無判定は、
現在伸張しようとしているフレームのピクチャタイプが
Iピクチャ又はPピクチャのときはコマ落としを実行し
ないで後述するステップC6に進むが、ピクチャタイプ
がBピクチャのときはコマ落としを実行してから終了す
る。
きはビデオ成分信号の伸張・表示処理を行うが、先ずス
テップC6として、圧縮ビデオバッファ11から圧縮さ
れたビテオ成分信号のデータを読み込み、ビデオデコー
ダ12にてビデオ成分信号のデータの伸張処理を行う。
又、ビデオヘッダ情報の解析を行う。次に、ステップC
7として、ステップC6で伸張したデータをフレームバ
ッファ13に格納する。更に、ステップC8として、ス
テップC7で格納されたフレームバッファ13内のデー
タをビデオ再生制御部14に送信し、CRTモニタ6に
て表示する。
装置によりMPEGデータを再生したときの各部におけ
る定量的特性を具体的に説明する。
関するオーディオヘッダ情報のレイヤーがLayer
1,ビットレートが192000ビット/秒,サンプリ
ング周波数が44100Hz,チャンネルモードがステ
レオであるとき、このようなデータを伸張することによ
り作成されるPCMデータのフォーマットは、チャンネ
ルが2チャンネル,サンプリング周波数が44100H
z,1サンプル当たりのビット数が16ビットとなる。
このようなデータの場合、クロック生成部33ではオー
ディオデータカウンタ32から得られる積算データ量を
使用して基準時間を基準時間[秒]=積算データ量[バ
イト]/(44100×16/8[bit]×2)なる
関係で得ることができる。
30[フレーム/秒]である場合、遅延検出部34で
は、基準時間を使用して理想フレーム数を理想フレーム
数[フレーム]=基準時間×30なる関係で得ることが
できる。
カウンタ31から得られた実フレーム数と理想フレーム
数との比較を行ってオーディオ成分信号に対するビデオ
成分信号の進捗状況を得るが、ここでのビデオの進捗は
ビデオの進捗=実フレーム数−理想フレーム数なる関係
で得ることができる。
態とは実フレーム数と理想フレーム数とが等しいとき,
即ち、ビデオの進捗が0のときであり、ビデオ成分信号
がオーディオ成分信号よりも早い状態とはビデオの進捗
が正の値のときであり、ビデオ成分信号がオーディオ成
分信号よりも遅い状態とはビデオの進捗が負の値のとき
である。しかしながら、このままでは頻繁にコマ落とし
状態,待ち状態に入ってしまうため、閾値を設けること
が望ましい。そこで、ここでは例えば−4<ビデオの進
捗<1なる関係が成立するときに同期が取れているとす
る。人間の感覚上、ビデオ成分信号がオーディオ成分信
号よりも速く再生されると違和感を覚えるため、ビデオ
成分信号がオーディオ成分信号よりも早いときの状態を
少な目に設定することが望ましい。
進捗を判定する際の処理を理想フレーム数と実フレーム
数とに数値を入れて説明する。
1の場合、ビデオの進捗は1となり、ビデオ成分信号が
オーディオ成分信号よりも早いと判定される。このよう
な場合にはビデオ処理を行わずに終了する。理想フレー
ム数が10,実フレーム数が8の場合、ビデオの進捗は
−2となり、同期が取れていると判定される。このよう
な場合にはステップC6に進んでビデオの伸張処理及び
表示処理を行う。理想フレーム数が10,実フレーム数
が5の場合、ビデオの進捗は−5となり、ビデオ成分信
号がオーディオ成分信号よりも遅いと判定される。この
ような場合にはステップC5に進んでコマ落とし実行の
有無判定処理を行う。コマ落とし判定処理では、Iピク
チャ又はPピクチャのときはコマ落としを実行せず、B
ピクチャのときはコマ落としを実行すると述べたが、ビ
デオ成分信号の進捗が或る閾値以上遅れたときはPピク
チャのコマ落としを行い、更にそれ以上遅れたときはI
ピクチャをコマ落としを行うように処理することも可能
である。
生装置によれば、再生装置の時計の精度が低い場合で
も、オーディオ成分信号の再生データ量からオーディオ
成分信号とビデオ成分信号との同期を合わせるための基
準時間を算出すると共に、基準時間に基づいてビデオ成
分信号の理想フレーム数を算出し、これを実フレーム数
と比較してビデオ成分信号の進捗状況を判断した上、ビ
デオ成分信号の進捗状況に基づいてビデオ成分信号が遅
れている場合にはコマ落としを実行してオーディオ成分
信号に対するビデオ成分信号の遅れを回復し、オーディ
オ成分信号とビデオ成分信号との同期を合わせ、ビデオ
成分信号がオーディオ成分信号よりも進んでいる場合に
はビデオ成分信号のビデオ処理を行わずにビデオ成分信
号に対するオーディオ成分信号の遅れを回復し、オーデ
ィオ成分信号とビデオ成分信号との同期を合わているた
め、オーディオ成分信号を優先して処理できるようにな
り、その結果としてオーディオ成分信号が途切れ途切れ
にならず、違和感のない再生を実行できると共に、コマ
落としを実行する際にも優先順位の高いフレームから行
っているために円滑にビデオ成分信号を再生することが
できるようになる。
本構成を示したブロック図である。
落とし制御部によるコマ落としの対象となるビデオ成分
信号のデータ構成例であるMPEGのデータ構成を示し
たものである。
ディオ成分信号のデータを再生するときのPCMバッフ
ァ内の構成を機能的に模試化して示したものである。
に際してのフローチャートである。
オ処理に関する処理動作を詳細に示したフローチャート
である。
理に関する処理動作を詳細に示したフローチャートであ
る。
Claims (5)
- 【請求項1】 デジタル圧縮されたオーディオ・ビデオ
信号を伸張し、該オーディオ・ビデオ信号におけるオー
ディオ成分信号とビデオ成分信号との同期を取って再生
実行するオーディオ・ビデオ同期再生装置において、前
記再生実行に際して取得可能な再生経過時間の分解能が
低く、且つ正確に同期を取り得ない使用環境下での前記
オーディオ成分信号の再生データ量に基づいて該オーデ
ィオ成分信号の該再生経過時間で定められる基準時間を
取得するオーディオ成分再生時間取得手段と、前記基準
時間に基づいて前記ビデオ成分信号の伸張処理の進捗状
況を判別するビデオ成分伸張処理判別手段とを備えたこ
とを特徴とするオーディオ・ビデオ同期再生装置。 - 【請求項2】 請求項1記載のオーディオ・ビデオ同期
再生装置において、前記基準時間に基づいて本来伸張さ
れて表示されるべき前記ビデオ成分信号に関する理想フ
レーム数を算出する理想フレーム数算出手段と、実際に
伸張されて表示された前記ビデオ成分信号に関する実フ
レーム数を算出する実フレーム数算出手段とを備え、前
記ビデオ成分伸張処理判別手段は、前記理想フレーム数
及び前記実フレーム数を比較した結果により前記オーデ
ィオ成分信号に対する前記ビデオ成分信号の進捗状況を
判断することを特徴とするオーディオ・ビデオ同期再生
装置。 - 【請求項3】 請求項1又は2記載のオーディオ・ビデ
オ同期再生装置において、前記ビデオ成分信号の伸張処
理の進捗状況に基づいて該ビデオ成分信号のフレームの
コマ落としの実行及びビデオ処理待ちを行うと共に、前
記オーディオ成分信号の再生時間に対する該ビデオ成分
信号の表示時間の遅れ及び進みを修正回復するビデオ成
分修正回復制御手段を備えたことを特徴とするオーディ
オ・ビデオ同期再生装置。 - 【請求項4】 請求項3記載のオーディオ・ビデオ同期
再生装置において、前記ビデオ成分修正回復制御手段
は、前記ビデオ成分信号のコマ落としを実行する際、コ
マ落とし対象となるフレームに対して優先順位を付けて
該優先順位の高い方からコマ落としを実行することを特
徴とするオーディオ・ビデオ同期再生装置。 - 【請求項5】 請求項4記載のオーディオ・ビデオ同期
再生装置において、前記ビデオ成分修正回復制御手段
は、前記ビデオ成分伸張処理判別手段による前記ビデオ
成分信号の進捗状況結果に基づいて前記オーディオ成分
信号に対して該ビデオ成分信号が進んでいると判断され
たときに該ビデオ成分信号の伸張処理及び表示処理を該
オーディオ成分信号が該ビデオ成分信号に追いつくまで
待機させることを特徴とするオーディオ・ビデオ同期再
生装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8287075A JP3063824B2 (ja) | 1996-10-29 | 1996-10-29 | オーディオ・ビデオ同期再生装置 |
| CA002219154A CA2219154C (en) | 1996-10-29 | 1997-10-24 | An apparatus for a synchronized playback of audio-video signals |
| EP97118751A EP0840528A3 (en) | 1996-10-29 | 1997-10-28 | An apparatus for a synchronized playback of audio-video signals |
| US08/959,196 US6163646A (en) | 1996-10-29 | 1997-10-28 | Apparatus for a synchronized playback of audio-video signals |
| AU43580/97A AU726866B2 (en) | 1996-10-29 | 1997-10-28 | An apparatus for a synchronized playback of audio-video signals |
| KR1019970057585A KR100290331B1 (ko) | 1996-10-29 | 1997-10-29 | 오디오-비디오 신호의 동기 재생 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8287075A JP3063824B2 (ja) | 1996-10-29 | 1996-10-29 | オーディオ・ビデオ同期再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10136308A true JPH10136308A (ja) | 1998-05-22 |
| JP3063824B2 JP3063824B2 (ja) | 2000-07-12 |
Family
ID=17712739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8287075A Expired - Fee Related JP3063824B2 (ja) | 1996-10-29 | 1996-10-29 | オーディオ・ビデオ同期再生装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6163646A (ja) |
| EP (1) | EP0840528A3 (ja) |
| JP (1) | JP3063824B2 (ja) |
| KR (1) | KR100290331B1 (ja) |
| AU (1) | AU726866B2 (ja) |
| CA (1) | CA2219154C (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002097817A1 (en) * | 2001-05-25 | 2002-12-05 | Matsushita Electric Industrial Co., Ltd. | Information signal edition apparatus, information signal edition method, and information signal edition program |
| US6512884B1 (en) | 1998-10-15 | 2003-01-28 | Nec Corporation | Method and apparatus for synchronized play back of audio-video signals |
| US7054544B1 (en) | 1999-07-22 | 2006-05-30 | Nec Corporation | System, method and record medium for audio-video synchronous playback |
| US7242852B2 (en) | 2000-04-21 | 2007-07-10 | Nec Corporation | Recording/reproducing system |
| JP2009010863A (ja) * | 2007-06-29 | 2009-01-15 | Oki Electric Ind Co Ltd | 音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末 |
| US7567746B2 (en) | 2003-03-19 | 2009-07-28 | Panasonic Corporation | Data processing device |
| JP2011142420A (ja) * | 2010-01-06 | 2011-07-21 | Sony Corp | 受信装置及び方法、プログラム、並びに受信システム |
| JP2012084972A (ja) * | 2010-10-07 | 2012-04-26 | Ntt Electornics Corp | Mxf処理装置 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3063838B2 (ja) * | 1997-10-02 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置および方法 |
| US6233389B1 (en) | 1998-07-30 | 2001-05-15 | Tivo, Inc. | Multimedia time warping system |
| US8577205B2 (en) | 1998-07-30 | 2013-11-05 | Tivo Inc. | Digital video recording system |
| US7558472B2 (en) | 2000-08-22 | 2009-07-07 | Tivo Inc. | Multimedia signal processing system |
| US8380041B2 (en) | 1998-07-30 | 2013-02-19 | Tivo Inc. | Transportable digital video recorder system |
| US6850691B1 (en) | 1999-03-30 | 2005-02-01 | Tivo, Inc. | Automatic playback overshoot correction system |
| WO2001022729A1 (en) | 1999-09-20 | 2001-03-29 | Tivo, Inc. | Closed caption tagging system |
| GB0000874D0 (en) * | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Latency handling for interconnected devices |
| GB0000873D0 (en) * | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Interconnection of audio/video devices |
| US7890741B2 (en) | 2000-12-01 | 2011-02-15 | O2Micro International Limited | Low power digital audio decoding/playing system for computing devices |
| US7683903B2 (en) | 2001-12-11 | 2010-03-23 | Enounce, Inc. | Management of presentation time in a digital media presentation system with variable rate presentation capability |
| JP3770237B2 (ja) * | 2002-03-22 | 2006-04-26 | セイコーエプソン株式会社 | 電子デバイス製造装置および電子デバイスの製造方法 |
| US20060024024A1 (en) * | 2004-07-27 | 2006-02-02 | Cheng-Che Chen | Playback device capable of synchronizing playback of video signal portion and audio signal portion of av signal and method thereof |
| JP4411184B2 (ja) * | 2004-10-29 | 2010-02-10 | 株式会社ルネサステクノロジ | 放送局同期方法、及び携帯端末機 |
| CN101077006A (zh) | 2004-11-19 | 2007-11-21 | Tivo股份有限公司 | 用于先前播放内容的安全传输的方法和设备 |
| KR20060105890A (ko) * | 2005-03-31 | 2006-10-12 | 삼성전자주식회사 | 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법 |
| KR100728679B1 (ko) * | 2005-04-29 | 2007-06-15 | 엘지전자 주식회사 | 자막싱크 보정기능이 구비된 이동통신 단말기 및 동작방법 |
| CN100426410C (zh) * | 2006-05-25 | 2008-10-15 | 北京中星微电子有限公司 | 视频文件播放方法、装置及嵌入式设备 |
| US8743284B2 (en) * | 2007-10-08 | 2014-06-03 | Motorola Mobility Llc | Synchronizing remote audio with fixed video |
| US8111971B2 (en) * | 2007-12-05 | 2012-02-07 | Cisco Technology, Inc. | Systems and methods of reducing media stream delay through independent decoder clocks |
| US8693553B2 (en) * | 2007-12-28 | 2014-04-08 | Nokia Corporation | Methods, apparatuses, and computer program products for adaptive synchronized decoding of digital video |
| CA2684678A1 (en) * | 2009-11-03 | 2011-05-03 | Research In Motion Limited | System and method for dynamic post-processing on a mobile device |
| US8472783B2 (en) * | 2010-11-30 | 2013-06-25 | Echostar Technologies L.L.C. | Systems and methods for digital video high accuracy fast forward, rewind and skip |
| US9191686B2 (en) | 2011-07-22 | 2015-11-17 | Honeywell International Inc. | System and method of implementing synchronized audio and video streaming |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58127488A (ja) * | 1982-01-25 | 1983-07-29 | Kokusai Denshin Denwa Co Ltd <Kdd> | テレビジヨン信号の適応予測符号化方式 |
| US5287182A (en) * | 1992-07-02 | 1994-02-15 | At&T Bell Laboratories | Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks |
| CA2107727C (en) * | 1992-10-07 | 1999-06-01 | Hiroaki Ueda | Synchronous compression and reconstruction system |
| JP3496725B2 (ja) * | 1992-10-16 | 2004-02-16 | ソニー株式会社 | 多重化データ分離装置 |
| JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
| DE69418942T2 (de) * | 1993-08-13 | 1999-12-09 | Nec Corp., Tokio/Tokyo | Gerät zur Komprimierung und Wiedergabe von Video/Audio-Daten |
| JP2776401B2 (ja) * | 1993-08-13 | 1998-07-16 | 日本電気株式会社 | 画像・音声の圧縮装置及び再生装置 |
| JP2643795B2 (ja) * | 1993-09-17 | 1997-08-20 | 日本電気株式会社 | 動画像情報と音声情報の再生システム |
| US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
| JPH07170490A (ja) * | 1993-10-14 | 1995-07-04 | Victor Co Of Japan Ltd | 画像の表示時刻情報をもデータとして含む圧縮画像データと、それに付随する圧縮音響データとの同期再生方法 |
| US5583652A (en) * | 1994-04-28 | 1996-12-10 | International Business Machines Corporation | Synchronized, variable-speed playback of digitally recorded audio and video |
| US5642171A (en) * | 1994-06-08 | 1997-06-24 | Dell Usa, L.P. | Method and apparatus for synchronizing audio and video data streams in a multimedia system |
| US5559999A (en) * | 1994-09-09 | 1996-09-24 | Lsi Logic Corporation | MPEG decoding system including tag list for associating presentation time stamps with encoded data units |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| US5913031A (en) * | 1994-12-02 | 1999-06-15 | U.S. Philips Corporation | Encoder system level buffer management |
| JP3100308B2 (ja) * | 1995-03-14 | 2000-10-16 | 日本ビクター株式会社 | 画像及び音声情報の再生システム |
| JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
| US5617502A (en) * | 1996-03-22 | 1997-04-01 | Cirrus Logic, Inc. | System and method synchronizing audio and video digital data signals during playback |
-
1996
- 1996-10-29 JP JP8287075A patent/JP3063824B2/ja not_active Expired - Fee Related
-
1997
- 1997-10-24 CA CA002219154A patent/CA2219154C/en not_active Expired - Fee Related
- 1997-10-28 AU AU43580/97A patent/AU726866B2/en not_active Ceased
- 1997-10-28 EP EP97118751A patent/EP0840528A3/en not_active Ceased
- 1997-10-28 US US08/959,196 patent/US6163646A/en not_active Expired - Lifetime
- 1997-10-29 KR KR1019970057585A patent/KR100290331B1/ko not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6512884B1 (en) | 1998-10-15 | 2003-01-28 | Nec Corporation | Method and apparatus for synchronized play back of audio-video signals |
| US7054544B1 (en) | 1999-07-22 | 2006-05-30 | Nec Corporation | System, method and record medium for audio-video synchronous playback |
| US7242852B2 (en) | 2000-04-21 | 2007-07-10 | Nec Corporation | Recording/reproducing system |
| WO2002097817A1 (en) * | 2001-05-25 | 2002-12-05 | Matsushita Electric Industrial Co., Ltd. | Information signal edition apparatus, information signal edition method, and information signal edition program |
| US7664375B2 (en) | 2001-05-25 | 2010-02-16 | Panasonic Corporation | Information signal edition apparatus, information signal edition method, and information edition program |
| US7567746B2 (en) | 2003-03-19 | 2009-07-28 | Panasonic Corporation | Data processing device |
| JP2009010863A (ja) * | 2007-06-29 | 2009-01-15 | Oki Electric Ind Co Ltd | 音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末 |
| JP2011142420A (ja) * | 2010-01-06 | 2011-07-21 | Sony Corp | 受信装置及び方法、プログラム、並びに受信システム |
| US8929404B2 (en) | 2010-01-06 | 2015-01-06 | Sony Corporation | Reception apparatus and method, program and reception system |
| JP2012084972A (ja) * | 2010-10-07 | 2012-04-26 | Ntt Electornics Corp | Mxf処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2219154C (en) | 2000-10-17 |
| EP0840528A2 (en) | 1998-05-06 |
| KR100290331B1 (ko) | 2001-06-01 |
| AU4358097A (en) | 1998-05-07 |
| US6163646A (en) | 2000-12-19 |
| AU726866B2 (en) | 2000-11-23 |
| KR19980033404A (ko) | 1998-07-25 |
| JP3063824B2 (ja) | 2000-07-12 |
| EP0840528A3 (en) | 1999-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3063824B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP3106987B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP3039624B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP3063838B2 (ja) | オーディオ・ビデオ同期再生装置および方法 | |
| JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP3698376B2 (ja) | 同期再生装置 | |
| JP3104681B2 (ja) | オーディオ・ビデオ同期再生方法および装置 | |
| KR100629093B1 (ko) | 디코딩 장치 및 디코딩 방법 | |
| JP5059301B2 (ja) | 同期再生装置および同期再生方法 | |
| JP3100308B2 (ja) | 画像及び音声情報の再生システム | |
| JP3159098B2 (ja) | 画像と音声の同期再生装置 | |
| JP3592906B2 (ja) | データ処理同期装置 | |
| JPH10210483A (ja) | 動画像再生装置及びその方法 | |
| US6185364B1 (en) | Image and sound reproducing device | |
| JP3134588B2 (ja) | 圧縮画像データと圧縮音響データとの同期再生方法 | |
| JP2003348543A (ja) | データ復号器およびデータ復号化方法 | |
| JP3075034B2 (ja) | 画像・音声復号化装置 | |
| JP2000011545A (ja) | 記録装置及び方法 | |
| JPH1093921A (ja) | 音声信号再生装置および音声信号再生方法 | |
| JPH11127435A (ja) | 圧縮符号化された映像/音声信号の復号化装置 | |
| JP2006319552A (ja) | マルチメディア再生装置 | |
| JP2001008170A (ja) | 同期再生装置 | |
| JPH11112937A (ja) | 映像音声同期化方法及び映像音声信号記録再生装置 | |
| JPH09181695A (ja) | 画像音声の同期再生方法及び装置 | |
| JPH11284953A (ja) | 映像信号符号化システム及び映像信号符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000405 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |