JP2002058024A - 情報処理装置および方法、並びに記録媒体 - Google Patents

情報処理装置および方法、並びに記録媒体

Info

Publication number
JP2002058024A
JP2002058024A JP2001001030A JP2001001030A JP2002058024A JP 2002058024 A JP2002058024 A JP 2002058024A JP 2001001030 A JP2001001030 A JP 2001001030A JP 2001001030 A JP2001001030 A JP 2001001030A JP 2002058024 A JP2002058024 A JP 2002058024A
Authority
JP
Japan
Prior art keywords
stream
bit rate
encoding
information
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001001030A
Other languages
English (en)
Other versions
JP4724919B2 (ja
Inventor
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001001030A priority Critical patent/JP4724919B2/ja
Priority to TW90113082A priority patent/TW519841B/zh
Priority to EP01304813.7A priority patent/EP1162845B1/en
Priority to US09/872,274 priority patent/US6940901B2/en
Priority to KR1020010030658A priority patent/KR100724206B1/ko
Priority to MYPI20012605 priority patent/MY128385A/en
Priority to CNB011221909A priority patent/CN1189017C/zh
Publication of JP2002058024A publication Critical patent/JP2002058024A/ja
Application granted granted Critical
Publication of JP4724919B2 publication Critical patent/JP4724919B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508—Magnetic discs
    • G11B2220/2516—Hard disks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 トランスポートストリームを再符号化する場
合において、音質が著しく劣化するのを防止する。 【解決手段】 入力されたトランスポートストリームの
ビットレートを再符号化することにより、より小さいビ
ットレートＳにする場合、ビデオ以外のストリームのビ
ットレートＲoを、入力トランスポートストリーム中の
ビデオ以外のストリームのビットレートと同一にする。
そして、値ＳからＲoを減算した値（Ｓ−Ｒo）を、再符
号化するビデオストリームのビットレートとする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、情報処理装置およ
び方法、並びに記録媒体に関し、特に、より効率的にビ
デオデータを再エンコードすることができるようにした
情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】ヨーロッパのDVB（Digital Video Broad
cast）放送、アメリカのDTV（DigitalTelevision）放
送、日本のＢＳ（Broadcast Satellite）デジタル放送
などのデジタルテレビジョン放送では、MPEG（Moving P
icture Expert Group）２トランスポートストリームが
用いられる。トランスポートストリームは、トランスポ
ートパケットが連続したストリームであり、トランスポ
ートパケットは、例えば、ビデオデータやオーディオデ
ータがパケット化されたものである。１つのトランスポ
ートパケットのデータ長は、１８８バイトである。
【０００３】ところで、デジタルテレビジョン放送で
は、アナログテレビジョン放送とは異なり、マルチメデ
ィア符号化データを付加したサービスを提供することが
可能である。このサービスでは、ビデオデータ、オーデ
ィオデータ、文字図形のデータ、静止画のデータなどの
データがマルチメディア符号化データにより関連付けら
れて送信される。マルチメディア符号化データには、例
えば、日本のＢＳデジタル放送の場合、XML（Extensibl
e Markup Language）ベースの符号化方式が用いられ
る。その詳細は、例えば、ARIB STD-B24 Data Coding a
nd transmission Specification for digital broadcas
ting（ARIB STD-B24 デジタル放送におけるデータ放送
符号化方式と伝送方式）などに開示されている。
【０００４】ビデオデータ、オーディオデータ、文字図
形のデータ、静止画のデータなどのデータは、それぞれ
トランスポートパケット化されて送信される。
【０００５】ところで、デジタルテレビジョン放送で、
いわゆるトランスポートストリームのテレビジョンプロ
グラムを、受信側において、そのまま記録すれば、画質
や音質を劣化させることなく、テレビジョンプログラム
を記録することが可能となる。しかしながら、例えば、
画質を多少劣化させても、限られた容量の記録媒体に、
できるだけ長時間のテレビジョンプログラムを記録した
い場合がある。このような場合、例えば、ビデオストリ
ームを再エンコードしてビットレートを下げることが考
えられる。
【０００６】
【発明が解決しようとする課題】従来、このような場
合、ビデオストリームとそれ以外のストリームを、同一
の割合で、そのビットレートを低下させるようにしてい
た。
【０００７】例えば、入力されたトランスポートストリ
ームのビットレートを１／２にして出力するような場
合、ビデオストリームのビットレートを１／２にすると
ともに、ビデオストリーム以外のストリームのビットレ
ートも１／２にするようにしていた。その結果、特に、
比較的データ量の少ないビデオストリーム以外の、例え
ば、オーディオのストリームに対する影響が大きくな
り、音質が極端に劣化する課題があった。
【０００８】本発明は、このような状況に鑑みてなされ
たものであり、ビデオストリーム以外のストリームの極
端な劣化を抑制することができるようにするものであ
る。
【０００９】
【課題を解決するための手段】本発明の情報処理装置
は、第１の多重化ストリームから、第１のストリームを
抽出する第１の抽出手段と、第２のストリームのストリ
ーム情報を検出する検出手段と、第２の多重化ストリー
ムのビットレートを取り込む取り込み手段と、検出手段
により検出された第２のストリームのストリーム情報
と、取り込み手段により取り込まれた第２の多重化スト
リームのビットレートに基づいて、第１のストリームを
再符号化する符号化条件を制御する制御手段とを備える
ことを特徴とする。
【００１０】前記第１のストリームは、ビデオストリー
ムであり、制御手段は、第２の多重化ストリームのビッ
トレートと、第２のストリームのビットレートとの差
を、再符号化時に第１のストリームに割り当てられるビ
ットレートとして、符号化条件を制御するようにするこ
とができる。
【００１１】前記符号化条件は、第１のストリームの再
符号化時のビットレートと画枠の少なくとも一方を含む
ようにすることができる。
【００１２】前記制御手段には、さらに、第１の多重化
ストリームに含まれる、第１のストリームのストリーム
情報に基づいて、符号化条件を制御させるようにするこ
とができる。
【００１３】本発明の情報処理方法は、第１の多重化ス
トリームから、第１のストリームを抽出する第１の抽出
ステップと、第２のストリームのストリーム情報を検出
する検出ステップと、第２の多重化ストリームのビット
レートを取り込む取り込みステップと、検出ステップの
処理により検出された第２のストリームのストリーム情
報と、取り込みステップの処理により取り込まれた第２
の多重化ストリームのビットレートに基づいて、第１の
ストリームを再符号化する符号化条件を制御する制御ス
テップとを含むことを特徴とする。
【００１４】本発明の記録媒体のプログラムは、第１の
多重化ストリームから、第１のストリームを抽出する第
１の抽出ステップと、第２のストリームのストリーム情
報を検出する検出ステップと、第２の多重化ストリーム
のビットレートを取り込む取り込みステップと、検出ス
テップの処理により検出された第２のストリームのスト
リーム情報と、取り込みステップの処理により取り込ま
れた第２の多重化ストリームのビットレートに基づい
て、第１のストリームを再符号化する符号化条件を制御
する制御ステップとを含むことを特徴とする。
【００１５】本発明の情報処理装置および方法、並びに
記録媒体のプログラムにおいては、第２のストリームの
ストリーム情報と、第２の多重化ストリームのビットレ
ートに基づいて、第１のストリームを再符号化する符号
化条件が制御される。
【００１６】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照して説明する。図１は、本発明を適用
した記録装置１の一実施の形態の構成を示す図である。
アンテナ（不図示）により受信されたトランスポートス
トリームは、セレクタ１０に入力される。セレクタ１０
には、端子１１から、ユーザから指定される番組番号
（チャンネル番号）も入力される。セレクタ１０は、番
組番号に基づいて、入力されたトランスポートストリー
ムから、指定された番組を抜き出し、パーシャルトラン
スポートストリームを出力する。パーシャルトランスポ
ートストリームは、デマルチプレクサ１２と解析部１３
に入力される。
【００１７】デマルチプレクサ１２に入力されたトラン
スポートストリームは、ビデオストリームと、それ以外
のストリーム（オーディオ、静止画、文字図形データ、
マルチメディア符号化データなどのデータで構成される
ストリーム）に分離する。分離されたビデオストリーム
は、デコーダ１４に、それ以外のストリームは、マルチ
プレクサ１６に、それぞれ出力される。デマルチプレク
サ１２は、また、ビデオ以外のトランスポートパケット
の他に、それらのトランスポートパケットの入力トラン
スポートストリームの中での出力タイミング情報も、マ
ルチプレクサ１６に出力する。
【００１８】デコーダ１４は、入力されたビデオストリ
ームに対して、所定のデコード方式、例えば、MPEG２方
式に基づきデコード処理を施し、ビデオデータをエンコ
ーダ１５に出力する。また、デコーダ１４は、デコード
する際に得られたビデオストリームのストリーム情報
を、符号化コントローラ１８に出力する。
【００１９】一方、解析部１３は、入力されたトランス
ポートストリームを解析することにより、ビデオ以外の
ストリームのストリーム情報、例えば、ビットレートな
どの情報を取得し、符号化コントローラ１８に出力す
る。符号化コントローラ１８には、解析部１３から出力
されたビデオ以外のストリームのストリーム情報、デコ
ーダ１４から出力されたビデオストリーム情報、およ
び、端子１９からストリームの記録ビットレートが入力
される。符号化コントローラ１８は、これらのデータか
ら、エンコーダ１５により行われるビデオデータのエン
コードの条件を設定し、その設定された条件（符号化制
御情報）をエンコーダ１５と符号化部２０に出力する。
【００２０】符号化コントローラ１８は、例えば、スト
リームの記録ビットレート（記録装置１の動作を制御す
る図示せぬ制御装置から端子１９を介して入力されるデ
ータ）から、ビデオ以外のストリームのビットレートの
合計値（解析部１３から入力されるデータ）を減算した
値が、ビデオデータのエンコードに割り当てられるビッ
トレートとし、そのビットレートで最適な画質となるよ
うに、ビットレート、画枠などの符号化制御情報を設定
し、その設定した符号化制御情報を、エンコーダ１５と
符号化部２０に出力する。この符号化制御情報の詳細に
ついては、図５乃至図１０を参照して後述する。
【００２１】なお、このストリームの記録ビットレート
は、記録媒体に固定レートで記録する場合、その固定レ
ートとなり、可変ビットレートで記録する場合、所定時
間当たりの平均ビットレートとなる。ただし、この場合
の可変ビットレートの最大値は、記録媒体が保証する最
大記録ビットレート以下である必要がある。
【００２２】エンコーダ１５は、デコーダ１４から出力
されたビデオデータを符号化コントローラ１８から出力
された符号化制御情報に基づいて符号化し（例えば、MP
EG２方式に基づき符号化し）、マルチプレクサ１６に出
力する。マルチプレクサ１６は、エンコーダ１５からの
ビデオストリームと、デマルチプレクサ１２からのビデ
オ以外のトランスポートストリームパケットと、その出
現タイミングの情報を入力するが、そのうちの出現タイ
ミングの情報に基づいて、ビデオストリームとビデオ以
外のトランスポートストリームパケットを多重化し、ト
ランスポートストリームとして、アライバルタイムスタ
ンプ付加部１７に出力する。
【００２３】図２は、マルチプレクサ１６が行う、この
場合の処理を模式的に表している。図２（Ａ）は、入力
されたトランスポートストリームのパケットのタイミン
グを表している。この図において、灰色で示す部分はビ
デオパケットを示し、白色で示す部分はビデオ以外のス
トリームのパケットを示している。図２（Ａ）に示され
るように、入力されたトランスポートストリームのパケ
ットは連続しているが、エンコーダ１５により、ビデオ
データが再エンコードされることにより、ビデオデータ
のデータ量が減少する。その結果、ビデオパケットの数
が少なくなる。
【００２４】マルチプレクサ１６は、図２（Ｂ）に示さ
れるように、ビデオ以外のストリームのパケットのタイ
ミングを変更せず、ビデオパケットのタイミングだけを
元の状態（図２（Ａ）に示す状態）と異なるタイミング
とする。
【００２５】アライバルタイムスタンプ付加部１７は、
図３に示されるように、入力されるトランスポートスト
リームのトランスポートストリームパケット（図３
（Ａ））毎に、アライバルタイムスタンプを含むヘッダ
（TP_extra_header）を付加してソースパケット（図３
（Ｂ））を生成し、各ソースパケットを連続するように
配置して（図３（Ｃ））書き込み部２１に出力する。ア
ライバルタイムスタンプは、トランスポートストリーム
パケットがトランスポートストリームの中で出現するタ
イミングを表す情報である。書き込み部２１は、入力さ
れる連続したソースパケットからなるソースパケットス
トリームをファイル化し、記録媒体２２に記録する。な
お、記録媒体２２は、どのような媒体のものでも良い。
【００２６】書き込み部２１には、符号化部２０から出
力される情報も入力される。符号化部２０は、符号化コ
ントローラ１８からのビデオ符号化情報に基づいて、マ
ルチメディア表示サブ情報を生成し、書き込み部２１に
出力する。書き込み部２１に出力されるマルチメディア
表示サブ情報は、ビデオストリームがトランスコードさ
れる（デコーダ１４によりデコードされた後、再び、エ
ンコーダ１５によりエンコードされる）ことにより、画
枠サイズが変化したような場合でも、マルチメディアプ
レーン上でビデオの表示位置や表示サイズを、伝送側が
意図した画面（再エンコードしなかった場合に表示され
るであろう画面）と同じにするための情報であり、再生
時に、マルチメディア符号化データと組み合わされて用
いられる情報である。
【００２７】ここで、具体的にマルチメディア表示サブ
情報について説明する。図４に示すように、マルチメデ
ィア表示サブ情報は、ミスマッチフラグ（mismatch_MMi
nfo_flag）、再エンコードフラグ（Re_encoded_fla
g）、およびフレームサイズ変更フラグ（changd_frame_
size_flag）の３つのフラグと、オリジナルの水平方向
のサイズ（original_horizontal_size）とオリジナルの
垂直方向のサイズ（original_vertical_size）をそれぞ
れ表す２つのサイズに関するデータ、並びにオリジナル
の画面アスペクト比（original_display_aspect_rati
o）により構成されている。
【００２８】ミスマッチフラグは、ビデオとマルチメデ
ィア符号化データとの関係に不整合があるか否かを示す
フラグである。再エンコードフラグは、記録時にビデオ
が再エンコードされているかどうかを示すフラグであ
る。フレームサイズ変更フラグは、例えば、再エンコー
ドされたことにより、ビデオの画枠が変更されたか否か
を示すフラグである。オリジナルの水平方向のサイズ
は、再エンコードされる前の水平方向の画枠のサイズで
ある。オリジナルの垂直方向のサイズは、再エンコード
される前の垂直方向の画枠のサイズである。オリジナル
の画面アスペクト比は、再エンコードされる前のフレー
ム画面のアスペクト比を意味する。
【００２９】なお、上述したマルチメディア表示サブ情
報は、一例であり、図４に示した以外の情報を含めるよ
うにしても良いし、また、逆に、図４に示した情報の一
部を必要に応じ減らしても良い。
【００３０】符号化部２０により作成され、出力された
マルチメディア表示サブ情報は、書き込み部２１により
記録媒体２２に記録されるが、アライバルタイムスタン
プ付加部１７から出力されるソースパケットストリーム
ファイルとは別のファイルとして記録される。ソースパ
ケットストリームファイルとは別のファイルとしてマル
チメディア表示サブ情報が書き込み部２１により記録媒
体２２に記録される場合、符号化部２０からは、ファイ
ル化されたマルチメディア表示サブ情報が出力される。
【００３１】上述した説明では、符号化コントローラ１
８は、入力されたデータを基にビットレートや画枠など
の情報を含む符号化制御情報を生成したが、他の符号化
制御情報として、次に示すような情報を生成しても良
い。すなわち、解析部１３により、入力されたトランス
ポートストリームを解析した結果、入力トランスポート
ストリームにマルチメディア符号化データが含まれてい
ると解析された場合、符号化コントローラ１８は、エン
コーダ１５によりエンコードが行われる際、元のビデオ
の画枠と同じサイズの画枠（再エンコードされる前の画
枠）で再エンコードするよう指示する符号化制御情報を
生成し、エンコーダ１５に対して出力するようにしても
良い。
【００３２】そのようにした場合、エンコーダ１５は、
入力された符号化制御情報に基づいてデコーダ１４から
のビデオデータを元のビデオストリームの画枠と同じ値
で再エンコードする。このような符号化制御情報を生成
し、その符号化制御情報に基づく再エンコードを行う場
合、再エンコードにより画枠が変更されることがないた
め、再エンコードして得られるビデオストリームと、マ
ルチメディア符号化データとの関係に不整合が発生する
ようなことを防ぐことができる。
【００３３】次に、図５乃至図１０を参照して、符号化
制御情報に基づく制御の例について説明する。
【００３４】いま、例えば、図５に示されるように、セ
レクタ１０に入力されるトランスポートストリームは、
一定のビットレートＲIを有しているものとする。ビデ
オストリームとビデオ以外のストリームは、それぞれ、
可変ビットレートで符号化されている。図５の例の場
合、単位時間（例えば、GOP）Ａにおいては、ビデオス
トリームのビットレートはＲVAとされ、ビデオ以外の単
位時間のビットレートはＲOAとされている。そして、単
位時間Ｂにおいては、ビデオストリームのビットレート
がＲVBとされ、ビデオ以外のストリームのビットレート
がＲOBとされ、単位時間Ｃにおいては、ビデオストリー
ムのビットレートがＲVCとされ、ビデオ以外のストリー
ムのビットレートがＲOCとされている。
【００３５】いま、この図５に示されているようなトラ
ンスポートストリームを再エンコードし、図６に示され
るように、固定のビットレートＳ（Ｓ＜ＲI）のトラン
スポートストリームとしてマルチプレクサ１６から出力
するようにする場合、符号化コントローラ１８は、図７
のフローチャートに示される処理を実行する。
【００３６】最初に、ステップＳ１において、符号化コ
ントローラ１８は、端子１９から、図示せぬ制御装置よ
り入力される制御信号に基づいて、マルチプレクサ１６
より出力するトランスポートストリームのビットレート
（記録レート）をＳに設定する。次に、ステップＳ２に
おいて、符号化コントローラ１８は、ビデオ以外に記録
するストリームを決定し、それらのストリームのビット
レートの合計の最大値Ｄを計算する。
【００３７】最大値Ｄは、入力トランスポートストリー
ムのストリーム仕様から判断される。例えば、ビデオ以
外に、２本のオーディオストリームを記録する場合、日
本のディジタルBS放送のストリーム仕様では、オーディ
オストリーム１本のビットレートの最大値は３８４Kbps
であるから、最大値Ｄは、３８４ラ２Kbpsとなる。
【００３８】次に、ステップＳ３において、符号化コン
トローラ１８は、ステップＳ１において設定された記録
のためのビットレートＳから、ステップＳ２で計算され
た最大値Ｄを減算して得た値Ｃ（＝Ｓ−Ｄ）を、ビデオ
データの再エンコードの割り当てビットレートとする。
そして、ステップＳ４において、符号化コントローラ１
８は、デコーダ１４より出力されるビデオストリーム情
報から、ビデオストリームのビットレート、画角といっ
た符号化情報を解析する。
【００３９】次に、ステップＳ５に進み、符号化コント
ローラ１８は、ステップＳ３で計算された値Ｃと、ステ
ップＳ４で解析されたビデオストリームの符号化情報に
基づいて、最適な画質になるようにビデオの符号化パラ
メータ（ビデオ符号化制御情報）を決定する。
【００４０】例えば、図６に示す例においては、値Ｓ
が、値ＲIの１／２とされている。いまの場合、ビデオ
以外のストリームのビットレートは最大値Ｄとされ、こ
の最大値Ｄが、そのまま、再符号化後の多重化ストリー
ムのビデオ以外のストリームのビットレートとされる。
【００４１】そして、（Ｓ−Ｄ）の範囲内において最適
な画質になるように、ビデオの符号化パラメータが決定
される。画枠が制御される場合、例えば、７２０ラ４８
０画素の画枠の水平方向を１／２にサブサンプリングし
て、３６０ラ４８０画素とされる。決定された符号化パ
ラメータ（ビットレートや画角など）は、ビデオ符号化
制御情報としてエンコーダ１５に供給される。
【００４２】そこで、エンコーダ１５は、ステップＳ６
において、符号化コントローラ１８より供給されたビデ
オ符号化制御情報に基づいて、いま、処理対象とされて
いる単位時間（いまの場合、単位時間Ａ）のビデオデー
タを再エンコードする。図６の例においては、単位時間
Ａでは、実際には、ビットレートＲOAは、最大値Ｄより
小さいが、最大値Ｄは固定値とされるので、ビデオの割
り当てビットレートは（Ｓ−Ｄ）となる。最大値Ｄは固
定とされるため、ビデオの符号化に使えない無駄な部分
Ｒsaが発生するが、そこには、スタッフィングビットが
挿入される。
【００４３】次に、ステップＳ７に進み、符号化コント
ローラ１８は、再エンコードするストリームが終了した
か否かを判定し、まだストリームが終了していない場合
には、ステップＳ４に戻り、それ以降の処理を繰り返し
実行する。
【００４４】そして、ステップＳ７において、符号化す
るストリームが終了したと判定された場合、処理は終了
される。
【００４５】以上のようにして、図６の例においては、
単位時間Ｂにおいても、ビデオ以外のストリームのビッ
トレートはＤとされ、ビデオストリームの割り当てビッ
トレートは、固定ビットレートなので、Ｓ−Ｄとされ
る。そして、値Ｒsb（＝Ｓ−（Ｓ−Ｄ）−ＲOB＝Ｄ−Ｒ
OB）には、スタッフィングビットが挿入される。
【００４６】単位時間Ｃにおいても、ビデオ以外のスト
リームのビットレートは、Ｄとされ、ビデオストリーム
の割り当てビットレートは、Ｓ−Ｄとされる。なお、こ
の単位時間Ｃにおいては、Ｄ＝ＲOCであるので、スタッ
フィングビットは存在しない。
【００４７】このように、図６の例においては、ビデオ
ストリームが固定ビットレートで符号化される。
【００４８】図８は、ビデオの再エンコードの割り当て
ビットレートを可変ビットレートとした場合の処理例を
表している。最初に、ステップＳ２１において、符号化
コントローラ１８は、端子１９からの入力に基づいて、
記録レートＳを設定する。次に、ステップＳ２２におい
て、符号化コントローラ１８は、デコーダ１４からのビ
デオストリーム情報に基づいて、ビデオストリームの符
号化情報を解析する。以上のステップＳ２１とステップ
Ｓ２２の処理は、図７のステップＳ１とステップＳ４の
処理と同様の処理である。
【００４９】次に、ステップＳ２３において、符号化コ
ントローラ１８は、解析部１３の出力からビデオ以外の
ストリームの時間単位毎の合計ビットレートＢを計算す
る。
【００５０】次に、ステップＳ２４に進み、符号化コン
トローラ１８は、ステップＳ１で設定した値Ｓから、ス
テップＳ２３の処理で計算した値Ｂを減算して得た値Ｃ
（＝Ｓ−Ｂ）をビデオの再エンコード割り当てビットレ
ートとする。
【００５１】さらに、ステップＳ２５において、符号化
コントローラ１８は、ステップＳ２４において得られた
値Ｃと、ステップＳ２２の処理で得られたビデオストリ
ームの符号化情報の解析結果に基づいて、最適な画質に
なるように、ビデオの符号化パラメータを決定する。決
定された符号化パラメータは、エンコーダ１５に出力さ
れる。
【００５２】そして、ステップＳ２６において、エンコ
ーダ１５は、ステップＳ２５の処理で決定された符号化
パラメータに基づいて、現在の単位時間のビデオデータ
を再エンコードする。これにより、例えば、図９に示さ
れるように、ビデオ以外の単位時間のビットレートとし
て、Ｒoa（＝ＲOA）が確保された後、（Ｓ−Ｒoa）で規
定されるビットレートＲvaにビデオストリームのビット
レートが設定される。
【００５３】ステップＳ２７において、符号化コントロ
ーラ１８は、ストリームが終了したか否かを判定し、終
了していない場合にはステップＳ２２に戻り、それ以降
の処理を繰り返し実行する。ステップＳ２７において、
ストリームが終了したと判定された場合、処理は終了さ
れる。
【００５４】このようにしてに、単位時間Ｂにおいて
は、ビデオ以外のストリームのビットレートＲob（＝Ｓ
−ＲOB）が確保された後、残りのＲvb（＝Ｓ−Ｒob）が
ビデオストリームのビットレートとされる。単位時間Ｃ
においては、ビデオ以外のストリームのビットレートＲ
ocを除くＲｖｃ（＝Ｓ−ＲOC）にビデオストリームのビ
ットレートが設定される。
【００５５】このように、この処理例においては、ビデ
オストリームのビットレートが可変ビットレートされ、
スタッフィングビットが必要なくなるか、その量を少な
くすることができ、より効率的にビデオストリームを符
号化することができる。
【００５６】なお、以上においては、入力トランスポー
トストリームが固定ビットレートである場合を例とした
が、例えば、図１０に示されるように、入力トランスポ
ートストリームが可変ビットレートである場合にも、本
発明を適用することが可能である。
【００５７】以上のようにして、必要に応じて、より低
いビットレートで、記録媒体２２に、より長時間のコン
テンツに対応するトランスポートストリームを記録する
ことが可能となる。
【００５８】そして、オーディオデータ、静止画／文字
図形データ、マルチメディア符号化データといった、ビ
デオ以外のデータの質が著しく劣化することを防止する
ことができる。ビデオ以外のこれらのデータは、基本的
に、ビデオデータに比べて、そのデータ量が少ないた
め、ビデオデータと同じ割合でビットレートを低下させ
ると、相対的にビデオ以外のデータに対する影響は、ビ
デオデータに対する影響より大きくなるが、このような
影響が出るのを防止することができる。
【００５９】次に、記録媒体２２に記録されたソースパ
ケットストリームファイルの再生について説明する。図
１１は、本発明を適用した再生装置の一実施の形態の構
成を示す図である。記録媒体２２に記録されているソー
スパケットストリームファイルは、読み出し部３１によ
り読み出される。読み出し部３１は、ソースパケットス
トリームとは別ファイルとして記録媒体２２に記録され
ているマルチメディア表示サブ情報も読み出す。
【００６０】読み出し部３１により読み出されたソース
パケットストリームは、アライバルタイムスタンプ分離
部３２に、マルチメディア表示サブ情報は、合成部３６
に、それぞれ出力される。アライバルタイムスタンプ分
離部３２は、基準クロックを内蔵しており、その基準ク
ロックと、入力されたソースパケットストリームのソー
スパケットに付加されているアライバルタイムスタンプ
の値を比較し、両方の値が等しくなったときに、値が等
しくなったアライバルタイムスタンプをもつソースパケ
ットから、そのアライバルタイムスタンプを取り除き、
トランスポートストリームパケットとして、デマルチプ
レクサ３３に出力する。
【００６１】デマルチプレクサ３３は、入力されたトラ
ンスポートストリームをビデオオーディオストリーム、
マルチメディア符号化データ、および、文字図形／文字
／静止画などのデータのストリームに分離する。分離さ
れたデータの内、ビデオオーディオストリームは、AVデ
コーダ３４に、マルチメディア符号化データは、合成部
３６に、文字図形／文字／静止画などのデータのストリ
ームは、文字図形／静止画デコーダ３５に、それぞれ出
力される。
【００６２】AVデコーダ３４は、入力されたビデオオー
ディオストリームをビデオデータとオーディオデータに
分離し、それぞれをデコードした後、オーディオデータ
を図示されていないオーディオ再生装置に、ビデオデー
タを合成部３６に、それぞれ出力する。文字図形／静止
画デコーダ３５は、入力された文字図形、文字、静止画
などのデータのストリームをデコードし、デコードされ
た文字図形データ、文字データ、静止画データなどを合
成部３６に出力する。
【００６３】合成部３６には、AVデコーダ３４からのビ
デオデータ、デマルチプレクサ３３から出力されたマル
チメディア符号化データ、文字図形／静止画デコーダ３
５から出力された文字図形／文字／静止画などのデー
タ、および読み出し部３１により読み出されたマルチメ
ディア表示サブ情報が入力される。合成部３６は、入力
されたマルチメディア表示サブ情報のミスマッチフラグ
（図４）を検査することにより、入力ビデオ信号とマル
チメディア符号化データとの関係に不整合が生じている
か否かを判断する。
【００６４】ミスマッチフラグが、入力ビデオ信号とマ
ルチメディア符号化データとの関係に不整合が生じてい
ることを示している場合、合成部３６はさらに、マルチ
メディア表示サブ情報のオリジナルの水平方向のサイズ
とオリジナルの垂直方向のサイズを参照し、入力された
ビデオ信号を、その参照したサイズのフレームで再生さ
れるようにスケール変換する。そして、マルチメディア
符号化データに基づいて、スケール変換されたビデオ信
号と他の文字図形データなどをマルチメディアプレーン
上に合成したビデオ信号を、表示デバイスとしてのテレ
ビジョン受像機（不図示）などに出力する。
【００６５】一方、マルチメディア表示サブ情報のミス
マッチフラグが、入力ビデオ信号とマルチメディア符号
化データとの関係に不整合が生じていないということを
示している場合、合成部３６は、入力ビデオ信号のスケ
ールを変更することなしに、他のデータとマルチメディ
アプレーン上に合成し、出力する。
【００６６】このように、マルチメディア表示サブ情報
を記録時に記録し、再生時に用いることにより、送信側
が意図した画面が受信側で表示される。図１２を参照し
て説明するに、送信側（記録側）で、再エンコードされ
たために、元のビデオの画枠よりも小さめの画枠に変更
されてしまったとしても、マルチメディア表示サブ情報
として、そのことを記録しておき、再生時に、その記録
されたマルチメディア表示サブ情報を参照することによ
り、受信側（再生側）においては、ビデオと他のデータ
に不整合が生じることなく再エンコードしなかった場合
に得られる画面が得られる。
【００６７】上述したように、マルチメディア表示サブ
情報は、文字図形データやビデオ信号を含むソースパケ
ットストリームファイルとは別のファイルとして記録媒
体２２に記録するようにしても良いが、ソースパケット
ストリームファイルに埋め込んで記録媒体２２に記録す
るようにしても良い。ソースパケットストリームファイ
ルにマルチメディア表示サブ情報を埋め込んで記録する
ようにした場合の記録装置１の構成を図１３に示す。
【００６８】図１３に示した記録装置１の構成を、図１
に示した記録装置１の構成と比較するに、図１３に示し
た記録装置１では、符号化部２０から出力されたマルチ
メディア表示サブ情報は、マルチプレクサ１６に出力さ
れるようになっている。マルチプレクサ１６では、入力
されたマルチメディア表示サブ情報をトランスポートパ
ケットを作成してソースパケットストリームファイルに
埋め込み、アライバルタイムスタンプ付加部１７に出力
する。マルチメディア表示サブ情報をトランスポートパ
ケットとしてソースパケットストリームファイルに埋め
込むのではなく、MPEGビデオストリームのユーザデータ
領域に書き込むようにしても良い。
【００６９】なお、本実施の形態においては、ビデオデ
ータを再エンコードする方法は、このような方法に限ら
ず、入力されたビデオストリームをDCT領域上で変換し
て画枠などの符号化パラメータを変換するようにしても
良い。
【００７０】このようにしてソースパケットストリーム
ファイルにマルチメディア表示サブ情報を埋め込み、記
録媒体２２に記録するようにした場合の再生装置３０の
構成を図１４に示す。図１４に示した再生装置３０の構
成を、図１１に示した再生装置３０の構成と比較する
に、図１４に示した再生装置３０の構成では、読み出し
部３１により読み出されるのは、ソースパケットストリ
ームだけである。そして、読み出し部３１により読み出
されたソースパケットストリームはアライバルタイムス
タンプ分離部３２を介してデマルチプレクサ３３に入力
される。
【００７１】デマルチプレクサ３３は、入力されたソー
スパケットストリームファイルから、マルチメディア表
示サブ情報を取り出し、合成部３６に出力する。その他
の構成は図３における場合と同様である。
【００７２】このように、ソースパケットストリームフ
ァイルにマルチメディア表示サブ情報を含めて記憶させ
るようにした場合も、伝送側が意図したビデオの画枠の
サイズや表示位置が、受信側において得られるようにな
る。
【００７３】なお、本実施の形態においては、トランス
ポートストリームの場合を説明したが、本発明は、これ
に限らず、プログラムストリームなどの多重化ストリー
ムなどにも適用することが可能である。
【００７４】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。この場合、例えば、記録装置１
（図示は省略するが、再生装置３０も同様である）は、
図１５に示されるようなパーソナルコンピュータにより
構成される。
【００７５】図１５において、CPU（Central Processin
g Unit）１０１は、ROM（Read OnlyMemory）１０２に記
憶されているプログラム、または記憶部１０８からRAM
（Random Access Memory）１０３にロードされたプログ
ラムに従って各種の処理を実行する。RAM１０３にはま
た、CPU１０１が各種の処理を実行する上において必要
なデータなども適宜記憶される。
【００７６】CPU１０１、ROM１０２、およびRAM１０３
は、バス１０４を介して相互に接続されている。このバ
ス１０４にはまた、入出力インタフェース１０５も接続
されている。
【００７７】入出力インタフェース１０５には、キーボ
ード、マウスなどよりなる入力部１０６、CRT、LCDなど
よりなるディスプレイ、並びにスピーカなどよりなる出
力部１０７、ハードディスクなどより構成される記憶部
１０８、モデム、ターミナルアダプタなどより構成され
る通信部１０９が接続されている。通信部１０９は、ネ
ットワークを介しての通信処理を行う。
【００７８】入出力インタフェース１０５にはまた、必
要に応じてドライブ１１０が接続され、磁気ディスク１
２１、光ディスク１２２、光磁気ディスク１２３、或い
は半導体メモリ１２４などが適宜装着され、それらから
読み出されたコンピュータプログラムが、必要に応じて
記憶部１０８にインストールされる。
【００７９】一連の処理をソフトウェアにより実行させ
る場合には、そのソフトウェアを構成するプログラムが
専用のハードウェアに組み込まれているコンピュータ、
または、各種のプログラムをインストールすることで、
各種の機能を実行することが可能な、例えば汎用のパー
ソナルコンピュータなどに、記録媒体からインストール
される。
【００８０】この記録媒体は、図１５に示すように、コ
ンピュータとは別に、ユーザにプログラムを提供するた
めに配布される、プログラムが記録されている磁気ディ
スク１２１（フロッピディスクを含む）、光ディスク１
２２（CD-ROM（Compact Disk-Read Only Memory），DVD
（Digital Versatile Disk）を含む）、光磁気ディスク
１２３（MD（Mini-Disk）を含む）、若しくは半導体メ
モリ１２４などよりなるパッケージメディアにより構成
されるだけでなく、コンピュータに予め組み込まれた状
態でユーザに提供される、プログラムが記憶されている
ROM１０２や記憶部１０８が含まれるハードディスクな
どで構成される。
【００８１】なお、本明細書において、記録媒体により
提供されるプログラムを記述するステップは、記載され
た順序に従って、時系列的に行われる処理は勿論、必ず
しも時系列的に処理されなくとも、並列的あるいは個別
に実行される処理をも含むものである。
【００８２】
【発明の効果】以上のごとく、本発明の情報処理装置お
よび方法、並びに記録媒体のプログラムによれば、第２
のストリームのストリーム情報と第２の多重化ストリー
ムのビットレートに基づいて、第１のストリームを再符
号化する符号化条件を制御するようにしたので、第２の
ストリームの質を極端に劣化させることなく、再符号化
することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用した記録装置の一実施の形態の構
成を示す図である。
【図２】図１のマルチプレクサの動作を説明する図であ
る。
【図３】図１のアライバルタイムスタンプ付加部の処理
を説明する図である。
【図４】マルチメディア表示サブ情報について説明する
図である。
【図５】入力トランスポートストリームを説明する図で
ある。
【図６】図５のビデオストリームを再エンコードした後
のトランスポートストリームの例を示す図である。
【図７】図１の記録装置における記録レートの制御処理
を説明するフローチャートである。
【図８】図１の記録装置における他の記録レートの制御
処理を説明するフローチャートである。
【図９】ビデオストリームを再エンコードした後のトラ
ンスポートストリームの他の例を示す図である。
【図１０】入力トランスポートストリームの他の例を示
す図である。
【図１１】本発明を適用した再生装置の一実施の形態の
構成を示す図である。
【図１２】マルチメディア表示サブ情報を追加した場合
の表示画面について説明する図である。
【図１３】本発明を適用した記録装置の他の構成を示す
図である。
【図１４】本発明を適用した再生装置の他の構成を示す
図である。
【図１５】媒体を説明する図である。
【符号の説明】
１ 記録装置， １１ 端子， １２ デマルチプレク
サ， １３ 解析部，１４ デコーダ， １５ エンコ
ーダ， １６ マルチプレクサ， １７ アライバルタ
イムスタンプ付加部， １８ 符号化コントローラ，
１９ 端子，２０ 符号化部， ２１ 書き込み部，
２２ 記録媒体， ３０ 再生装置， ３１ 読み出し
部， ３２ アライバルタイムスタンプ分離部， ３３
デマルチプレクサ， ３４ AVデコーダ， ３５ 文
字図形／静止画デコーダ，３６ 合成部
フロントページの続き Ｆターム(参考） 5C053 FA14 FA15 GA14 GB05 GB06 GB37 HA29 JA24 KA04 KA24 LA06 5C059 KK41 PP04 RB02 RC01 RD03 SS12 SS20 TA17 TA57 TB03 TC18 TC27 TC47 TD01 TD11 UA02 UA05 UA32 UA39 UA40 5C063 AB03 CA23 CA34 CA36 DA07 DA13 5D044 AB05 AB07 DE37 DE49 DE83 EF03 EF05 GK08 GK10

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 複数のストリームが多重化されている第
    １の多重化ストリームを構成するストリームのうちの第
    １のストリームを再符号化した後、前記第１のストリー
    ムを除く第２のストリームと再多重化して第２の多重化
    ストリームとして出力する情報処理装置において、 前記第１の多重化ストリームから、前記第１のストリー
    ムを抽出する第１の抽出手段と、 前記第２のストリームのストリーム情報を検出する検出
    手段と、 前記第２の多重化ストリームのビットレートを取り込む
    取り込み手段と、 前記検出手段により検出された前記第２のストリームの
    ストリーム情報と、前記取り込み手段により取り込まれ
    た前記第２の多重化ストリームのビットレートに基づい
    て、前記第１のストリームを再符号化する符号化条件を
    制御する制御手段とを備えることを特徴とする情報処理
    装置。
  2. 【請求項２】 前記第１のストリームは、ビデオストリ
    ームであり、 前記制御手段は、前記第２の多重化ストリームのビット
    レートと、前記第２のストリームのビットレートとの差
    を、再符号化時に前記第１のストリームに割り当てられ
    るビットレートとして、前記符号化条件を制御すること
    を特徴とする請求項１に記載の情報処理装置。
  3. 【請求項３】 前記符号化条件は、前記第１のストリー
    ムの再符号化時のビットレートと画枠の少なくとも一方
    を含むことを特徴とする請求項２に記載の情報処理装
    置。
  4. 【請求項４】 前記制御手段は、さらに、前記第１の多
    重化ストリームに含まれる、前記第１のストリームのス
    トリーム情報に基づいて、前記符号化条件を制御するこ
    とを特徴とする請求項１に記載の情報処理装置。
  5. 【請求項５】 複数のストリームが多重化されている第
    １の多重化ストリームを構成するストリームのうちの第
    １のストリームを再符号化した後、前記第１のストリー
    ムを除く第２のストリームと再多重化して第２の多重化
    ストリームとして出力する情報処理装置において、 前記第１の多重化ストリームから、前記第１のストリー
    ムを抽出する第１の抽出ステップと、 前記第２のストリームのストリーム情報を検出する検出
    ステップと、 前記第２の多重化ストリームのビットレートを取り込む
    取り込みステップと、 前記検出ステップの処理により検出された前記第２のス
    トリームのストリーム情報と、前記取り込みステップの
    処理により取り込まれた前記第２の多重化ストリームの
    ビットレートに基づいて、前記第１のストリームを再符
    号化する符号化条件を制御する制御ステップとを含むこ
    とを特徴とする情報処理方法。
  6. 【請求項６】 複数のストリームが多重化されている第
    １の多重化ストリームを構成するストリームのうちの第
    １のストリームを再符号化した後、前記第１のストリー
    ムを除く第２のストリームと再多重化して第２の多重化
    ストリームとして出力する情報処理装置において、 前記第１の多重化ストリームから、前記第１のストリー
    ムを抽出する第１の抽出ステップと、 前記第２のストリームのストリーム情報を検出する検出
    ステップと、 前記第２の多重化ストリームのビットレートを取り込む
    取り込みステップと、 前記検出ステップの処理により検出された前記第２のス
    トリームのストリーム情報と、前記取り込みステップの
    処理により取り込まれた前記第２の多重化ストリームの
    ビットレートに基づいて、前記第１のストリームを再符
    号化する符号化条件を制御する制御ステップとを含むこ
    とを特徴とするコンピュータが読み取り可能なプログラ
    ムが記録されている記録媒体。
JP2001001030A 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体 Expired - Lifetime JP4724919B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001001030A JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体
TW90113082A TW519841B (en) 2000-06-02 2001-05-30 Apparatus and method for information processing, and recording medium
EP01304813.7A EP1162845B1 (en) 2000-06-02 2001-05-31 Apparatus and method for information processing, and recording medium
KR1020010030658A KR100724206B1 (ko) 2000-06-02 2001-06-01 정보 처리 장치, 방법 및 기록 매체
US09/872,274 US6940901B2 (en) 2000-06-02 2001-06-01 Apparatus and method for information processing
MYPI20012605 MY128385A (en) 2000-06-02 2001-06-01 Apparatus and method for information processing
CNB011221909A CN1189017C (zh) 2000-06-02 2001-06-02 用于信息处理的装置和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000165298 2000-06-02
JP2000165298 2000-06-02
JP2000-165298 2001-01-09
JP2001001030A JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2002058024A true JP2002058024A (ja) 2002-02-22
JP4724919B2 JP4724919B2 (ja) 2011-07-13

Family

ID=26593195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001001030A Expired - Lifetime JP4724919B2 (ja) 2000-06-02 2001-01-09 記録装置および記録方法、再生装置および再生方法、並びに記録媒体

Country Status (7)

Country Link
US (1) US6940901B2 (ja)
EP (1) EP1162845B1 (ja)
JP (1) JP4724919B2 (ja)
KR (1) KR100724206B1 (ja)
CN (1) CN1189017C (ja)
MY (1) MY128385A (ja)
TW (1) TW519841B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123829A (ja) * 2003-10-15 2005-05-12 Nec Electronics Corp トランスコーダ、該トランスコーダを備えたデータ記録装置及びデータ記録方法
JP2006511832A (ja) * 2002-12-20 2006-04-06 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ２つの置換ステップおよび部分的に再配列された中間画像データの記憶を用いて画像データをディスプレイ向けに再配列するための装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7577333B2 (en) * 2001-08-04 2009-08-18 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
US7424209B2 (en) * 2003-02-13 2008-09-09 Microsoft Corporation System and method for real-time data archival
EP1511204A3 (en) 2003-08-28 2005-10-05 Sony Deutschland GmbH Method for synchronizing packet based digital data streams
US20070009024A1 (en) * 2005-03-15 2007-01-11 Nero Ag Apparatus and method for producing a picture data stream and for processing a picture data stream
US8121421B2 (en) 2005-09-28 2012-02-21 Telefonaktiebolaget L M Ericsson (Publ) Media content management
US8422411B2 (en) * 2007-10-07 2013-04-16 Motorola Mobility Llc Flexible frame structure in wireless communication system
US9118465B2 (en) * 2008-02-21 2015-08-25 Google Technology Holdings LLC Method for supporting flexible frame structures in wireless communication systems
US20110110436A1 (en) * 2008-04-25 2011-05-12 Thomas Schierl Flexible Sub-Stream Referencing Within a Transport Data Stream
US10412424B2 (en) 2011-10-19 2019-09-10 Harmonic, Inc. Multi-channel variable bit-rate video compression
JP6209026B2 (ja) * 2013-08-30 2017-10-04 キヤノン株式会社 画像符号化装置及びその制御方法
GB2598255B (en) * 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
EP3432587A4 (en) * 2016-03-31 2019-02-27 Huawei Technologies Co., Ltd. METHOD FOR PROCESSING AN APPLICATION PROGRAM AND MOBILE DEVICE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205175A (ja) * 1995-01-31 1996-08-09 Sony Corp 画像情報処理装置
JPH0974559A (ja) * 1995-06-30 1997-03-18 Victor Co Of Japan Ltd 情報蓄積出力装置
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法
JP2000059788A (ja) * 1998-03-10 2000-02-25 Sony Corp 復号装置および方法、並びに提供媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2766919B2 (ja) * 1991-06-07 1998-06-18 三菱電機株式会社 ディジタル信号記録再生装置、ディジタル信号記録装置、ディジタル信号再生装置
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
DE69532656T2 (de) * 1994-04-15 2005-02-10 Koninklijke Philips Electronics N.V. Verfahren und Vorrichtung zum Empfang von digitalen Videosignalen
US6055270A (en) * 1994-04-20 2000-04-25 Thomson Cosumer Electronics, Inc. Multiplexer system using constant bit rate encoders
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
JPH11196414A (ja) 1997-11-06 1999-07-21 Thomson Broadcast Syst コード化されたビデオデータを処理する装置及びその装置を使用したプログラムを配布するシステム
JPH11205002A (ja) 1998-01-14 1999-07-30 Mitsubishi Electric Corp 移相器
JPH11205266A (ja) * 1998-01-19 1999-07-30 Sony Corp 符号化装置及びデータ多重化装置
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
JPH11275592A (ja) * 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
JPH11313331A (ja) * 1998-02-27 1999-11-09 Sony Corp 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法
GB9815615D0 (en) * 1998-07-18 1998-09-16 Nds Ltd Statistical multiplexing
US6483543B1 (en) * 1998-07-27 2002-11-19 Cisco Technology, Inc. System and method for transcoding multiple channels of compressed video streams using a self-contained data unit
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
MXPA02004488A (es) * 1999-11-04 2002-09-02 Thomson Licensing Sa Interfaz de sistema y usuario para un receptor de television en un sistema de distribucion de programas de television.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205175A (ja) * 1995-01-31 1996-08-09 Sony Corp 画像情報処理装置
JPH0974559A (ja) * 1995-06-30 1997-03-18 Victor Co Of Japan Ltd 情報蓄積出力装置
JPH11285002A (ja) * 1998-02-02 1999-10-15 Sony Corp 動画像符号化装置及び動画像符号化方法
JP2000059788A (ja) * 1998-03-10 2000-02-25 Sony Corp 復号装置および方法、並びに提供媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006511832A (ja) * 2002-12-20 2006-04-06 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ２つの置換ステップおよび部分的に再配列された中間画像データの記憶を用いて画像データをディスプレイ向けに再配列するための装置
JP2005123829A (ja) * 2003-10-15 2005-05-12 Nec Electronics Corp トランスコーダ、該トランスコーダを備えたデータ記録装置及びデータ記録方法

Also Published As

Publication number Publication date
JP4724919B2 (ja) 2011-07-13
CN1338870A (zh) 2002-03-06
EP1162845A2 (en) 2001-12-12
MY128385A (en) 2007-01-31
US6940901B2 (en) 2005-09-06
KR20010110167A (ko) 2001-12-12
CN1189017C (zh) 2005-02-09
KR100724206B1 (ko) 2007-05-31
US20020015529A1 (en) 2002-02-07
EP1162845A3 (en) 2003-09-17
EP1162845B1 (en) 2016-03-23
TW519841B (en) 2003-02-01

Similar Documents

Publication Publication Date Title
JP5516488B2 (ja) 画像符号化装置および方法、並びに記録媒体
KR100461207B1 (ko) 디지탈영상신호송수신장치
JP2002524985A (ja) ビデオ信号送信
JP2002058024A (ja) 情報処理装置および方法、並びに記録媒体
JP4931034B2 (ja) 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US20070274675A1 (en) Method and Apparatus for Transcoding Digital Audio/Video Streams
JP4765192B2 (ja) 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体
KR20060100279A (ko) 디지털 브로드캐스팅 기록/재생 장치 및 방법
JP4534168B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JPWO2004034616A1 (ja) 放送データ送受信システム及び放送データ送受信方法
JP2823806B2 (ja) 画像復号装置
JP4867872B2 (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム
US20040028376A1 (en) Image recording device and method
US20060257108A1 (en) Multimedia reproduction apparatus
JP2001346162A (ja) 多重化ストリーム変換装置および方法、並びに記録媒体
KR101158435B1 (ko) 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법
JP2008010997A (ja) 情報処理装置、情報処理方法及び半導体集積回路
JPH09261069A (ja) 符号化装置
JP2000067513A (ja) ディジタル信号処理装置と記録装置及び再生装置
KR20050050315A (ko) 방송 채널을 처리하는 방법 및 이를 이용한 ａ/ｖ장치
JP2004072299A (ja) 映像多重化方法並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110328

R151 Written notification of patent or utility model registration

Ref document number: 4724919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term