WO2004052015A1 - 符号化装置およびその方法 - Google Patents

符号化装置およびその方法 Download PDF

Info

Publication number
WO2004052015A1
WO2004052015A1 PCT/JP2003/015257 JP0315257W WO2004052015A1 WO 2004052015 A1 WO2004052015 A1 WO 2004052015A1 JP 0315257 W JP0315257 W JP 0315257W WO 2004052015 A1 WO2004052015 A1 WO 2004052015A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoded data
decoding
data
delay time
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/015257
Other languages
English (en)
French (fr)
Inventor
Mark Veltman
Yoichi Yagasaki
Noriaki Oishi
Tadayuki Ishikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002349287A external-priority patent/JP2004186840A/ja
Priority claimed from JP2002356054A external-priority patent/JP2004193687A/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US10/536,022 priority Critical patent/US8798167B2/en
Priority to EP03775951.1A priority patent/EP1581004B1/en
Publication of WO2004052015A1 publication Critical patent/WO2004052015A1/ja
Anticipated expiration legal-status Critical
Priority to US13/096,787 priority patent/US9654812B2/en
Priority to US13/096,730 priority patent/US20110200096A1/en
Priority to US13/096,752 priority patent/US20110280320A1/en
Priority to US13/096,709 priority patent/US9516361B2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Definitions

  • the present invention relates to an encoding device characterized by a buffer management method, a method thereof, and an encoding device.
  • the encoding device of such a system writes the encoded content data to the transmission buffer, and after a predetermined initial offset delay time has elapsed, reads the content data from the transmission buffer and transmits the content data to the encoding device.
  • the control circuit 11 reads the encoded stream data DB I from the transmission buffer E_BUF, Stop until the timing ti (3) at which frame data f (3) is written to the transmission buffer E-BUF.
  • control circuit 11 reads from the reception buffer the overflow and underflow in the reception buffer D-BUF of the decoding device 3, the initial delay time until the reading is started, and each frame data constituting the content data.
  • the delay time information indicating the timing is added to the content data and transmitted to the decoding device.
  • the conventional encoding device defines the above initial delay time by setting the start timing of the above initial offset delay time to 0. Therefore, the encoding apparatus performs the above-described delay time.
  • initial offset delay time information is added to the content data and transmitted to the decoding device.
  • the present invention has been made in view of the above-described conventional technology, and has as its object to provide an encoding device and a method thereof that can reduce the processing load on the encoding device and reduce the amount of communication.
  • Another object of the present invention is to provide an encoding device and a method thereof that can reduce the storage capacity required for the decoding storage means. Disclosure of the invention
  • FIG. 1 is an overall configuration diagram of a communication system according to a first embodiment of the present invention.
  • FIG. 2 illustrates timings of the video data EBI, the coded stream data DBI, and the video data DBO shown in FIG. It is a diagram for
  • FIG. 3 is a flowchart for explaining the operation of the control circuit of the encoding device shown in FIG.
  • FIG. 4 is a diagram for explaining the restrictions of the conventional encoding device.
  • FIG. 5 is a diagram for explaining the operation of the control circuit of the encoding device according to the second embodiment of the present invention.
  • FIG. 6 is an overall configuration diagram of a communication system according to the third embodiment of the present invention
  • FIG. 7 is a diagram for explaining an operation of a control circuit of the encoding device according to the fourth embodiment of the present invention.
  • FIG. 1 is an overall configuration diagram of a communication system 1 according to a first embodiment of the present invention.
  • the communication system 1 includes, for example, an encoding device 2 and a decoding device 3.
  • the encoding device 2 corresponds to the encoding device of the first invention
  • the decoding device 3 corresponds to the decoding destination of the present invention.
  • the encoding device 2 generates the encoded data DBI, and transmits the encoded data DBI to the decoding device 3 via the network to the decoding device 3.
  • the encoding device 2 includes, for example, an encoding circuit 10, a control circuit 11, and a transmission buffer E-BUF.
  • the encoding circuit 10 corresponds to the encoding means of the first invention
  • the control circuit 11 corresponds to the control means of the first invention
  • the transmission buffer E-BUF is the storage means of the first invention. Corresponds to the column.
  • the encoding circuit 10 generates, for example, encoded video data EN composed of a plurality of frame data, and outputs this to the control circuit 11.
  • the video data EN is composed of, for example, group data each including a plurality of frame data.
  • the group data of the video data EN is composed of five frame data f (0) to f (4).
  • the control circuit 11 writes the video data EN input from the encoding circuit 10 into the transmission buffer E-BUF as video data EBI.
  • control circuit 11 sends each of the group data constituting the video data EN Then, the initial offset delay time i-of, the initial delay time i-d, and the delay time d are determined.
  • the control circuit 11 reads the video data EBI from the transmission buffer E-BUF as coded stream data DBI at the timing specified by the initial offset delay time i-of, and transmits it to the decoding device 3.
  • control circuit 11 generates the initial delay time i 1 d and the delay time information DTI indicating the delay time d of each frame data in the group data, and this is first generated by the decoding device 3 in each group data.
  • the encoded data is transmitted to the decoding device 3 as encoded stream data DBI at the timing shown in FIG.
  • the initial delay time i caravand indicates the timing at which the first frame data f (0) of the plurality of frame data belonging to the group data is read from the reception buffer D-BUF of the decoding device 3 to the decoding circuit 14.
  • the delay time i ⁇ d is, as shown in FIG. 2, the timing when the operation of writing the first frame data of the group data in the video data EBI into the transmission buffer E_BUF is set to 0. Stipulated.
  • the delay times d (1) to d (4) are obtained by reading, from the reception buffer D-BUF, the frame data in the decoding order immediately before the frame data for each of the plurality of frame data belonging to the group data. After that, it indicates the time from when the frame data is read out from the receiving buffer D-BUF.
  • the control circuit 11 sends the delay time information DTI indicating the initial delay time i__d and the delay time d of each group data to the coded stream data DBI before the frame data by the decoding device 3 in the group data. It is added to the read position and transmitted to the decoding device 3.
  • control circuit 11 does not transmit the initial offset delay time i ⁇ o ⁇ to the decoding device 3.
  • the control circuit 11 has an initial offset delay time. At this timing, reading of the coded stream data DB I from the transmission buffer E-BUF starts at a predetermined bit rate R.
  • the control circuit 11 1 transmits the encoded stream data DB I from the transmission buffer E—BUF. The reading is stopped until the timing ti (3) at which the frame data f (3) is written to the transmission buffer E-BUF.
  • control circuit 11 takes into consideration the burstiness of the coded stream data DBI so as not to cause overflow and underflow in the receiving buffer D_BUF of the decoding device 3, and considers the frame data initial offset delay time i —Of and at least one of the initial delay time i—d.
  • the encoding circuit 10 generates, for example, encoded video data EN composed of a plurality of frame data, and outputs this to the control circuit 11.
  • the control circuit 11 writes the video data EN to the transmission buffer E-BUF as the video data EBI shown in FIG.
  • the control circuit 11 determines the initial offset delay time i-of of the group data to be processed, which constitutes the video data EBI.
  • the control circuit 11 determines the initial delay time i ⁇ d of the group data to be processed c step ST 4:
  • the control circuit 11 determines the delay time d of the frame data belonging to the group data to be processed.
  • the control circuit 11 applies to all frame data belonging to the group data to be processed. Then, it is determined whether or not the delay time d has been calculated. If it is determined that the delay time d has been calculated, the process proceeds to step ST6. If it has not been calculated, the process of step ST4 is performed on the uncalculated frame data.
  • the control circuit 11 calculates the initial delay time i ⁇ d determined in step ST3 for the group data to be processed and the delay time d determined in step ST4 for all frame data belonging to the group data to be processed. Is added to the position of the encoded stream data DBI read out by the decoding device 3 in the group data before the frame data, and transmitted to the decoding device 3.
  • control circuit 11 does not transmit the initial offset delay time i ⁇ of to the decoding device 3.
  • the control circuit 11 reads the frame data belonging to the processing target group data from the transmission buffer ⁇ —BUF based on the initial offset delay time i—o ⁇ determined in step ST2 and decodes the data as coded stream data DBI. Send to device 3.
  • the encoding device 2 since the encoding device 2 does not store the initial offset delay time i-of in the delay time information DTI, the encoding device 2 transmits the initial offset delay time i-of to the decoding device 3 The amount of information can be reduced.
  • the decoding device 3 includes, for example, a reception buffer D-BUF and a decoding circuit 14.
  • the decoding device 3 writes the video data DBI received from the encoding device 2 to the reception buffer D-BUF.
  • the coded stream data DBI is transmitted by the transmission buffer of the coding device 2. It is assumed that the timing read from the E-BUF matches the timing written into the reception buffer D-BUF of the decoding device 3.
  • the decoding circuit 14 reads frame data belonging to the group data from the transmission buffer E-BUF as video data DBO based on the delay time information DTI of each group data included in the coded stream data DB I, and decodes the data. Output to
  • the decoding circuit 14 starts reading the first frame data f (0) of the group data at a timing specified by the initial delay time i ⁇ d in the delay time information DTI, and thereafter, The frame data f (1) to (4) are read from the reception buffer D-BUF based on the time d (1) to d (4).
  • the initial delay time i-1d is defined as 0 when the writing start timing of the encoded stream data DBI to the receiving buffer D-BUF is set to 0, so that the decoding device 3 has the initial offset delay time
  • the read start timing of the first frame data f (0) of the above group data can be specified without using i-of.
  • the decoding circuit 14 decodes the video data DBO read from the reception buffer D-BUF in units of frame data.
  • the timing of starting the operation of writing the first frame data of the group data in the video data EBI into the transmission buffer E-BUF is set to 0, and the delay time i—
  • the decoding device 3 transfers the first frame data f (0) in the group data of the encoded stream data DB I to the reception buffer D based on the delay time i—d indicated by the delay time information DTI.
  • the timing to read from the BUF can be specified.
  • FIG. 1 illustrates an example in which the single encoding device 2 is used
  • the decoding device 3 Of the received coded stream data DB I the initial The decoding may be performed preferentially in ascending order of delay time i— ⁇ ⁇ . As a result, a system with good responsiveness can be realized.
  • the encoding circuit 10 of the encoding device 2 of the first embodiment described above decodes the decoding order belonging to the group data G (1) following the group data G (0) to be processed.
  • the timing when the writing of the first frame data to the receiving buffer D—BUF starts all the frame data belonging to the processing target group G (0) is read out from the receiving buffer D—BUF to the decoding circuit 14. So that the amount of data stored in the receive buffer D-BUF becomes 0, the data amount of the last frame data f (4) belonging to the group data G (0) to be processed is the last. To determine.
  • the encoding device 2a of the present embodiment is the same as the above-described encoding device 2 of the first embodiment except for the following points.
  • the encoding circuit 10a of the encoding device 2a of the present embodiment includes, for example, the group data G (0) following the group data G (0) to be processed.
  • the frame data belonging to the group data G (0) to be processed is the last frame data belonging to the group data G (0) without being restricted by the fact that the frame data belonging to (0) is all read out from the reception buffer D-BUF to the decoding circuit 14.
  • the decoding order belonging to the group data G (1) following the group data G (0) to be processed is such that the first frame data ⁇ (0) is written into the reception buffer D-BUF.
  • frame data belonging to the processing target group G (0) may remain in the reception buffer D-BUF.
  • the encoding circuit 10a belongs to the group data G (0) to be processed. It is necessary to insert stuffing data (for example, “0” data) that is not written to the reception buffer D-BUF and causes a deterioration in image quality in the frame data f (4) decoded at the end. Thereby, the image quality of the decoded image corresponding to the frame data f (4) can be improved.
  • stuffing data for example, “0” data
  • FIG. 6 is an overall configuration diagram of the communication system 1b of the present embodiment.
  • the communication system 1 b As shown in FIG. 6, the communication system 1 b
  • the communication system 1 includes, for example, an encoding device 2b and a decoding device 3b.
  • the encoding device 2b multiplexes the video data DB I-V and the audio data DB I-A to generate encoded stream data STR, and transmits this to the decoding device 3b.
  • the decoding device 3b separates the video data DBI-V and the audio data DBIA from the encoded stream data STR, and decodes each.
  • the encoding unit 2 includes, for example, an encoding circuit 10 V, a control circuit 1 IV, a transmission buffer E—BUF—V, an encoding circuit 10 A, a control circuit 11 A, and a transmission buffer.
  • the coding circuit 10 V and the transmission buffer E-BUF-V can be the same as the coding circuit 10 and the transmission buffer E-BUF shown in FIG. 1 described in the first embodiment.
  • the video data EN_V corresponds to the video data EN of the first embodiment
  • the video data EB I-V corresponds to the video data EB I of the first embodiment
  • the encoded stream data DB I-V corresponds to the first data. It corresponds to the coded stream data DB I of the embodiment.
  • the encoding circuit 1OA generates encoded audio data EV-A.
  • the control circuit 11A and the transmission buffer E-BUF__A perform an operation on the audio data corresponding to the operation on the video data by the control circuit 11 and the transmission buffer E-BUF of the first embodiment.
  • control circuit 11 V outputs information i_o ⁇ —D indicating the initial offset delay time i—of to the control circuit 11 ⁇ in addition to the operation of the encoding circuit 10 of the first embodiment. I do.
  • the encoding circuit 1 IV outputs the initial delay time i ⁇ d and the delay time information DTI indicating the delay time d of each frame data in the group data to the control circuit 11A.
  • the control circuit 11 1A Based on the information i—of—the initial offset delay time i—of indicated by the control circuit 11 V, the control circuit 11 1A performs video encoded stream data DB 1_V and audio encoded stream data The initial offset delay time i_ ⁇ — ⁇ of the video data audio data DBI-A is determined so that DBI_A is synchronized.
  • control circuit 11 A transfers the first frame data of the group data in the encoded stream data DB I—A from the transmission buffer E_BUF—A based on the initial offset delay time i—of—A determined above. Read and output to multiplexing circuit 30.
  • control circuit 11 A generates an audio delay time DTI—A (initial delay time i—d) based on the video delay time DTI (initial delay time i—d) input from the control circuit 11 V. — A) is generated and added to the coded stream data DB I—A.
  • the control circuits 11 A and 1 IV control the transfer bit rates of the encoded stream data DB I-V and DB I-A so that the encoded stream data DB I-V and DB I-A are synchronized. May be determined.
  • the control circuit 11A operates at the time of the initial offset delay input from the control circuit 11V.
  • the capacity may be determined, and the information indicating the storage capacity may be added to the encoded stream data DBIA and output to the multiplexing circuit 30.
  • the multiplexing circuit 30 converts the encoded video stream data DB I_V input from the transmission buffer E—BUF—V and the encoded audio stream data DB I—A input from the transmission buffer E—BUF—A.
  • the multiplexed stream data is generated by multiplexing and transmitted to the decoding device 3b.
  • the decoding device 3b includes, for example, a separating circuit 31, a receiving buffer D—BU F—V, a decoding circuit 14V, a receiving buffer D—BUF—A, and a decoding circuit 14A. .
  • the frame memory 31 separates the coded stream data DB I-V and DB I-A from the coded stream data STR, writes the coded stream data DB I_V into the reception buffer D—BUF_V, Write the encoded stream data DB I-A to the receive buffer D-BUF-A.
  • the decoding circuit 14V reads out and decodes the video data DBO-V from the reception buffer D-BUF_V based on the delay time information DTI stored in the coded stream data DVI_V.
  • the decoding circuit 14A reads the audio data DBO-A from the reception buffer D-BUF-A and decodes it based on the delay time information DTI-A stored in the encoded stream data DV I-A. I do.
  • the same effects as those of the first embodiment can be obtained even when video and audio are multiplexed and transmitted.
  • the control circuit 11 V generates information i—of—D indicating the initial offset delay time iof generated by the control circuit 11 V and the delay time information DTI. Providing 1A allows video and audio to be synchronized.
  • the encoding device 2c of the present embodiment is the same as the encoding device 2 of the first embodiment shown in FIG. 1 except for a part of the processing of the control circuit 11.
  • FIG. 7 is a diagram for explaining the timing of the encoded stream data DBI defined by the control circuit 11c of the present embodiment.
  • control circuit 11 c transmits the encoded stream data DB I to the decoding device 3 before the data amount of the frame data stored in the reception buffer D-BUF becomes zero. And the transmission of the encoded stream data DBI to the decoding device 3 is restarted after a predetermined stop period STT has elapsed.
  • the control circuit 11c starts reading frame data f (0) having the first decoding order in the group data at the reference timing "0", and performs the reading.
  • the transmission of the encoded stream data DB I (the operation of reading from the transmission buffer E—BUF) is stopped.
  • control circuit 11c restarts the transmission of the encoded stream data DB I at the timing ty at which the predetermined stop period STT has elapsed.
  • the timing ty is defined as the timing immediately before the decoding of the first frame data f (0) in the group data is started by the decoding circuit 14 of the decoding device 3.
  • the encoding device 2c by specifying the timing of the encoded stream data DBI as shown in FIG. 7, the storage required for the reception buffer D-BUF of the decoding device 3 The capacity can be reduced.
  • Industrial availability The present invention is applicable to an encoding system that manages a buffer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化装置は、各グループデータの初期遅延時間ｉ＿ｄおよび遅延時間ｄを示す遅延時間情報ＤＴＩを、符号化ストリームデータＤＢＩの当該グループデータ中の復号装置によってフレームデータより先に読み出される位置に付加して復号装置３に送信する。すなわち、符号化装置は、初期オフセット遅延時間ｉ＿ｏｆを復号装置３に送信しない。符号化装置は、初期オフセット遅延時間ｉ＿ｏｆで規定されるタイミングで、送信バッファから符号化ストリームデータＤＢＩの読み出しおよび送信を所定のビットレートＲで開始する。

Description

15 ^糸田 »
符号化装置およびその方法 技術分野
本発明は、 バッファの管理方法に特徴を有する符号化装置およびその方法と符 号化装置に関する。 背景技術
符号化されたビデオデータやオーディォデータなどのコンテンツデータを、 ネ ットワークなどを介して送信して復号装置に提供するシステムがある。
このようなシステムの符号化装置は、 符号化したコンテンツデータを送信バッ ファに書き込み、 所定の初期オフセット遅延時間が経過すると、 送信バッファか らコンテンツデータを読み出して符号装置に送信する。
一方、 復号で開始する。
そして、 制御回路 1 1は、 図 2に示すタイミング t e (2) で送信バッファ E — BUFに記憶されているデータ量が 0になると、 送信バッファ E_BUFから の符号化ストリームデータ DB Iの読み出しを、 フレームデータ f (3) が送信 バッファ E— BUFに書き込まれるタイミング t i (3) まで停止する。
また、 制御回路 1 1は、 復号装置 3の受信バッファ D— BUFにオーバーフロ 一およびアンダーフロー、 その読み出しを開始するまでの初期遅延時間、 並びに コンテンツデータを構成する各フレームデータを受信バッファから読み出すタイ ミングを示す遅延時間情報をコンテンツデータに付加して復号装置に送信してい る。
従来の符号化装置は、 上記初期オフセット遅延時間の開始タイミングを 0として、 上記初期遅延時間を規定している。 そのため、 当該符号化装置は、 上記遅延時間 情報の他に、 初期オフセット遅延時間情報をコンテンツデータに付加して復号装 置に送信する。
しかしながら、 上述した従来のシステムでは、 初期オフセット遅延時間情報を コンテンツデータに付加するため、 当該付加の処理ステップが生じ、 符号化装置 の処理負担が大きいという問題がある。
また、 初期オフセッ ト遅延時間情報の付加により、 コンテンツデータの情報量 が大きくなるという問題がある。
本発明は、 上述した従来技術に鑑みてなされ、 符号化装置の処理負担を軽減す ると共に通信量を削減できる符号化装置およびその方法を提供することを目的と する。
また、 本発明は、 復号用記憶手段に要求される記憶容量を削減できる符号化装 置およびその方法を提供することを目的とする。 発明の開示
図面の簡単な説明
図 1は、 本発明の第 1実施形態の通信システムの全体構成図であり、 図 2は、 図 1に示すビデオデータ E B I、 符号化ス トリームデータ D B Iおよ びビデオデータ D B Oのタイミングを説明するための図であり、
図 3は、 図 1に示す符号化装置の制御回路の動作を説明するためのフローチヤ ートであり、
図 4は、 従来の符号化装置の制約を説明するための図であり、
図 5は、 本発明の第 2実施形態の符号化装置の制御回路の動作を説明するため の図であり、
図 6は、 本発明の第 3実施形態の通信システムの全体構成図であり、 図 7は、 本発明の第 4実施形態の符号化装置の制御回路の動作を説明するため の図である。 発明を実施するための最良の形態
以下、 本発明の実施形態に係わる通信システムについて説明する。
第 1実施形態
図 1は、 本発明の第 1実施形態の通信システム 1の全体構成図である。
図 1に示すように、 通信システム 1は、 例えば、 符号化装置 2および復号装置 3を有する。
符号化装置 2が第 1の発明の符号化装置に対応し、 復号装置 3が本発明の復号 先に対応している。
符号化装置 2は、 符号化データ DB Iを生成し、 これを復号装置 3にネットヮ 一クを介して復号装置 3に送信する。
〔符号化装置 2〕
図 1に示すように、 符号化装置 2は、 例えば、 符号化回路 1 0、 制御回路 1 1 および送信バッファ E— B U Fを有する。
ここで、 符号化回路 1 0が第 1の発明の符号化手段に対応し、 制御回路 1 1が 第 1の発明の制御手段に対応し、 送信バッファ E一 BUFが第 1の発明の記憶手 段に対応している。
符号化回路 1 0は、 例えば、 複数のフレームデータで構成される符号化された ビデオデータ ENを生成し、 これを制御回路 1 1に出力する。
ビデオデータ ENは、 例えば、 それぞれ複数のフレームデータを含むグループ データで構成される。
本実施形態では、 一例として、 ビデオデータ ENのグループデータは、 5個の フレームデータ f (0) 〜f (4) で構成されるとする。
制御回路 1 1は、 符号化回路 1 0から入力したビデオデ一タ E Nをビデオデー タ EB I として送信バッファ E— BUFに書き込む。
また、 制御回路 1 1は、 ビデオデータ ENを構成するグループデータの各々に ついて、 初期オフセット遅延時間 i—o f 、 初期遅延時間 i— d、 並びに遅延時 間 dを決定する。
制御回路 1 1は、 初期オフセッ ト遅延時間 i—o f で規定されるタイミングで、 ビデオデータ E B Iを送信バッファ E— B U Fから符号化ストリームデータ D B I として読み出して復号装置 3に送信する。
また、 制御回路 1 1は、 初期遅延時間 i一 d、 並びにグループデータ内の各フ レームデータの遅延時間 dを示す遅延時間情報 D T Iを生成し、 これを各グルー プデータ内の復号装置 3で最初に読み出される位置に付加し、 図 2に示すタイミ ングで符号化ストリームデータ D B I として復号装置 3に送信する。
初期遅延時間 i„dは、 グループデータに属する複数のフレームデータのうち 最初のフレームデータ f ( 0 ) を復号装置 3の受信バッファ D— B U Fから復号 回路 1 4に読み出すタイミングを示している。 ここで、 本実施形態では、 遅延時 間 i— dは、 図 2に示すように、 ビデオデータ E B I内のグループデータの最初 のフレームデータを送信バッファ E_B U Fに書き込む動作を開始するタイミン グを 0として規定されている。
また、 遅延時間 d ( 1 ) 〜d ( 4 ) は、 グループデータに属する複数のフレー ムデータの各々について、 当該フレームデータに対して復号順が一つ前のフレー ムデータを受信バッファ D— B U Fから読みだしてから、 当該フレームデータを 受信バッファ D—B U Fから読み出すまでの時間を示している。
制御回路 1 1は、 各グループデータの初期遅延時間 i __ dおよび遅延時間 dを 示す遅延時間情報 D T Iを、 符号化ストリームデータ D B Iの当該グループデ一 タ中の復号装置 3によってフレームデータより先に読み出される位置に付加して 復号装置 3に送信する。
すなわち、 制御回路 1 1は、 初期オフセッ ト遅延時間 i—o ίを復号装置 3に 送信しない。
制御回路 1 1は、 図 2に示すように、 初期オフセット遅延時間. i— o f で規定 されるタイミングで、 送信バッファ E— BUFから符号化ストリームデータ DB Iの読み出しを所定のビットレート Rで開始する。
そして、 制御回路 1 1は、 図 2に示すタイミング t e (2) で送信バッファ E — B U Fに記憶されているデータ量が 0になると、 送信バッファ E— BUFから の符号化ス トリームデータ DB Iの読み出しを、 フレームデータ f (3) が送信 バッファ E— BUFに書き込まれるタイミング t i (3) まで停止する。
また、 制御回路 1 1は、 復号装置 3の受信バッファ D_BUFにオーバーフロ 一およびアンダーフローを生じさせないように、 符号化ストリームデータ D B I のバース ト性を考慮して、 フレームデータ初期オフセッ ト遅延時間 i—o f およ び初期遅延時間 i— dの少なくとも一方を決定する。
以下、 図 1に示す符号化装置 2の動作例を説明する。
ステップ S T 1 ：
符号化回路 1 0は、 例えば、 複数のフレームデータで構成される符号化された ビデオデータ ENを生成し、 これを制御回路 1 1に出力する。
制御回路 1 1は、 ビデオデータ ENを、 図 2に示すビデオデータ E B Iとして 送信バッファ E— BUFに書き込む。
ステップ S T 2 ：
制御回路 1 1は、 ビデオデータ E B Iを構成する処理対象のグループデータの 初期オフセット遅延時間 i— o f を決定する。
ステップ S T 3 ：
制御回路 1 1は、 処理対象のグループデータの初期遅延時間 i—dを決定する c ステップ S T 4 ：
制御回路 1 1は、 処理対象のグループデータに属するフレームデータの遅延時 間 dを決定する。
ステップ S T 5 ：
制御回路 1 1は、 処理対象のグループデータに属する全てのフレームデータに ついて遅延時間 dを算出したか否かを判断し、 算出したと判断するとステップ S T 6に進み、 算出してないと判断すると未算出のフレームデータについてステツ プ S T 4の処理を行う。
ステップ S T 6 .:
制御回路 1 1は、 処理対象のグループデータについてステップ S T 3で決定し た初期遅延時間 i— dと、 当該処理対象のグループデータに属する全てのフレー ムデータについてステップ S T 4で決定した遅延時間 dとを示す遅延時間情報 D T Iを、 符号化ストリームデータ D B Iの当該グループデータ内の復号装置 3に よってフレームデータより前に読み出される位置に付加して復号装置 3に送信す る。
すなわち、 制御回路 1 1は、 初期オフセッ ト遅延時間 i—o f を復号装置 3に 送信しない。
ステップ S T 7
制御回路 1 1は、 ステップ S T 2で決定した初期オフセッ ト遅延時間 i— o ί を基に、 処理対象のグループデータに属するフレームデータを送信バッファ Ε— B U Fから読み出して符号化ストリームデータ D B Iとして復号装置 3に送信す る。
以上説明したように、 通信システム 1によれば、 符号化装置 2は、 遅延時間情 報 D T I内に初期オフセッ ト遅延時間 i— o f を格納しないため、 符号化装置 2 から復号装置 3に送信する情報量を削減できる。
〔復号装置 3〕
図 1に示すように、 復号装置 3は、 例えば、 受信バッファ D— B U Fおよび復 号回路 1 4を有する。
復号装置 3は、 符号化装置 2から受信したビデオデータ D B Iを受信バッファ D— B U Fに書き込む。
本実施形態では、 符号化ス トリームデータ D B Iが、 符号化装置 2の送信バッ ファ E— BUFから読み出されるタイミングと、 復号装置 3の受信バッファ D— BUFに書き込まれるタイミングとは一致するものとする。
復号回路 14は、 符号化ストリームデータ DB Iに含まれる各グループデータ の遅延時間情報 DT Iを基に、 送信バッファ E— BUFから当該グループデータ に属するフレームデータをビデオデータ DBOとして読み出して復号回路 14に 出力する。
すなわち、 復号回路 1 4は、 遅延時間情報 DT I内の初期遅延時間 i— dによ つて規定されるタイミングで上記グループデータの最初のフレームデータ f (0) の読み出しを開始し、 以後、 遅延時間 d ( 1) 〜d (4) を基にフレーム データ f ( 1 ) 〜 (4) を受信バッファ D— BUFから読み出す。
本実施形態では、 初期遅延時間 i一 dは、 受信バッファ D— B U Fへの符号化 ストリームデータ DB Iの書き込み開始タイミングを 0として規定されているの で、 復号装置 3は、 初期オフセッ ト遅延時間 i— o f を用いることなく、 上記グ ループデータの最初のフレームデータ f (0) の読み出しを開始タイミングを特 定できる。
復号回路 14は、 受信バッファ D— BUFから読み出されたビデオデータ DB Oをフレームデータ単位で復号する。
また、 通信システム 1によれば、 図 2に示すように、 ビデオデータ EB I内の グループデータの最初のフレームデータを送信バッファ E— BUFに書き込む動 作を開始するタイミングを 0として遅延時間 i— dを規定したことで、 復号装置 3は遅延時間情報 DT Iが示す遅延時間 i— dを基に、 符号化ストリームデータ DB Iのグループデータ内の最初のフレームデータ f (0) を受信バッファ D— BUFから読み出すタイミングを特定できる。
なお、 図 1では、 単数の符号化装置 2を用いる場合を例示したが、 複数の符号 化装置 2から単数の復号装置 3に符号化ストリームデータ DB Iを送信する場合 に、 復号装置 3が、 受信した複数の符号化ス トリームデータ DB Iのうち、 初期 遅延時間 i— ο ίが小さいものから順に優先的に復号に供するようにしてよい。 これにより、 応答性の良いシステムを実現できる。
第 2実施形態
上述した第 1実施形態の符号化装置 2の符号化回路 1 0は、 例えば、 図 4に示 すように、 処理対象のグループデータ G (0) に続くグループデータ G (1) に 属する復号順が最初のフレームデータの受信バッファ D— B U Fに対しての書き 込みを開始するタイミングで、 処理対象のグループ G (0) に属するフレームデ ータが受信バッファ D— BUFから復号回路 14に全て読み出されるように （受 信バッファ D— BUFに記憶されるデータ量が 0になるように） 、 処理対象のグ ループデータ G (0) に属する復号順が最後のフレームデータ f (4) のデータ 量を決定する。
本実施形態の符号化装置 2 aは、 上述した第 1実施形態の符号化装置 2と以下 に示す点を除いて同じである。
すなわち、 本実施形態の符号化装置 2 aの符号化回路 1 0 aは、 図 5に示すよ うに、 例えば、 処理対象のグループデータ G (0) に続くグループデータ G
(1) に属する復号順が最初のフレームデータ f (0) の受信バッファ D— BU Fに対しての書き込みを開始するタイミングにおいて処理対象のグループ G
(0) に属するフレームデータが受信バッファ D— BUFから復号回路 14に全 て読み出されているという制約を受けずに、 処理対象のグループデータ G (0) に属する復号順が最後のフレームデータ； E (4) のデータ量を決定する。
そのため、 本実施形態では、 処理対象のグループデータ G (0) に続くグルー プデータ G (1) に属する復号順が最初のフレームデータ ί (0) の受信バッフ ァ D— BUFに対しての書き込みを開始するタイミングで、 処理対象のグループ G (0) に属するフレームデータが受信バッファ D—BUFに残存する場合があ る。
これにより、 符号化回路 1 0 aは、 処理対象のグループデータ G (0) に属す る最後に復号されるフレームデータ f (4) 内に、 受信バッファ D— BUFに書 き込まれずかつ画質劣化の要因となるスタッフイングデータ （例えば、 「0」 デ ータ」 を挿入する必要がない。 これにより、 当該フレームデータ f (4) に応じ た復号画像の画質を向上できる。
第 3実施形態
図 6は、 本実施形態の通信システム 1 bの全体構成図である。
図 6に示すように、 通信システム 1 bは、
図 6に示すように、 通信システム 1は、 例えば、 符号化装置 2 bおよび復号装 置 3 bを有する。
符号化装置 2 bは、 ビデオデータ DB I— Vとオーディオデータ DB I— Aと を多重化して符号化ストリームデータ S TRを生成し、 これを復号装置 3 bに送 信する。
復号装置 3 bは、 符号化ストリームデータ S T Rからビデオデータ D B I— V とオーディオデータ DB I— Aを分離し、 それぞれを復号する。
〔符号化装置 2〕
図 6に示すように、 符号化 置 2は、 例えば、 符号化回路 1 0 V、 制御回路 1 I V、 送信バッファ E— BUF— V、 符号化回路 1 0 A、 制御回路 1 1 A、 送信 バッファ E— BUF— Aおよび多重化回路 3 0 (MUX) を有する。
符号化回路 1 0 Vおよび送信バッファ E— BUF— Vは、 第 1実施形態で説明 した図 1に示す符号化回路 1 0および送信バッファ E— BUFとそれぞれ同じで める。
ここで、 ビデオデータ EN_Vが第 1実施形態のビデオデータ E Nに対応し、 ビデオデータ EB I— Vが第 1実施形態のビデオデータ EB Iに対応し、 符号化 ストリームデータ DB I— Vが第 1実施形態の符号化ストリームデータ DB Iに 対応している。
符号化回路 1 OAは、 符号化されたオーディオデータ EV— Aを生成する。 制御回路 1 1 Aおよび送信バッファ E— BUF__Aは、 オーディオデータにつ いて第 1実施形態の制御回路 1 1および送信バッファ E— B U Fによるビデオデ 一タに対しての動作と対応した動作を行う。
本実施形態では、 制御回路 1 1 Vは、 第 1実施形態の符号化回路 1 0の動作に 加えて、 初期オフセット遅延時間 i— o f を示す情報 i_o ί— Dを制御回路 1 1 Αに出力する。
また、 符号化回路 1 I Vは、 初期遅延時間 i— d、 並びにグループデータ内の 各フレームデータの遅延時間 dを示す遅延時間情報 DT Iを制御回路 1 1 Aに出 力する。
制御回路 1 1 Aは、 制御回路 1 1 Vから入力した情報 i— o f — Dが示す初期 オフセット遅延時間 i— o f を基に、 ビデオの符号化ストリームデータ DB 1_ Vとオーディォの符号化ストリームデータ D B I _Aとが同期するように、 ビデ ォデータオーディォデータ D B I— Aの初期オフセット遅延時間 i _ο ί—Αを 決定する。
そして、 制御回路 1 1 Aは、 上記決定した初期オフセッ ト遅延時間 i—o f — Aを基に、 送信バッファ E_BUF— Aから符号化ストリームデータ DB I— A 内のグループデータの先頭のフレームデータを読み出して多重化回路 30に出力 する。
また、 制御回路 1 1 Aは、 制御回路 1 1 Vから入力したビデオの遅延時間 DT I (初期遅延時間 i— d) を基に、 オーディオの遅延時間 DT I— A (初期遅延 時間 i— d— A) を生成し、 これを符号化ス ト リームデータ DB I— Aに付加す る。
また、 制御回路 1 1 Aおよび 1 I Vは、 符号化ストリームデータ DB I— Vと DB I— Aとが同期するように、 符号化ス トリームデータ DB I— Vおよび DB I— Aの転送ビットレートを決定してもよい。
また、 制御回路 1 1Aは、 制御回路 1 1 Vから入力した初期オフセッ ト遅延時 間 i— o f — Aとビデオの遅延時間 DT I との少なくとも一方を基に、 復号装置 3 bの受信バッファ D— BUF—Aに符号化ストリームデータ DV I— Aを記憶 するために要求する記憶容量を決定し、 当該記憶容量を示す情報を符号化ストリ ームデータ DB I— Aに付加して多重化回路 3 0に出力してもよい。
多重化回路 30は、 送信バッファ E— BUF— Vから入力したビデオの符号化 ストリームデータ DB I_Vと、 送信バッファ E— BUF— Aから入力したォー ディォの符号化ストリームデータ DB I— Aとを多重化して符号化ストリームデ ータ S TRを生成し、 これを復号装置 3 bに送信する。
〔復号装置 3 b〕
図 6に示すように、 復号装置 3 bは、 例えば、 分離回路 3 1、 受信バッファ D — BU F— Vおよび復号回路 14 V、 受信バッファ D— BUF— Aおよび復号回 路 1 4 Aを有する。
フレームメモリ 3 1は、 符号化ス トリームデータ S TRから符号化ス トリーム データ DB I— Vおよび DB I— Aを分離し、 符号化ス トリームデータ DB I _ Vを受信バッファ D— BUF_Vに書き込み、 符号化ストリームデータ DB I— Aを受信バッファ D— BUF— Aに書き込む。
ここで、 復号回路 14 Vは、 符号化ス トリームデータ DV I_Vに格納させた 遅延時間情報 DT Iを基に、 受信バッファ D— BUF_Vからビデオデータ DB O— Vを読み出して復号する。
また、 復号回路 14Aは、 符号化ス トリームデータ DV I— Aに格納させた遅 延時間情報 DT I— Aを基に、 受信バッファ D— BUF— Aからオーディオデー タ D B O— Aを読み出して復号する。
以上説明したように、 本実施形態の通信システム 1 bによれば、 ビデオとォー ディォを多重化して送信する場合にも、 第 1実施形態と同様の効果が得られる。 また、 符号化装置 2 bによれば、 制御回路 1 1 Vが生成した初期オフセット遅 延時間 i o f を示す情報 i— o f — D、 並びに遅延時間情報 DT Iを制御回路 1 1 Aに提供することで、 ビデオとオーディォを同期させることができる。
第 4実施形態
本実施形態の符号化装置 2 cは、 制御回路 1 1の処理の一部を除いて、 図 1に 示す第 1実施形態の符号化装置 2と同じである。
以下、 本実施形態の符号化装置 2 cの制御回路 1 1 cの制御回路 1 1と異なる 処理について説明する。
図 7は、 本実施形態の制御回路 1 1 cが規定する符号化ス トリームデータ DB Iのタイミングを説明するための図である。
図 7に示すように、 制御回路 1 1 cは、 受信バッファ D— BUFに記憶されて いるフレームデータのデータ量が 0になる前に符号化ス トリームデータ DB Iを 復号装置 3に送信する動作を停止し、 所定の停止期間 S T Tが経過後に復号装置 3への符号化ス トリームデータ D B Iの送信を再開する。
具体的には、 制御回路 1 1 cは、 図 7に示すように、 基準タイミング 「0」 で、 グループデータ内の復号順が最初のフレームデータ f (0) の読み出しを開始し、 当該読み出しを完了したタイミング t Xになると、 符号化ストリームデータ DB Iの送信 （送信バッファ E— BUFからの読み出し動作） を停止する。
そして、 制御回路 1 1 cは、 所定の停止期間 S TTが経過したタイミング t y で、 符号化ス ト リームデータ DB Iの送信を再開する。
本実施形態では、 タイミング t yは、 上記グループデータ内の最初のフレーム データ f (0) の復号が復号装置 3の復号回路 1 4で開始される直前のタイミン グとして規定される。
以上説明したように、 符号化装置 2 cによれば、 符号化ス トリームデータ DB Iのタイミングを図 7に示すように規定することで、 復号装置 3の受信バッファ D— BUFに要求される記憶容量を削減することが可能になる。 産業用の利用可能性 本発明は、 バッファの管理を行う符号化システムに適用可能である

Claims

請求の範囲
1 . 所定の順序で復号される複数の符号化データを生成する符号化手段と、 前記符号化手段が生成した前記符号化データを記憶する記憶手段と、
前記記憶手段から前記符号化データを読み出して復号先に送信する制御 手段と
を有し、
前記制御手段は、 前記符号化手段が生成した前記複数の符号化データの うち復号順が最初の前記符号化データを前記記憶手段に書き込んでから読み出し て復号先に送信するまでの第 1の遅延時間を決定し、 前記復号先で前記複数の符 号化データのうち最初の前記符号化データを受信してから当該最初の符号化デー タを復号に供するまでの第 2の遅延時間を決定し、 前記第 2の遅延時間を示す遅 延時間情報を前記復号先に送信し、 前記決定した第 1の遅延時間を基に、 前記復 号順が最初の符号化データを前記復号先に送信する
符号化装置。
2 . 前記符号化手段は、 前記最初の符号化データを前記記憶手段から読み出 して復号先に送信する動作を開始するタイミングを基準タイミングとして、 前記 最初の符号化データを復号に供するタイミングを示す前記第 2の遅延時間を決定 する
請求項 1に記載の符号化装置。
3 . 前記符号化手段は、 前記基準タイミングを 0として、 前記第 2の遅延時 間を決定する
請求項 2に記載の符号化装置。
4 . 前記制御手段は、 前記複数の符号化データの各々について、 前記復号先 で当該符号化データに対して復号順が 1つ前の前記符号化データを前記復号先で 復号に供してから当該符号化データを復号に供するまでの第 3の遅延時間を決定 し、 当該第 3の遅延時間さらに含む前記遅延時間情報を前記復号先に送信する 請求項 1に記載の符号化装置。
5 . 前記制御手段は、 前記第 1の遅延時間を示す情報を前記復号先に送信し ない
請求項 1に記載の符号化装置。
6 . 前記復号先が受信した前記符号化データを復号用記憶手段に保持した後 に復号に供する場合に、
前記符号化手段は、 前記復号先の前記復号用記憶手段に前記最初の符号 化データが書き込まれてから当該最初の符号化データを前記復号用記憶手段から 読み出して復号に供するまでの前記第 2の遅延時間を決定する
請求項 1に記載の符号化装置。
7 . 前記制御手段は、 前記複数の符号化データから構成されるグループ毎に、 当該グループに属する前記符号化データについての前記遅延時間情報を決定し、 当該遅延時間情報を前記復号先に送信する
請求項 6に記載の符号化装置。
8 . 前記制御手段は、 処理対象のグループに続くグループに属する復号順が 最初の前記符号化データの前記復号用記憶手段に対しての書き込みを開始するタ ィミングで、 前記処理対象のグループに属する前記符号化データが復号用記憶手 段に残存して記憶されることを許可する
請求項 7に記載の符号化装置。
9 . 前記制御手段は、 ビデオの前記符号化データとオーディオの前記符号化 データとを多重化して前記復号先に送信する場合に、 前記ビデオの符号化データ について決定した前記第 1の遅延時間および第 2の遅延時間の少なくとも一方を 基に、 前記オーディオの前記符号化データを記憶する前記記憶手段の記憶容量と、 前記オーディォの前記符号化データの前記第 2の遅延時間との少なくとも一方を 決定する 請求項 1に記載の符号化装置。
1 0 . 前記制御手段は、 ビデオの前記符号化データとオーディオの前記符号化 データを多重化して前記復号先に送信する場合に、 前記ビデオと前記オーディオ とが同期するように、 前記ビデオの前記符号化データの前記第 1の遅延時間と、 前記オーディオの前記符号化データの前記第 1の遅延時間とを決定する
請求項 1に記載の符号化装置。
1 1 . 前記制御手段は、 ビデオの前記符号化データとオーディオの前記符号化 データを多重化して前記復号先に送信する場合に、 前記ビデオと前記オーディオ とが同期するように、 前記ビデオの前記符号化データを送信する場合のビットレ ートと、 前記オーディオの前記符号化データを送信する場合のビットレートとを 決定する
請求項 1に記載の符号化装置。
1 2 . 前記符号化手段は、 前記符号化データのバースト性を考慮して、 前記第 2の記憶手段にオーバ一フローおよびアンダーフローが生じないように前記第 1 の遅延時間および前記第 2の遅延時間の少なくとも一方を決定する
請求項 1に記載の符号化装置。
1 3 . 所定の順序で復号される複数の符号化データを生成する符号化手段と、 前記符号化手段が生成した前記符号化データを記憶する記憶手段と、
前記符号化データを復号先で復号するタイミングを規定する情報と共に、 前記記憶手段から読み出した前記符号化データを前記復号先に送信する制御手段 と
を有し、
前記制御手段は、 前記記憶手段に記憶されている前記符号化データのデ ータ量が 0になる前に前記記憶手段からの前記符号化データの読み出しを停止し、 所定の停止期間の終了後に、 前記記憶手段からの前記符号化データを読み出して 前記復号先に送信する動作を再開する 符号化装置。
1 4 . 前記制御手段は、 復号順が前記最初の符号化データを前記記憶手段から 読み出して前記復号先に送信する動作を完了したタイミングで前記停止期間を開 始し、 当該最初の符号化データが前記復号先で前記復号用記憶手段から読み出さ れて復号に供される直前のタイミングで前記停止期間を終了する
請求項 1 3に記載の符号化装置。
1 5 . 複数の符号化データのうち復号順が最初の前記符号化データを記憶手段 に書き込んでから読み出して復号先に送信するまでの第 1の遅延時間を決定する 第 1の工程と、
前記復号先で前記複数の符号化データのうち最初の前記符每化データを 受信してから当該最初の符号化データを復号に供するまでの第 2の遅延時間を決 定する第 2の工程と、
前記第 2の工程で決定した前記第 2の遅延時間を示す遅延時間情報を前 記復号先に送信し、 前記第 1の工程で決定した第 1の遅延時間を基に、 前記復号 順が最初の前記符号化データを前記復号先に送信する第 3の工程と
を有する符号化方法。
1 6 . 所定の順序で復号される複数の符号化データを記憶手段に書き込む第 1 の工程と、
前記符号化データを復号先で復号するタイミングを規定する情報と共に、 前記記憶手段から前記符号化データを読み出して前記復号先に送信する第 2のェ 程と
を有し、
前記第 2の工程は、 前記記憶手段に記憶されている前記符号化データの データ量が 0になる前に前記記憶手段からの前記符号化データの読み出しを停止 し、 所定の停止期間の終了後に、 前記記憶手段からの前記符号化データの読み出 しを再開する 符号化方法。
PCT/JP2003/015257 2002-11-29 2003-11-28 符号化装置およびその方法 Ceased WO2004052015A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US10/536,022 US8798167B2 (en) 2002-11-29 2003-11-28 Encoder and its method
EP03775951.1A EP1581004B1 (en) 2002-11-29 2003-11-28 Encoder and its method
US13/096,787 US9654812B2 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,730 US20110200096A1 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,752 US20110280320A1 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,709 US9516361B2 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002349287A JP2004186840A (ja) 2002-11-29 2002-11-29 非初期化バッファモデルを用いた方法
JP2002-349287 2002-11-29
JP2002-356054 2002-12-06
JP2002356054A JP2004193687A (ja) 2002-12-06 2002-12-06 非初期化バッファモデルを用いた方法

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US10/536,022 A-371-Of-International US8798167B2 (en) 2002-11-29 2003-11-28 Encoder and its method
US13/096,709 Continuation US9516361B2 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,730 Continuation US20110200096A1 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,787 Continuation US9654812B2 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method
US13/096,752 Continuation US20110280320A1 (en) 2002-11-29 2011-04-28 Encoding apparatus and the method

Publications (1)

Publication Number Publication Date
WO2004052015A1 true WO2004052015A1 (ja) 2004-06-17

Family

ID=32473665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/015257 Ceased WO2004052015A1 (ja) 2002-11-29 2003-11-28 符号化装置およびその方法

Country Status (4)

Country Link
US (5) US8798167B2 (ja)
EP (5) EP1581004B1 (ja)
KR (3) KR101001232B1 (ja)
WO (1) WO2004052015A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911034A (zh) * 2008-01-16 2010-12-08 美光科技公司 数据总线反转设备、系统及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289138B2 (ja) * 2003-12-09 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
JP5052220B2 (ja) * 2007-06-19 2012-10-17 パナソニック株式会社 動画像符号化装置
US9116828B2 (en) 2008-06-11 2015-08-25 Micron Technology, Inc. Data bus inversion usable in a memory system
RU2587467C2 (ru) 2011-06-30 2016-06-20 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Сокращение задержки при кодировании и декодировании видео
EP2870762A4 (en) * 2012-07-06 2016-03-02 Sharp Kk ELECTRONIC DEVICES FOR SIGNALING REFERENCE FIXED DECODER PARAMETERS BASED ON SUB-IMAGES
EP2920963A4 (en) * 2012-11-14 2016-07-06 California Inst Of Techn CODING FOR REAL-TIME STREAMING UNDER PACKAGE DELETIONS
US10389970B2 (en) * 2015-01-23 2019-08-20 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787124A (ja) * 1993-06-23 1995-03-31 Nec Corp データ多重化装置及び分離装置
WO1997038532A1 (en) 1996-04-04 1997-10-16 Nds Limited Buffer control in a coded data transmission system
JPH09307891A (ja) * 1996-05-14 1997-11-28 Graphics Commun Lab:Kk タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法
JPH11262001A (ja) * 1998-03-16 1999-09-24 Hitachi Denshi Ltd 符号化伝送方式におけるタイムスタンプ値演算方法
JPH11262000A (ja) * 1998-03-12 1999-09-24 Hitachi Denshi Ltd 映像信号伝送方法及びその装置
WO2001080570A2 (en) 2000-04-19 2001-10-25 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
WO2002025951A2 (en) 2000-09-20 2002-03-28 General Instrument Corporation Method and apparatus for determining a transmission bit rate in a statistical multiplexer

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2307206A (en) * 1940-03-14 1943-01-05 Armour & Co Spraying device
US3326470A (en) * 1965-04-27 1967-06-20 Babcock & Wilcox Co Liquid atomizer
US4218221A (en) * 1978-01-30 1980-08-19 Cottell Eric Charles Production of fuels
US4517670A (en) * 1983-06-15 1985-05-14 General Electric Company Preemptive bid communication system
JPS61259781A (ja) * 1985-05-13 1986-11-18 Toa Nenryo Kogyo Kk 曲面多段エツジ部を有する超音波霧化用振動子
AT389235B (de) * 1987-05-19 1989-11-10 Stuckart Wolfgang Verfahren zur reinigung von fluessigkeiten mittels ultraschall und vorrichtungen zur durchfuehrung dieses verfahrens
GB9012538D0 (en) * 1990-06-05 1990-07-25 Philips Nv Coding of video signals
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
US5665383A (en) * 1993-02-22 1997-09-09 Vivorx Pharmaceuticals, Inc. Methods for the preparation of immunostimulating agents for in vivo delivery
JP2550856B2 (ja) * 1993-05-17 1996-11-06 日本電気株式会社 動画像符号化前処理装置
US6020277A (en) * 1994-06-23 2000-02-01 Kimberly-Clark Corporation Polymeric strands with enhanced tensile strength, nonwoven webs including such strands, and methods for making same
US6010592A (en) * 1994-06-23 2000-01-04 Kimberly-Clark Corporation Method and apparatus for increasing the flow rate of a liquid through an orifice
DE69536032D1 (de) * 1994-10-21 2010-02-04 At & T Corp Verfahren zur Synchronisation von Pufferspeichern für Videosignale
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
JP2770786B2 (ja) * 1995-06-05 1998-07-02 日本電気株式会社 構造化データの多重ａｔｍ／ｓｔｍ変換装置
ZA969680B (en) * 1995-12-21 1997-06-12 Kimberly Clark Co Ultrasonic liquid fuel injection on apparatus and method
US5868153A (en) * 1995-12-21 1999-02-09 Kimberly-Clark Worldwide, Inc. Ultrasonic liquid flow control apparatus and method
US6053424A (en) * 1995-12-21 2000-04-25 Kimberly-Clark Worldwide, Inc. Apparatus and method for ultrasonically producing a spray of liquid
US6018765A (en) * 1996-01-23 2000-01-25 Storage Concepts, Inc. Multi-channel multimedia data server
CA2196622C (en) * 1996-02-06 2001-10-16 Hiroshi Jinzenji Network data distribution system
WO1998007414A1 (en) * 1996-08-22 1998-02-26 Research Triangle Pharmaceuticals Ltd. Compositions comprising microparticles of water-insoluble substances and method for preparing same
US6188700B1 (en) * 1996-11-07 2001-02-13 Sony Corporation Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6366704B1 (en) * 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6023233A (en) * 1998-03-20 2000-02-08 Craven; Peter G. Data rate control for variable rate compression systems
US6091776A (en) * 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
JP3422686B2 (ja) 1998-06-12 2003-06-30 三菱電機株式会社 データ復号装置及びデータ復号方法
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
US6804825B1 (en) * 1998-11-30 2004-10-12 Microsoft Corporation Video on demand methods and systems
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6811813B1 (en) * 1999-05-19 2004-11-02 Sarnoff Corporation Method of coating micrometer sized inorganic particles
DE60032315T2 (de) * 1999-10-25 2007-06-28 Matsushita Electric Industrial Co., Ltd., Kadoma Videodekodierungsverfahren, Videodekodierungsvorrichtung, und Programmspeichermedium
US6700893B1 (en) * 1999-11-15 2004-03-02 Koninklijke Philips Electronics N.V. System and method for controlling the delay budget of a decoder buffer in a streaming data receiver
US6481645B1 (en) * 2000-05-22 2002-11-19 Shurflo Pump Mfg. Company, Inc. Condiment dispensing nozzle apparatus and method
DE60107368T2 (de) * 2000-07-31 2005-12-22 Koninklijke Philips Electronics N.V. Kontaktloser datenträger mit regelbarer spannungsversorgungseinrichtung
JP3668110B2 (ja) * 2000-08-31 2005-07-06 株式会社東芝 画像伝送システムおよび画像伝送方法
US6817541B2 (en) * 2000-09-01 2004-11-16 Del Industries, Inc. Ozone systems and methods for agricultural applications
KR100357689B1 (ko) * 2000-11-13 2002-10-19 삼성전자 주식회사 일관된 화질을 가지는 실시간 가변 비트율 엠펙 비디오전송 시스템
US20020191116A1 (en) * 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US20030048692A1 (en) * 2001-09-07 2003-03-13 Bernard Cohen Apparatus for mixing, atomizing, and applying liquid coatings
EP1436090B1 (en) * 2001-09-19 2006-12-27 Kayyani C. Adiga Method and device for production, extraction and delivery of mist with ultrafine droplets
US6889528B2 (en) * 2001-10-22 2005-05-10 Council Of Scientific & Industrial Research Process of making rare earth doped optical fiber
US7976855B2 (en) * 2002-04-30 2011-07-12 Kimberly-Clark Worldwide, Inc. Metal ion modified high surface area materials for odor removal and control
US20050227732A1 (en) * 2002-05-07 2005-10-13 Mitsubishi Denki Kabushiki Kaisha Base station for radio communication, radio communication method and mobile station
MXPA05000594A (es) * 2002-07-16 2005-04-19 Nokia Corp Metodo para permitir la compensacion del retardo de transferencia del paquete en emision en continua para multimedia.
JP3534742B1 (ja) * 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7438875B2 (en) * 2003-10-16 2008-10-21 Kimberly-Clark Worldwide, Inc. Method for reducing odor using metal-modified silica particles
JP4482322B2 (ja) * 2003-12-18 2010-06-16 浜松ホトニクス株式会社 微粒子の製造方法、及び製造装置
DE102004025836B3 (de) * 2004-05-24 2005-12-22 Dr. Hielscher Gmbh Verfahren und Vorrichtung zum Einbringen von Ultraschall in ein fließfähiges Medium
US7156201B2 (en) * 2004-11-04 2007-01-02 Advanced Ultrasonic Solutions, Inc. Ultrasonic rod waveguide-radiator
US7424883B2 (en) * 2006-01-23 2008-09-16 Kimberly-Clark Worldwide, Inc. Ultrasonic fuel injector
US7703698B2 (en) * 2006-09-08 2010-04-27 Kimberly-Clark Worldwide, Inc. Ultrasonic liquid treatment chamber and continuous flow mixing system
US9283188B2 (en) * 2006-09-08 2016-03-15 Kimberly-Clark Worldwide, Inc. Delivery systems for delivering functional compounds to substrates and processes of using the same
US20080069887A1 (en) * 2006-09-15 2008-03-20 3M Innovative Properties Company Method for nanoparticle surface modification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787124A (ja) * 1993-06-23 1995-03-31 Nec Corp データ多重化装置及び分離装置
WO1997038532A1 (en) 1996-04-04 1997-10-16 Nds Limited Buffer control in a coded data transmission system
JPH09307891A (ja) * 1996-05-14 1997-11-28 Graphics Commun Lab:Kk タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法
JPH11262000A (ja) * 1998-03-12 1999-09-24 Hitachi Denshi Ltd 映像信号伝送方法及びその装置
JPH11262001A (ja) * 1998-03-16 1999-09-24 Hitachi Denshi Ltd 符号化伝送方式におけるタイムスタンプ値演算方法
WO2001080570A2 (en) 2000-04-19 2001-10-25 General Instrument Corporation Rate control and buffer protection for variable bit rate video programs over a constant rate channel
WO2002025951A2 (en) 2000-09-20 2002-03-28 General Instrument Corporation Method and apparatus for determining a transmission bit rate in a statistical multiplexer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1581004A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911034A (zh) * 2008-01-16 2010-12-08 美光科技公司 数据总线反转设备、系统及方法
CN101911034B (zh) * 2008-01-16 2013-11-06 美光科技公司 数据总线反转设备、系统及方法
US8766828B2 (en) 2008-01-16 2014-07-01 Micron Technology, Inc. Data bus inversion apparatus, systems, and methods
US9048856B2 (en) 2008-01-16 2015-06-02 Micron Technology, Inc. Data bus inversion apparatus, systems, and methods

Also Published As

Publication number Publication date
US8798167B2 (en) 2014-08-05
KR20100097236A (ko) 2010-09-02
EP2557786B1 (en) 2016-02-24
KR101001232B1 (ko) 2010-12-17
EP1581004A1 (en) 2005-09-28
US9654812B2 (en) 2017-05-16
EP2557787B1 (en) 2016-02-24
EP2557787A1 (en) 2013-02-13
KR101022744B1 (ko) 2011-03-22
EP2557786A1 (en) 2013-02-13
US20110200117A1 (en) 2011-08-18
EP1581004A4 (en) 2010-02-24
US20060133474A1 (en) 2006-06-22
EP2557788A1 (en) 2013-02-13
KR20100097235A (ko) 2010-09-02
KR20050071714A (ko) 2005-07-07
US20110200096A1 (en) 2011-08-18
EP1581004B1 (en) 2014-10-29
US20110200118A1 (en) 2011-08-18
US20110280320A1 (en) 2011-11-17
EP2557785A1 (en) 2013-02-13
KR101022743B1 (ko) 2011-03-22
US9516361B2 (en) 2016-12-06

Similar Documents

Publication Publication Date Title
US9516361B2 (en) Encoding apparatus and the method
JP2000115772A (ja) マルチメディアの再生システムにおけるディジタルのビデオおよびオ―ディオの再生の適応型同期化のための方法および装置
JP3839084B2 (ja) データバッファの同期システム
WO2004071085A1 (ja) コード変換方法及びその装置
US20060013123A1 (en) Method and apparatus for processing transmission error in DMB system
JPH11163817A (ja) ディジタル符号化多重化装置
US8369456B2 (en) Data processing apparatus and method and encoding device
CN100534177C (zh) 编码设备和方法
US20190230420A1 (en) Transmission device, transmission method, reception device, reception method, and program
JP2010239433A (ja) 映像符号化装置、方法及びプログラム
JP2001177568A (ja) ストリーム多重化装置
JP2000270018A (ja) 多重化装置、符号化装置、情報処理システム、多重化方法、及び記憶媒体
JP2000350199A (ja) 映像符号化装置
JP2006014179A (ja) データ伝送装置及びデータ伝送方法
JPH11136134A (ja) 符号化装置および方法、記録媒体
JPH11355354A (ja) メモリ制御装置およびそれを使用したデータ受信装置
WO2002091740A1 (en) Medium data transmission system and medium data transmission method
JPH0134425B2 (ja)
JP2001053808A (ja) 符号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2005072842A (ja) 動画像符号化装置におけるメモリアドレス制御装置及び方法並びに動画像符号化装置
JP2004158921A (ja) データ送信装置及びデータ受信装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003775951

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057009697

Country of ref document: KR

Ref document number: 20038A44577

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057009697

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003775951

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006133474

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10536022

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10536022

Country of ref document: US