JP2004221900A - 画像情報復号装置及び画像情報復号方法 - Google Patents
画像情報復号装置及び画像情報復号方法 Download PDFInfo
- Publication number
- JP2004221900A JP2004221900A JP2003006309A JP2003006309A JP2004221900A JP 2004221900 A JP2004221900 A JP 2004221900A JP 2003006309 A JP2003006309 A JP 2003006309A JP 2003006309 A JP2003006309 A JP 2003006309A JP 2004221900 A JP2004221900 A JP 2004221900A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- image data
- time information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04G—SCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
- E04G11/00—Forms, shutterings, or falsework for making walls, floors, ceilings, or roofs
- E04G11/06—Forms, shutterings, or falsework for making walls, floors, ceilings, or roofs for walls, e.g. curved end panels for wall shutterings; filler elements for wall shutterings; shutterings for vertical ducts
- E04G11/20—Movable forms; Movable forms for moulding cylindrical, conical or hyperbolical structures; Templates serving as forms for positioning blocks or the like
- E04G11/34—Horizontally-travelling moulds for making walls blockwise or section-wise
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
- E01F5/00—Draining the sub-base, i.e. subgrade or ground-work, e.g. embankment of roads or of the ballastway of railways or draining-off road surface or ballastway drainage by trenches, culverts, or conduits or other specially adapted means
- E01F5/005—Culverts ; Head-structures for culverts, or for drainage-conduit outlets in slopes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2352/00—Parallel handling of streams of display data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Theoretical Computer Science (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
【課題】複数のストリームをストリーム毎のフレームレート差によらず各ストリーム間の同期をとって表示する。
【解決手段】出力画像選択部１７において、表示部１５のＳＴＣとフレームのＰＴＳとを比較して、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。表示部１５は、選択情報に基づいてメモリ１４からフレームを抽出して合成し、デコーダ１３は、選択情報によってメモリの領域を解放してよいか保持すべきかを判別する。
【選択図】 図１
【解決手段】出力画像選択部１７において、表示部１５のＳＴＣとフレームのＰＴＳとを比較して、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。表示部１５は、選択情報に基づいてメモリ１４からフレームを抽出して合成し、デコーダ１３は、選択情報によってメモリの領域を解放してよいか保持すべきかを判別する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報復号装置及び画像情報復号方法に関し、特に、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように伝送路を介して送信側から受信側に動画像データを伝送し、受信された動画像データを受信側で実時間再生（ストリーミング）する場合に用いて好適な画像情報復号装置及び画像情報復号方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法及び装置が放送局と一般家庭との間の情報配信等において普及しつつある。
【０００３】
このような画像情報変換装置は、例えば、離散コサイン変換等の直交変換と動き補償により画像データを圧縮する方式に則っている。特に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：動画像符号化専門家会合）によって標準化されている画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８に定義されており、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このＭＰＥＧ方式のように、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置では、画像データにおける符号化単位としての各マクロブロックにおいて、画像内符号化画像（以下、イントラ符号化画像と記す。）を用いるか、画像間符号化画像（以下、インター符号化画像と記す。）を用いるかの判定、参照画像フレームとして、前方予測符号化画像を用いるか、後方予測符号化画像を用いるか、双方向予測符号化画像を用いるかの判定等を行っている。
【０００５】
最近では、特に、インターネット等のネットワーク間データ伝送の普及と、マルチメディアデータを扱うことのできる携帯型端末の普及とともに、これらに対応した総合マルチメディア符号化方式が、ＭＰＥＧ４規格としてＩＳＯ／ＩＥＣ１４４９６に定義されている。ＭＰＥＧ４規格では、ＭＰＥＧ１，ＭＰＥＧ２およびＩＴＵ−Ｔ Ｈ．２６３等に使用されるツールを基本とするものの、伝送すべき三次元空間情報を、空間内に位置するヒトや建物などのオブジェクト毎に個別符号化することにより符号化効率を高めるとともに、各オブジェクトの加工編集を可能にしている。
【０００６】
このＭＰＥＧ４規格では、各予測符号化で得られた各ピクチャを、動画像データとしてディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等の伝送路や、いわゆるインターネット等のネットワークを介して伝送して、送信先にて実時間再生する（以下、ストリーミングと記す。）ことを想定している。
【０００７】
このとき受信側では、伝送された符号化ビットストリームを受信した際に、誤り訂正処理、復号処理等を施しているが、伝送路のトラフィック等によっては、パケット喪失やデータエラー、フレームレートの変動は避けられない。特に、複数の画像データであるマルチストリームがある場合には、ネットワークの輻輳状況や各通信機器の能力差等によってフレームレートが変動する場合もある。また、機器によってフレームレートが異なる場合もある。
【０００８】
複数のマルチメディアデータを受け取ることができる復号装置では、図５に示すように、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合、表示装置のフレームレートに合わせて画像データのフレームを選択することによってストリーム毎又は機器毎に異なるフレームレートを吸収して１つの表示装置にて同期して表示できるようにしている。
【０００９】
例えば、時刻Ｔ０とＴ１には、Ａ０、Ｂ０、Ｃ０を表示し、時刻Ｔ２には、Ａ１、Ｂ０、Ｃ０を表示し、時刻Ｔ３には、Ａ１、Ｂ１、Ｃ１を表示し、時刻Ｔ４及びＴ５には、Ａ２、Ｂ１、Ｃ１を表示して各ストリームや表示装置の表示可能フレームに合わせて複数のマルチメディアデータを同期表示している。
【００１０】
また、このほかにも、ひとつの表示装置で複数のストリーム間の同期をとって再生するための技術としては、複数送られるストリームのなかで主ストリームを決め、主ストリームの基準時刻情報に合わせて他のストリームのデコードや再生を行って、基準周波数の違いによって生じる同期再生時の不具合を解消する技術もある（例えば、特許文献１参照。）。
【００１１】
【特許文献１】
特開２００１−１９７０４８
【００１２】
【発明が解決しようとする課題】
ところが、このような複数ストリームの同期再生方法では、送られるストリームの本数が増加すればするほど表示すべき画像の選択パターンが増え、互いにフレームレートの異なるストリームを同期して表示するための処理が複雑化する。また、ネットワークの輻輳時などにフレームレートを低下させて一枚のフレームの画質を向上するような技術も提案されているが、この場合、フレームレートが頻繁に変動するため、同期再生・同期表示のための制御が困難であった。このように、従来の複数ストリームの同期再生方法では、以上のようなフレームレートの変化に対応するために、ネットワークの輻輳状態等を監視して即座に対応する処理を実行しなくては、複数ストリーム間の同期をとることが困難であった。
【００１３】
特に、オブジェクト符号化方式であるＭＰＥＧ４方式等において、例えば画像データをオブジェクト毎に分けて異なるストリームとしてリアルタイム受信リアルタイム再生（ストリーミング）するような場合を想定すると、上述したような表示フレームの選択制御では、ネットワークの状態等によって異なるフレームレートで送信される複数のストリーム間の表示の同期をとる処理が複雑で、表示画像の同期ずれを吸収できない場合が生じる。
【００１４】
更に近年では、ＣＲＴディスプレイ、液晶ディスプレイのように表示装置の種類も多様化しており、表示装置毎に表示フレームレートも異なっている。これに加えて表示装置の低消費電力化の手法として表示速度を低下させる等の技術もあり、送信されるストリーム間の同期をとるだけでなく表示装置自体の表示フレームレートの変動と表示すべきストリームとの同期をとる必要がある。
【００１５】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、複数のストリームを復号し画像を合成して表示する場合、ストリーム毎のフレームレート差に依存することなく各ストリーム間の同期をとって表示することができる画像信号復号装置及び画像信号復号方法に関する。
【００１６】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報復号装置は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力装置において、複数の画像圧縮情報を分割する分割手段と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号手段と、画像データと出力時刻情報とを記憶する記憶手段と、基準時刻情報を生成する基準時刻情報生成手段と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択手段と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示する表示手段とを備えることを特徴とする。
【００１７】
ここで、表示手段は、単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成手段は、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報を変更できる。
【００１８】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時刻情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号手段において算出すればよい。
【００１９】
また、本発明に係る画像情報復号方法は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力方法において、複数の画像圧縮情報を分割する分割工程と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号工程と、画像データと出力時刻情報とを記憶手段に記憶する記憶工程と、基準時刻情報を生成する基準時刻情報生成工程と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報が出力時刻情報を過ぎたものの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択工程と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示手段に表示する表示工程とを有することを特徴とする。
【００２０】
ここで、表示工程では、表示手段に対して表示できる単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成工程にて、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報が変更される。
【００２１】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時間情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号工程にて算出すればよい。
【００２２】
【発明の実施の形態】
本発明は、フレーム間相関を利用して画像データを圧縮して画像圧縮情報を得る画像情報復号装置であって、動画像データを再生してディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように、いわゆるインターネット等の伝送路を介して送信側から受信側に複数の動画像データを伝送し受信側でこの複数の動画像データを実時間再生（ストリーミング）するときに、簡易な処理にて、異なるフレームレートで送られた画像データ間の同期をとって１つのモニタ（表示部）で同時に出力できるようにした装置である。
【００２３】
以下、本発明の具体例について、図面を参照して詳細に説明する。図１に示す画像情報復号装置は、外部の画像信号処理装置によって符号化され、ＰＥＳ
（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）化されて送られた画像データ（画像圧縮情報）を復号する装置であって、本具体例は、特に、ＭＰＥＧ４規格に対応したデコーダに適用した例である。本具体例では、外部から送られるシステムストリーム（Ｓｙｓｔｅｍ Ｓｔｒｅａｍ）には、フレームレートが異なるストリーミングデータＡ，ストリーミングデータＢ，ストリーミングデータＣの３つのデータが含まれているものとして説明するが、実際にはストリームの個数は限定されない。
【００２４】
画像情報復号装置１は、外部よりストリーミングデータを受け取って復号する為の構成として、ストリーミングデータを受信する受信部１１と、受信した複数のストリーミングデータを分割するストリーム分割部１２と、分割されたストリーミングデータを復号するデコーダ１３ａ，１３ｂ，１３ｃと、復号して得られた画像データを出力する前にフレーム毎に一時格納するメモリ１４ａ，１４ｂ，１４ｃとを備えている。また、復号した画像データを出力する為の構成として、表示部１５と、表示部における表示フレームレートを定める基準となる時刻情報を生成する基準時刻情報生成部１６と、メモリ１４に格納されたフレームの出力タイミングを指定する出力画像選択部１７とを備えている。
【００２５】
受信部１１は、いわゆるインターネットのような外部ネットワークから送られるＰＥＳ化されたストリーミングデータを受信し、ストリーム分割部１２へ供給する。ストリーム分割部１２では、ストリーミングデータを分割し、それぞれ対応したデコーダ１３へ供給する。例えば、ストリーミングデータＡであればデコーダ１３ａへ、ストリーミングデータＢであればデコーダ１３ｂへ、ストリーミングデータＣであればデコーダ１３ｃへ供給される。
【００２６】
デコーダ１３ａ，１３ｂ，１３ｃは、それぞれ対応するストリーミングデータを復号し、復号して得た画像データをフレーム毎に対応したメモリ１４へ供給するとともに、このフレームを出力すべき時刻の情報（以下、出力時刻情報）もまたメモリ１４に供給する。この出力時刻情報としては、ＰＥＳ中に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。但し、ＰＴＳが含まれないデータの場合には、出力時刻情報をデコーダ１３にて算出する。具体的には、デコーダ１３にてカウントされるフレームレートの逆数を算出し、これをを加算した値を出力時刻情報としてメモリ１４へ供給すればよい。
【００２７】
メモリ１４もデコーダ同様、ストリーミングデータ毎に設けられる。このメモリ１４は、デコーダ１３にて復号された画像データとこの画像データ（フレーム）の出力時刻情報とを一時的に格納する。また、メモリ１４には、格納された１フレーム分の画像データに対応付けて、このフレームが格納されたメモリ内の領域を保持するか解放するかを示す情報が記述されている。この情報は、後述する出力画像選択部１７によって記述される。メモリ１４の詳細な説明については、具体例を用いて後述する。
【００２８】
表示部１５は、メモリ１４から読み出した画像データを表示する。実際には、表示部１５は、メモリ１４に一時格納された各フレームの中から出力すべきタイミングで出力すべき画像データを抽出する機能と、これら抽出した画像データの同期をとって合成する機能と、合成して得られた画像データを表示する機能とを有している。また、表示部１５は、所定の表示速度で画像データを表示する度に基準時刻情報生成部１６に対して表示フレームレート（表示速度の逆数）を表す信号を通知する。
【００２９】
表示部１５は、画像データを抽出する機能及び抽出した画像データの同期をとって合成する機能として、出力画像選択部１７によってメモリ１４に記述された選択情報に基づいてメモリ１４からフレームを抽出し、これをストリーミングデータ毎に行い、抽出したフレームを合成して１つの画像データとして表示する。
【００３０】
基準時刻情報生成部１６は、表示部１５における表示動作の基準となる基準時刻情報、いわゆるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）を生成している。ここでは、基準時刻情報生成部１６は、絶対時間をカウントするクロックを備え、このクロックのカウント値に表示部１５から送られる表示速度の逆数を加算することで表示動作のＳＴＣを生成している。そのため、表示フレームレートが変更されても、これに応じてＳＴＣを変更できる。
【００３１】
出力画像選択部１７は、基準時刻情報生成部１６にて生成されるＳＴＣと、デコーダ１３が復号した画像データとともにメモリ１４に格納された各画像データのＰＴＳ（含まれない場合は、フレームレートの逆数として算出される値）とを比較して、表示部１５が、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。
【００３２】
この選択情報により、デコーダ１３は、復号した画像データをメモリ１４に格納する際に、その領域を解放してよいか保持すべきか、すなわち、その領域に書き込みできるかできないかを判別している。書き込める領域がない場合、デコーダ１３は、復号処理を行わない。
【００３３】
したがって、このような構成を有する画像情報復号装置１は、ストリーミングデータを受信すると、ストリーム分割部１２において受信したストリームを分割し、ストリームに対応したデコーダ１３ａ，１３ｂ、１３ｃへ送出する。ストリーミングデータを受け取ったデコーダ１３は、これを復号し、復号して得た画像データを１フレーム毎にメモリ１４へ格納するとともに、このフレームを出力する時刻を示した出力時刻情報をメモリ１４に書き込む。出力画像選択部１７は、ＳＴＣと各フレームのＰＴＳとを比較し、出力するフレームとして選択するか否かを示す選択情報をフレームに対応付けてメモリ内の領域に記述する。表示部１５では、この選択情報に基づいてフレームを抽出し合成して表示している。
【００３４】
続いて、表示部１５がメモリ１４から表示フレームを抽出する動作を図２を用いて具体的に説明する。本具体例では、ストリーミングデータＡのフレームレートが１５フレーム／秒、ストリーミングデータＢのフレームレートが１０フレーム／秒、ストリーミングデータＣのフレームレートが７．５フレーム／秒であって、表示部１５の表示速度が３０フレーム／秒である。
【００３５】
メモリ１４は、上述したように、各ストリーミングデータの復号画像データを格納する領域ＭＡ，ＭＢ，ＭＣを有している。これらの各領域は、更にｍＡ１，ｍＡ２の２つの領域に分けられている。この領域ｍＡ１に、１フレーム分の画像データが格納できる。
【００３６】
メモリ１４には、デコーダ１３からの復号された画像データとこの画像データに付随した出力時刻情報（ＰＴＳ）とが記憶される。ｍＡ１には、Ａ０フレームとともにこのＡ０フレームのＰＴＳ Ｔ０が記憶され、ｍＡ２には、Ａ１フレームとともにこのＡ１フレームのＰＴＳ Ｔ２が記憶される。
【００３７】
また、メモリ１４には、上述したように出力画像選択部１７によって、表示部１５のＳＴＣがＰＴＳを過ぎたものの中で最も時間的にＳＴＣに近いフレームが出力されるように、このフレームが格納されたメモリ領域を画像データ抽出先として選択する選択情報が記述されている。すなわち、このメモリ領域に格納されたフレームを使用する間は、このフレームが格納された領域を選択すべきことを示すフラグ（図中○印で示す。）が記述され、このフレームを使用しなくなった時点で、このフレームが格納された領域を選択しないことを示すフラグ（図中×印）が記述される。
【００３８】
したがって、表示部１５は、選択情報に基づいてフレームを抽出すれば、図３に示すように、ストリーミングデータＡでは表示部１５のＳＴＣがＴ２，Ｔ３をカウントする間、フレームＡ１が表示され続け、ストリーミングデータＢではＳＴＣがＴ０，Ｔ１，Ｔ２をカウントする間、フレームＢ０が表示され続ける。このフレームを使用しなくなった時点で、この領域を選択しないことを示すフラグが出力画像選択部１７によって記述される。このフラグにより、デコーダ１３は、この領域に次なる１フレーム分の画像データを書き込む。図２に示す領域ｍＡ１におけるＳＴＣ Ｔ２→Ｔ３、Ｔ６→Ｔ７、また、領域ｍＡ２におけるＳＴＣ
Ｔ４→Ｔ５がこれに相当する。
【００３９】
このように、出力画像選択部１７は、表示部１５のＳＴＣと各フレームの出力時刻情報であるＰＴＳとを比較して、抽出先メモリ領域を指定する選択情報をこの画像データとともに記述すればよく、各ストリーミングデータのフレームレートの変動を常時監視する必要はない。また、表示部１５における表示速度の変動を常時監視する必要もない。最終的に、各ストリーミングデータのフレームレートと表示部１５における表示フレームレートとの同期をとって一画面で表示できるようにフレームを抽出する処理は、表示部１５がメモリ１４の選択情報にしたがって画像データを抽出することにより達成されるため、従来に比べて、複数ストリーミングデータの同期再生がより簡易に実行できることになる。
【００４０】
また、デコーダ１３によって表示時刻情報をメモリへの格納する処理も、ＰＥＳから抽出したＰＴＳ、若しくはフレームレートの逆数の和として算出される値を加算していけばよく、表示部におけるＳＴＣの管理も簡便であるため、これらを実現するためのアルゴリズムも簡便でよい。
【００４１】
以上のように、デコーダ１３にてストリーミングデータのフレームレートを監視するようにし、表示部１５にて表示のための基準時刻情報を管理することによって、出力画像選択部１７にてストリーミングデータ毎のフレームレートや表示部における表示速度管理等を実行する必要がない。出力画像選択部１７では、ストリーミングデータの数がさらに増しても、選択情報に応じて画像データを抽出すればよいため、出力画像選択部１７にかかる負担も少ない。
【００４２】
なお、本発明は、上述した具体例のみに限定されず、本発明の要旨を逸脱しない範囲で変更可能である。例えば、図４に示すように、単一デコーダ２１により複数のストリーミングデータの復号を実行するようにしてもよい。この場合、デコーダ２１は、分割された個々のストリーミングデータの復号を時分割にて実行し、復号し終わった画像データから順番に各ストリーミングデータに対応したメモリに格納する。選択情報の記述、この選択情報に基づくフレームの抽出処理等は、図１に示した画像情報復号装置１と同様に実行できる。
【００４３】
【発明の効果】
以上詳細に説明したように、本発明に係る画像情報復号装置は、出力画像選択手段において、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、表示手段では、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【００４４】
また、本発明に係る画像情報復号方法によれば、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像情報復号装置を説明する構成図である。
【図２】上記画像情報復号装置において、メモリに格納される画像データと選択情報を説明する図である。
【図３】上記画像情報復号装置によって出力される復号画像データのフレームレートとＳＴＣとの関係を説明する図である。
【図４】本発明の別の実現例として示す画像情報復号装置を説明する構成図である。
【図５】従来の復号装置において、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合を説明する図である。
【符号の説明】
１ 画像情報復号装置、１１ 受信部、１２ ストリーム分割部、１３ デコーダ、１４ メモリ、１５ 表示部、１６ 基準時刻情報生成部、１７ 出力画像選択部、２１ デコーダ
【発明の属する技術分野】
本発明は、画像情報復号装置及び画像情報復号方法に関し、特に、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように伝送路を介して送信側から受信側に動画像データを伝送し、受信された動画像データを受信側で実時間再生（ストリーミング）する場合に用いて好適な画像情報復号装置及び画像情報復号方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法及び装置が放送局と一般家庭との間の情報配信等において普及しつつある。
【０００３】
このような画像情報変換装置は、例えば、離散コサイン変換等の直交変換と動き補償により画像データを圧縮する方式に則っている。特に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：動画像符号化専門家会合）によって標準化されている画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８に定義されており、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このＭＰＥＧ方式のように、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置では、画像データにおける符号化単位としての各マクロブロックにおいて、画像内符号化画像（以下、イントラ符号化画像と記す。）を用いるか、画像間符号化画像（以下、インター符号化画像と記す。）を用いるかの判定、参照画像フレームとして、前方予測符号化画像を用いるか、後方予測符号化画像を用いるか、双方向予測符号化画像を用いるかの判定等を行っている。
【０００５】
最近では、特に、インターネット等のネットワーク間データ伝送の普及と、マルチメディアデータを扱うことのできる携帯型端末の普及とともに、これらに対応した総合マルチメディア符号化方式が、ＭＰＥＧ４規格としてＩＳＯ／ＩＥＣ１４４９６に定義されている。ＭＰＥＧ４規格では、ＭＰＥＧ１，ＭＰＥＧ２およびＩＴＵ−Ｔ Ｈ．２６３等に使用されるツールを基本とするものの、伝送すべき三次元空間情報を、空間内に位置するヒトや建物などのオブジェクト毎に個別符号化することにより符号化効率を高めるとともに、各オブジェクトの加工編集を可能にしている。
【０００６】
このＭＰＥＧ４規格では、各予測符号化で得られた各ピクチャを、動画像データとしてディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等の伝送路や、いわゆるインターネット等のネットワークを介して伝送して、送信先にて実時間再生する（以下、ストリーミングと記す。）ことを想定している。
【０００７】
このとき受信側では、伝送された符号化ビットストリームを受信した際に、誤り訂正処理、復号処理等を施しているが、伝送路のトラフィック等によっては、パケット喪失やデータエラー、フレームレートの変動は避けられない。特に、複数の画像データであるマルチストリームがある場合には、ネットワークの輻輳状況や各通信機器の能力差等によってフレームレートが変動する場合もある。また、機器によってフレームレートが異なる場合もある。
【０００８】
複数のマルチメディアデータを受け取ることができる復号装置では、図５に示すように、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合、表示装置のフレームレートに合わせて画像データのフレームを選択することによってストリーム毎又は機器毎に異なるフレームレートを吸収して１つの表示装置にて同期して表示できるようにしている。
【０００９】
例えば、時刻Ｔ０とＴ１には、Ａ０、Ｂ０、Ｃ０を表示し、時刻Ｔ２には、Ａ１、Ｂ０、Ｃ０を表示し、時刻Ｔ３には、Ａ１、Ｂ１、Ｃ１を表示し、時刻Ｔ４及びＴ５には、Ａ２、Ｂ１、Ｃ１を表示して各ストリームや表示装置の表示可能フレームに合わせて複数のマルチメディアデータを同期表示している。
【００１０】
また、このほかにも、ひとつの表示装置で複数のストリーム間の同期をとって再生するための技術としては、複数送られるストリームのなかで主ストリームを決め、主ストリームの基準時刻情報に合わせて他のストリームのデコードや再生を行って、基準周波数の違いによって生じる同期再生時の不具合を解消する技術もある（例えば、特許文献１参照。）。
【００１１】
【特許文献１】
特開２００１−１９７０４８
【００１２】
【発明が解決しようとする課題】
ところが、このような複数ストリームの同期再生方法では、送られるストリームの本数が増加すればするほど表示すべき画像の選択パターンが増え、互いにフレームレートの異なるストリームを同期して表示するための処理が複雑化する。また、ネットワークの輻輳時などにフレームレートを低下させて一枚のフレームの画質を向上するような技術も提案されているが、この場合、フレームレートが頻繁に変動するため、同期再生・同期表示のための制御が困難であった。このように、従来の複数ストリームの同期再生方法では、以上のようなフレームレートの変化に対応するために、ネットワークの輻輳状態等を監視して即座に対応する処理を実行しなくては、複数ストリーム間の同期をとることが困難であった。
【００１３】
特に、オブジェクト符号化方式であるＭＰＥＧ４方式等において、例えば画像データをオブジェクト毎に分けて異なるストリームとしてリアルタイム受信リアルタイム再生（ストリーミング）するような場合を想定すると、上述したような表示フレームの選択制御では、ネットワークの状態等によって異なるフレームレートで送信される複数のストリーム間の表示の同期をとる処理が複雑で、表示画像の同期ずれを吸収できない場合が生じる。
【００１４】
更に近年では、ＣＲＴディスプレイ、液晶ディスプレイのように表示装置の種類も多様化しており、表示装置毎に表示フレームレートも異なっている。これに加えて表示装置の低消費電力化の手法として表示速度を低下させる等の技術もあり、送信されるストリーム間の同期をとるだけでなく表示装置自体の表示フレームレートの変動と表示すべきストリームとの同期をとる必要がある。
【００１５】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、複数のストリームを復号し画像を合成して表示する場合、ストリーム毎のフレームレート差に依存することなく各ストリーム間の同期をとって表示することができる画像信号復号装置及び画像信号復号方法に関する。
【００１６】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報復号装置は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力装置において、複数の画像圧縮情報を分割する分割手段と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号手段と、画像データと出力時刻情報とを記憶する記憶手段と、基準時刻情報を生成する基準時刻情報生成手段と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択手段と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示する表示手段とを備えることを特徴とする。
【００１７】
ここで、表示手段は、単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成手段は、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報を変更できる。
【００１８】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時刻情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号手段において算出すればよい。
【００１９】
また、本発明に係る画像情報復号方法は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力方法において、複数の画像圧縮情報を分割する分割工程と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号工程と、画像データと出力時刻情報とを記憶手段に記憶する記憶工程と、基準時刻情報を生成する基準時刻情報生成工程と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報が出力時刻情報を過ぎたものの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択工程と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示手段に表示する表示工程とを有することを特徴とする。
【００２０】
ここで、表示工程では、表示手段に対して表示できる単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成工程にて、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報が変更される。
【００２１】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時間情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号工程にて算出すればよい。
【００２２】
【発明の実施の形態】
本発明は、フレーム間相関を利用して画像データを圧縮して画像圧縮情報を得る画像情報復号装置であって、動画像データを再生してディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように、いわゆるインターネット等の伝送路を介して送信側から受信側に複数の動画像データを伝送し受信側でこの複数の動画像データを実時間再生（ストリーミング）するときに、簡易な処理にて、異なるフレームレートで送られた画像データ間の同期をとって１つのモニタ（表示部）で同時に出力できるようにした装置である。
【００２３】
以下、本発明の具体例について、図面を参照して詳細に説明する。図１に示す画像情報復号装置は、外部の画像信号処理装置によって符号化され、ＰＥＳ
（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）化されて送られた画像データ（画像圧縮情報）を復号する装置であって、本具体例は、特に、ＭＰＥＧ４規格に対応したデコーダに適用した例である。本具体例では、外部から送られるシステムストリーム（Ｓｙｓｔｅｍ Ｓｔｒｅａｍ）には、フレームレートが異なるストリーミングデータＡ，ストリーミングデータＢ，ストリーミングデータＣの３つのデータが含まれているものとして説明するが、実際にはストリームの個数は限定されない。
【００２４】
画像情報復号装置１は、外部よりストリーミングデータを受け取って復号する為の構成として、ストリーミングデータを受信する受信部１１と、受信した複数のストリーミングデータを分割するストリーム分割部１２と、分割されたストリーミングデータを復号するデコーダ１３ａ，１３ｂ，１３ｃと、復号して得られた画像データを出力する前にフレーム毎に一時格納するメモリ１４ａ，１４ｂ，１４ｃとを備えている。また、復号した画像データを出力する為の構成として、表示部１５と、表示部における表示フレームレートを定める基準となる時刻情報を生成する基準時刻情報生成部１６と、メモリ１４に格納されたフレームの出力タイミングを指定する出力画像選択部１７とを備えている。
【００２５】
受信部１１は、いわゆるインターネットのような外部ネットワークから送られるＰＥＳ化されたストリーミングデータを受信し、ストリーム分割部１２へ供給する。ストリーム分割部１２では、ストリーミングデータを分割し、それぞれ対応したデコーダ１３へ供給する。例えば、ストリーミングデータＡであればデコーダ１３ａへ、ストリーミングデータＢであればデコーダ１３ｂへ、ストリーミングデータＣであればデコーダ１３ｃへ供給される。
【００２６】
デコーダ１３ａ，１３ｂ，１３ｃは、それぞれ対応するストリーミングデータを復号し、復号して得た画像データをフレーム毎に対応したメモリ１４へ供給するとともに、このフレームを出力すべき時刻の情報（以下、出力時刻情報）もまたメモリ１４に供給する。この出力時刻情報としては、ＰＥＳ中に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を用いる。但し、ＰＴＳが含まれないデータの場合には、出力時刻情報をデコーダ１３にて算出する。具体的には、デコーダ１３にてカウントされるフレームレートの逆数を算出し、これをを加算した値を出力時刻情報としてメモリ１４へ供給すればよい。
【００２７】
メモリ１４もデコーダ同様、ストリーミングデータ毎に設けられる。このメモリ１４は、デコーダ１３にて復号された画像データとこの画像データ（フレーム）の出力時刻情報とを一時的に格納する。また、メモリ１４には、格納された１フレーム分の画像データに対応付けて、このフレームが格納されたメモリ内の領域を保持するか解放するかを示す情報が記述されている。この情報は、後述する出力画像選択部１７によって記述される。メモリ１４の詳細な説明については、具体例を用いて後述する。
【００２８】
表示部１５は、メモリ１４から読み出した画像データを表示する。実際には、表示部１５は、メモリ１４に一時格納された各フレームの中から出力すべきタイミングで出力すべき画像データを抽出する機能と、これら抽出した画像データの同期をとって合成する機能と、合成して得られた画像データを表示する機能とを有している。また、表示部１５は、所定の表示速度で画像データを表示する度に基準時刻情報生成部１６に対して表示フレームレート（表示速度の逆数）を表す信号を通知する。
【００２９】
表示部１５は、画像データを抽出する機能及び抽出した画像データの同期をとって合成する機能として、出力画像選択部１７によってメモリ１４に記述された選択情報に基づいてメモリ１４からフレームを抽出し、これをストリーミングデータ毎に行い、抽出したフレームを合成して１つの画像データとして表示する。
【００３０】
基準時刻情報生成部１６は、表示部１５における表示動作の基準となる基準時刻情報、いわゆるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）を生成している。ここでは、基準時刻情報生成部１６は、絶対時間をカウントするクロックを備え、このクロックのカウント値に表示部１５から送られる表示速度の逆数を加算することで表示動作のＳＴＣを生成している。そのため、表示フレームレートが変更されても、これに応じてＳＴＣを変更できる。
【００３１】
出力画像選択部１７は、基準時刻情報生成部１６にて生成されるＳＴＣと、デコーダ１３が復号した画像データとともにメモリ１４に格納された各画像データのＰＴＳ（含まれない場合は、フレームレートの逆数として算出される値）とを比較して、表示部１５が、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。
【００３２】
この選択情報により、デコーダ１３は、復号した画像データをメモリ１４に格納する際に、その領域を解放してよいか保持すべきか、すなわち、その領域に書き込みできるかできないかを判別している。書き込める領域がない場合、デコーダ１３は、復号処理を行わない。
【００３３】
したがって、このような構成を有する画像情報復号装置１は、ストリーミングデータを受信すると、ストリーム分割部１２において受信したストリームを分割し、ストリームに対応したデコーダ１３ａ，１３ｂ、１３ｃへ送出する。ストリーミングデータを受け取ったデコーダ１３は、これを復号し、復号して得た画像データを１フレーム毎にメモリ１４へ格納するとともに、このフレームを出力する時刻を示した出力時刻情報をメモリ１４に書き込む。出力画像選択部１７は、ＳＴＣと各フレームのＰＴＳとを比較し、出力するフレームとして選択するか否かを示す選択情報をフレームに対応付けてメモリ内の領域に記述する。表示部１５では、この選択情報に基づいてフレームを抽出し合成して表示している。
【００３４】
続いて、表示部１５がメモリ１４から表示フレームを抽出する動作を図２を用いて具体的に説明する。本具体例では、ストリーミングデータＡのフレームレートが１５フレーム／秒、ストリーミングデータＢのフレームレートが１０フレーム／秒、ストリーミングデータＣのフレームレートが７．５フレーム／秒であって、表示部１５の表示速度が３０フレーム／秒である。
【００３５】
メモリ１４は、上述したように、各ストリーミングデータの復号画像データを格納する領域ＭＡ，ＭＢ，ＭＣを有している。これらの各領域は、更にｍＡ１，ｍＡ２の２つの領域に分けられている。この領域ｍＡ１に、１フレーム分の画像データが格納できる。
【００３６】
メモリ１４には、デコーダ１３からの復号された画像データとこの画像データに付随した出力時刻情報（ＰＴＳ）とが記憶される。ｍＡ１には、Ａ０フレームとともにこのＡ０フレームのＰＴＳ Ｔ０が記憶され、ｍＡ２には、Ａ１フレームとともにこのＡ１フレームのＰＴＳ Ｔ２が記憶される。
【００３７】
また、メモリ１４には、上述したように出力画像選択部１７によって、表示部１５のＳＴＣがＰＴＳを過ぎたものの中で最も時間的にＳＴＣに近いフレームが出力されるように、このフレームが格納されたメモリ領域を画像データ抽出先として選択する選択情報が記述されている。すなわち、このメモリ領域に格納されたフレームを使用する間は、このフレームが格納された領域を選択すべきことを示すフラグ（図中○印で示す。）が記述され、このフレームを使用しなくなった時点で、このフレームが格納された領域を選択しないことを示すフラグ（図中×印）が記述される。
【００３８】
したがって、表示部１５は、選択情報に基づいてフレームを抽出すれば、図３に示すように、ストリーミングデータＡでは表示部１５のＳＴＣがＴ２，Ｔ３をカウントする間、フレームＡ１が表示され続け、ストリーミングデータＢではＳＴＣがＴ０，Ｔ１，Ｔ２をカウントする間、フレームＢ０が表示され続ける。このフレームを使用しなくなった時点で、この領域を選択しないことを示すフラグが出力画像選択部１７によって記述される。このフラグにより、デコーダ１３は、この領域に次なる１フレーム分の画像データを書き込む。図２に示す領域ｍＡ１におけるＳＴＣ Ｔ２→Ｔ３、Ｔ６→Ｔ７、また、領域ｍＡ２におけるＳＴＣ
Ｔ４→Ｔ５がこれに相当する。
【００３９】
このように、出力画像選択部１７は、表示部１５のＳＴＣと各フレームの出力時刻情報であるＰＴＳとを比較して、抽出先メモリ領域を指定する選択情報をこの画像データとともに記述すればよく、各ストリーミングデータのフレームレートの変動を常時監視する必要はない。また、表示部１５における表示速度の変動を常時監視する必要もない。最終的に、各ストリーミングデータのフレームレートと表示部１５における表示フレームレートとの同期をとって一画面で表示できるようにフレームを抽出する処理は、表示部１５がメモリ１４の選択情報にしたがって画像データを抽出することにより達成されるため、従来に比べて、複数ストリーミングデータの同期再生がより簡易に実行できることになる。
【００４０】
また、デコーダ１３によって表示時刻情報をメモリへの格納する処理も、ＰＥＳから抽出したＰＴＳ、若しくはフレームレートの逆数の和として算出される値を加算していけばよく、表示部におけるＳＴＣの管理も簡便であるため、これらを実現するためのアルゴリズムも簡便でよい。
【００４１】
以上のように、デコーダ１３にてストリーミングデータのフレームレートを監視するようにし、表示部１５にて表示のための基準時刻情報を管理することによって、出力画像選択部１７にてストリーミングデータ毎のフレームレートや表示部における表示速度管理等を実行する必要がない。出力画像選択部１７では、ストリーミングデータの数がさらに増しても、選択情報に応じて画像データを抽出すればよいため、出力画像選択部１７にかかる負担も少ない。
【００４２】
なお、本発明は、上述した具体例のみに限定されず、本発明の要旨を逸脱しない範囲で変更可能である。例えば、図４に示すように、単一デコーダ２１により複数のストリーミングデータの復号を実行するようにしてもよい。この場合、デコーダ２１は、分割された個々のストリーミングデータの復号を時分割にて実行し、復号し終わった画像データから順番に各ストリーミングデータに対応したメモリに格納する。選択情報の記述、この選択情報に基づくフレームの抽出処理等は、図１に示した画像情報復号装置１と同様に実行できる。
【００４３】
【発明の効果】
以上詳細に説明したように、本発明に係る画像情報復号装置は、出力画像選択手段において、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、表示手段では、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【００４４】
また、本発明に係る画像情報復号方法によれば、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像情報復号装置を説明する構成図である。
【図２】上記画像情報復号装置において、メモリに格納される画像データと選択情報を説明する図である。
【図３】上記画像情報復号装置によって出力される復号画像データのフレームレートとＳＴＣとの関係を説明する図である。
【図４】本発明の別の実現例として示す画像情報復号装置を説明する構成図である。
【図５】従来の復号装置において、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合を説明する図である。
【符号の説明】
１ 画像情報復号装置、１１ 受信部、１２ ストリーム分割部、１３ デコーダ、１４ メモリ、１５ 表示部、１６ 基準時刻情報生成部、１７ 出力画像選択部、２１ デコーダ
Claims (10)
- 符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像情報復号装置において、
上記複数の画像圧縮情報を分割する分割手段と、
上記分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号手段と、
上記画像データと上記出力時刻情報とを記憶する記憶手段と、
基準時刻情報を生成する基準時刻情報生成手段と、
上記基準時刻情報と上記出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を上記記憶手段に記述する出力画像選択手段と、
上記記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして上記基準時刻に同期して表示する表示手段と
を備えることを特徴とする画像情報復号装置。 - 上記表示手段は、単位時間当たりの表示画像フレーム数が可変であり、
上記基準時刻情報生成手段は、上記表示画像フレーム数を示す信号を受け取り、これに応じて上記基準時刻情報を変更することを特徴とする請求項１記載の画像情報復号装置。 - 上記画像圧縮情報は、ＭＰＥＧ４方式に準拠していることを特徴とする請求項１記載の画像情報復号装置。
- 上記出力時刻情報は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）であることを特徴とする請求項３記載の画像情報復号装置。
- 上記出力時刻情報は、単位時間当たりに受信される画像圧縮情報のフレーム数の逆数として上記復号手段において算出される値であることを特徴とする請求項１記載の画像情報復号装置。
- 符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像情報復号方法において、
上記複数の画像圧縮情報を分割する分割工程と、
上記分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号工程と、
上記画像データと上記出力時刻情報とを記憶手段に記憶する記憶工程と、
基準時刻情報を生成する基準時刻情報生成工程と、
上記基準時刻情報と上記出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を上記記憶手段に記述する出力画像選択工程と、
上記記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして上記基準時刻に同期して表示手段に表示する表示工程と
を有することを特徴とする画像情報復号方法。 - 上記表示工程では、表示手段に対して表示できる単位時間当たりの表示画像フレーム数が可変であり、
上記基準時刻情報生成工程では、上記表示画像フレーム数を示す信号を受け取り、これに応じて上記基準時刻情報を変更することを特徴とする請求項６記載の画像情報復号方法。 - 上記画像圧縮情報は、ＭＰＥＧ４方式に準拠していることを特徴とする請求項６記載の画像情報復号方法。
- 上記出力時刻情報は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）であることを特徴とする請求項８記載の画像情報復号方法。
- 上記出力時刻情報は、単位時間当たりの受信フレーム数の逆数として上記復号工程にて算出される値であることを特徴とする請求項６記載の画像情報復号方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003006309A JP2004221900A (ja) | 2003-01-14 | 2003-01-14 | 画像情報復号装置及び画像情報復号方法 |
| US10/756,567 US20040190628A1 (en) | 2003-01-14 | 2004-01-13 | Video information decoding apparatus and method |
| KR1020040002177A KR20040065170A (ko) | 2003-01-14 | 2004-01-13 | 화상 정보 복호 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003006309A JP2004221900A (ja) | 2003-01-14 | 2003-01-14 | 画像情報復号装置及び画像情報復号方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004221900A true JP2004221900A (ja) | 2004-08-05 |
Family
ID=32896731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003006309A Withdrawn JP2004221900A (ja) | 2003-01-14 | 2003-01-14 | 画像情報復号装置及び画像情報復号方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040190628A1 (ja) |
| JP (1) | JP2004221900A (ja) |
| KR (1) | KR20040065170A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008545335A (ja) * | 2005-07-01 | 2008-12-11 | マイクロソフト コーポレーション | 対話型マルチメディア・プレゼンテーション管理の同期性 |
| US8305398B2 (en) | 2005-07-01 | 2012-11-06 | Microsoft Corporation | Rendering and compositing multiple applications in an interactive media environment |
| US8656268B2 (en) | 2005-07-01 | 2014-02-18 | Microsoft Corporation | Queueing events in an interactive media environment |
| US8799757B2 (en) | 2005-07-01 | 2014-08-05 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
| JP7075610B1 (ja) | 2021-08-27 | 2022-05-26 | 西武建設株式会社 | 動画生成システム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2395757A1 (en) * | 2006-05-24 | 2011-12-14 | Panasonic Corporation | Image decoding device |
| KR101143907B1 (ko) * | 2007-02-15 | 2012-05-10 | 삼성전자주식회사 | 디지털 방송 재생 방법 및 장치 |
| CN110753202B (zh) * | 2019-10-30 | 2021-11-30 | 广州河东科技有限公司 | 可视对讲系统的音视频同步方法、装置、设备及存储介质 |
| CN111277896A (zh) * | 2020-02-13 | 2020-06-12 | 上海高重信息科技有限公司 | 对网络视频流图像拼接的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6549240B1 (en) * | 1997-09-26 | 2003-04-15 | Sarnoff Corporation | Format and frame rate conversion for display of 24Hz source video |
| JP4208398B2 (ja) * | 2000-10-05 | 2009-01-14 | 株式会社東芝 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
-
2003
- 2003-01-14 JP JP2003006309A patent/JP2004221900A/ja not_active Withdrawn
-
2004
- 2004-01-13 KR KR1020040002177A patent/KR20040065170A/ko not_active Withdrawn
- 2004-01-13 US US10/756,567 patent/US20040190628A1/en not_active Abandoned
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008545335A (ja) * | 2005-07-01 | 2008-12-11 | マイクロソフト コーポレーション | 対話型マルチメディア・プレゼンテーション管理の同期性 |
| US8305398B2 (en) | 2005-07-01 | 2012-11-06 | Microsoft Corporation | Rendering and compositing multiple applications in an interactive media environment |
| US8656268B2 (en) | 2005-07-01 | 2014-02-18 | Microsoft Corporation | Queueing events in an interactive media environment |
| US8799757B2 (en) | 2005-07-01 | 2014-08-05 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
| JP7075610B1 (ja) | 2021-08-27 | 2022-05-26 | 西武建設株式会社 | 動画生成システム |
| JP2023032639A (ja) * | 2021-08-27 | 2023-03-09 | 西武建設株式会社 | 動画生成システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040190628A1 (en) | 2004-09-30 |
| KR20040065170A (ko) | 2004-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6674477B1 (en) | Method and apparatus for processing a data series including processing priority data | |
| EP0661888B1 (en) | Multiplexing/demultiplexing method for superimposing sub- images on a main image | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| JP3516585B2 (ja) | データ処理装置及びデータ処理方法 | |
| US7788690B2 (en) | Receiving apparatus and method | |
| US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
| JP2003153254A (ja) | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 | |
| JP2004537226A (ja) | 別個に符号化された信号をａｔｓｃのチャンネルにより放送するためのシステムおよび方法 | |
| KR20040065170A (ko) | 화상 정보 복호 장치 및 방법 | |
| JP4102223B2 (ja) | データ処理装置及びデータ処理方法 | |
| KR100530919B1 (ko) | 동화상 데이터의 처리 및 송수신 방법 및 장치 | |
| CN100473158C (zh) | 发送和接收动态图像数据的方法 | |
| JP3448047B2 (ja) | 送信装置及び受信装置 | |
| JP3519722B2 (ja) | データ処理方法及びデータ処理装置 | |
| JP2007221826A (ja) | 受信端末および受信方法 | |
| KR100530920B1 (ko) | 화상 · 음성 송신장치 및 수신장치 | |
| CN121531168A (zh) | 一种高清视频多屏同步传输系统及方法 | |
| JP2016072919A (ja) | 動画像処理方法、動画像処理システムおよび動画像処理プログラム | |
| JP2006304309A (ja) | 送信装置、受信装置および通信システム | |
| JP2004048657A (ja) | 画像・音声受信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060404 |