JP7356579B2 - コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体 - Google Patents

コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体 Download PDF

Info

Publication number
JP7356579B2
JP7356579B2 JP2022511181A JP2022511181A JP7356579B2 JP 7356579 B2 JP7356579 B2 JP 7356579B2 JP 2022511181 A JP2022511181 A JP 2022511181A JP 2022511181 A JP2022511181 A JP 2022511181A JP 7356579 B2 JP7356579 B2 JP 7356579B2
Authority
JP
Japan
Prior art keywords
information
image data
head
motion
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022511181A
Other languages
English (en)
Other versions
JP2022545880A (ja
Inventor
呉▲ちゃお▼
呉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2022545880A publication Critical patent/JP2022545880A/ja
Application granted granted Critical
Publication of JP7356579B2 publication Critical patent/JP7356579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本願は、２０１９年８月２０日に中国専利局に出願された、出願番号が２０１９１０７７０６５４．５である中国特許出願の優先権を主張し、当該出願の全部内容は引用によって本願に組み込まれている。
本願は、通信分野に関し、具体的には、コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体に関する。
没入型ビデオは、ユーザがメディアの内容の発展に関与して、臨場感の体験をするようにさせて、従来と完全に異なるメディアへの感覚をもたらすことができる。ユーザはヘッドマウント表示装置を装着することによって、ビデオの再生過程にリアルタイムで関与することができる。没入型ビデオは従来のビデオと異なり、３６０度パノラマビデオとも呼ばれ、これによってカバーされたビデオ領域がより大きく、範囲がより広くなっている。
ユーザが没入型ビデオを観賞する時に、ユーザの視角範囲が限定され、ユーザに観賞されるビデオのシーンは完全な３６０度パノラマビデオであるものではなく、パノラマビデオにおける一部の画面だけであるため、没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかは、早急に解決すべき技術問題となっている。
本願は、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題を効果的に解決できるコードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体を提供する。
第１態様では、本願の実施例は、
パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法を提供する。
第２態様では、本願の実施例は、
コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法を提供する。
第３態様では、本願の実施例は、
パノラマ画像データ及び運動情報を取得するように構成される取得モジュールと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュールと、を備える、
コードストリームの処理装置を提供する。
第４態様では、本願の実施例は、
コードストリームを受信するように構成される受信モジュールと、
前記コードストリームから運動情報を抽出するように構成される抽出モジュールと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュールと、を備える、
コードストリームの処理装置を提供する。
第５態様では、本願の実施例は、
１つ又は複数のプロセッサと
１つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサは、本願の第１態様に記載のコードストリームの処理方法を実現する、
第１端末を提供する。
第６態様では、本願の実施例は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサは、本願の第２態様に記載のコードストリームの処理方法を実現する、
第２端末を提供する。
第７態様では、本願の実施例は、
コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、本願の実施例におけるいずれかの方法を実現する、
記憶媒体を提供する。
本願の以上の実施例と他の態様及びその実現方式について、図面の簡単な説明、発明を実施するための形態及び特許請求の範囲によって、より多くの説明を提供する。
本願に係る１つのコードストリームの処理方法のフローの模式図である。 本願に係る他のコードストリームの処理方法のフローの模式図である。 本願に係る１つのコードストリームの処理装置の構造模式図である。 本願に係る更なるコードストリームの処理装置の構造模式図である。 本願に係る他のコードストリームの処理装置の構造模式図である。 本願に係るさらに他のコードストリームの処理装置の構造模式図である。 本願に係る第１端末の構造模式図である。 本願に係る第２端末の構造模式図である。
本願の目的、技術案及び利点をより明確にするために、以下、図面を参照しながら、本願の実施例を詳細に説明する。なお、実施例及び実施例の特徴は、衝突しない限り、任意の組合せで相互に組み合わせることができる。
１つの例示的な実施形態において、図１は本願に係る１つのコードストリームの処理方法のフローの模式図である。当該方法はコードストリームを形成する場合に適用可能であり、形成されたコードストリームは、ユーザに再生される時に、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。当該方法は本願に係るコードストリームの処理装置によって実行可能であり、当該コードストリームの処理装置はソフトウェア及び／又はハードウェアによって実現されて、第１端末に集積されることが可能である。第１端末は、コードストリームの生成装置であってもよい。そのうち、コードストリームはビデオコードストリームであってもよいし、システム層情報を含むメディアストリームであってもよい。生成されたコードストリームは、直接に第１端末でユーザに観賞されてもよいし、第２端末に送信されて観賞されてもよい。観賞する時に、運動情報に基づいて対応する目標画像データを決定して、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定する技術効果を実現することができる。また、本願のシーンは少なくとも、本願が映画製作に使用され、監督が異なるグループの運動情報、即ち、異なるグループの運動パラメータ組合せを利用し、異なる叙述の手がかりを対応して設計して、対応するコードストリームを取得すること、を含む。ユーザは観賞する時に、自分の好みに応じて異なるグループの運動情報に示されるストーリーのシーンを選出することができ、これにより、異なるユーザが同一のコードストリームを観賞する時に、異なるユーザが異なるグループの運動パラメータ組合せを選出していることにより、観賞されたストーリーのシーンが異なっていることを実現し、本願はスポーツイベントに使用可能であり、異なるスポーツ選手が異なるグループの運動情報に対応し、ユーザが観賞する時に好みのスポーツ選手の運動画面を選択し、即ち、好みのスポーツ選手に対応する運動パラメータ組合せを選出して、好みのスポーツ選手の運動画面を観賞することを実現することができる。
一般的な場合に、没入型ビデオは球面形式で採集されたものであり、送信端が球面データを二次元平面データにマッピングし、二次元平面データが符号化された後に配信又は記憶され、受信端が圧縮データを取得した後に、二次元平面データを復号化して再構築してから、二次元平面データをユーザのニーズに応じてレンダリングする。異なるユーザは没入型ビデオを観賞する時に、頭部又はボディの運動によって異なるビデオ画面を観賞することができる。
本願は符号化時に、即ち、コードストリームを生成する時に頭部又はボディの運動情報をビデオデータに、即ち、パノラマ画像データに関連付け、復号化して再構築して再生する時に、対応する運動情報によってビデオの再生を制御し、異なるビデオ観賞効果の目的を達成することができる。復号化して再構築して再生する時にも、自分の個人的な好みに応じて、異なる予め設定された視線又はボディの運動軌跡を選択して異なるビデオ観賞効果を取得することができる。異なる視線又はボディの運動軌跡は、異なるグループの運動パラメータ組合せによって示すことができる。
図１に示すように、本願に係る１つのコードストリームの処理方法は、Ｓ１１０、Ｓ１２０及びＳ１３０を含む。
Ｓ１１０において、パノラマ画像データを取得する。
パノラマ画像データは、コードストリームを形成することに使用可能である。コードストリームは没入型ビデオであってもよい。
パノラマ画像データは、複数のカメラヘッドによって同時に採集された後に接合されたものであってよいし、単一のカメラヘッドによって平面移動、回転等の操作で複数枚の画像が採集されて接合されたものであってもよいし、人工合成のパノラマ画像データであってもよいし、現存のパノラマ画像データであってもよいし、また、パノラマカメラによって採集されて得られたものであってもよい。
第１端末のパノラマ画像データを取得する手段には、残りのデバイスが送信したパノラマ画像データを受信すること、又は、第１端末の採集装置によって取得することが含まれるが、これらに限定されない。採集装置には、少なくとも１つのカメラヘッド及びパノラマカメラのうちの少なくとも一つが含まれるが、これらに限定されない。
そのうち、パノラマ画像データは、単一枚の静止画像であってもよいし、ビデオの中の１フレームの画像データであってもよい。
Ｓ１２０において、運動情報を取得する。
運動情報は、パノラマ画像データが採集される時と同期をとってリアルタイムで取得されてよいし、予め設定されたものであってもよく、ここで限定されずに、パノラマ画像データに関連付けられた運動情報が取得可能であればよい。即ち、本ステップにおいて取得された運動情報は、Ｓ１１０において取得されたパノラマ画像データに関連付けられた運動情報であってもよい。
コードストリームは複数フレームのパノラマ画像データを符号化することによって生成することができ、各フレームのパノラマ画像データにはいずれも、対応する運動情報が存在可能であり、本実施例のコードストリームを生成する過程において、パノラマ画像データを対応する運動情報に関連付けることができることを理解すべきである。
運動情報には、頭部運動情報、ボディ運動情報及び視点運動情報が含まれるが、これらに限定されない。頭部運動情報には、ユーザの頭部位置情報及び頭部回転情報が含まれてよいし、頭部変化情報、例えば、頭部位置情報と頭部回転情報との組合せが含まれてもよいが、これらに限定されない。ボディ運動情報には、ユーザの、ボディ位置情報、ボディ回転情報及びボディ変化情報、例えば、ボディ位置情報とボディ回転情報との組合せが含まれてもよいが、これらに限定されない。視点運動情報は、ユーザの、視点位置情報、視点回転情報及び視点変化情報、例えば、視点位置情報と視点回転情報との組合せであってもよい。
そのうち、位置情報は、グローバル座標系、例えばデカルト座標系における座標情報であってよいし、ローカル座標系における座標情報であってもよい。位置情報には、頭部運動情報、ボディ運動情報及び視点運動情報が含まれるが、これらに限定されない。
本実施例における運動情報は、少なくとも１グループの運動パラメータ組合せであってもよい。コードストリームが再生される時に、ユーザは実際の状況に応じて、相応する運動パラメータ組合せを選出し、コードストリームの観賞を行うことができる。各グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。運動情報が複数グループの運動パラメータ組合せを含む場合に、運動情報は複数の頭部運動情報を含んでもよい。各グループの運動パラメータ組合せはコードストリームにおける異なるストーリーライン、即ち、異なるビデオ画面、即ち、パノラマ画像データにおける異なる部分の画像に対応することができることを理解すべきである。試合のシーンを例にとると、１グループの運動パラメータ組合せは、１人のスポーツ選手の異なる時刻の画像に対応することができる。また、映画のシーンを例にとると、監督は異なるストーリーの進行方向を設定する必要があれば、コードストリームを生成する時に、複数グループの運動パラメータ組合せを設定することができ、そのうち、各グループの運動パラメータ組合せは異なるストーリーの進行方向に対応し、即ち、各グループの運動パラメータ組合せのユーザに呈示するのはパノラマ画像データにおける異なる部分の画像である。
例示的に、表１は頭部運動情報の組織関係表である。ボディ運動情報及び視点運動情報の組織関係表は、頭部運動情報の組織関係表に基づいて適応的な調整を行うことができ、ここでくどくど述べる必要はない。
Figure 0007356579000001
表１を参照し、記述子は、運動情報に含まれる内容に占用されるビット数を示すことができる。例えば、ｕ（１０）は、１０ビットが占用されることを示すことができる。
ここで、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｉｄは、運動情報の識別子と理解すべきであり、異なる頭部運動情報を識別し、即ち、異なる時刻の運動情報に対して区別を行うために使用される。
ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、頭部運動情報のキャンセル標識と理解すべきである。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇが１に等しいと、前の頭部運動情報が不変のまま保持され、即ち、１つ前の時刻の頭部運動情報が不変のまま保持されることを示し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇが０に等しいと、その後は新たな頭部運動情報となる。
ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、頭部運動情報の維持標識と理解すべきである。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが０に等しいと、この頭部運動情報は現在のパノラマ画像データのみに適用し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１に等しいと、この頭部運動情報は後続のフレームに引き続き使用可能である。
ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、運動情報のグループ数を示す。
ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｍｅｎｔ＿ｐａｒａ（）は、頭部運動パラメータを示すことができる。頭部運動パラメータは、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部絶対回転情報との組合せとのうちの１つを含む。
表２は、頭部運動パラメータの１つの組織形態表である。
Figure 0007356579000002
表２を参照し、当該表は、頭部絶対位置情報及び頭部絶対回転情報から頭部運動パラメータが組み合わせられることを示すことができる。ここで、（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｚ）は位置情報の絶対座標成分、即ち、頭部絶対位置情報であってもよい。（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ）は絶対回転角度、即ち、頭部絶対回転情報であってもよい。
表３は、頭部運動パラメータの他の組織形態表である。
Figure 0007356579000003
表３を参照し、当該表は、頭部相対位置情報及び頭部相対回転情報から頭部運動パラメータが組み合わせられることを示すことができる。ここで、（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｚ）は位置情報差値、即ち、頭部相対位置情報であってもよい。（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ＿ｄｉｆｆ）は、回転角度差値、即ち、頭部相対回転情報であってもよい。
表４は、頭部運動パラメータの更なる組織形態表である。
Figure 0007356579000004
表４を参照し、ｍｏｖ＿ｔｙｐｅ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、運動タイプ数量を示す。
ｍｏｖ＿ｔｙｐｅは、運動情報の運動タイプを示すことができ、０が无データを示し、１が頭部絶対位置情報を示し、２が頭部相対位置情報を示し、３が回転角度絶対値、即ち、頭部絶対回転情報を示し、４が回転角度相対値、即ち、頭部絶対回転情報を示す。
（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｚ）は、位置情報の絶対座標成分、即ち、頭部絶対位置情報を示すことができる。
（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｚ）は位置情報差値、即ち、頭部相対位置情報を示すことができる。
（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ）は、絶対回転角度、即ち、頭部絶対回転情報を示すことができる。
（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ＿ｄｉｆｆ）は、回転角度差値、即ち、頭部相対回転情報を示すことができる。
類似的に、ユーザのボディ運動情報及び視点運動情報は、上記のような表の形式で単独で出現してもよいし、ユーザの頭部運動情報、ボディ運動情報及び視点運動情報の少なくとも１つを上記のような表の形式で現してもよい。そのうち、ボディ運動情報は姿勢運動情報であってもよい。
運動情報及びパノラマ画像データを取得する順序は限定されず、同期に取得してもよいし、順次に取得してもよく、例えば、先に運動情報を取得してから、パノラマ画像データを取得する点に留意すべきである。
Ｓ１３０において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成する。
パノラマ画像データ及び運動情報を取得した後に、本ステップは、パノラマ画像データ及び運動情報に基づいてコードストリームを生成することができる。具体的には、コードストリームは、異なる時刻に取得されたパノラマ画像データ及び運動情報を符号化して得られたデータであってもよい。パノラマ画像データを取得した後に、パノラマ画像データをコードストリームに符号化することができる。運動情報は、直接にコードストリームに書き込まれてもよいし、現在の時刻の運動情報と、１つ前の時刻の運動情報とを比較し、現在の時刻の運動情報をコードストリームに書き込むか否かを決定し、又は、コードストリームに書き込まれる内容を決定してもよい点に留意すべきである。
例示的に、現在の時刻の運動情報が１つ前の時刻の運動情報と同じである場合に、コードストリームに運動情報を書き込まなくてもよく、又は、形成されたコードストリームの精度を高めるために、１つの識別情報を設定し、識別情報とパノラマ画像データとを関連付けて、識別情報をコードストリームに書き込むことができる。前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。そのうち、前の時刻は、前回に運動情報を取得した時刻であってもよい。
本願の実施例に係る１つのコードストリームの処理方法は、パノラマ画像データを取得することと、運動情報を取得することと、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む。没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題が解決されており、パノラマ画像データ及び運動情報に基づいて生成されたコードストリームは、ユーザが当該コードストリームを観賞する時に、ユーザに呈示する目標画像データを自動的に決定し、即ち、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。そのうち、目標画像データは、運動情報に基づいてパノラマ画像データに対して処理を行って得られたデータである。
上記の実施例に基づいて、上記の実施例の変形例が提出されており、なお、説明を簡単にするために、変形例において、上記の実施例と異なる点についてのみ説明する。
１つの実施例において、前記運動情報は前記パノラマ画像データと同期に取得され、又は、前記運動情報は予め設定されたものである。
１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
頭部運動情報は、頭部位置を示す情報と理解すべきである。頭部運動情報に含まれる具体的な内容は限定されず、頭部位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。ボディ運動情報は、ボディ位置を示す情報と理解すべきである。ボディ運動情報に含まれる具体的な内容は限定されず、ボディ位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。視点運動情報は、視点位置を示す情報と理解すべきである。視点運動情報に含まれる具体的な内容は限定されず、視点位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。
１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部絶対回転情報との組合せとのうちの１つを含む。
「相対」は、１つ前の時刻の運動情報に対するというものと考えられる点に留意すべきである。例えば、頭部相対回転情報は、前の時刻の頭部絶対位置情報に対する回転情報であってもよい。
１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの１つを含む。
１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
運動パラメータクラスタは、異なる運動パラメータ組合せを区別することに使用可能であり、運動パラメータクラスタの具体的な形式は限定されず、対応する運動パラメータ組合せの具体的な内容に応じて決定されることができる。ユーザがコードストリームを観賞する過程において、運動情報が複数グループの運動パラメータ組合せを含めば、ユーザは、指令を選出することによって対応する運動パラメータクラスタを選出して、選出された運動パラメータクラスタに対応する運動パラメータ組合せに基づいて目標画像データを決定することができる。
１つの実施例において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することと、前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することとのうちの少なくとも１つを含み、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。
現在に取得された運動情報が１つ前の時刻の運動情報と同じである場合に、現在の運動情報が変わらないと考えられ、コードストリームを生成する過程において、直接にパノラマ画像データに基づいて生成してもよいし、運動情報を、識別情報を使用して示し、即ち、識別情報を新たな運動情報とし、パノラマ画像データ及び新たな運動情報に基づいてコードストリームを生成してもよい。
１つの実施例において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことを含む。
コードストリームを生成する過程において、現在の運動情報と、１つ前の時刻の運動情報とを比較し、直接に運動情報をパノラマ画像データに基づいて生成されたコードストリームに書き込むことができる。
１つの実施例において、前記運動情報を前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）と、ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むことを含む。そのうち、ＳＥＩの関連標準の情報は、Ｈ．２６４／ＡＶＣとＨ．２６５／ＨＥＶＣを含む。ＶＵＩの関連標準の情報はＨ．２６４／ＡＶＣとＨ．２６５／ＨＥＶＣを含む。
表５は、運動情報をＳＥＩに書き込んだ時のＳＥＩの構成表である。
Figure 0007356579000005
表５を参照し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造は、表１のｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造に対応しており、頭部運動情報を含んでいる。ＳＥＩ情報から、識別情報がＨＥＡＤ＿ＭＯＶＥＭＥＮＴ＿ＰＡＲＡである情報を取得することができる。
類似的に、ユーザのボディ運動情報及び視点運動情報は、表１の形式でＳＥＩに単独で出現してもよいし、ユーザの、頭部運動情報、ボディ運動情報及び視点運動情報を組み合わせてＳＥＩに現してもよい。
表６は、運動情報をＶＵＩに書き込んだ時のＶＵＩの構成表である。
Figure 0007356579000006
表６を参照し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｆｌａｇの取られた値が１に等しいと、後続に運動情報があることを示す。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造は、表１のｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造に対応しており、運動情報を含んでいる。
１つの実施例において、運動情報をシステム層メディアアトリビュート記述ユニットに書き込んでもよく、例えば、トランスポートストリームでの記述子、ファイルフォーマットでのデータユニット（例えば、Ｂｏｘでのデータユニット）、トランスポートストリームでのメディア記述情報であり、例えば、メディアプレゼンテーション記述（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ、ＭＰＤ）等の情報ユニットである。ＭＰＤに含まれる関連標準の情報はＭＰＥＧ ＤＡＳＨである。
１つの実施例において、当該方法は、コードストリームを記憶又は送信することをさらに含む。
コードストリームは、送信されることによって、第２端末を使用するユーザに観賞されることができる。
以下、本実施例に係るコードストリームの処理方法について、例示的に説明し、本願が提供可能なコードストリームの処理方法は、仮想現実ビデオコードストリームの処理方法であると考えられ、まず、パノラマ画像データを取得し、少なくとも１グループの運動パラメータ組合せを設定し、運動パラメータ組合せをパノラマ画像データのコードストリームに書き込み、コードストリームを送信又は記憶する。本実施例に係る技術案をさらに説明するために、以下、具体的な適用例により本発明の実施例に係る技術案を説明する。
以下、上記の様々な方法に対する説明は、各対応方法の具体例に過ぎない。多種の方法を使用する時に、下記の各方法の例を簡単に組み合わせてつながりをつければ、対応する例を得ることができる。
一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像、即ち、パノラマ画像データ及びびユーザ頭部位置情報をリアルタイムで採集し、Ｔ時刻のユーザ頭部位置がＡ点にあり、Ａ点の位置情報をＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部位置がＢ点にあり、Ｂ点の位置情報をＴ＋１時刻の画像コードストリームに書き込み、また、Ａ点に対するＢ点の位置増量情報（Ｂ－Ａ）をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部位置がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ＝Ｂであれば、位置情報Ｂ又は増量情報（Ｂ－Ａ）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。
パノラマ画像データ及び頭部位置情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部位置情報を加えて得られたものであってもよい点に留意すべきである。
一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像及びユーザ頭部回転角度、即ち、頭部回転情報（頭部相対回転情報又は頭部絶対回転情報を含む）リアルタイムで採集し、Ｔ時刻のユーザ頭部回転角度がαであり、頭部回転角度α情報をＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部回転角度がβであり、頭部回転角度β情報をＴ＋１時刻の画像コードストリームに書き込み、また、βとαとの差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部回転情報がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、α＝βであれば、頭部回転情報β又は差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。
パノラマ画像データ及び頭部回転情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部回転情報を加えて得られたものであってもよい点に留意すべきである。
一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像とユーザの頭部位置情報及び頭部回転角度をリアルタイムで採集し、Ｔ時刻のユーザ頭部位置情報がＡであり、Ｔ時刻の頭部回転角度がαであり、ＡとαをＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部位置情報がＢであり、Ｔ＋１時刻の頭部回転角度がβであり、Ｂ情報とβ情報をＴ＋１時刻の画像コードストリームに書き込み、また、ＢとＡとの差値情報（Ｂ－Ａ）及びβとαとの差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込んでもよいし、Ｂと（β－α）との、又は（Ｂ－Ａ）とβとの組合せ形式をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部回転情報、例えば頭部回転角度がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ＝Ｂ、α＝βであれば、Ｂ又は（Ｂ－Ａ）、β又は（β－α）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。
パノラマ画像データ、頭部位置情報及び頭部回転情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部位置情報及び頭部回転情報を加えて得られたものであってもよい点に留意すべきである。
一例では、現存のパノラマビデオにおいて、ユーザの好み又は予め設定された約束（例えば、ディレクターズ・カット（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ））に応じて、同じ時刻のパノラマ画像データに対して、複数グループの運動パラメータ組合せが生成され、各グループの運動パラメータ組合せが頭部位置情報及び頭部回転情報のうちの少なくとも１つを含んでもよい。例えば、Ｔ時刻において、２グループの運動パラメータ組合せは設定され、それぞれ、第１グループの頭部位置情報がＡ１であり、第２グループの頭部位置情報がＡ２であり、Ａ１とＡ２をＴ時刻の画像コードストリームに書き込む。Ｔ＋１時刻の２グループの運動パラメータ組合せはそれぞれ、第１グループの頭部位置情報がＢ１であり、第２グループの頭部位置情報がＢ２であり、Ｂ１情報とＢ２情報をＴ＋１時刻の画像コードストリームに書き込み、また、第１グループの頭部位置情報Ｂ１とＡ１との差値情報（Ｂ１－Ａ１）、第２グループの頭部位置情報Ｂ２とＡ２との差値情報（Ｂ２－Ａ２）を、Ｔ＋１時刻の画像コードストリームに書き込んでもよいし、頭部位置情報及び差値情報を異なる組合せの形式でＴ＋１時刻の画像コードストリームに書き込んでもよい。頭部位置情報がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ１＝Ｂ１、又はＡ２＝Ｂ２であれば、Ｂ１又は（Ｂ１－Ａ１）、Ｂ２又は（Ｂ２－Ａ２）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。
類似的に、異なるグループの運動パラメータ組合せは、頭部の位置情報及び回転情報の組合せの方式を採用して示すことことができ、ここで、第１グループの運動パラメータ組合せが頭部位置情報を含むもののみを例にとって説明する。運動パラメータ組合せが回転情報を含む場合に、当業者は、上記の例を参照してコードストリームを書き込む具体的な方式を決定することができる。
上記頭部位置情報は、ボディ運動情報と、視点運動情報とのうちの少なくとも１つに取り替えられてもよい点に留意すべきである。
１つの例示的な実施形態において、本願は１つのコードストリームの処理方法をさらに提供しており、図２は本願に係る他のコードストリームの処理方法のフローの模式図である。当該方法は、コードストリームに基づいてコードストリームにおけるどの部分のビデオ画面をユーザに呈示するか（即ち、目標画像データ）を決定する場合に適用可能である。当該方法は、本願に係るコードストリームの処理装置によって実行可能であり、当該コードストリームの処理装置は、ソフトウェア及び／又はハードウェアによって実現されて、第２端末に集積されることが可能である。本実施例に詳細に記載されていない内容は、上記の実施例を参照することができ、ここでくどくど述べる必要はない。
図２に示すように、本願に係るコードストリームの処理方法は、Ｓ２１０、Ｓ２２０及びＳ２３０を含む。
Ｓ２１０において、コードストリームを受信する。
コードストリームは、第１端末で生成されたコードストリームであってもよい。
Ｓ２２０において、前記コードストリームから運動情報を抽出する。
コードストリームを受信した後に、コードストリームから運動情報を抽出することができる。運動情報は、コードストリームにおける異なる位置、例えばＳＥＩ、ＶＵＩ、ＭＰＤ等に配置されてもよい。
Ｓ２３０において、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得する。
コードストリームから運動情報が抽出された場合、抽出された運動情報に基づいて前記抽出された運動情報に対応するパノラマ画像データに対して処理を行い、当該パノラマ画像データの目標画像データを決定することができる。
処理の手段には、運動情報に基づいてパノラマ画像データから一部のデータを切り取り、目標画像データを生成することが含まれるが、これらに限定されない。当該目標画像データは直接にユーザに表示されてよいし、第２端末に記憶されてもよいし、符号化されて新たなコードストリームを生成してもよい。
本願に係るコードストリームの処理方法は、まず、コードストリームを受信し、そして、前記コードストリームから運動情報を抽出し、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得する。没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題が解決されており、ユーザが当該コードストリームを観賞する時に、コードストリームにおける運動情報に基づいて、ユーザに呈示する目標画像データを自動的に決定すること、即ち、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。
上記の実施例に基づいて、上記の実施例の変形例が提出されており、なお、説明を簡単にするために、変形例において、上記の実施例と異なる点についてのみ説明する。
１つの実施例において、前記コードストリームから運動情報を抽出することは、前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報を抽出することを含む。
１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、前記運動情報に基づいてパノラマ画像データから切り取り、目標画像データを取得することを含む。
１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記運動情報は少なくとも１グループの運動パラメータ組合せを含み、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、抽出された運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することを含み、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。
抽出された運動情報が識別情報である場合に、現在の運動情報が１つ前の時刻の運動情報と同じであると考えられ、直接に１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することができる。識別情報の具体的な内容は限定されず、現在の運動情報が１つ前の時刻の運動情報と同じであることを識別可能ものであればよい。
１つの実施例において、当該方法は、運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することをさらに含む。運動情報が抽出されなければ、現在の時刻の運動情報が１つ前の時刻の運動情報と同じであると考えられ、直接に１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することができる。
１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む。
運動情報が少なくとも２グループの運動パラメータ組合せを含む場合に、異なる運動パラメータ組合せが異なる目標画像データに対応することができる。ユーザは、運動パラメータクラスタを選出することによって、異なる目標画像データを取得することができ、例えば、第２端末で各グループの運動パラメータ組合せの運動パラメータクラスタが表示され、ユーザに選出されてもよい。運動パラメータクラスタは、各グループの運動パラメータ組合せを区別することに使用可能である。運動パラメータクラスタの命名方式は限定されず、異なるグループの運動パラメータ組合せに対応する目標画像データを区別するために使用されることを容易にできるものである。例えば、試合のシーンを例にとると、運動パラメータクラスタは、スポーツ選手Ａとスポーツ選手Ｂで命名されることができる。
選出指令は、運動パラメータクラスタを選出するための指令と理解すべきである。選出指令が検出された後に、前記選出指令に対応する運動パラメータクラスタを決定し、異なる選出指令が異なる運動パラメータクラスタに対応することができる。運動パラメータクラスタが決定された後に、運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行い、即ち、運動情報から前記運動パラメータクラスタに対応する運動パラメータ組合せを選出してパノラマ画像データに対して処理を行う。
選出指令が検出されなかった場合に、ユーザが現在に運動パラメータ組合せを切り替えていないと考えられ、１つ前の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行うことができる。
１つの実施例において、前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも１つの操作を行う。
目標画像データが得られた後に、目標画像データに対してビデオ符号化を行い、新たなコードストリームを形成することができる。
１つの実施例において、当該方法は、前記目標画像データを表示することをさらに含む。
以下、本願の実施例を例示的に説明し、本願において、コードストリームを受信し、コードストリームから運動情報を抽出し、そして、運動情報に基づいて対応するパノラマ画像データに対して処理を行って目標画像データを取得し、目標画像データを表示し、又は、目標画像データに対して符号化を行って新たなコードストリームを形成し、新たなコードストリームを伝送又は記憶する。
本実施例に係る技術案をさらに説明するために、以下、具体的な適用例により本発明の実施例に係る技術案を説明する。以下、上記の様々な方法に対する説明は、各対応方法の具体例に過ぎない。多種の方法を使用する時に、下記の各方法の例を簡単に組み合わせてつながりをつければ、対応する例を得ることができる。
例１、
Ｔ時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がＡ点にあり、Ａ点の位置情報に基づいてパノラマ画像データにおける一部の画像データ、即ち、目標画像データを取得し、表示装置に一部の画像データを表示する。Ｔ＋１時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がＢ点にあり、Ｂ点の位置情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に取得された頭部運動情報がＡ点に対するＢ点の位置増量情報（Ｂ－Ａ）であれば、新たな位置情報Ｂを先に算出して、Ｂ点の位置情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に取得された頭部運動情報は位置が変わらないと判明すれば、Ｔ時刻のＡ点の位置に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
例２、
Ｔ時刻のコードストリームを取得し、コードストリームから頭部回転角度αを抽出し、αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。Ｔ＋１時刻のコードストリームを取得し、コードストリームから頭部回転角度βを抽出し、βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に頭部回転角度αに対する差値情報（β－α）が取得されれば、新たな頭部回転角度βを先に算出して、βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に取得された頭部運動情報が変わらないと判明すれば、Ｔ時刻の頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。頭部位置情報が取得されなかった、又は、頭部運動情報が識別情報である場合に、頭部運動情報が変わらないと判明することができる。
例３、
Ｔ時刻のコードストリームを取得し、コードストリームからＡ点にある頭部位置及び頭部回転角度αを抽出し、Ａ点の位置及び頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻のコードストリームを取得し、コードストリームからＢ点にある頭部位置及び頭部回転角度βを抽出し、Ｂ点の位置及び頭部回転角度βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に取得された頭部運動情報がＡ点に対するＢ点の位置増量情報（Ｂ－Ａ）と、頭部回転角度αに対する差値情報（β－α）であれば、新たな位置情報Ｂ及び新たな頭部回転角度βを先に算出して、Ｂ点の位置及び頭部回転角度βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
Ｔ＋１時刻に取得された頭部運動情報は位置が変わらないと判明すれば、Ｔ時刻のＡ点の位置及び頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
例４、
Ｔ時刻のコードストリームを取得し、コードストリームから複数グループの頭部運動情報を抽出し、そのうちの１グループの頭部運動情報、例えば第１グループを選出し、第１グループの頭部運動情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示してもよい。
Ｔ＋１時刻のコードストリームを取得し、コードストリームから複数グループの頭部運動情報を抽出し、Ｔ時刻に選出された運動情報グループに対応して、第１グループの運動情報を選出し、運動情報が絶対値であれば、直接にこの情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
運動情報が相対値であれば、新たな絶対運動情報を先に算出して、新たな絶対運動情報に基づいてパノラマ画像データにおける一部の画像データを取得し、また、新たな絶対運動情報を算出せず、直接にＴ時刻の位置、例えばＴ時刻の運動情報及び増量頭部運動情報、即ち、Ｔ＋１時刻の相対運動情報（例えば、頭部相対位置情報）に基づいて、パノラマ画像データにおける一部の画像データを取得し、最後に表示装置に一部の画像データを表示してもよい。
類似的に、異なるグループの頭部運動情報は、位置情報と回転情報との組合せの方式を採用して示すことことができ、例えば、異なるグループの頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの少なくとも１つを含む。
類似的に、例１乃至例４の頭部運動情報は、ボディ運動情報と、視点運動情報と、頭部運動情報及び視点運動情報からなるものと、頭部運動情報及びボディ運動情報からなるものと、頭部運動情報と、視点運動情報及びボディ運動情報からなるものと、のうちの少なくとも１つに取り替えられてもよい。
コードストリームの処理方法におけるビデオコードストリームは立体ビデオに属し、立体ビデオに適用される時に、運動情報は同時に左視野及び右視野に使用可能である。運動情報は、左視野のみとコードストリームを生成することができるし、右視野のみとコードストリームを生成することができるし、左及び右の視野と一緒にコードストリームを生成することができる点に留意すべきである。
本願は、１つのコードストリームの処理装置を提供しており、図３は本願に係る１つのコードストリームの処理装置の構造模式図であり、当該コードストリームの処理装置は第１端末に集積されることが可能である。図３に示すように、当該装置は、パノラマ画像データ及び運動情報を取得するように構成される取得モジュール３１と、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュール３２とを備える。
そのうち、取得モジュール３１は、運動情報を取得する過程において、運動パラメータを先に取得してもよい。運動パラメータは頭部運動パラメータ、ボディ運動パラメータ及び視点運動パラメータを含む。運動パラメータが取得された後に、上記の表を参照し、相応する補助データ、例えば、運動情報の識別子等を加え、運動情報を取得することができる。
運動情報は、ビデオエンコーダに使用されてもよいし、直接に伝送モジュールに使用されてもよい。
以下、本実施例に係るコードストリームの処理装置について、例示的に説明し、図３ａは本願に係る更なるコードストリームの処理装置の構造模式図である。図３ａを参照し、当該装置は、球面パノラマビデオ画像データ（即ち、パノラマ画像データ）及び運動データを取得するための取得装置３０１と、運動データに基づいて、ビデオエンコーダ及び伝送モジュールの両方に使用可能な運動情報を生成するための運動情報モジュール３０２と、ビデオ画像データに対して符号化を行い、運動情報を符号化して、コードストリームに対応する位置に、又は、符号化されたビデオコードストリームに加えることができるビデオエンコーダ３０３と、ビデオ符号化データ又はメディアデータに対してネットワークのトランスポート層の符号化を行うための伝送モジュール３０４を備え、そのうち、伝送モジュール３０４は運動情報が含まれるビデオ画像データに対して符号化を行うことができるし、ビデオデータ及び運動情報を単独で符号化することができる。
上記の、取得装置３０１、運動情報モジュール３０２、ビデオエンコーダ３０３、伝送モジュール３０４は、専用ハードウェア、又は、適切なソフトウェアと組み合わせて処理を実行可能なハードウェアを使用することによって実現されることができる。このようなハードウェア又は専用ハードウェアは、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、様々な他の回路、様々なプロセッサ等を含んでもよい。プロセッサによって実現される時に、当該機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は、複数の独立したプロセッサ（そのうちのいくつかが共有される可能性がある）によって提供されることができる。ちなみに、プロセッサは、ソフトウェアを実行可能なハードウェアのみというものと理解すべきではなく、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び不揮発性記憶装置を暗黙的に含むことができるが、これらに限定されないものである。
本実施例の装置は、ビデオが適用される装置、例えば、携帯電話、コンピュータ、サーバ、セットトップボックス、携帯型移動端末、デジタルカメラ、テレビ放送システムデバイス等であってもよい。
本実施例に係るコードストリームの処理装置は、図１に示すような実施例のコードストリームの処理方法を実現するために使用され、本実施例に係るコードストリームの処理装置によって実現される原理及び技術効果は図１に示すような実施例のコードストリームの処理方法と類似して、ここでくどくど述べる必要はない。
１つの実施例において、前記運動情報は前記パノラマ画像データと同期に取得され、又は、前記運動情報は予め設定されたものである。
１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの１つを含む。
１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、生成モジュール３２は、前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成するように構成されるものと、前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成するように構成されるもののうちの少なくとも１つであり、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。
１つの実施例において、生成モジュール３２は、前記運動情報を前記パノラマ画像データに基づいて生成されたコードストリームに書き込むように構成されている。
１つの実施例において、生成モジュール３２は、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むように構成されている。
１つの実施例において、当該装置は、コードストリームを記憶するように構成される記憶モジュールと、コードストリームを送信するように構成される送信モジュールのうちの少なくとも１つをさらに含む。
本願は、１つのコードストリームの処理装置をさらに提供しており、図４は本願に係る他のコードストリームの処理装置の構造模式図であり、当該装置は第２端末に集積されることが可能である。図４に示すように、当該装置は、コードストリームを受信するように構成される受信モジュール４１と、前記コードストリームから運動情報を抽出するように構成される抽出モジュール４２と、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュール４３と、を備える。
以下、本願に係るコードストリームの処理装置について、例示的に説明し、図４ａは本願に係るさらに他のコードストリームの処理装置の構造模式図である。当該装置は、ビデオ符号化データ又はメディアデータが含まれるネットワークのトランスポート層データから、復号化を行うための伝送モジュール４０１と、運動情報を解析するための運動情報処理モジュール４０２と、ビデオ画像データを復号化すること、又は、ビデオコードストリームから運動情報を抽出して運動情報処理モジュールに使用させるために使用可能なビデオデコーダ４０３と、パノラマビデオ画像を表示する、又は運動情報に基づいて部分画像を選出して表示するための表示装置４０４と、を含んでもよく、そのうち、伝送モジュール４０１は、運動情報のみを抽出することができるし、運動情報が含まれるビデオ画像データを抽出することができる。
上記の、伝送モジュール４０１、運動情報処理モジュール４０２、ビデオデコーダ４０３、表示装置４０４は、専用ハードウェア、又は、適切なソフトウェアと組み合わせて処理を実行可能なハードウェアを使用することによって実現されることができる。このようなハードウェア又は専用ハードウェアは、特定用途向け集積回路（ＡＳＩＣ）、様々な他の回路、様々なプロセッサ等を含んでもよい。プロセッサによって実現される時に、当該機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は、複数の独立したプロセッサ（そのうちのいくつかが共有される可能性がある）によって提供されることができる。ちなみに、プロセッサは、ソフトウェアを実行可能なハードウェアのみというものと理解すべきではなく、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗黙的に含むことができるが、これらに限定されないものである。
本実施例の装置は、ビデオが適用されるデバイス、例えば、携帯電話、コンピュータ、サーバ、セットトップボックス、携帯型移動端末、デジタルカメラ、テレビ放送システムデバイス等であってもよい。
本実施例に係るコードストリームの処理装置は、図２に示すような実施例のコードストリームの処理方法を実現するために使用され、本実施例に係るコードストリームの処理装置によって実現される原理及び技術効果は図２に示すような実施例のコードストリームの処理方法と類似して、ここでくどくど述べる必要はない。
１つの実施例において、抽出モジュール４２は、具体的に、前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報をするように構成されている。
１つの実施例において、処理モジュール４３は、前記運動情報に基づいてパノラマ画像データから切り取り、目標画像データを取得するように構成されている。
１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。
１つの実施例において、前記運動情報は少なくとも１グループの運動パラメータ組合せを含み、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。
１つの実施例において、処理モジュール４３は、抽出された運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されており、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。
１つの実施例において、処理モジュール４３はさらに、運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されている。
１つの実施例において、処理モジュール４３は、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得し、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されている。
１つの実施例において、当該装置は、前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも１つの操作を行うように構成される符号化モジュールをさらに含む。
１つの実施例において、当該装置は、前記目標画像データを表示するように構成される表示モジュールをさらに含む。
本願の実施例は、第１端末をさらに提供しており、図５は本願に係る第１端末の構造模式図である。図５に示すように、本願に係る第１端末は、１つ又は複数のプロセッサ５１及び記憶装置５２を備え、当該第１端末におけるプロセッサ５１は１つ又は複数であってもよく、図５では、１つのプロセッサ５１を例にとっており、記憶装置５２は１つ又は複数のプログラムを記憶するために使用され、前記１つ又は複数のプログラムは前記１つ又は複数のプロセッサ５１によって実行され、これにより、前記１つ又は複数のプロセッサ５１は本発明の実施例に記載されたようなコードストリームの処理方法を実現する。
第１端末は、通信装置５３、入力装置５４及び出力装置５５をさらに含む。
第１端末におけるプロセッサ５１、記憶装置５２、通信装置５３、入力装置５４及び出力装置５５は、バス又は他の方式によって接続されてもよく、図５はバスによって接続されたものを例にとっている。
入力装置５４は、入力された数字又は文字情報を受信する並びに第１端末のユーザ設定及び機能制御に関するキー信号入力を生成することに使用可能である。入力装置５４には、パノラマ画像データを取得する採集装置及び運動情報を取得する取得装置が含まれるが、これらに限定されない。ここで、取得装置は限定されずに、運動情報を取得可能なものであればよく、例えばセンサである。出力装置５５は、ディスプレイ等の表示装置を含んでもよい。
通信装置５３は、受信器及び送信器を含んでもよい。通信装置５３は、プロセッサ５１の制御によって情報の送受信という通信を行うように構成されている。情報には、コードストリーム、パノラマ画像データ及び運動情報が含まれるが、これらに限定されない。
記憶装置５２は、コンピュータ可読記憶媒体とし、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例に記載されたコードストリームの処理方法に対応するプログラム指令／モジュール（例えば、コードストリームの処理装置における取得モジュール３１及び生成モジュール３２）を記憶するように構成可能である。記憶装置５２は、プログラム記憶区とデータ記憶区を含んでもよく、そのうち、プログラム記憶区はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能であり、データ記憶区は第１端末の使用によって作成されたデータ等を記憶可能である。また、記憶装置５２は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを含んでもよい。いくつかの実例において、記憶装置５２は、プロセッサ５１に対してリモート設定されたメモリをさらに含んでもよく、これらのリモートメモリはネットワークを介して第１端末に接続可能である。上記ネットワークの実例には、インターネット、社内ネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク及びこれらの組合せが含まれるが、これらに限定されない。
本願の実施例は、第２端末をさらに提供しており、図６は本願に係る第２端末の構造模式図である。図６に示すように、本願に係る第２端末は、１つ又は複数のプロセッサ６１及び記憶装置６２を備え、当該第２端末におけるプロセッサ６１は１つ又は複数であってもよく、図６では、１つのプロセッサ６１を例にとっており、記憶装置６２は１つ又は複数のプログラム記憶するために使用され、前記１つ又は複数のプログラムは前記１つ又は複数のプロセッサ６１によって実行され、これにより、前記１つ又は複数のプロセッサ６１は実現本発明の実施例に記載されたようなコードストリームの処理方法を実現する。
第２端末は、通信装置６３、入力装置６４及び出力装置６５をさらに含む。
第２端末におけるプロセッサ６１、記憶装置６２、通信装置６３、入力装置６４及び出力装置６５は、バス又は他の方式によって接続されてもよく、図６はバスによって接続されたものを例にとっている。
入力装置６４は、入力された数字又は文字情報を受信する並びに第２端末のユーザ設定及び機能制御に関するキー信号入力を生成することに使用可能である。出力装置６５は、ディスプレイ等の表示装置を含んでもよい。
通信装置６３は、受信器及び送信器を含んでもよい。通信装置６３は、プロセッサ６１の制御によって情報の送受信という通信を行うように構成されている。情報には、コードストリーム、目標画像データ及び符号化された後の目標画像データが含まれるが、これらに限定されない。
記憶装置６２は、コンピュータ可読記憶媒体とし、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例に記載されたコードストリームの処理方法に対応するプログラム指令／モジュール（例えば、コードストリームの処理装置における受信モジュール４１、抽出モジュール４２及び処理モジュール４３）を記憶するように構成可能である。記憶装置６２は、プログラム記憶区とデータ記憶区を含んでもよく、そのうち、プログラム記憶区はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能であり、記憶データ区は第２端末の使用によって作成されたデータ等を記憶可能である。また、記憶装置６２は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを含んでもよい。いくつかの実例において、記憶装置６２は、プロセッサ６１に対してリモート設定されたメモリをさらに含んでもよく、これらのリモートメモリはネットワークを介して第２端末に接続可能である。上記ネットワークの実例には、インターネット、社内ネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク及びこれらの組合せが含まれるが、これらに限定されない。
本願の実施例は、記憶媒体をさらに提供しており、前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、本願の実施例のいずれかに記載のコードストリームの処理方法を実現する。例えば、第１端末に適用するコードストリームの処理方法及び第２端末に適用するコードストリームの処理方法であり、そのうち、第１端末に適用するコードストリームの処理方法が、パノラマ画像データを取得することと、運動情報を取得することと、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む。
第２端末に適用するコードストリームの処理方法は、コードストリームを受信することと、前記コードストリームから運動情報を抽出することと、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む。
以上は、本願の例示的な実施例に過ぎず、本願の保護範囲を限定するためのものではない。
当業者であれば、用語「端末」（第１端末及び第２端末を含む）は、任意の適切なタイプの無線ユーザデバイス、例えば移動電話、携帯型データ処理装置、携帯型ブラウザ端末、ヘッドマウント表示装置又は車載モバイルステーションを含む。
一般的には、本願の多種の実施例は、ハードウェア又は専用回路、ソフトウェア、論理又はそれらの任意の組合せで実現可能である。例えば、一部の態様はハードウェアで実現されることができ、他の態様はコントローラ、マイクロプロセッサ又は他のコンピュータ装置によって実行可能なファームウェア又はソフトウェアで実現されることができるが、本願はこれらに限定されるものではない。
本願の実施例は、移動装置のデータプロセッサがコンピュータプログラム命令を実行することによって、例えばプロセッサの実体、又はハードウェア、又はソフトウェアとハードウェアとの組合せによって実現されることができる。コンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１つ又は複数のプログラミング言語の任意の組合せで書かれたソースコード又はターゲットコードであってもよい。
本願の図面の任意の論理の流れのブロック図は、プログラムのステップを示してもよく、又は、互いに接続された論理回路、モジュール及び機能を示してもよく、又は、プログラムのステップと論理回路、モジュールと機能との組合せを示してもよい。コンピュータプログラムはメモリに記憶可能である。メモリは、例えばリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、光メモリ装置及びシステム（デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）又はディスク（Ｃｏｍｐａｃｔ Ｄｉｓｋ、ＣＤ））等であるが、これらに限定されず、任意の、ローカル技術環境に適合するタイプを有し、且つ、任意の適切なデータ記憶技術を使用して実現されることができる。コンピュータ可読媒体は、非一時的な記憶媒体を含んでもよい。データプロセッサは、例えば汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＧＰＡ）及びマルチコアプロセッサアーキテクチャに基づくプロセッサであるが、これらに限定されず、任意の、ローカル技術環境に適用するタイプであってもよい。
例示的で非限定的な例によって、上記で本願の典型的な実施例についての詳細的な説明は提供されている。しかし、図面及び請求の範囲を参照して考慮し、以上の実施例に対する多種の修正及び調整は本願の範囲から逸脱せず、当業者にとって自明である。従って、本願の適切な範囲は請求の範囲によって決定される。

Claims (19)

  1. パノラマ画像データを取得することと、
    運動情報を取得することと、
    前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含むコードストリームの処理方法であって、
    前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
    前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することを含み、
    前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
    コードストリームの処理方法。
  2. 前記運動情報が前記パノラマ画像データと同期に取得され、又は、
    前記運動情報が予め設定されたものである、
    請求項１に記載のコードストリームの処理方法。
  3. 前記運動情報は、
    頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
    請求項１に記載のコードストリームの処理方法。
  4. 前記頭部運動情報は、
    頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む、
    請求項３に記載のコードストリームの処理方法。
  5. 前記ボディ運動情報は、
    ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む、
    請求項３に記載のコードストリームの処理方法。
  6. 前記視点運動情報は、
    視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む、
    請求項３に記載のコードストリームの処理方法。
  7. 前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
    １グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの１つを含む、
    請求項１に記載のコードストリームの処理方法。
  8. 前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
    前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することをさらに含む、
    請求項１に記載のコードストリームの処理方法。
  9. 前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
    前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことをさらに含み、
    前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、
    前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むことを含む、
    請求項１に記載のコードストリームの処理方法。
  10. コードストリームを受信することと、
    前記コードストリームから運動情報を抽出することと、
    前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含むコードストリームの処理方法であって、
    抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
    抽出された前記運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することを含み、
    前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
    コードストリームの処理方法。
  11. 前記コードストリームから運動情報を抽出することは、
    前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報を抽出することを含む、
    請求項１０に記載のコードストリームの処理方法。
  12. 抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
    前記運動情報に基づいて前記パノラマ画像データから一部のデータを切り取り、目標画像データを取得することをさらに含む、
    請求項１０に記載のコードストリームの処理方法。
  13. 前記運動情報は、
    頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
    請求項１０に記載のコードストリームの処理方法。
  14. 前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、
    １グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報、視点運動情報のうちの１つを含む、
    請求項１０に記載のコードストリームの処理方法。
  15. 前記運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することをさらに含む、
    請求項１０に記載のコードストリームの処理方法。
  16. 前記運動情報は、少なくとも２グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
    抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
    選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、
    選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、を含む、
    請求項１０に記載のコードストリームの処理方法。
  17. 少なくとも１つのプロセッサと、
    少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
    前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１から９のいずれか１項に記載のコードストリームの処理方法を実現する、
    第１端末。
  18. 少なくとも１つのプロセッサと、
    少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
    前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１０から１６のいずれか１項に記載のコードストリームの処理方法を実現する、
    第２端末。
  19. コンピュータプログラムが記憶され、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１６のいずれか１項に記載のコードストリームの処理方法を実現する、
    記憶媒体。
JP2022511181A 2019-08-20 2020-08-19 コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体 Active JP7356579B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910770654.5 2019-08-20
CN201910770654.5A CN112423108B (zh) 2019-08-20 2019-08-20 码流的处理方法、装置、第一终端、第二终端及存储介质
PCT/CN2020/109928 WO2021032105A1 (zh) 2019-08-20 2020-08-19 码流的处理方法、装置、第一终端、第二终端及存储介质

Publications (2)

Publication Number Publication Date
JP2022545880A JP2022545880A (ja) 2022-11-01
JP7356579B2 true JP7356579B2 (ja) 2023-10-04

Family

ID=74659939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022511181A Active JP7356579B2 (ja) 2019-08-20 2020-08-19 コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体

Country Status (6)

Country Link
US (1) US20220303518A1 (ja)
EP (1) EP4021001A4 (ja)
JP (1) JP7356579B2 (ja)
KR (1) KR102802929B1 (ja)
CN (1) CN112423108B (ja)
WO (1) WO2021032105A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365874B (zh) * 2022-01-11 2023-07-04 深圳市华微矽电子科技有限公司 一种高效雾化装置及其在电子烟中的应用
US12481352B2 (en) * 2022-04-20 2025-11-25 Apple Inc. Method and device for improving comfortability of virtual content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061002A1 (en) 2016-08-25 2018-03-01 Lg Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
WO2018093851A1 (en) 2016-11-17 2018-05-24 Intel Corporation Suggested viewport indication for panoramic video

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US8953022B2 (en) * 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US20140009503A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and Methods for Tracking User Postures to Control Display of Panoramas
CN104754358B (zh) * 2013-12-27 2019-02-19 中兴通讯股份有限公司 码流的生成和处理方法、装置及系统
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
WO2016178340A1 (ja) * 2015-05-01 2016-11-10 株式会社電通 自由視点映像データ配信システム
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US20180007352A1 (en) * 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US20180007422A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
EP4531405A3 (en) * 2016-08-25 2025-06-04 LG Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
DE102017009145B4 (de) * 2016-10-14 2026-04-30 Avago Technologies International Sales Pte. Ltd. Erfassung und Wiedergabe von 360-Grad-Videos
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
US10560678B2 (en) * 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
US10769797B2 (en) * 2017-01-05 2020-09-08 Samsung Electronics Co., Ltd. Virtual reality experience sharing
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
CN106791437B (zh) * 2017-01-20 2020-02-14 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107230179A (zh) * 2017-04-27 2017-10-03 北京小鸟看看科技有限公司 全景图像的存储方法、展示方法及设备
WO2018236715A1 (en) * 2017-06-19 2018-12-27 Bitmovin, Inc. Predictive content buffering in streaming of immersive video
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
EP3515082B1 (en) * 2018-01-19 2020-05-13 Nokia Technologies Oy Server device for streaming video content and client device for receiving and rendering video content
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN109099915B (zh) * 2018-06-27 2020-12-25 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
EP3823274B1 (en) * 2018-07-13 2024-11-20 LG Electronics Inc. Method and device for transmitting and receiving metadata on coordinate system of dynamic viewpoint
KR101982291B1 (ko) * 2018-07-19 2019-05-24 주식회사 테크노블러드코리아 가상현실 화면의 배열 및 표시방법
US10699154B2 (en) * 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
WO2020050577A1 (ko) * 2018-09-07 2020-03-12 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
US11509879B2 (en) * 2018-10-02 2022-11-22 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
WO2020071724A1 (en) * 2018-10-04 2020-04-09 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US12155809B2 (en) * 2019-06-20 2024-11-26 At&T Intellectual Property I, L.P. Processing system for streaming volumetric video to a client device
CN112148115A (zh) * 2019-06-28 2020-12-29 中兴通讯股份有限公司 媒体处理方法、装置、系统和可读存储介质
JP7614168B2 (ja) * 2019-07-22 2025-01-15 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ボリュメトリックビデオコンテンツを配信するための方法および装置
WO2021198553A1 (en) * 2020-04-02 2021-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US12279071B2 (en) * 2022-05-11 2025-04-15 Brian R. Muras Visual image management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061002A1 (en) 2016-08-25 2018-03-01 Lg Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
WO2018093851A1 (en) 2016-11-17 2018-05-24 Intel Corporation Suggested viewport indication for panoramic video

Also Published As

Publication number Publication date
KR20220045038A (ko) 2022-04-12
US20220303518A1 (en) 2022-09-22
CN112423108B (zh) 2023-06-30
WO2021032105A1 (zh) 2021-02-25
JP2022545880A (ja) 2022-11-01
EP4021001A1 (en) 2022-06-29
KR102802929B1 (ko) 2025-04-30
EP4021001A4 (en) 2023-09-20
CN112423108A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US11575869B2 (en) Overlay processing method in 360 video system, and device thereof
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
CN106165415B (zh) 立体观看
CN106358036B (zh) 一种以预设视角观看虚拟现实视频的方法
EP3741130B1 (en) Efficient association between dash objects
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
WO2019007120A1 (zh) 一种媒体数据的处理方法和装置
US20190320156A1 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
JP7356579B2 (ja) コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
WO2022037423A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
CN105191298B (zh) 使用2d‑3d多维内容文件的多维内容服务提供系统、该服务提供方法以及该多维内容文件
CN108810574B (zh) 一种视频信息处理方法及终端
JP7395725B2 (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体
JP2025501535A (ja) 高忠実度倍率を可能にするインタラクティブビデオ再生技法
JP2024538232A (ja) データ処理方法、記憶媒体、及びプログラム製品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150