WO2017082076A1 - 符号化装置および符号化方法、復号装置および復号方法 - Google Patents

符号化装置および符号化方法、復号装置および復号方法 Download PDF

Info

Publication number
WO2017082076A1
WO2017082076A1 PCT/JP2016/082024 JP2016082024W WO2017082076A1 WO 2017082076 A1 WO2017082076 A1 WO 2017082076A1 JP 2016082024 W JP2016082024 W JP 2016082024W WO 2017082076 A1 WO2017082076 A1 WO 2017082076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional
viewpoint
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/082024
Other languages
English (en)
French (fr)
Inventor
田中　潤一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US15/765,805 priority Critical patent/US11716487B2/en
Priority to RU2018116473A priority patent/RU2721678C2/ru
Priority to EP16864039.9A priority patent/EP3343914A4/en
Priority to AU2016352648A priority patent/AU2016352648A1/en
Priority to MYPI2018000679A priority patent/MY202620A/en
Priority to SG11201803682RA priority patent/SG11201803682RA/en
Priority to KR1020187012316A priority patent/KR102516992B1/ko
Priority to CN201680064678.3A priority patent/CN108353157B/zh
Priority to MX2018005501A priority patent/MX389538B/es
Priority to CN202110383257.XA priority patent/CN113286137B/zh
Priority to CA3004241A priority patent/CA3004241C/en
Priority to BR112018009070A priority patent/BR112018009070A8/pt
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017550061A priority patent/JP6384744B2/ja
Publication of WO2017082076A1 publication Critical patent/WO2017082076A1/ja
Priority to ZA2018/02193A priority patent/ZA201802193B/en
Priority to PH12018500977A priority patent/PH12018500977A1/en
Anticipated expiration legal-status Critical
Priority to AU2021203450A priority patent/AU2021203450B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the present disclosure relates to an encoding device, an encoding method, a decoding device, and a decoding method, and particularly acquires two-dimensional image data and depth image data of a viewpoint corresponding to a predetermined display image generation method regardless of the viewpoint at the time of imaging.
  • the present invention relates to an encoding device, an encoding method, a decoding device, and a decoding method that can be performed.
  • a transmission system In multi-view stereo technology, a transmission system has been devised that records, encodes, transmits, decodes, and displays three-dimensional data composed of three-dimensional position information and two-dimensional image data of a three-dimensional object imaged by a plurality of cameras.
  • three-dimensional data For example, refer nonpatent literature 1).
  • MPEG Motion / Picture / Experts / Group / phase
  • Non-Patent Document 2 for example, see Non-Patent Document 2.
  • two-dimensional image data of a plurality of viewpoints obtained by a plurality of cameras and depth image data including a depth indicating the position of each pixel in the depth direction (direction perpendicular to the imaging surface) are directly recorded.
  • Transmission systems for encoding, transmission, decoding and display have been devised.
  • MVCD Multiview and depth video coding
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • the processing on the receiving side is facilitated, but the viewpoints of the plurality of cameras are a predetermined display image generation method.
  • the viewpoint is not limited to the point of view, and excessive or insufficient viewpoints occur on the receiving side.
  • the present disclosure has been made in view of such a situation, and can acquire two-dimensional image data and depth image data of a viewpoint corresponding to a predetermined display image generation method regardless of the viewpoint at the time of imaging. It is what you want to do.
  • the encoding device includes a plurality of second viewpoints corresponding to a predetermined display image generation method from three-dimensional data of a subject generated from two-dimensional image data of a plurality of first viewpoints.
  • Two-dimensional image data and a two-dimensional data generation unit that generates depth image data indicating the position of the subject in the depth direction of each pixel with respect to the third viewpoint, and the plurality of second data generated by the two-dimensional data generation unit
  • a transmission unit a transmission unit.
  • the encoding method according to the first aspect of the present disclosure corresponds to the encoding device according to the first aspect of the present disclosure.
  • two-dimensional of a plurality of second viewpoints corresponding to a predetermined display image generation method from three-dimensional data of a subject generated from two-dimensional image data of a plurality of first viewpoints.
  • Image data and depth image data indicating the position of the subject in the depth direction of each pixel with respect to the third viewpoint are generated, and the generated two-dimensional image data and depth image data of the plurality of second viewpoints are encoded. Then, the encoded two-dimensional image data of the second viewpoint and the depth image data are transmitted.
  • the decoding device includes encoded data of two-dimensional image data of a plurality of first viewpoints corresponding to a predetermined display image generation method, and a depth direction of a subject of each pixel with respect to the second viewpoint
  • a decoding unit that decodes encoded data of depth image data indicating the position of the image, a plurality of second-dimensional image data of the first viewpoint obtained as a result of decoding by the decoding unit, and the depth image data
  • a three-dimensional data generation unit that generates three-dimensional data of a subject, and two-dimensional image data by the predetermined display image generation method based on the three-dimensional data generated by the three-dimensional data generation unit.
  • a two-dimensional data generation unit that generates as a decoding device.
  • the decoding method and program according to the second aspect of the present disclosure correspond to the decoding device according to the second aspect of the present disclosure.
  • encoded data of a plurality of first viewpoint two-dimensional image data corresponding to a predetermined display image generation method, and the position of each pixel in the depth direction of the subject with respect to the second viewpoint 3D data of the subject is generated using the second-dimensional image data of the plurality of first viewpoints and the depth-image data obtained as a result of the decoding.
  • two-dimensional image data is generated as display image data by the predetermined display image generation method.
  • the encoding device according to the first aspect and the decoding device according to the second aspect can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium, Can be provided.
  • encoding can be performed. Further, according to the first aspect of the present disclosure, encoding is performed so that the decoding device can acquire the two-dimensional image data and the depth image data of the viewpoint corresponding to the predetermined display image generation method regardless of the viewpoint at the time of imaging. can do.
  • ⁇ ⁇ Decoding according to the second aspect of the present disclosure. Further, according to the second aspect of the present disclosure, it is possible to acquire 2-dimensional image data and depth image data of a viewpoint corresponding to a predetermined display image generation method regardless of the viewpoint at the time of imaging.
  • 3 is a flowchart for describing encoding processing of the imaging device and the encoding device in FIG. 1. It is a block diagram which shows the 1st structural example of the conversion part of FIG. It is a block diagram which shows the 2nd structural example of the conversion part of FIG. It is a block diagram which shows the 3rd structural example of the conversion part of FIG.
  • FIG. 11 is a flowchart for describing encoding processing of the imaging apparatus and the encoding apparatus in FIG. 10.
  • FIG. It is a block diagram which shows the structural example of the decoding part of FIG. It is a flowchart explaining the decoding process of the decoding apparatus of FIG. FIG.
  • FIG. 10 is a block diagram illustrating a configuration example of a third embodiment of a transmission system to which the present disclosure is applied. It is a block diagram which shows the structural example of the synthesizing
  • First embodiment Transmission system (FIGS. 1 to 9) 2.
  • Second Embodiment Transmission System (FIGS. 10 to 16) 3.
  • Third Embodiment Transmission System (FIGS. 17 to 19) 4).
  • Fourth Embodiment Transmission System (FIGS. 20 to 25) 5.
  • Fifth embodiment Transmission system (FIGS. 26 to 29) 6).
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of a transmission system to which the present disclosure is applied.
  • the transmission system 10 uses the two-dimensional image data acquired by the imaging device 11 to generate display image data using a predetermined display image generation method, and displays the display image data.
  • the imaging device 11 of the transmission system 10 includes, for example, a multi camera, a distance measuring device, and an image processing unit.
  • the multi-camera of the imaging device 11 is configured by a plurality of (for example, eight) cameras, and captures two-dimensional image data of a moving image of a subject that is at least a part of each camera.
  • the distance measuring device is provided in each camera, for example, and generates depth image data of the same viewpoint as that camera.
  • the image processing unit (three-dimensional data generation unit) of the imaging device 11 performs modeling using Visual Hull or the like using the two-dimensional image data and depth image data of the viewpoint of each camera, and the internal parameters and external parameters of each camera. And create a mesh.
  • the image processing unit obtains the geometric information (Geometry) indicating the three-dimensional position of each point (Vertex) constituting the created mesh and the connection (Polygon) of the point, and the two-dimensional image data of the mesh as 3D of the subject. It is generated as dimension data and supplied to the encoding device 12.
  • the encoding device 12 includes a conversion unit 21, an encoding unit 22, and a transmission unit 23.
  • the conversion unit 21 of the encoding device 12 sets internal parameters and external parameters of a plurality of viewpoint virtual cameras corresponding to a predetermined display image generation method as camera parameters.
  • the conversion unit 21 generates two-dimensional image data and depth image data of a plurality of viewpoints corresponding to a predetermined display image generation method from the three-dimensional data supplied from the imaging device 11 based on the camera parameters.
  • the viewpoints of the two-dimensional image data and the depth image data are the same, but the viewpoints and the number of viewpoints of the two-dimensional image data and the depth image data may be different.
  • the viewpoints and the number of viewpoints of the two-dimensional image data and the depth image data may be the same as or different from the viewpoints of the camera of the imaging device 11.
  • the conversion unit 21 extracts, from the three-dimensional data supplied from the imaging device 11, three-dimensional data of an occlusion region that cannot be seen from a plurality of viewpoints corresponding to a predetermined display image generation method (hereinafter referred to as occlusion three-dimensional data). To do.
  • the conversion unit 21 is camera-related information that is information about a virtual camera such as two-dimensional image data and depth image data of a plurality of viewpoints corresponding to a predetermined display image generation method, occlusion three-dimensional data, and camera parameters of each viewpoint. Is supplied to the encoding unit 22.
  • the encoding unit 22 encodes the two-dimensional image data, depth image data, and metadata supplied from the conversion unit 21.
  • an encoding method an MVCD (Multiview and depth video coding) method, an AVC method, an HEVC method, or the like can be adopted.
  • the encoding method is the MVCD method
  • the two-dimensional image data and depth image data of all viewpoints are encoded together.
  • one encoded stream including encoded data and metadata of two-dimensional image data and depth image data is generated.
  • the camera parameters in the metadata are arranged in the reference
  • Information about depth image data in the metadata is arranged in Deptheprepresentation information SEI.
  • the encoding method is the AVC method or HEVC method
  • the depth image data and the two-dimensional image data of each viewpoint are encoded separately.
  • an encoded stream of each viewpoint including the two-dimensional image data and metadata of each viewpoint, and an encoded stream of each viewpoint including the encoded data and metadata of the depth image data of each viewpoint are generated.
  • the metadata is arranged in, for example, User unregistered SEI of each encoded stream.
  • the metadata includes information associating the encoded stream with camera parameters and the like.
  • information that associates an encoded stream with a camera parameter or the like may not be included in the metadata, and only the metadata corresponding to the encoded stream may be included in the encoded stream.
  • the encoding unit 22 supplies the encoded stream to the transmission unit 23.
  • the transmission unit 23 transmits the encoded stream supplied from the encoding unit 22 to the decoding device 13.
  • metadata is arranged and transmitted in an encoded stream, but may be transmitted separately from the encoded stream.
  • the decoding device 13 includes a receiving unit 31, a decoding unit 32, and a conversion unit 33.
  • the reception unit 31 of the decoding device 13 receives the encoded stream transmitted from the transmission unit 23 and supplies it to the decoding unit 32.
  • the decoding unit 32 decodes the encoded stream supplied from the receiving unit 31 by a method corresponding to the encoding method in the encoding unit 22.
  • the decoding unit 32 supplies the two-dimensional image data and depth image data of a plurality of viewpoints obtained as a result, and metadata to the conversion unit 33.
  • the conversion unit 33 Based on the metadata supplied from the decoding unit 32 and the display image generation method of the decoding device 13, the conversion unit 33 generates two-dimensional image data of a predetermined viewpoint from two-dimensional image data and depth image data of a plurality of viewpoints. Alternatively, two-dimensional image data and depth image data at a predetermined viewpoint are selected. The conversion unit 33 generates display image data based on the selected two-dimensional image data of a predetermined viewpoint or two-dimensional image data and depth image data of a predetermined viewpoint, and supplies the display image data to the display device 14.
  • the display device 14 includes a two-dimensional head mounted display, a two-dimensional monitor, a three-dimensional head mounted display, a three-dimensional monitor, and the like.
  • the display device 14 performs two-dimensional display or three-dimensional display of the display image based on the display image data supplied from the conversion unit 33.
  • FIG. 2 is a block diagram illustrating a configuration example of the conversion unit 21 in FIG.
  • 2 includes a subject position determination unit 51, a camera determination unit 52, a two-dimensional data generation unit 53, and an occlusion determination unit 54.
  • the subject position determination unit 51 of the conversion unit 21 determines a three-dimensional position that is the center of the subject among the three-dimensional objects corresponding to the three-dimensional data supplied from the imaging device 11 of FIG.
  • the represented subject position information is supplied to the camera determination unit 52.
  • the camera determination unit 52 determines camera parameters of a plurality of viewpoints corresponding to a predetermined display image generation method based on the subject position information supplied from the subject position determination unit 51, and determines the occlusion with the two-dimensional data generation unit 53. Supplied to the unit 54. Moreover, the camera determination part 52 produces
  • the two-dimensional data generation unit 53 performs perspective projection of a three-dimensional object corresponding to the three-dimensional data for each viewpoint based on the camera parameters of the plurality of viewpoints supplied from the camera determination unit 52.
  • the relationship between the matrix m ′ corresponding to the two-dimensional position of each pixel and the matrix M corresponding to the three-dimensional coordinates of the world coordinate system is as follows using the internal parameter A and external parameter R
  • Equation (1) is expressed in more detail by Equation (2).
  • (u, v) is a two-dimensional coordinate on the image
  • f x and f y are focal lengths.
  • C x and C y are principal points
  • r 11 to r 13 r 21 to r 23 , r 31 to r 33
  • t 1 to t 3 are parameters
  • (X, Y, Z ) Is a three-dimensional coordinate in the world coordinate system.
  • the two-dimensional data generation unit 53 obtains the three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel using the camera parameters according to the above formulas (1) and (2).
  • the two-dimensional data generation unit 53 converts the two-dimensional image data of the three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel in the three-dimensional data into the two-dimensional image data of each pixel. Two-dimensional image data that associates the two-dimensional coordinates of each pixel with the image data is generated.
  • the two-dimensional data generation unit 53 obtains the depth of each pixel based on the three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel, and obtains depth image data that associates the two-dimensional coordinates of each pixel with the depth. Generate.
  • the depth is, for example, the reciprocal 1 / z of the position z in the depth direction of the subject.
  • the two-dimensional data generation unit 53 supplies the two-dimensional image data and depth image data of each viewpoint to the encoding unit 22.
  • the occlusion determination unit 54 extracts the occlusion 3D data from the 3D data supplied from the imaging device 11 based on the camera parameters supplied from the camera determination unit 52, and supplies the extracted data to the encoding unit 22 as metadata.
  • FIG. 3 is a diagram illustrating an example of a plurality of viewpoints corresponding to a predetermined display image generation method.
  • the predetermined display image generation method includes two predetermined viewpoint display image generation methods for two-dimensionally displaying a predetermined one-point display image, and two free viewpoint display images as one arbitrary viewpoint.
  • This is a free viewpoint display image generation method for dimensional display.
  • the plurality of viewpoints corresponding to the predetermined display image generation method are, for example, a plurality of viewpoints (8 in the example of A in FIG. 3) existing at equal intervals on the same circle. 71 to 78, and the directions of the viewpoints 71 to 78 are toward the center of the circle.
  • the decoding device 13 selects the two-dimensional image data of any one of the viewpoints 71 to 78 as the display image data and supplies it to the display device 14, whereby the display image of the viewpoint is displayed on the display device 14. Can be displayed two-dimensionally.
  • the decoding device 13 generates three-dimensional data based on the two-dimensional image data and the depth image data of the viewpoints 71 to 78, and performs perspective projection of the three-dimensional object corresponding to the three-dimensional data with respect to the free viewpoint. By doing so, it is possible to generate two-dimensional image data of a free viewpoint as display image data. Therefore, the decoding device 13 can cause the display device 14 to display the free viewpoint display image two-dimensionally by supplying the generated display image data to the display device 14.
  • the predetermined display image generation method is a predetermined viewpoint display image generation method, a free viewpoint display image generation method, or a three-dimensional display in which a display image is three-dimensionally displayed based on two-viewpoint two-dimensional image data.
  • the plurality of viewpoints corresponding to the predetermined display image generation method are, for example, a plurality of viewpoints (10 in the example of B in FIG. 3) existing at equal intervals on the same circle. 81 to 90.
  • the viewpoint 88 and the viewpoint 89 are arranged in a substantially horizontal direction with the viewpoint 87 and the viewpoint 88, respectively.
  • the distance between the viewpoints 87 and 89 and between the viewpoints 88 and 90 in the substantially horizontal direction corresponds to, for example, the distance between the left and right eyes of a human.
  • the direction of the viewpoints 81 to 90 is the direction toward the center of the circle where the viewpoints 81 to 90 are arranged.
  • the decoding device 13 can cause the display device 14 to two-dimensionally display the display image at any one of the viewpoints 81 to 90 or the display image at the free viewpoint, as in the case of A in FIG.
  • the decoding device 13 selects the two-dimensional image data of the viewpoint 87 and the viewpoint 89 or the pair of the viewpoint 88 and the viewpoint 90 as display image data, and supplies the display image data to the display device 14.
  • the display image of the pair or the viewpoint 88 and the viewpoint 90 can be displayed on the display device 14 in a three-dimensional manner.
  • the decoding device 13 interpolates the two-dimensional image data of the viewpoint between the pair based on the two-dimensional image data and the depth image data of the viewpoint 87 and the viewpoint 89 pair or the viewpoint 88 and the viewpoint 90 pair. Can do. Therefore, the decoding device 13 supplies the interpolated two-dimensional image data to the display device 14 as display image data, thereby displaying a display image of the viewpoint between the viewpoint 87 and the viewpoint 89 pair or the viewpoint 88 and the viewpoint 90 pair. Can be displayed two-dimensionally on the display device 14.
  • the number of predetermined display image generation methods is plural. Therefore, the decoding device 13 can generate display image data by one of the predetermined display image generation methods based on the two-dimensional image data and the depth image data of a plurality of viewpoints corresponding to the predetermined display image generation method. it can. Therefore, it can be said that the encoding device 12 can generate an encoded stream having scalability. Note that the number of predetermined display image generation methods may be one.
  • the camera determination unit 52 determines the camera parameters of the plurality of viewpoints corresponding to the predetermined display image generation method. By doing so, viewpoint redundancy can be eliminated.
  • the viewpoints of the camera of the imaging device 11 are eight viewpoints 71 to 78, but a plurality of viewpoints corresponding to a plurality of display image generation methods are four viewpoints 71, 73, 75, and 77. If there is, the camera determination unit 52 determines the camera parameters of the four viewpoints. Therefore, the viewpoint redundancy in the encoded stream can be eliminated as compared with the case where all the two-dimensional image data and depth image data of the viewpoints 71 to 78 are encoded.
  • the positions of the plurality of viewpoints corresponding to the plurality of display image generation methods are not limited to the examples of A in FIG. 3 and B in FIG. 3, and can be set to arbitrary positions.
  • the camera parameter of each viewpoint can be set to a camera parameter corresponding to a relatively narrow angle of view, for example. In this case, the resolution at the time of zooming the display image can be improved.
  • encoded streams of a plurality of viewpoints corresponding to all of the predetermined display image generation methods are generated.
  • an encoded stream of a plurality of corresponding viewpoints may be generated for each predetermined display image generation method.
  • the decoding device 13 generates display image data using an encoded stream corresponding to its own display image generation method.
  • the camera determination unit 52 may determine a plurality of viewpoints corresponding to a predetermined display image generation method in response to a request from the decoding device 13.
  • FIG. 4 is a diagram illustrating an example of camera-related information.
  • a plurality of viewpoints corresponding to a predetermined display image generation method are the viewpoints 81 to 90 of B of FIG.
  • the camera-related information is configured by associating the camera ID of each viewpoint with the external parameter R
  • the camera ID is an ID unique to the viewpoint.
  • camera IDs are assigned in order from 0 to viewpoints 81 to 90.
  • T with the camera ID i is described as Ri
  • the internal parameter A is described as Ai.
  • IsStereoFlag is a flag indicating whether or not there is another viewpoint arranged in a substantially horizontal direction, and is set to 1 when there is another viewpoint arranged in a substantially horizontal direction.
  • IsStereoFlag is 1.
  • the stereo camera ID is a camera ID of another viewpoint arranged in a substantially horizontal direction, and is pair information for specifying two viewpoints arranged in a substantially horizontal direction.
  • the camera ID of the other viewpoint 89 arranged in the substantially horizontal direction of the viewpoint 87 with the camera ID 6 is 8, and therefore the stereo camera ID associated with the camera ID 6 is 8. .
  • the stereo camera ID associated with the camera ID of 7 is 9.
  • the stereo camera ID associated with the camera ID of 8 is 6, and the stereo camera ID associated with the camera ID of 9 is 7.
  • FIG. 5 is a flowchart for explaining the encoding process of the imaging device 11 and the encoding device 12 of FIG.
  • step S11 of FIG. 5 the imaging device 11 captures two-dimensional image data of a moving image with a multi-camera, and generates depth image data with a distance measuring device.
  • step S ⁇ b> 12 the imaging device 11 generates 3D data using the 2D image data and the depth image data, and supplies the 3D data to the encoding device 12.
  • step S ⁇ b> 13 the subject position determination unit 51 (FIG. 2) of the encoding device 12 determines a three-dimensional position that is the center of the subject among the three-dimensional objects corresponding to the three-dimensional data supplied from the imaging device 11. Then, subject position information representing the three-dimensional position is supplied to the camera determination unit 52.
  • step S14 the camera determination unit 52 determines camera parameters of a plurality of viewpoints corresponding to a predetermined display image generation method based on the subject position information supplied from the subject position determination unit 51, and a two-dimensional data generation unit. 53 and the occlusion determination unit 54. Further, the camera determination unit 52 generates the camera-related information in FIG. 4 from the camera parameters and the like, and supplies it to the encoding unit 22 in FIG. 1 as metadata.
  • step S15 the two-dimensional data generation unit 53 performs perspective projection of a three-dimensional object corresponding to the three-dimensional data for each viewpoint based on the camera parameters of the plurality of viewpoints supplied from the camera determination unit 52, A three-dimensional coordinate corresponding to the two-dimensional coordinate of the pixel is obtained.
  • step S16 the two-dimensional data generation unit 53 converts the two-dimensional image data of the three-dimensional coordinates of each pixel in the three-dimensional data into the two-dimensional image data of each pixel for each viewpoint. Is generated.
  • the two-dimensional data generation unit 53 obtains the depth of each pixel based on the three-dimensional coordinates of each pixel for each viewpoint, and generates depth image data.
  • the two-dimensional data generation unit 53 supplies the two-dimensional image data and depth image data of each viewpoint to the encoding unit 22.
  • step S ⁇ b> 17 the occlusion determination unit 54 extracts occlusion three-dimensional data from the three-dimensional data supplied from the imaging device 11 based on the camera parameters supplied from the camera determination unit 52, and encodes the encoding unit 22 as metadata. To supply.
  • step S18 the encoding unit 22 encodes the two-dimensional image data, the depth image data, and the metadata supplied from the conversion unit 21, and supplies the encoded stream obtained as a result to the transmission unit 23.
  • step S19 the transmission unit 23 transmits the encoded stream supplied from the encoding unit 22 to the decoding device 13. Then, the process ends.
  • FIG. 6 is a block diagram illustrating a first configuration example of the conversion unit 33 in FIG. 1.
  • FIG. 6 is a conversion unit 33 when the display image generation method of the decoding device 13 of FIG. 1 is a predetermined viewpoint display image generation method, and includes a selection unit 111 and a display control unit 112.
  • the selection unit 111 of the conversion unit 33 recognizes a desired one-viewpoint camera ID based on the camera-related information supplied from the decoding unit 32 of FIG.
  • the selection unit 111 selects two-dimensional image data of one viewpoint corresponding to the recognized camera ID from the two-dimensional image data, depth image data, and occlusion three-dimensional data supplied from the decoding unit 32.
  • the selection unit 111 supplies the selected one-view two-dimensional image data to the display control unit 112.
  • the display control unit 112 supplies the display device 14 with two-dimensional display by supplying the one-view two-dimensional image data supplied from the selection unit 111 to the display device 14 as display image data.
  • the selection unit 111 is arranged in a substantially horizontal direction based on the camera related information.
  • the configuration is the same as that of FIG. 6 except that two-dimensional two-dimensional image data is selected.
  • the selection unit 111 selects the two-dimensional image data of the viewpoint of the camera ID whose isStereoFlag is 1 in the camera related information and the viewpoint of the stereo camera ID corresponding to the camera ID.
  • the selected two-viewpoint two-dimensional image data is supplied to the display device 14 as display image data.
  • the display device 14 displays a left-eye display image based on one-viewpoint two-dimensional image data in the display image data, and displays a right-eye display image based on another one-viewpoint two-dimensional image data.
  • the display image is three-dimensionally displayed.
  • FIG. 7 is a block diagram illustrating a second configuration example of the conversion unit 33 in FIG. 1.
  • a conversion unit 33 when the display image generation method of the decoding device 13 is an interpolation viewpoint display image generation method, and includes a selection unit 131, an interpolation unit 132, and a display control unit 133. .
  • the selection unit 131 of the conversion unit 33 selects one of the camera IDs corresponding to isStereoFlag being 1 and the stereo camera ID corresponding to the one. Recognize
  • the selection unit 131 includes two-viewpoint two-dimensional image data and depth images corresponding to two recognized camera IDs out of the two-dimensional image data, the depth image data, and the occlusion three-dimensional data supplied from the decoding unit 32. Data is selected and supplied to the interpolation unit 132.
  • the interpolation unit 132 interpolates two-dimensional image data having a viewpoint between the two viewpoints based on the two-viewpoint two-dimensional image data and depth image data supplied from the selection unit 131.
  • Such an interpolation technique is called Depth Image Based Rendering, and is described, for example, in International Publication No. WO2014083752.
  • the interpolation unit 132 supplies the interpolated one-viewpoint two-dimensional image data to the display control unit 133.
  • the display control unit 133 supplies the display device 14 with a two-dimensional display by supplying the two-dimensional image data of one viewpoint supplied from the interpolation unit 132 to the display device 14 as display image data.
  • FIG. 8 is a block diagram illustrating a third configuration example of the conversion unit 33 in FIG. 1.
  • 8 is a conversion unit 33 when the display image generation method of the decoding device 13 is a free viewpoint display image generation method.
  • 8 includes a three-dimensional data generation unit 151, a subject position determination unit 152, a camera position determination unit 153, a two-dimensional data generation unit 154, and a display control unit 155.
  • the three-dimensional data generation unit 151 of the conversion unit 33 uses the two-dimensional image data, the depth image data, and the camera parameters included in the camera-related information supplied from the decoding unit 32, as in the imaging device 11. Three-dimensional data is generated.
  • the three-dimensional data generation unit 151 corrects the generated three-dimensional data using the occlusion three-dimensional data supplied from the decoding unit 32. Thereby, it is possible to generate three-dimensional data of the entire region of the subject including the occlusion region that cannot be generated only by the two-dimensional image data and the depth image data.
  • the three-dimensional data generation unit 151 supplies the corrected three-dimensional data to the subject position determination unit 152 and the two-dimensional data generation unit 154.
  • the subject position determination unit 152 determines a three-dimensional position as the center of the subject among the three-dimensional objects corresponding to the three-dimensional data supplied from the three-dimensional data generation unit 151, and subject position information representing the three-dimensional position Is supplied to the camera position determination unit 153.
  • the camera position determination unit 153 determines the camera parameter of the free viewpoint based on the subject position information supplied from the subject position determination unit 152, and supplies the camera parameter to the two-dimensional data generation unit 154.
  • the two-dimensional data generation unit 154 is a free viewpoint display image generation method based on the three-dimensional data supplied from the three-dimensional data generation unit 151 and the free viewpoint camera parameters supplied from the camera position determination unit 153. Dimensional image data is generated as display image data.
  • the two-dimensional data generation unit 154 performs perspective projection of a three-dimensional object corresponding to the three-dimensional data, similarly to the two-dimensional data generation unit 53 of FIG. A three-dimensional coordinate corresponding to the two-dimensional coordinate of each pixel is obtained. Then, the two-dimensional data generation unit 154 generates two-dimensional image data of three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel in the three-dimensional data as display image data of each pixel.
  • the two-dimensional data generation unit 154 obtains the depth of each pixel based on the three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel, and generates depth image data.
  • the two-dimensional data generation unit 154 supplies display image data and depth image data to the display control unit 155.
  • the display control unit 155 supplies display image data and depth image data supplied from the two-dimensional data generation unit 154 to the display device 14.
  • the display device 14 displays the display image two-dimensionally using the display image data and the depth image data as Point Cloud.
  • the converting unit 33 in FIG. 8 generates three-dimensional data from two-dimensional image data and depth image data of a plurality of viewpoints, and determines the three-dimensional data based on the newly determined camera parameters of the free viewpoint. Two-dimensional image data and depth image data are generated from the data. Therefore, the conversion unit 33 can change the zoom magnification of the two-dimensional image data and depth image data of the plurality of viewpoints transmitted from the encoding device 12 or change the viewpoint.
  • FIG. 9 is a flowchart illustrating a decoding process of the decoding device 13 when the configuration of the conversion unit 33 in FIG. 1 is the configuration in FIG. This decoding process is started, for example, when an encoded stream is transmitted from the encoding device 12.
  • the reception unit 31 of the decoding device 13 receives the encoded stream transmitted from the transmission unit 23 and supplies the encoded stream to the decoding unit 32.
  • step S32 the decoding unit 32 decodes the encoded stream supplied from the receiving unit 31.
  • the decoding unit 32 supplies the two-dimensional image data and depth image data of a plurality of viewpoints obtained as a result, and metadata to the conversion unit 33.
  • step S ⁇ b> 33 the three-dimensional data generation unit 151 (FIG. 8) of the conversion unit 33 uses the camera parameters included in the two-dimensional image data, the depth image data, and the metadata supplied from the decoding unit 32. Similarly to 11, three-dimensional data of the subject is generated.
  • step S34 the three-dimensional data generation unit 151 modifies the three-dimensional data generated in step S33 using the occlusion three-dimensional data included in the metadata supplied from the decoding unit 32.
  • the three-dimensional data generation unit 151 supplies the corrected three-dimensional data to the subject position determination unit 152.
  • step S35 the subject position determination unit 152 determines a three-dimensional position that is the center of the subject among the three-dimensional objects corresponding to the three-dimensional data supplied from the three-dimensional data generation unit 151, and uses the three-dimensional position.
  • the object position information to be represented is supplied to the camera position determination unit 153.
  • step S36 the camera position determination unit 153 determines the camera parameter of the free viewpoint based on the subject position information supplied from the subject position determination unit 152, and supplies the camera parameter to the two-dimensional data generation unit 154.
  • step S37 the two-dimensional data generation unit 154 generates two-dimensional image data as display image data by the free viewpoint display image generation method based on the three-dimensional data and the camera parameters of the free viewpoint.
  • step S38 the two-dimensional data generation unit 154 determines the depth of each pixel based on the three-dimensional coordinates corresponding to the two-dimensional coordinates of each pixel, and generates depth image data.
  • the two-dimensional data generation unit 154 supplies display image data and depth image data to the display control unit 155.
  • step S39 the display control unit 155 supplies the display image data and the depth image data supplied from the two-dimensional data generation unit 154 to the display device 14.
  • the imaging device 11 generates three-dimensional data from the captured two-dimensional image data of a plurality of viewpoints
  • the encoding device 12 generates a predetermined display image from the three-dimensional data.
  • Two-dimensional image data and depth image data of a plurality of viewpoints corresponding to the method are generated and encoded. Therefore, the encoding device 12 can encode the two-dimensional image data and the depth image data of the viewpoint corresponding to the predetermined display image generation method so that the decoding device 13 can acquire it regardless of the viewpoint at the time of imaging. .
  • the decoding device 13 receives and decodes encoded streams of two-dimensional image data and depth image data of a plurality of viewpoints corresponding to a predetermined display image generation method transmitted from the encoding device 12. Therefore, the decoding device 13 can acquire the two-dimensional image data and the depth image data of the viewpoint corresponding to the predetermined display image generation method regardless of the viewpoint at the time of imaging.
  • the encoded stream generated by the encoding device 12 can be reproduced by a decoding device of a plurality of display image generation methods.
  • a decoding device of a plurality of display image generation methods For example, in both a low-function decoding device whose display image generation method is a predetermined viewpoint display image generation method and a high-function decoding device whose display image generation method is a free viewpoint image generation method Stream can be played back.
  • FIG. 10 is a block diagram illustrating a configuration example of the second embodiment of the transmission system to which the present disclosure is applied.
  • the configuration of the transmission system 170 in FIG. 10 is that the imaging device 11, the encoding device 12, and the decoding device 13 are replaced with the imaging device 171, the encoding device 172, and the decoding device 173. And different.
  • the two-dimensional image data and the depth image data acquired by the imaging device 171 are encoded and transmitted as they are.
  • the imaging device 171 of the transmission system 170 includes a multi-camera 181 and an image processing unit 182.
  • the plurality of cameras constituting the multi-camera 181 of the imaging device 171 each captures two-dimensional image data.
  • the multi camera 181 supplies the two-dimensional image data captured by each camera to the image processing unit 182.
  • the image processing unit 182 uses one of a plurality of cameras constituting the multi-camera 181 as a reference camera and the other camera as a reference camera.
  • the image processing unit 182 synchronizes the two-dimensional image data of each reference camera with the reference camera based on the two-dimensional image data captured by the reference camera of the multi-camera 181 and the two-dimensional image data captured by each reference camera. Detect deviation.
  • the image processing unit 182 detects the synchronization shift of the reference camera as 0.
  • the image processing unit 182 supplies synchronization deviation information including information indicating the detected synchronization deviation of the viewpoint of each camera and camera-related information to the encoding device 172.
  • the image processing unit 182 generates depth image data of each camera by performing stereo matching on the two-dimensional image data captured by each camera, and supplies the depth image data to the encoding device 172.
  • the encoding device 172 uses the synchronization error information and camera-related information supplied from the imaging device 171 as metadata.
  • the encoding device 172 encodes the two-dimensional image data, depth image data, and metadata of each camera supplied from the imaging device 171 in the same manner as the encoding unit 22 in FIG. 1, and generates an encoded stream.
  • the encoding device 172 (transmission unit) transmits the generated encoded stream to the decoding device 173.
  • the configuration of the decoding device 173 is different from the configuration of the decoding device 13 in FIG. 1 in that the decoding unit 32 and the conversion unit 33 are replaced with the decoding unit 191 and the conversion unit 192.
  • the decoding unit 191 of the decoding device 173 decodes the encoded stream supplied from the receiving unit 31 by a method corresponding to the encoding method in the encoding device 172.
  • the decoding unit 191 synchronizes the two-dimensional image data and the depth image data of the reference camera and each reference camera based on the synchronization deviation information in the metadata obtained as a result, and supplies the data to the conversion unit 192. Also, the decoding unit 191 supplies camera-related information in the metadata to the conversion unit 192.
  • the configuration of the conversion unit 192 is the same as the configuration of the conversion unit 33 in FIG. 1 except that the three-dimensional data is not corrected using the occlusion three-dimensional data, description thereof is omitted.
  • FIG. 11 is a block diagram illustrating a configuration example of the imaging device 171 in FIG.
  • the multi-camera 181 of the image pickup apparatus 171 in FIG. 11 includes N (N is a plurality) cameras 211-1 to 211-N.
  • the cameras 211-1 to 211 -N are arranged so that, for example, the viewpoints of the cameras 211-1 to 211 -N are viewpoints corresponding to a predetermined display image generation method.
  • Each of the cameras 211-1 to 211 -N captures an image, and supplies two-dimensional image data (captured image data) of a moving image obtained as a result to the image processing unit 182.
  • the camera 211 when it is not necessary to particularly distinguish the cameras 211-1 to 211 -N, they are collectively referred to as the camera 211.
  • the image processing unit 182 includes a calibration unit 221, a synchronization shift detection unit 222, and a depth generation unit 223.
  • the calibration unit 221 of the image processing unit 182 calibrates the two-dimensional image data supplied from the multi-camera 181 for each camera 211 using camera parameters.
  • the calibration unit 221 supplies the two-dimensional image data of each camera 211 after calibration to the synchronization shift detection unit 222. Further, the calibration unit 221 supplies camera related information to the encoding device 172 of FIG.
  • the synchronization error detection unit 222 uses one of the cameras 211-1 to 211-N as a reference camera and the rest as a reference camera.
  • the synchronization shift detection unit 222 is configured to calculate the reference camera two-dimensional image data for the reference camera for each reference camera based on the reference camera two-dimensional image data and the reference camera two-dimensional image data supplied from the calibration unit 221. Detect synchronization loss in msec order.
  • the synchronization shift detection unit 222 detects flash light from the two-dimensional image data of the reference camera and the two-dimensional image data of the reference camera.
  • the synchronization deviation detection unit 222 detects a difference between the imaging times of the two-dimensional image data of the reference camera and the reference camera from which the flash light is detected as the synchronization deviation of the two-dimensional image data of the reference camera.
  • the synchronization shift of the two-dimensional image data of the reference camera may be performed using the two-dimensional image data by a method other than the method of detecting the flash light. Further, when the camera 211 acquires audio data together with the two-dimensional image data, the synchronization deviation of the reference camera two-dimensional image data is detected by detecting the synchronization deviation of the reference camera audio data with respect to the reference camera. It may be.
  • the synchronization deviation detection unit 222 detects the synchronization deviation of the two-dimensional image data of the reference camera as 0.
  • the synchronization error detection unit 222 supplies the synchronization information of the detected synchronization error to the encoding device 172. Further, the synchronization shift detection unit 222 supplies the two-dimensional image data of each camera 211 supplied from the calibration unit 221 to the depth generation unit 223.
  • the depth generation unit 223 generates depth image data of each camera 211 by performing stereo matching on the two-dimensional image data of each camera 211 supplied from the synchronization shift detection unit 222.
  • the depth generation unit 223 supplies the two-dimensional image data and depth image data of each camera 211 to the encoding device 172.
  • FIG. 12 is a diagram illustrating an example of synchronization error information.
  • the viewpoints of the camera 211 are the viewpoints 81 to 90 of B of FIG.
  • the synchronization deviation information is configured by associating the camera ID of the viewpoint of each camera 211 with the num_units_in_tick, time_scale, Delta_num_units_in_tick, and Delta_time_scale of the camera 211.
  • Num_units_in_tick is information indicating how many time_unit the frame interval is defined by time_scale.
  • time_scale is the number of time_units per second. Therefore, the frame rate can be expressed by num_units_in_tick and time_scale.
  • the frame rate of the camera 211 whose camera IDs are 0, 1, 4, and 5 is 60 Hz (59.94 Hz). Therefore, for example, num_units_in_tick of the cameras 211 whose camera IDs are 0, 1, 4, and 5 is 1001, and time_scale is 60000.
  • the frame rate of the camera 211 having camera IDs 2, 3, and 6 to 9 is 30 Hz (29.97 Hz). Therefore, for example, the num_units_in_tick of the camera 211 whose camera ID is 2, 3, and 6 to 9 is 2002 and the time_scale is 60000.
  • Delta_num_units_in_tick is information indicating the number of time_units defined by Delta_time_scale.
  • Delta_time_scale is the number of time_units per second. Therefore, the synchronization shift can be expressed by Delta_num_units_in_tick and Delta_time_scale.
  • the camera 211 whose camera ID is 0 is the reference camera. Therefore, Delta_num_units_in_tick corresponding to the camera ID which is 0 is 0.
  • the synchronization error of the cameras 211 whose camera IDs are 3, 4, 7, and 9 is zero. Therefore, Delta_num_units_in_tick corresponding to the camera IDs of 3, 4, 7, and 9 is also 0.
  • the synchronization shift of the camera 211 with the camera IDs 1 and 5 is 1/30 (1 / 29.97) seconds.
  • Delta_num_units_in_tick corresponding to camera IDs 1 and 5 is 2002
  • Delta_time_scale is 60000.
  • the synchronization shift of the cameras 211 with the camera IDs 2, 6, and 8 is 1/15 (1 / 14.985) seconds. Therefore, for example, Delta_num_units_in_tick corresponding to camera IDs of 2, 6, and 8 is 4004, and Delta_time_scale is 60000.
  • the synchronization error information may include a synchronization error common flag indicating whether or not the synchronization errors of all the cameras 211 in which synchronization error has occurred are the same.
  • the synchronization shift information indicates that the synchronization shift of all the cameras 211 in which the synchronization shift has occurred is the same.
  • the synchronization deviation information includes the synchronization deviation information in FIG. 12 and the synchronization deviation of all the cameras 211 in which the synchronization deviation has occurred. It is composed of a synchronization error common flag indicating that they are not the same.
  • FIG. 13 is a block diagram illustrating a configuration example of the encoding device 172 of FIG.
  • 13 is an encoding device 172 in the case of performing encoding according to the AVC method or HEVC method, and includes 2N encoding units 241-1 to 241-2N and a transmission unit 242.
  • the encoding units 241-1 to 241-2N of the encoding device 172 respectively encode the two-dimensional image data or the depth image data of each camera 211 supplied from the imaging device 171 using the AVC method or the HEVC method. Generate a stream.
  • the encoding units 241-1 to 241-2N use, as metadata, camera-related information and synchronization deviation information supplied from the imaging device 171 and information that associates the camera-related information and synchronization deviation information with the encoded stream.
  • the encoding units 241-1 to 241-2N arrange metadata in User unregistered SEI of the generated encoded stream.
  • the encoding units 241-1 to 241 -N can arrange only the metadata corresponding to the encoded stream in the User unregistered SEI of the encoded stream. In this case, information that associates the camera-related information and the synchronization error information with the encoded stream is not included in the metadata.
  • the encoding units 241-1 to 241-2N supply the encoded stream in which the metadata is arranged to the transmission unit 242.
  • the transmission unit 242 transmits the encoded stream supplied from the encoding units 241-1 to 241-2N to the decoding device 173 in FIG.
  • FIG. 14 is a flowchart for describing the encoding processing of the imaging device 171 and the encoding device 172 of FIG.
  • step S51 of FIG. 14 the camera 211 (FIG. 11) of the imaging device 171 performs imaging and supplies the two-dimensional image data of the moving image obtained as a result to the image processing unit 182.
  • step S52 the calibration unit 221 of the image processing unit 182 calibrates the two-dimensional image data supplied from the multi-camera 181 for each camera 211 using camera parameters.
  • the calibration unit 221 supplies the two-dimensional image data of each camera 211 after calibration to the synchronization shift detection unit 222.
  • step S53 the calibration unit 221 supplies camera-related information to the encoding device 172 as metadata.
  • step S54 the synchronization shift detection unit 222 synchronizes the two-dimensional image data of the reference camera with the reference camera based on the two-dimensional image data of the reference camera and the reference camera supplied from the calibration unit 221 for each reference camera. Detect deviation. Further, the synchronization shift detection unit 222 detects 0 as the synchronization shift of the two-dimensional image data of the reference camera.
  • step S55 the synchronization error detection unit 222 supplies the detected synchronization error information to the encoding device 172 as metadata. Further, the synchronization shift detection unit 222 supplies the two-dimensional image data of each camera 211 supplied from the calibration unit 221 to the depth generation unit 223.
  • step S56 the depth generation unit 223 generates the depth image data of each camera 211 by performing stereo matching on the two-dimensional image data of each camera 211 supplied from the synchronization shift detection unit 222.
  • step S57 the depth generation unit 223 supplies the two-dimensional image data and depth image data of each camera 211 to the encoding device 172.
  • step S58 the encoding device 172 encodes the two-dimensional image data, the depth image data, and the metadata of each camera 211 supplied from the imaging device 171 to generate an encoded stream.
  • step S59 the encoding device 172 transmits the generated encoded stream to the decoding device 173. Then, the process ends.
  • FIG. 15 is a block diagram illustrating a configuration example of the decoding unit 191 in FIG.
  • the configuration of the encoding device 172 is the configuration of FIG. 13, and the encoding method of the encoded stream transmitted from the encoding device 172 is the AVC method or the HEVC method.
  • the decoding unit 191 in FIG. 15 includes 2N decoding processing units 261-1 to 261-2N and an output unit 262.
  • the decoding processing units 261-1 to 261-2N of the decoding unit 191 correspond to the encoded streams of the two-dimensional image data and the depth image data of each camera 211 supplied from the receiving unit 31, respectively, in accordance with the AVC method or the HEVC method. Decrypt by the method.
  • the decoding processing units 261-1 to 261-2N supply the output unit 262 with the two-dimensional image data or depth image data of each camera 211 obtained as a result of the decoding, and the camera-related information and synchronization shift information constituting the metadata. To do.
  • the output unit 262 (synchronization processing unit) performs two-dimensional image data and depth image data of the reference camera and the reference camera for each reference camera based on the synchronization shift information supplied from the decoding processing units 261-1 to 261-2N. Are supplied to the converter 192 of FIG.
  • the output unit 262 outputs 2D image data and depth image data of the reference camera to 2 The frame is delayed and supplied to the conversion unit 192. Further, the output unit 262 supplies the camera-related information supplied from the decoding processing units 261-1 to 261-2N to the conversion unit 192.
  • the two-dimensional image data and the depth image data of each camera 211 supplied to the conversion unit 192 are synchronized, the generation accuracy of the three-dimensional data in the conversion unit 192 is improved.
  • FIG. 16 illustrates a decoding process of the decoding device 173 when the configuration of the conversion unit 192 in FIG. 10 is the same as the configuration in FIG. 8 except that the 3D data is not corrected using the occlusion 3D data. It is a flowchart. This decoding process is started, for example, when an encoded stream is transmitted from the encoding device 172.
  • the reception unit 31 of the decoding device 173 receives the encoded stream transmitted from the encoding device 172 and supplies the encoded stream to the decoding unit 191.
  • step S72 the decoding unit 191 decodes the encoded stream supplied from the receiving unit 31 by a method corresponding to the encoding method in the encoding device 172.
  • step S73 the decoding unit 191 synchronizes and converts the two-dimensional image data and the depth image data of the reference camera and the reference camera for each reference camera based on the synchronization shift information in the metadata obtained as a result of the decoding.
  • the output unit 262 supplies camera related information in the metadata to the conversion unit 192.
  • step S74 the conversion unit 192 uses the two-dimensional image data, the depth image data, and the camera parameters included in the camera-related information supplied from the decoding unit 191, and the three-dimensional data of the subject as in the imaging device 11. Is generated.
  • steps S75 to S79 Since the processing of steps S75 to S79 is the same as the processing of steps S35 to S39 in FIG.
  • the two-dimensional image data and the depth image data acquired by each camera 211 are encoded and transmitted as they are, so that the two-dimensional image data and the depth image data of each camera 211 can be synchronized. There may not be.
  • the imaging device 171 detects a synchronization shift of the two-dimensional image data of each camera, and the encoding device 172 uses the detected synchronization shift synchronization information as the two-dimensional image data and the depth image. Transmit with data. Therefore, the decoding device 173 can synchronize the two-dimensional image data and the depth image data of each camera 211 based on the synchronization shift information. As a result, the decoding device 173 can generate three-dimensional data with high accuracy using the two-dimensional image data and depth image data of the N cameras 211 that are synchronized.
  • FIG. 17 is a block diagram illustrating a configuration example of the third embodiment of the transmission system to which the present disclosure is applied.
  • the configuration of the transmission system 280 in FIG. 17 is that the imaging device 281, the encoding device 282, and the synthesizing device 283 are newly provided, the decoding device 13 replaces the decoding device 284, and the encoding device 12 generates the transmission system 280. 1 differs from the configuration of the transmission system 10 in FIG. 1 in that the viewpoints of the two-dimensional image data and the depth image data are a part of a plurality of viewpoints corresponding to a predetermined display image generation method.
  • an encoding stream of a part of viewpoints (hereinafter referred to as a first viewpoint group) among a plurality of viewpoints corresponding to a predetermined display image generation method is generated by the encoding device 12, and
  • An encoded stream of a viewpoint (hereinafter referred to as a second viewpoint group) is generated by the encoding device 282, and both encoded streams are combined (merged).
  • the imaging device 281 of the transmission system 280 is configured in the same manner as the imaging device 11 of FIG. 1, images at least a part of the subject that is the same as the subject in the imaging device 11, and three-dimensional data of the subject. Is supplied to the encoding device 282.
  • the encoding device 282 includes a conversion unit 291 configured similarly to the conversion unit 21, an encoding unit 292 configured similar to the encoding unit 22, and a transmission unit 293 configured similar to the transmission unit 23.
  • the encoding device 282 generates 2D image data and depth image data of the second viewpoint group from the 3D data, encodes them, and transmits them to the synthesis device 283.
  • the synthesizer 283 transmits the first viewpoint group encoded stream (hereinafter referred to as the first partial encoded stream) transmitted from the encoder 12 and the second viewpoint group transmitted from the encoder 282.
  • An encoded stream (hereinafter, second partial encoded stream) is received.
  • the synthesizing device 283 detects a synchronization shift of the second partial encoded stream with respect to the first partial encoded stream, and generates viewpoint group synchronization shift information indicating the synchronization shift of the second encoded stream.
  • the viewpoint group synchronization shift information includes, for example, num_units_in_tick and time_scale representing the frame rate of the second viewpoint group, and Delta_num_units_in_tick and Delta_time_scale representing the synchronization shift.
  • the synthesizing device 283 includes the viewpoint group synchronization deviation information in the metadata of the second partial encoded stream.
  • the synthesizing device 283 synthesizes the second partial encoded stream in which the viewpoint group synchronization deviation information is arranged and the first partial encoded stream, and generates encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method. It is generated and transmitted to the decoding device 284.
  • the configuration of the decoding device 284 is different from the configuration of the decoding device 13 in FIG. 1 in that the decoding unit 32 replaces the decoding unit 301.
  • FIG. 18 is a block diagram illustrating a configuration example of the synthesis device 283 in FIG.
  • a decoding unit 321 includes a decoding unit 321, a decoding unit 322, a synchronization deviation detection unit 323, and a metadata addition unit 324.
  • the decoding unit 321 of the synthesizing device 283 receives the first partial encoded stream transmitted from the encoding device 12.
  • the decoding unit 321 decodes the received first partial encoded stream by a method corresponding to the encoding method (MVCD in the example of FIG. 18) in the encoding unit 22, and the two-dimensional image of the first viewpoint group Generate data, depth image data, and metadata.
  • the decoding unit 321 supplies the two-dimensional image data of one viewpoint in the generated first viewpoint group to the synchronization shift detection unit 323.
  • the decoding unit 322 receives the second partial encoded stream transmitted from the encoding device 282.
  • the decoding unit 322 decodes the received second partial encoded stream by a method corresponding to the encoding method (MVCD in the example of FIG. 18) in the encoding unit 292, and the two-dimensional image of the second viewpoint group Generate data, depth image data, and metadata.
  • the decoding unit 322 supplies the two-dimensional image data of one viewpoint in the generated second viewpoint group to the synchronization shift detection unit 323.
  • the synchronization shift detection unit 323 detects a synchronization shift of the 2D image data of the second viewpoint group with respect to the first viewpoint group based on the 2D image data supplied from the decoding unit 321 and the decoding unit 322.
  • the method for detecting synchronization deviation may be the same as or different from the method for detecting synchronization deviation in the second embodiment.
  • the synchronization deviation detection unit 323 determines each time of one viewpoint in the first viewpoint group and one viewpoint in the second viewpoint group based on the camera parameter included in the camera-related information.
  • the two-dimensional position of the feature point of the two-dimensional image data is converted into a three-dimensional position.
  • the synchronization shift detection unit 323 obtains the time difference of the two-dimensional image data when the difference between the three-dimensional positions of the feature points of the two viewpoints is minimized, and the two-dimensional image of the second viewpoint group with respect to the first viewpoint group. Detected as data out of sync.
  • the synchronization deviation detection unit 323 supplies viewpoint group synchronization deviation information representing the detected synchronization deviation to the metadata adding unit 324.
  • the metadata adding unit 324 arranges the viewpoint group synchronization shift information supplied from the synchronization shift detection unit 323 as metadata in the second partial encoded stream transmitted from the encoding device 282.
  • the metadata adding unit 324 combines the second partial encoded stream in which the viewpoint group synchronization deviation information is replaced as metadata and the first partial encoded stream transmitted from the encoding device 12.
  • the metadata addition unit 324 transmits the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284.
  • FIG. 19 is a flowchart for explaining the composition processing of the composition device 283 in FIG.
  • the decoding unit 321 of the synthesizing device 283 decodes the first partial encoded stream transmitted from the encoding device 12 by a method corresponding to the encoding method in the encoding unit 22.
  • the decoding unit 321 supplies the two-dimensional image data of one viewpoint in the first viewpoint group obtained as a result of decoding to the synchronization shift detection unit 323.
  • step S92 the decoding unit 322 decodes the second partial encoded stream transmitted from the encoding device 282 by a method corresponding to the encoding method in the encoding unit 292.
  • the decoding unit 322 supplies the two-dimensional image data of one viewpoint in the second viewpoint group obtained as a result of decoding to the synchronization shift detection unit 323.
  • step S93 the synchronization deviation detection unit 323 detects the synchronization deviation of the two-dimensional image data of the second viewpoint group with respect to the first viewpoint group based on the two-dimensional image data supplied from the decoding unit 321 and the decoding unit 322. To detect.
  • the synchronization deviation detection unit 323 supplies viewpoint group synchronization deviation information representing the detected synchronization deviation to the metadata adding unit 324.
  • step S94 the metadata adding unit 324 arranges the viewpoint group synchronization shift information supplied from the synchronization shift detection unit 323 as metadata in the second partial encoded stream transmitted from the encoding device 282.
  • step S95 the metadata adding unit 324 combines the first partial encoded stream transmitted from the encoding device 12 and the second partial encoded stream including the viewpoint group synchronization shift information.
  • the metadata adding unit 324 supplies the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284, and ends the processing.
  • step S74 the process is similar to step S34 of FIG. Except for the point that the three-dimensional data is corrected using the occlusion three-dimensional data, this is the same as the decoding process of FIG.
  • the first partial encoded stream generated by the encoding device 12 and the second partial encoded stream generated by the encoding device 282 are combined and are combined into the decoding device 284. Is transmitted. Therefore, the encoded streams of the first viewpoint group and the second viewpoint group corresponding to a predetermined display image generation method obtained as a result of synthesis may not be synchronized.
  • the synthesizing device 283 once decodes the first partial encoded stream and the second partial encoded stream, and two-dimensional of the first viewpoint group and the second viewpoint group obtained as a result. Detects synchronization loss of image data. Then, the synthesizing device 283 transmits viewpoint group synchronization shift information indicating the detected synchronization shift together with the first partial encoded stream and the second partial encoded stream. Therefore, the decoding device 284 can synchronize the two-dimensional image data and the depth image data of the first viewpoint group and the second viewpoint group based on the viewpoint group synchronization shift information. As a result, the decoding device 284 can generate three-dimensional data with high accuracy using the synchronized two-dimensional image data and depth image data of the first viewpoint group and the second viewpoint group.
  • ⁇ Fourth embodiment> (Configuration example of the synthesis device in the fourth embodiment of the transmission system)
  • the configuration of the transmission system according to the fourth embodiment to which the present disclosure is applied is that the synthesizing device 283 is replaced by the synthesizing device 340, the converting unit 33 of the decoding device 284 is replaced by the converting unit 380, and the viewpoint group synchronization shift information is coordinates.
  • the configuration is the same as that of the transmission system 280 in FIG. 17 except that the conversion information is used. Therefore, only the synthesis apparatus 340 and the conversion unit 380 will be described below.
  • FIG. 20 is a block diagram illustrating a configuration example of the synthesis apparatus 340.
  • the configuration of the synthesizing device 340 in FIG. 20 is different from the configuration of the synthesizing device 283 in FIG. 18 in that the synchronization deviation detecting unit 323 and the metadata adding unit 324 are replaced with the coordinate conversion data generating unit 341 and the metadata adding unit 342. .
  • the synthesizing device 340 does not detect the synchronization shift of the two-dimensional image data of each viewpoint, but uses the first three-dimensional coordinate system which is the three-dimensional coordinate system of the first viewpoint group as the three-dimensional of the second viewpoint group. Coordinate conversion data to be converted into a second three-dimensional coordinate system that is a coordinate system is generated.
  • the coordinate transformation data generation unit 341 of the synthesizing device 340 performs, for each viewpoint of the first viewpoint group, based on the two-dimensional image data of the first viewpoint group generated by the decoding of the decoding unit 322. The two-dimensional position of the feature point is obtained.
  • the coordinate conversion data generation unit 341 uses the above-described formula based on the camera parameters, the two-dimensional image data, and the depth image data included in the camera-related information of the second viewpoint group generated by the decoding of the decoding unit 321. From (1), the three-dimensional position of the feature point in the second three-dimensional coordinate system is obtained.
  • the coordinate conversion data generation unit 341 generates coordinate conversion data for each viewpoint of the first viewpoint group based on the two-dimensional position of the feature point and the three-dimensional position in the second three-dimensional coordinate system.
  • the coordinate conversion data generation unit 341 supplies coordinate conversion information including the coordinate conversion data of each viewpoint of the first viewpoint group to the metadata adding unit 342.
  • the metadata adding unit 342 arranges the coordinate conversion information supplied from the coordinate conversion data generation unit 341 as metadata in the first partial encoded stream transmitted from the encoding device 12. Also, the metadata adding unit 342 combines the first partial encoded stream in which the coordinate conversion information is arranged as metadata and the second partial encoded stream transmitted from the encoding device 282.
  • the metadata addition unit 342 transmits the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284.
  • FIG. 21 is a diagram for explaining the process of generating coordinate conversion data by the coordinate conversion data generation unit 341 in FIG.
  • the first three-dimensional coordinate system is a coordinate system having axes x A to z A perpendicular to each other as coordinate axes
  • the second three-dimensional coordinate system is an axis perpendicular to each other.
  • the coordinate system is different from the first three-dimensional coordinate system having x B to z B as coordinate axes.
  • 2-dimensional position P A on the first three-dimensional position is P 1 feature point in a three-dimensional coordinate system image, following (3)
  • t camA is a camera parameter in the first three-dimensional coordinate system of the virtual camera 361 in the metadata of the first partial encoded stream.
  • t camB is a camera parameter in the second three-dimensional coordinate system of the virtual camera 361.
  • Equation (6) is an equation for converting the three-dimensional position P 1 in the first three-dimensional coordinate system, the three-dimensional position P 1 'of the second three-dimensional coordinate system. Therefore, the coordinate conversion data generation unit 341 obtains R con
  • the coordinate conversion data generation unit 341 uses the above-described equation (1) based on the camera parameters, the two-dimensional image data, and the depth image data of the second viewpoint group to calculate the second 3 of feature points. A three-dimensional position in a dimensional coordinate system is obtained. Further, the coordinate conversion data generation unit 341 obtains the two-dimensional position of the feature point for each viewpoint of the first viewpoint group based on the two-dimensional image data of the first viewpoint group.
  • coordinate transformation data generating unit 341 for each viewpoint of the first viewpoint group, a 3-dimensional position in the second three-dimensional coordinate system of the feature point is assigned to P 1 ', substituted for 2-dimensional position in the P A
  • t camB in the second three-dimensional coordinate system of the virtual camera 361 is obtained by the equation (4).
  • online calibration Details of online calibration are described in, for example, Zhengyou Zhang, “A Flexible New Technique for Camera Calibration”, Technical Report MSR-TR-98-71, Microsoft Corporation, December 2.1998 and the like.
  • the coordinate conversion data generation unit 341 obtains coordinate conversion data by the above-described equation (6) using the external parameter R camB
  • FIG. 22 is a diagram illustrating an example of coordinate conversion information.
  • the camera IDs of the viewpoints of the first viewpoint group are 0 to 3.
  • the coordinate conversion information is configured by associating the camera ID of each viewpoint of the first viewpoint group with the isCorrectionFlag of the viewpoint and the coordinate conversion data.
  • IsCorrectionFlag is a flag indicating whether or not the first three-dimensional coordinate system that is the three-dimensional coordinate system of the corresponding viewpoint is different from the second three-dimensional coordinate system serving as a reference.
  • isCorrectionFlag is 1 when indicating that the first 3D coordinate system, which is the 3D coordinate system of the corresponding viewpoint, is different from the second 3D coordinate system serving as a reference, and 0 when indicating that it is not different. is there.
  • the coordinate conversion information may include a coordinate conversion common flag indicating whether or not the coordinate conversion data of all the viewpoints in the first viewpoint group are the same.
  • the coordinate conversion information indicates that the coordinate conversion data of all viewpoints of the first viewpoint group is the same.
  • the coordinate conversion common flag is, for example, 1 when the coordinate conversion data of all viewpoints of the first viewpoint group are the same, and 0 when they are different.
  • FIG. 23 is a flowchart for describing the composition processing of the composition device 340 of FIG.
  • steps S111 and S112 in FIG. 23 Since the processing of steps S111 and S112 in FIG. 23 is the same as the processing of steps S91 and S92 in FIG.
  • step S113 the coordinate conversion data generation unit 341 of the synthesizing device 340, based on the camera parameters of the second viewpoint group, the two-dimensional image data, the depth image data, and the two-dimensional image data of the first viewpoint group, Coordinate conversion data for each viewpoint of the first viewpoint group is generated.
  • the coordinate conversion data generation unit 341 supplies coordinate conversion information including the coordinate conversion data of each viewpoint of the first viewpoint group to the metadata adding unit 342.
  • step S114 the metadata adding unit 342 arranges the coordinate conversion information supplied from the coordinate conversion data generation unit 341 as metadata in the first partial encoded stream transmitted from the encoding device 12.
  • step S115 the metadata adding unit 342 synthesizes the first partial encoded stream including the coordinate conversion information and the second partial encoded stream transmitted from the encoding device 282.
  • the metadata adding unit 342 transmits the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284. Then, the process ends.
  • FIG. 24 is a block diagram illustrating a configuration example of the conversion unit 380 when the display image generation method of the decoding device 284 is a free viewpoint display image generation method.
  • the three-dimensional data generation unit 381 includes a three-dimensional position conversion unit 391, a three-dimensional position conversion unit 392, a coordinate conversion unit 393, and a data generation unit 394.
  • the three-dimensional position conversion unit 391 (first three-dimensional position conversion unit) of the three-dimensional data generation unit 381 is a camera parameter or two-dimensional image data in the metadata of the first viewpoint group supplied from the decoding unit 301. Based on the depth image data, the two-dimensional position of each pixel of the two-dimensional image data of the first viewpoint is converted into a three-dimensional position in the first three-dimensional coordinate system by the above-described equation (1).
  • the three-dimensional position conversion unit 391 is a coordinate conversion unit that converts the three-dimensional position in the first three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group and the two-dimensional image data of the first viewpoint group. 393.
  • the three-dimensional position conversion unit 392 (second three-dimensional position conversion unit) is based on the camera parameter, the two-dimensional image data, and the depth image data in the metadata of the second viewpoint group supplied from the decoding unit 301.
  • the two-dimensional position of each pixel of the two-dimensional image data of the second viewpoint group is converted into a three-dimensional position in the second three-dimensional coordinate system by the above-described equation (1).
  • the three-dimensional position conversion unit 392 is a data generation unit that converts the three-dimensional position in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the second viewpoint group and the two-dimensional image data of the second viewpoint group. 394.
  • the coordinate conversion unit 393 is based on the coordinate conversion information in the metadata supplied from the decoding unit 301, and the first pixel group of the two-dimensional image data of the first viewpoint group supplied from the three-dimensional position conversion unit 391. A three-dimensional position in one three-dimensional coordinate system is converted into a three-dimensional position in a second three-dimensional coordinate system.
  • the coordinate conversion unit 393 sends the three-dimensional position in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group and the two-dimensional image data of the first viewpoint group to the data generation unit 394. Supply.
  • the data generation unit 394 generates the first viewpoint group and the second viewpoint group based on the three-dimensional position in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group and the second viewpoint group.
  • Three-dimensional data of the subject is generated from the two-dimensional image data of the viewpoint group.
  • the data generation unit 394 corrects the generated three-dimensional data using the occlusion three-dimensional data in the metadata supplied from the decoding unit 301, and supplies the corrected three-dimensional data to the subject position determination unit 152 and the two-dimensional data generation unit 154. To do.
  • FIG. 25 is a flowchart illustrating the decoding process of the decoding device 284 according to the fourth embodiment. This decoding process is started, for example, when an encoded stream is transmitted from the synthesizing device 340.
  • the reception unit 31 of the decoding device 284 receives the encoded stream transmitted from the synthesis device 283.
  • step S132 the decoding unit 301 decodes the received encoded stream by a method corresponding to the encoding method in the encoding unit 22 and the encoding unit 292.
  • the decoding unit 301 supplies the two-dimensional image data, depth image data, and metadata of the first viewpoint group and the second viewpoint group obtained as a result to the conversion unit 380 (FIG. 24).
  • step S133 the three-dimensional position conversion unit 391 of the conversion unit 380 determines the second viewpoint group 2 based on the camera parameters, the two-dimensional image data, and the depth image data in the metadata of the first viewpoint group.
  • the three-dimensional position in the first three-dimensional coordinate system of each pixel of the two-dimensional image data is obtained.
  • the three-dimensional position conversion unit 391 supplies the coordinate conversion unit 393 with the three-dimensional position and the two-dimensional image data in the first three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group.
  • step S134 the three-dimensional position conversion unit 392 performs each of the two-dimensional image data of the second viewpoint based on the camera parameter, the two-dimensional image data, and the depth image data in the metadata of the second viewpoint group. A three-dimensional position of the pixel in the second three-dimensional coordinate system is obtained.
  • the three-dimensional position conversion unit 392 supplies the data generation unit 394 with the three-dimensional position and the two-dimensional image data in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the second viewpoint group.
  • step S135 the coordinate conversion unit 393 determines the three-dimensional position in the first three-dimensional coordinate system supplied from the three-dimensional position conversion unit 391 based on the coordinate conversion information in the metadata supplied from the decoding unit 301. Is converted into a three-dimensional position in the second three-dimensional coordinate system.
  • the coordinate conversion unit 393 supplies the data generation unit 394 with the three-dimensional position and the two-dimensional image data in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group.
  • step S136 the data generation unit 394 generates the first viewpoint group based on the three-dimensional position in the second three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group and the second viewpoint group. Then, three-dimensional data of the subject is generated from the two-dimensional image data of the second viewpoint group.
  • steps S137 to S142 is the same as the processing of steps S34 to S39 in FIG.
  • the synthesizing device 283 does not arrange the coordinate conversion information in the first partial encoded stream, but instead of the first viewpoint group in the first three-dimensional coordinate system arranged in the first partial encoded stream.
  • t camA for each viewpoint may be replaced with the external parameter R camB
  • the coordinate conversion unit 393 is not provided in the three-dimensional data generation unit 381, and the three-dimensional position conversion unit 391 uses the external parameter R camB
  • the three-dimensional position in the second three-dimensional coordinate system is directly obtained.
  • the coordinate conversion data of each viewpoint of the first viewpoint group is the same if the scale (distance in the depth direction between the viewpoint and the imaging surface) of the two-dimensional image data of each viewpoint is the same. Therefore, in this case, the coordinate conversion data generation unit 341 generates only coordinate conversion data of one viewpoint in the first viewpoint group as coordinate conversion data common to the viewpoints of the first viewpoint group. You may do it.
  • the first partial encoded stream generated by the encoding device 12 and the second partial encoded stream generated by the encoding device 282 are combined and decoded. 284. Therefore, the three-dimensional coordinate systems of the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of synthesis may not be the same.
  • the synthesizing device 340 once decodes the first partial encoded stream and the second partial encoded stream, and generates coordinate conversion data based on the decoding result. Then, the synthesizing device 340 transmits the coordinate conversion information including the generated coordinate conversion data together with the first partial encoded stream and the second partial encoded stream. Therefore, the conversion unit 380 converts the three-dimensional position in the first three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group into the three-dimensional position in the second three-dimensional coordinate system based on the coordinate conversion information. Can be converted to a dimensional position.
  • the conversion unit 380 calculates from the two-dimensional image data based on the three-dimensional position in the same first three-dimensional coordinate system of each pixel of the two-dimensional image data of the first viewpoint group and the second viewpoint group.
  • Three-dimensional data can be generated with high accuracy.
  • the two-dimensional image data and the depth image data are used respectively. Detection of synchronization deviation of the viewpoint or generation of coordinate conversion data is performed.
  • ⁇ Fifth embodiment> (Configuration example of the synthesizing device in the fifth embodiment of the transmission system)
  • the configuration of the fifth embodiment of the transmission system to which the present disclosure is applied is that the combining device 283 replaces the combining device 400, the converting unit 33 of the decoding device 284 replaces the converting unit 420, and the viewpoint group synchronization shift information is color
  • the configuration is the same as that of the transmission system 280 in FIG. 17 except that the shift correction information is used. Accordingly, only the synthesis apparatus 400 and the conversion unit 420 will be described below.
  • FIG. 26 is a block diagram illustrating a configuration example of the synthesis apparatus 400.
  • the configuration of the synthesizing device 400 in FIG. 26 is the same as the configuration of the synthesizing device 283 in FIG. 18 in that the synchronization deviation detecting unit 323 and the metadata adding unit 324 are replaced with the color misregistration correction data generating unit 401 and the metadata adding unit 402. Different.
  • the synthesizing device 400 does not detect the synchronization shift of the two-dimensional image data of each viewpoint, but generates color shift correction data for correcting the color shift of the two-dimensional image data of each viewpoint.
  • the color misregistration correction data generation unit 401 of the synthesizing apparatus 400 uses one of the viewpoints of the first viewpoint group and the second viewpoint group as a reference viewpoint and the other viewpoint as a reference viewpoint.
  • the color misregistration correction data generation unit 401 generates a reference viewpoint two-dimensional image for the reference viewpoint based on the reference viewpoint and the reference viewpoint two-dimensional image data generated by the decoding unit 321 or the decoding unit 322 for each reference viewpoint. Color misregistration correction data for correcting data color misregistration is generated.
  • RGB values (R ′, G ′, B ′) obtained by performing inverse gamma correction on the RGB values (R, G, B) of feature points in the two-dimensional image data of the reference viewpoint are Is represented by the following equation (7).
  • ⁇ R, ⁇ G, and ⁇ B are gamma values of R, G, and B, respectively.
  • RGB values (R c , R ′, G ′, B ′) of the feature points having the reference viewpoint RGB value (R, G, B) of the two-dimensional image data of the reference viewpoint (R c) are used.
  • G c , B c ) is converted to RGB values (R ′′, G ′′, B ′′) obtained by performing inverse gamma correction, and is expressed by the following equation (8).
  • a 11 to a 13 , a 21 to a 23 , and a 31 to a 33 are coefficients.
  • the color misregistration correction data generation unit 401 extracts the RGB value (R, G, B) of the feature point from the two-dimensional image data of the reference viewpoint, and the RGB value ( R c , G c , B c ) are extracted. Then, the color misregistration correction data generation unit 401 calculates RGB values (R, G, B) based on the extracted RGB values (R, G, B) and RGB values (R c , G c , B c ).
  • the color misregistration correction data generation unit 401 uses color misregistration correction data in which the RGB values (R, G, B) and RGB values (R c , G c , B c ) are the same as the color misregistration correction data for the reference viewpoint. Is generated.
  • the color misregistration correction data generation unit 401 supplies color misregistration correction information including the generated color misregistration correction data for each viewpoint to the metadata adding unit 402.
  • the metadata adding unit 402 transmits the first part of the color misregistration correction information supplied from the color misregistration correction data generating unit 401 to the first viewpoint group. Arranged as metadata in the encoded stream. Further, the metadata adding unit 402 transmits the second viewpoint group color misregistration correction information of the color misregistration correction information supplied from the color misregistration correction data generation unit 401 from the encoding device 282. Are arranged as metadata in the partially encoded stream.
  • the metadata adding unit 402 combines the first partial encoded stream and the second partial encoded stream in which the color misregistration correction information is arranged as metadata.
  • the metadata addition unit 402 (transmission unit) transmits the encoded streams of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284.
  • FIG. 27 is a diagram illustrating an example of color misregistration correction information.
  • the number of multiple viewpoints corresponding to the predetermined display image generation method is nine.
  • the color misregistration correction information is configured by associating each viewpoint's isCorrectionFlag and color misregistration correction data with each camera ID of all viewpoints corresponding to a predetermined display image generation method.
  • IsCorrectionFlag is a flag indicating whether or not a color shift occurs between the corresponding viewpoint and the reference viewpoint. isCorrectionFlag is 1 when indicating that color misregistration has occurred between the corresponding viewpoint and the reference viewpoint, and is 0 when indicating that it has not occurred.
  • a viewpoint with a camera ID of 0 is a reference viewpoint, and no color misregistration occurs between a reference viewpoint with a camera ID of 1, 2, 4, and 6 to 9 and a reference viewpoint. . Therefore, isCorrectionFlag corresponding to camera IDs 0 to 2, 4, and 6 to 9 is 0, and color misregistration correction data is not described corresponding to these camera IDs.
  • color misregistration occurs between the reference viewpoints with the camera IDs 3 and 5 and the standard viewpoint. Therefore, isCorrectionFlag corresponding to camera IDs 3 and 5 is 1, and color misregistration correction data is described corresponding to these camera IDs.
  • the color misregistration correction data of the viewpoint whose camera ID is i is described as P (i).
  • the color misregistration correction information may include a color misregistration common flag indicating whether or not the color misregistration correction data of all viewpoints where color misregistration is the same. In this case, when the color misregistration correction data of all viewpoints in which color misregistration is the same, the color misregistration correction information indicates that the color misregistration correction data of all viewpoints in which color misregistration is the same.
  • Color misregistration common flag color misregistration common information
  • the color misregistration common flag is, for example, 1 when the color misregistration correction data of all viewpoints where color misregistration is the same, and 0 when different.
  • FIG. 28 is a flowchart for describing the composition processing of the composition device 400 of FIG.
  • step S163 the color misregistration correction data generation unit 401 of the synthesizing device 400 performs, for each reference viewpoint, based on the two-dimensional image data of the reference viewpoint and the reference viewpoint generated by decoding by the decoding unit 321 or the decoding unit 322.
  • the reference viewpoint color misregistration correction data is generated.
  • the color misregistration correction data generation unit 401 uses color misregistration correction data in which the RGB values (R, G, B) and RGB values (R c , G c , B c ) are the same as the color misregistration correction data for the reference viewpoint. Is generated.
  • the color misregistration correction data generation unit 401 supplies color misregistration correction information including the generated color misregistration correction data for each viewpoint to the metadata adding unit 402.
  • step S ⁇ b> 164 the metadata adding unit 402 receives the color misregistration correction information of the first viewpoint group among the color misregistration correction information supplied from the color misregistration correction data generation unit 401 from the encoding device 12. Arranged as metadata in the first partial encoded stream.
  • step S165 the metadata adding unit 402 receives the color misregistration correction information of the second viewpoint group from the color misregistration correction information supplied from the color misregistration correction data generation unit 401 from the encoding device 282. It arrange
  • step S166 the metadata adding unit 402 combines the first partial encoded stream and the second partial encoded stream in which the color misregistration correction information is arranged as metadata.
  • the metadata adding unit 402 transmits an encoded stream of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of the synthesis to the decoding device 284.
  • FIG. 29 is a block diagram illustrating a configuration example of the conversion unit 420.
  • the color correction unit 421 of the conversion unit 420 uses the first viewpoint group and the second viewpoint group based on the color misregistration correction information obtained as a result of decoding by the decoding unit 301 according to the above-described equations (7) to (9).
  • the color correction of the two-dimensional image data is performed. Thereby, the relationship between the color and the RGB value is the same in the two-dimensional image data of all viewpoints.
  • the color correction unit 421 includes two-dimensional image data of the first viewpoint group and the second viewpoint group after color correction, and the depths of the first viewpoint group and the second viewpoint group obtained as a result of decoding by the decoding unit 301.
  • the image data is supplied to the three-dimensional data generation unit 151.
  • the decoding process of the decoding device 284 in the fifth embodiment is the same as the decoding process of FIG. 9 except that the color correction by the color correction unit 421 is performed between step S32 and step S33. Is omitted.
  • the first partial encoded stream and the second partial encoded stream generated by using the two-dimensional image data captured by different cameras are combined and decoded by the decoding device 284. Transmit to. Accordingly, color misregistration may occur in an encoded stream of a plurality of viewpoints corresponding to a predetermined display image generation method obtained as a result of synthesis.
  • the synthesizing device 340 once decodes the first partial encoded stream and the second partial encoded stream, and color misregistration correction data of the two-dimensional image data of each viewpoint obtained as a result. Is generated. Then, the synthesizing device 340 transmits the color misregistration correction information of the generated color misregistration correction data together with the first partial encoded stream and the second partial encoded stream. Accordingly, the conversion unit 420 can correct the color shift of the two-dimensional image data of each viewpoint of the first viewpoint group and the second viewpoint group based on the color shift correction data.
  • the conversion unit 420 generates three-dimensional data using the two-dimensional image data and the depth image data of the first viewpoint group and the second viewpoint group in which the color misregistration is corrected, thereby generating the three-dimensional data.
  • the accuracy of the two-dimensional image data can be improved.
  • the synthesizing apparatus 400 since the synthesizing apparatus 400 transmits the color misregistration correction information, only the color misregistration correction information is arranged as metadata in the first partial encoded stream and the second partial encoded stream. Just do it. Therefore, the processing amount of the synthesizing apparatus 400 can be reduced as compared with the case where the first partial coded stream and the second partial coded stream are decoded, corrected for color misregistration, and re-encoded.
  • the peripheral partial light correction information including the gain for correcting the peripheral light attenuation with respect to the central portion of the two-dimensional image data for each viewpoint or viewpoint group is the first partial encoding as metadata. It may be arranged in the stream and the second partially encoded stream. Further, Exif (Exchangeable image file format) information for each viewpoint or viewpoint group may be arranged as metadata.
  • ⁇ Sixth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 30 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 605 is further connected to the bus 604.
  • An input unit 606, an output unit 607, a storage unit 608, a communication unit 609, and a drive 610 are connected to the input / output interface 605.
  • the input unit 606 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 607 includes a display, a speaker, and the like.
  • the storage unit 608 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 609 includes a network interface or the like.
  • the drive 610 drives a removable medium 611 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 601 loads the program stored in the storage unit 608 to the RAM 603 via the input / output interface 605 and the bus 604 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 600 can be provided by being recorded in, for example, a removable medium 611 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 608 via the input / output interface 605 by installing the removable medium 611 in the drive 610. Further, the program can be received by the communication unit 609 via a wired or wireless transmission medium and installed in the storage unit 608. In addition, the program can be installed in the ROM 602 or the storage unit 608 in advance.
  • the program executed by the computer 600 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • This disclosure can have the following configurations.
  • a plurality of second-viewpoint two-dimensional image data corresponding to a predetermined display image generation method and each pixel corresponding to the third viewpoint from three-dimensional data of the subject generated from the plurality of first-viewpoint two-dimensional image data A two-dimensional data generation unit that generates depth image data indicating the position of the subject in the depth direction; A plurality of second viewpoint two-dimensional image data generated by the two-dimensional data generation unit and an encoding unit that encodes the depth image data;
  • An encoding apparatus comprising: the plurality of second viewpoint two-dimensional image data encoded by the encoding unit; and a transmission unit that transmits the depth image data.
  • the two-dimensional data generation unit generates two-dimensional image data of the plurality of second viewpoints from the three-dimensional data based on the camera parameters of the plurality of second viewpoints, and the camera of the third viewpoint Generating the depth image data based on the parameters;
  • the encoding device according to any one of (1) to (6), wherein the transmission unit is configured to transmit the camera parameters of the plurality of second viewpoints and the third viewpoint.
  • the encoding device according to any one of (1) to (7), wherein the number of the predetermined display image generation methods is plural.
  • the encoding device A plurality of second-viewpoint two-dimensional image data corresponding to a predetermined display image generation method and each pixel corresponding to the third viewpoint from three-dimensional data of the subject generated from the plurality of first-viewpoint two-dimensional image data
  • a two-dimensional data generation step for generating depth image data indicating the position of the subject in the depth direction
  • An encoding step for encoding the plurality of second viewpoint two-dimensional image data and the depth image data generated by the processing of the two-dimensional data generation step
  • An encoding method comprising: a plurality of second-viewpoint two-dimensional image data encoded by the encoding step and a transmission step of transmitting the depth image data.
  • a decoding unit for decoding A three-dimensional data generation unit that generates three-dimensional data of a subject using the second-dimensional image data of the plurality of first viewpoints and the depth image data obtained as a result of decoding by the decoding unit;
  • a decoding device comprising: a two-dimensional data generation unit that generates two-dimensional image data as display image data by the predetermined display image generation method based on the three-dimensional data generated by the three-dimensional data generation unit.
  • the decoding device (12) The decoding device according to (11), wherein the plurality of first viewpoints are configured to exist at equal intervals on the same circle. (13) The decoding device according to (11), wherein at least two viewpoints of the plurality of first viewpoints are arranged in a substantially horizontal direction. (14) The decoding device according to (13), further including: a receiving unit that receives information specifying two viewpoints arranged in a horizontal direction among the plurality of first viewpoints. (15) The plurality of first viewpoint two-dimensional image data and the depth image data are configured to be generated from subject three-dimensional data generated from a plurality of third viewpoint two-dimensional image data. 11) The decoding device according to any one of (14).
  • the three-dimensional data generation unit uses three-dimensional data of an occlusion region in the two-dimensional image data of the plurality of first viewpoints, the depth image data, and the two-dimensional image data of the plurality of first viewpoints, The decoding device according to (15), configured to generate three-dimensional data of the subject.
  • the three-dimensional data generation unit is configured to generate the three-dimensional data of the subject based on the camera parameters of the plurality of first viewpoints and the second viewpoint.
  • the decoding apparatus in any one of.
  • the decoding device according to any one of (11) to (18), wherein the plurality of first viewpoints and the second viewpoint are the same.
  • the decryption device Encoded data of two-dimensional image data of a plurality of first viewpoints corresponding to a predetermined display image generation method, encoded data of depth image data indicating the position of each pixel in the depth direction of the subject with respect to the second viewpoint,
  • a decoding step for decoding A three-dimensional data generation step of generating three-dimensional data of a subject using the second-dimensional image data of the plurality of first viewpoints and the depth image data obtained as a result of decoding by the decoding step;
  • a decoding method comprising: a two-dimensional data generation step of generating two-dimensional image data as display image data by the predetermined display image generation method based on the three-dimensional data generated by the processing of the three-dimensional data generation step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができるようにする符号化装置および符号化方法、復号装置および復号方法に関する。 変換部は、複数の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の視点の２次元画像データと各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する。符号化部は、変換部により生成された２次元画像データとデプス画像データを符号化する。伝送部は、符号化部により符号化された２次元画像データとデプス画像データを伝送する。本開示は、例えば、符号化装置等に適用することができる。

Description

符号化装置および符号化方法、復号装置および復号方法
　本開示は、符号化装置および符号化方法、復号装置および復号方法に関し、特に、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができるようにした符号化装置および符号化方法、復号装置および復号方法に関する。
　マルチビューステレオ技術において、複数のカメラにより撮像された３次元物体の３次元位置情報と２次元画像データとからなる３次元データを記録、符号化、伝送、復号、表示する伝送システムが考案されている（例えば、非特許文献１参照）。３次元データの符号化方式としては、MPEG(Moving Picture Experts Group phase)方式などがある(例えば、非特許文献２参照)。
　また、複数のカメラにより得られた、複数の視点の２次元画像データと、各画素の被写体の奥行き方向（撮像面に垂直な方向）の位置を示すデプスからなるデプス画像データとをそのまま記録、符号化、伝送、復号、表示する伝送システムが考案されている。２次元画像データとデプス画像データを符号化する方式としては、MVCD（Multiview and depth video coding）方式、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式などがある。
Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, Steve Sullivan, "High-Quality Streamable Free-Viewpoint Video, Alvaro Collet", Microsoft Corporation Marius Preda,"MPEG Graphics Compression Model" MPEG document: N9892,May 2008
　しかしながら、被写体の３次元情報を３次元データとして伝送する場合、受信側において、３次元データを処理する高機能の処理部が必要になる。
　また、被写体の３次元情報を複数のカメラにより得られた２次元画像データとデプス画像データで伝送する場合、受信側の処理は容易になるが、複数のカメラの視点が所定の表示画像生成方式に適した視点とは限らず、受信側において視点の過不足が生じる。
　本開示は、このような状況に鑑みてなされたものであり、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができるようにするものである。
　本開示の第１の側面の符号化装置は、複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する２次元データ生成部と、前記２次元データ生成部により生成された前記複数の第２の視点の２次元画像データと前記デプス画像データを符号化する符号化部と、前記符号化部により符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データを伝送する伝送部とを備える符号化装置である。
　本開示の第１の側面の符号化方法は、本開示の第１の側面の符号化装置に対応する。
　本開示の第１の側面においては、複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとが生成され、生成された前記複数の第２の視点の２次元画像データと前記デプス画像データが符号化され、符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データが伝送される。
　本開示の第２の側面の復号装置は、所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとを復号する復号部と、前記復号部による復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データを生成する３次元データ生成部と、前記３次元データ生成部により生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データを表示画像データとして生成する２次元データ生成部とを備える復号装置である。
　本開示の第２の側面の復号方法およびプログラムは、本開示の第２の側面の復号装置に対応する。
　本開示の第２の側面においては、所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとが復号され、復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データが生成され、生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データが表示画像データとして生成される。
　なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、符号化することができる。また、本開示の第１の側面によれば、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを復号装置が取得できるように符号化することができる。
　本開示の第２の側面によれば、復号することができる。また、本開示の第２の側面によれば、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した伝送システムの第１実施の形態の構成例を示すブロック図である。 図１の変換部の構成例を示すブロック図である。 所定の表示画像生成方式に対応する複数の視点の例を示す図である。 カメラ関連情報の例を示す図である。 図１の撮像装置と符号化装置の符号化処理を説明するフローチャートである。 図１の変換部の第１の構成例を示すブロック図である。 図１の変換部の第２の構成例を示すブロック図である。 図１の変換部の第３の構成例を示すブロック図である。 図１の復号装置の復号処理を説明するフローチャートである。 本開示を適用した伝送システムの第２実施の形態の構成例を示すブロック図である。 図１０の撮像装置の構成例を示すブロック図である。 同期ずれ情報の例を示す図である。 図１０の符号化装置の構成例を示すブロック図である。 図１０の撮像装置と符号化装置の符号化処理を説明するフローチャートである。 図１０の復号部の構成例を示すブロック図である。 図１０の復号装置の復号処理を説明するフローチャートである。 本開示を適用した伝送システムの第３実施の形態の構成例を示すブロック図である。 図１７の合成装置の構成例を示すブロック図である。 図１８の合成装置の合成処理を説明するフローチャートである。 第４実施の形態における合成装置の構成例を示すブロック図である。 座標変換データを生成する処理を説明する図である。 座標変換情報の例を示す図である。 図２０の合成装置の合成処理を説明するフローチャートである。 第４実施の形態における変換部の構成例を示すブロック図である。 第４実施の形態における復号装置の復号処理を説明するフローチャートである。 第５実施の形態における合成装置の構成例を示すブロック図である。 色ずれ補正情報の例を示す図である。 図２６の合成装置の合成処理を説明するフローチャートである。 第５実施の形態における変換部の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：伝送システム（図１乃至図９）
　２．第２実施の形態：伝送システム（図１０乃至図１６）
　３．第３実施の形態：伝送システム（図１７乃至図１９）
　４．第４実施の形態：伝送システム（図２０乃至図２５）
　５．第５実施の形態：伝送システム（図２６乃至図２９）
　６．第６実施の形態：コンピュータ（図３０）
　＜第１実施の形態＞
　（伝送システムの第１実施の形態の構成例）
　図１は、本開示を適用した伝送システムの第１実施の形態の構成例を示すブロック図である。
　図１の伝送システム１０は、撮像装置１１、符号化装置１２、復号装置１３、および表示装置１４により構成される。伝送システム１０は、撮像装置１１により取得された２次元画像データ等を用いて、所定の表示画像生成方式で表示画像データを生成し、表示する。
　具体的には、伝送システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数（例えば、８）のカメラにより構成され、各カメラで少なくとも一部が同一である被写体の動画像の２次元画像データを撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像データを生成する。
　撮像装置１１の画像処理部（３次元データ生成部）は、各カメラの視点の２次元画像データおよびデプス画像データ、並びに、各カメラの内部パラメータおよび外部パラメータを用いて、Visual Hull等によるモデリングを行い、メッシュを作成する。画像処理部は、作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュの２次元画像データとを被写体の３次元データとして生成し、符号化装置１２に供給する。
　複数の視点の２次元画像データとデプス画像データから３次元データを生成する方法の詳細は、例えば、Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San DiegoやTakeo Kanade and Peter Rander,P.J. Narayanan, "Virtualized Reality:Constructing Virtual Worlds from Real Scenes"に記載されている。
　符号化装置１２は、変換部２１、符号化部２２、および伝送部２３により構成される。
　符号化装置１２の変換部２１は、所定の表示画像生成方式に対応する複数の視点の仮想カメラの内部パラメータと外部パラメータをカメラパラメータとして設定する。変換部２１は、カメラパラメータに基づいて、撮像装置１１から供給される３次元データから、所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データとを生成する。
　３次元データから複数の視点の２次元画像データとデプス画像データを生成する３ＤＣＧ技術の詳細は、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている。
　本明細書では、２次元画像データとデプス画像データの視点は同一であるものとするが、２次元画像データとデプス画像データの視点および視点の数は、異なっていてもよい。また、２次元画像データとデプス画像データの視点および視点の数は、撮像装置１１のカメラの視点と同一であっても、異なっていてもよい。
　変換部２１は、撮像装置１１から供給される３次元データから、所定の表示画像生成方式に対応する複数の視点からは見えないオクルージョン領域の３次元データ（以下、オクルージョン３次元データという）を抽出する。変換部２１は、所定の表示画像生成方式に対応する複数の視点の２次元画像データおよびデプス画像データ、オクルージョン３次元データ、並びに、各視点のカメラパラメータ等の仮想カメラに関する情報であるカメラ関連情報を含むメタデータを符号化部２２に供給する。
　符号化部２２は、変換部２１から供給される２次元画像データ、デプス画像データ、およびメタデータを符号化する。符号化方式としては、MVCD（Multiview and depth video coding）方式、AVC方式、HEVC方式等を採用することができる。
　符号化方式がMVCD方式である場合、全ての視点の２次元画像データとデプス画像データは、まとめて符号化される。その結果、２次元画像データとデプス画像データの符号化データとメタデータを含む１本の符号化ストリームが生成される。この場合、メタデータのうちのカメラパラメータは、符号化ストリームのreference displays information SEIに配置される。また、メタデータのうちのデプス画像データに関する情報は、Depth representation information SEIに配置される。
　一方、符号化方式がAVC方式やHEVC方式である場合、各視点のデプス画像データと２次元画像データは別々に符号化される。その結果、各視点の２次元画像データとメタデータを含む各視点の符号化ストリームと、各視点のデプス画像データの符号化データとメタデータとを含む各視点の符号化ストリームが生成される。この場合、メタデータは、例えば、各符号化ストリームのUser unregistered SEIに配置される。また、メタデータには、符号化ストリームとカメラパラメータ等とを対応付ける情報が含まれる。
　なお、メタデータに符号化ストリームとカメラパラメータ等とを対応付ける情報を含めず、符号化ストリームに、その符号化ストリームに対応するメタデータのみを含めるようにしてもよい。
　符号化部２２は、符号化ストリームを伝送部２３に供給する。伝送部２３は、符号化部２２から供給される符号化ストリームを復号装置１３に伝送する。なお、本明細書では、メタデータが符号化ストリームに配置されて伝送されるようにするが、符号化ストリームとは別に伝送されるようにしてもよい。
　復号装置１３は、受け取り部３１、復号部３２、および変換部３３により構成される。
　復号装置１３の受け取り部３１は、伝送部２３から伝送されてくる符号化ストリームを受け取り、復号部３２に供給する。復号部３２は、受け取り部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる複数の視点の２次元画像データおよびデプス画像データ、並びにメタデータを変換部３３に供給する。
　変換部３３は、復号部３２から供給されるメタデータと復号装置１３の表示画像生成方式に基づいて、複数の視点の２次元画像データとデプス画像データから、所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプス画像データを選択する。変換部３３は、選択された所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプス画像データに基づいて、表示画像データを生成し、表示装置１４に供給する。
　表示装置１４は、２次元ヘッドマウントディスプレイや２次元モニタ、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成される。表示装置１４は、変換部３３から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
　（変換部２１の構成例）
　図２は、図１の変換部２１の構成例を示すブロック図である。
　図２の変換部２１は、被写体位置決定部５１、カメラ決定部５２、２次元データ生成部５３、およびオクルージョン決定部５４により構成される。
　変換部２１の被写体位置決定部５１は、図１の撮像装置１１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ決定部５２に供給する。
　カメラ決定部５２は、被写体位置決定部５１から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、２次元データ生成部５３とオクルージョン決定部５４に供給する。また、カメラ決定部５２は、各視点のカメラパラメータ等からカメラ関連情報を生成し、メタデータとして図１の符号化部２２に供給する。
　２次元データ生成部５３は、カメラ決定部５２から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元データに対応する３次元物体の透視投影を行う。
　具体的には、各画素の２次元位置に対応する行列m´とワールド座標系の３次元座標に対応する行列Mの関係は、カメラの内部パラメータAと外部パラメータR|tを用いて、以下の式（１）により表現される。
Figure JPOXMLDOC01-appb-M000001
　式（１）は、より詳細には式（２）で表現される。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、（u,v）は画像上の２次元座標であり、fx, fyは、焦点距離である。また、Cx, Cyは、主点であり、r１１乃至r１３,r２１乃至r２３,r３１乃至r３３、およびｔ１乃至ｔ３は、パラメータであり、（X,Y,Z）は、ワールド座標系の３次元座標である。
　従って、２次元データ生成部５３は、上述した式（１）や（２）により、カメラパラメータを用いて、各画素の２次元座標に対応する３次元座標を求める。
　そして、２次元データ生成部５３は、視点ごとに、３次元データのうちの各画素の２次元座標に対応する３次元座標の２次元画像データを各画素の２次元画像データにすることにより、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。また、２次元データ生成部５３は、視点ごとに、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、各画素の２次元座標とデプスを対応付けるデプス画像データを生成する。デプスは、例えば、被写体の奥行き方向の位置ｚの逆数1/zである。２次元データ生成部５３は、各視点の２次元画像データとデプス画像データを符号化部２２に供給する。
　オクルージョン決定部５４は、カメラ決定部５２から供給されるカメラパラメータに基づいて、撮像装置１１から供給される３次元データからオクルージョン３次元データを抽出し、メタデータとして符号化部２２に供給する。
　（所定の表示画像生成方式に対応する複数の視点の例）
　図３は、所定の表示画像生成方式に対応する複数の視点の例を示す図である。
　図３のＡの例では、所定の表示画像生成方式が、所定の１視点の表示画像を２次元表示する所定視点表示画像生成方式と、１つの任意の視点である自由視点の表示画像を２次元表示する自由視点表示画像生成方式である。この場合、図３のＡに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数（図３のＡの例では８）の視点７１乃至７８であり、視点７１乃至７８の向きは、その円の中心に向かう向きである。
　以上により、復号装置１３は、視点７１乃至７８のうちのいずれかの視点の２次元画像データを表示画像データとして選択し、表示装置１４に供給することにより、その視点の表示画像を表示装置１４に２次元表示させることができる。
　また、復号装置１３は、視点７１乃至７８の２次元画像データとデプス画像データに基づいて３次元データを生成し、自由視点に対して、その３次元データに対応する３次元物体の透視投影を行うことにより、自由視点の２次元画像データを表示画像データとして生成することができる。従って、復号装置１３は、生成された表示画像データを表示装置１４に供給することにより、自由視点の表示画像を表示装置１４に２次元表示させることができる。
　図３のＢの例では、所定の表示画像生成方式が、所定視点表示画像生成方式、自由視点表示画像生成方式、２視点の２次元画像データに基づいて表示画像を３次元表示させる３次元表示画像生成方式、および２視点の間の視点の表示画像を２次元表示させる補間視点表示画像生成方式である。
　この場合、図３のＢに示すように、所定の表示画像生成方式に対応する複数の視点は、例えば、同一円上に等間隔に存在する複数（図３のＢの例では１０）の視点８１乃至９０である。視点８８と視点８９は、それぞれ、視点８７、視点８８と略水平方向に並ぶ。視点８７と視点８９、および、視点８８と視点９０の略水平方向の間隔は、例えば、人間の左右の目の間隔に対応する。視点８１乃至９０の向きは、視点８１乃至９０が配置される円の中心に向かう向きである。
　以上により、復号装置１３は、図３のＡの場合と同様に、視点８１乃至９０のいずれかの視点の表示画像または自由視点の表示画像を表示装置１４に２次元表示させることができる。また、復号装置１３は、視点８７と視点８９のペアまたは視点８８と視点９０のペアの２次元画像データを表示画像データとして選択し、表示装置１４に供給することにより、視点８７と視点８９のペアまたは視点８８と視点９０のペアの表示画像を表示装置１４に３次元表示させることができる。
　さらに、復号装置１３は、視点８７と視点８９のペアまたは視点８８と視点９０のペアの２次元画像データとデプス画像データに基づいて、そのペアの間の視点の２次元画像データを補間することができる。従って、復号装置１３は、補間された２次元画像データを表示画像データとして表示装置１４に供給することにより、視点８７と視点８９のペアまたは視点８８と視点９０のペアの間の視点の表示画像を表示装置１４に２次元表示させることができる。
　図３のＡおよび図３のＢの例の場合、所定の表示画像生成方式の数が複数である。従って、復号装置１３は、所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データに基づいて、所定の表示画像生成方式のいずれかで表示画像データを生成することができる。よって、符号化装置１２は、スケーラビリティを有する符号化ストリームを生成することができるといえる。なお、所定の表示画像生成方式の数は１つであってもよい。
　また、カメラ決定部５２は、撮像装置１１のカメラの数が、所定の表示画像生成方式に対応する複数の視点より多い場合、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定することにより、視点の冗長性をなくすことができる。
　例えば、撮像装置１１のカメラの視点が視点７１乃至７８の８視点であるが、複数の表示画像生成方式に対応する複数の視点が視点７１、視点７３、視点７５、および視点７７の４視点である場合、カメラ決定部５２は、その４視点のカメラパラメータを決定する。従って、視点７１乃至７８の全ての２次元画像データとデプス画像データが符号化される場合に比べて、符号化ストリームにおける視点の冗長性をなくすことができる。
　複数の表示画像生成方式に対応する複数の視点の位置は、図３のＡおよび図３のＢの例に限定されず、任意の位置にすることが可能である。また、各視点のカメラパラメータは、例えば、比較的狭い画角に対応するカメラパラメータにすることができる。この場合、表示画像のズーム時の解像度を向上させることができる。
　また、本明細書では、所定の表示画像生成方式の数が複数である場合であっても、所定の表示画像生成方式の全てに対応する複数の視点の符号化ストリームが生成されるようにするが、所定の表示画像生成方式ごとに、対応する複数の視点の符号化ストリームが生成されるようにしてもよい。この場合、復号装置１３は、自分の表示画像生成方式に対応する符号化ストリームを用いて表示画像データを生成する。
　さらに、カメラ決定部５２は、復号装置１３からの要求に応じて、所定の表示画像生成方式に対応する複数の視点を決定するようにしてもよい。
　（カメラ関連情報の例）
　図４は、カメラ関連情報の例を示す図である。
　図４の例では、所定の表示画像生成方式に対応する複数の視点が、図３のＢの視点８１乃至９０である。
　図４に示すように、カメラ関連情報は、各視点のカメラＩＤに、その視点の外部パラメータＲ｜Ｔ、内部パラメータＡ、isStereoFlag、およびステレオカメラＩＤが対応付けられることにより構成される。
　カメラＩＤは、視点に固有のＩＤである。図４の例では、カメラＩＤは、視点８１乃至９０に対して０から順に付されている。また、図４では、カメラＩＤがｉである外部パラメータＲ｜ＴをＲｉ｜Ｔｉ、内部パラメータＡをＡｉと記載している。
　isStereoFlagは、略水平方向に並ぶ他の視点が存在するかどうかを表すフラグであり、略水平方向に並ぶ他の視点が存在する場合１に設定される。図４の例では、カメラＩＤが６乃至９である視点８７乃至９０に、略水平方向に並ぶ他の視点が存在するため、図４に示すように、６乃至９であるカメラＩＤに対応付けられたisStereoFlagは１となる。
　ステレオカメラＩＤは、略水平方向に並ぶ他の視点のカメラＩＤであり、略水平方向に並ぶ２つの視点を特定するペア情報である。図４の例では、カメラＩＤが６である視点８７の略水平方向に並ぶ他の視点８９のカメラＩＤは８であるので、６であるカメラＩＤに対応付けられたステレオカメラＩＤは８となる。
　同様に、カメラＩＤが７である視点８８の略水平方向に並ぶ他の視点９０のカメラＩＤは９であるので、７であるカメラＩＤに対応付けられたステレオカメラＩＤは９となる。また、８であるカメラＩＤに対応付けられたステレオカメラＩＤは６となり、９であるカメラＩＤに対応付けられたステレオカメラＩＤは７となる。
　（撮像装置と符号化装置の処理の説明）
　図５は、図１の撮像装置１１と符号化装置１２の符号化処理を説明するフローチャートである。
　図５のステップＳ１１において、撮像装置１１は、マルチカメラで動画像の２次元画像データを撮像し、測距測定器でデプス画像データを生成する。ステップＳ１２において、撮像装置１１は、２次元画像データとデプス画像データを用いて３次元データを生成し、符号化装置１２に供給する。
　ステップＳ１３において、符号化装置１２の被写体位置決定部５１（図２）は、撮像装置１１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ決定部５２に供給する。
　ステップＳ１４において、カメラ決定部５２は、被写体位置決定部５１から供給される被写体位置情報に基づいて、所定の表示画像生成方式に対応する複数の視点のカメラパラメータを決定し、２次元データ生成部５３とオクルージョン決定部５４に供給する。また、カメラ決定部５２は、カメラパラメータ等から図４のカメラ関連情報を生成し、メタデータとして図１の符号化部２２に供給する。
　ステップＳ１５において、２次元データ生成部５３は、カメラ決定部５２から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元データに対応する３次元物体の透視投影を行い、各画素の２次元座標に対応する３次元座標を求める。
　ステップＳ１６において、２次元データ生成部５３は、視点ごとに、３次元データのうちの各画素の３次元座標の２次元画像データを各画素の２次元画像データにすることにより、２次元画像データを生成する。また、２次元データ生成部５３は、視点ごとに、各画素の３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部５３は、各視点の２次元画像データとデプス画像データを符号化部２２に供給する。
　ステップＳ１７において、オクルージョン決定部５４は、カメラ決定部５２から供給されるカメラパラメータに基づいて、撮像装置１１から供給される３次元データからオクルージョン３次元データを抽出し、メタデータとして符号化部２２に供給する。
　ステップＳ１８において、符号化部２２は、変換部２１から供給される２次元画像データ、デプス画像データ、およびメタデータを符号化し、その結果得られる符号化ストリームを伝送部２３に供給する。
　ステップＳ１９において、伝送部２３は、符号化部２２から供給される符号化ストリームを復号装置１３に伝送する。そして、処理は終了する。
　（変換部３３の第１の構成例）
　図６は、図１の変換部３３の第１の構成例を示すブロック図である。
　図６の変換部３３は、図１の復号装置１３の表示画像生成方式が所定視点表示画像生成方式である場合の変換部３３であり、選択部１１１と表示制御部１１２により構成される。
　変換部３３の選択部１１１は、図１の復号部３２から供給されるカメラ関連情報に基づいて、所望の１視点のカメラＩＤを認識する。選択部１１１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびオクルージョン３次元データのうちの、認識されたカメラＩＤに対応する１視点の２次元画像データを選択する。選択部１１１は、選択された１視点の２次元画像データを表示制御部１１２に供給する。
　表示制御部１１２は、選択部１１１から供給される１視点の２次元画像データを表示画像データとして表示装置１４に供給することにより、表示画像を表示装置１４に２次元表示させる。
　なお、図示は省略するが、復号装置１３の表示画像生成方式が３次元表示画像生成方式である場合の変換部３３の構成は、選択部１１１が、カメラ関連情報に基づいて略水平方向に並ぶ２視点の２次元画像データを選択する点を除いて、図６の構成と同一である。
　即ち、この場合、選択部１１１は、カメラ関連情報のうちのisStereoFlagが１であるカメラＩＤの視点と、そのカメラＩＤに対応するステレオカメラＩＤの視点の２次元画像データを選択する。その結果、表示装置１４には、選択された２視点の２次元画像データが表示画像データとして供給される。表示装置１４は、表示画像データのうちの１視点の２次元画像データに基づいて左目用の表示画像を表示し、他の１視点の２次元画像データに基づいて右目用の表示画像を表示することにより、表示画像を３次元表示する。
　(変換部３３の第２の構成例)
　図７は、図１の変換部３３の第２の構成例を示すブロック図である。
　図７の変換部３３は、復号装置１３の表示画像生成方式が補間視点表示画像生成方式である場合の変換部３３であり、選択部１３１、補間部１３２、および表示制御部１３３により構成される。
　変換部３３の選択部１３１は、図１の復号部３２から供給されるカメラ関連情報に基づいて、１であるisStereoFlagに対応するカメラＩＤのうちの１つと、その１つに対応するステレオカメラＩＤとを認識する。選択部１３１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびオクルージョン３次元データのうちの、認識された２つのカメラＩＤに対応する２視点の２次元画像データとデプス画像データを選択し、補間部１３２に供給する。
　補間部１３２は、選択部１３１から供給される２視点の２次元画像データとデプス画像データに基づいて、その２視点の間の位置を視点とする２次元画像データを補間する。このような補間技術は、Depth Image Based Renderingと呼ばれ、例えば、国際公開WO2014083752号パンフレットに記載されている。補間部１３２は、補間された１視点の２次元画像データを表示制御部１３３に供給する。
　表示制御部１３３は、補間部１３２から供給される１視点の２次元画像データを表示画像データとして表示装置１４に供給することにより、表示画像を表示装置１４に２次元表示させる。
　（変換部３３の第３の構成例）
　図８は、図１の変換部３３の第３の構成例を示すブロック図である。
　図８の変換部３３は、復号装置１３の表示画像生成方式が自由視点表示画像生成方式である場合の変換部３３である。図８の変換部３３は、３次元データ生成部１５１、被写体位置決定部１５２、カメラ位置決定部１５３、２次元データ生成部１５４、および表示制御部１５５により構成される。
　変換部３３の３次元データ生成部１５１は、復号部３２から供給される２次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。３次元データ生成部１５１は、生成された３次元データを、復号部３２から供給されるオクルージョン３次元データを用いて修正する。これにより、２次元画像データとデプス画像データのみでは生成することができないオクルージョン領域を含む被写体の全領域の３次元データを生成することができる。３次元データ生成部１５１は、修正された３次元データを被写体位置決定部１５２と２次元データ生成部１５４に供給する。
　被写体位置決定部１５２は、３次元データ生成部１５１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ位置決定部１５３に供給する。
　カメラ位置決定部１５３は、被写体位置決定部１５２から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを２次元データ生成部１５４に供給する。
　２次元データ生成部１５４は、３次元データ生成部１５１から供給される３次元データと、カメラ位置決定部１５３から供給される自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で２次元画像データを表示画像データとして生成する。
　具体的には、２次元データ生成部１５４は、自由視点のカメラパラメータに基づいて、図２の２次元データ生成部５３と同様に、３次元データに対応する３次元物体の透視投影を行い、各画素の２次元座標に対応する３次元座標を求める。そして、２次元データ生成部１５４は、３次元データのうちの各画素の２次元座標に対応する３次元座標の２次元画像データを、各画素の表示画像データとして生成する。
　また、２次元データ生成部１５４は、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部１５４は、表示画像データとデプス画像データを表示制御部１５５に供給する。
　表示制御部１５５は、２次元データ生成部１５４から供給される表示画像データとデプス画像データを表示装置１４に供給する。表示装置１４は、例えば、表示画像データとデプス画像データをPoint Cloudとして、表示画像を２次元表示する。
　以上のように、図８の変換部３３は、複数の視点の２次元画像データとデプス画像データから３次元データを生成し、新たに決定された自由視点のカメラパラメータに基づいて、その３次元データから、２次元画像データとデプス画像データを生成する。従って、変換部３３は、符号化装置１２から伝送されてくる複数の視点の２次元画像データとデプス画像データのズーム倍率を変更したり、視点を変更したりすることができる。
　（復号装置の処理の説明）
　図９は、図１の変換部３３の構成が図８の構成である場合の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２から符号化ストリームが伝送されてきたとき開始される。
　図９のステップＳ３１において、復号装置１３の受け取り部３１は、伝送部２３から伝送されてくる符号化ストリームを受け取り、復号部３２に供給する。
　ステップＳ３２において、復号部３２は、受け取り部３１から供給される符号化ストリームを復号する。復号部３２は、その結果得られる複数の視点の２次元画像データおよびデプス画像データ、並びにメタデータを変換部３３に供給する。
　ステップＳ３３において、変換部３３の３次元データ生成部１５１（図８）は、復号部３２から供給される２次元画像データ、デプス画像データ、およびメタデータに含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。
　ステップＳ３４において、３次元データ生成部１５１は、復号部３２から供給されるメタデータに含まれるオクルージョン３次元データを用いて、ステップＳ３３で生成された３次元データを修正する。３次元データ生成部１５１は、修正された３次元データを被写体位置決定部１５２に供給する。
　ステップＳ３５において、被写体位置決定部１５２は、３次元データ生成部１５１から供給される３次元データに対応する３次元物体のうちの被写体の中心とする３次元位置を決定し、その３次元位置を表す被写体位置情報をカメラ位置決定部１５３に供給する。
　ステップＳ３６において、カメラ位置決定部１５３は、被写体位置決定部１５２から供給される被写体位置情報に基づいて、自由視点のカメラパラメータを決定し、カメラパラメータを２次元データ生成部１５４に供給する。
　ステップＳ３７において、２次元データ生成部１５４は、３次元データと自由視点のカメラパラメータとに基づいて、自由視点表示画像生成方式で２次元画像データを表示画像データとして生成する。
　ステップＳ３８において、２次元データ生成部１５４は、各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、デプス画像データを生成する。２次元データ生成部１５４は、表示画像データとデプス画像データを表示制御部１５５に供給する。
　ステップＳ３９において、表示制御部１５５は、２次元データ生成部１５４から供給される表示画像データとデプス画像データを表示装置１４に供給する。
　以上のように、伝送システム１０では、撮像装置１１が、撮像された複数の視点の２次元画像データから３次元データを生成し、符号化装置１２が、その３次元データから所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データを生成して符号化する。従って、符号化装置１２は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを復号装置１３が取得できるように符号化することができる。
　また、復号装置１３は、符号化装置１２から伝送されてくる所定の表示画像生成方式に対応する複数の視点の２次元画像データとデプス画像データの符号化ストリームを受け取り、復号する。従って、復号装置１３は、撮像時の視点によらずに所定の表示画像生成方式に対応する視点の２次元画像データとデプス画像データを取得することができる。
　さらに、所定の表示画像生成方式の数が複数である場合、複数の表示画像生成方式の復号装置で、符号化装置１２で生成された符号化ストリームを再生することができる。例えば、表示画像生成方式が所定視点表示画像生成方式である低機能の復号装置と、表示画像生成方式が自由視点画像生成方式である高機能の復号装置の両方で、自分の能力に応じた符号化ストリームの再生を行うことができる。
　＜第２実施の形態＞
　（伝送システムの第２実施の形態の構成例）
　図１０は、本開示を適用した伝送システムの第２実施の形態の構成例を示すブロック図である。
　図１０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１０伝送システム１７０の構成は、撮像装置１１、符号化装置１２、および復号装置１３が、撮像装置１７１、符号化装置１７２、および復号装置１７３に代わる点が、図１の伝送システム１０の構成と異なる。伝送システム１７０では、撮像装置１７１により取得された２次元画像データとデプス画像データがそのまま符号化されて伝送される。
　具体的には、伝送システム１７０の撮像装置１７１は、マルチカメラ１８１と画像処理部１８２により構成される。撮像装置１７１のマルチカメラ１８１を構成する複数のカメラは、それぞれ、２次元画像データを撮像する。マルチカメラ１８１は、各カメラにより撮像された２次元画像データを画像処理部１８２に供給する。
　画像処理部１８２は、マルチカメラ１８１を構成する複数のカメラのうちの１つのカメラを基準カメラとし、他のカメラを参照カメラとする。画像処理部１８２は、マルチカメラ１８１の基準カメラにより撮像された２次元画像データと各参照カメラにより撮像された２次元画像データとに基づいて、基準カメラに対する各参照カメラの２次元画像データの同期ずれを検出する。また、画像処理部１８２は、基準カメラの同期ずれを０として検出する。画像処理部１８２は、検出された各カメラの視点の同期ずれを表す情報を含む同期ずれ情報とカメラ関連情報を符号化装置１７２に供給する。
　また、画像処理部１８２は、各カメラにより撮像された２次元画像データに対してステレオマッチングを行うことにより、各カメラのデプス画像データを生成し、符号化装置１７２に供給する。
　符号化装置１７２は、撮像装置１７１から供給される同期ずれ情報とカメラ関連情報をメタデータとする。符号化装置１７２は、図１の符号化部２２と同様に、撮像装置１７１から供給される各カメラの２次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。符号化装置１７２（伝送部）は、生成された符号化ストリームを復号装置１７３に伝送する。
　復号装置１７３の構成は、復号部３２と変換部３３が、復号部１９１と変換部１９２に代わる点が、図１の復号装置１３の構成と異なる。
　復号装置１７３の復号部１９１は、受け取り部３１から供給される符号化ストリームを、符号化装置１７２における符号化方式に対応する方式で復号する。復号部１９１は、その結果得られるメタデータのうちの同期ずれ情報に基づいて、基準カメラと各参照カメラの２次元画像データおよびデプス画像データを同期させ、変換部１９２に供給する。また、復号部１９１は、メタデータのうちのカメラ関連情報を変換部１９２に供給する。
　変換部１９２の構成は、３次元データがオクルージョン３次元データを用いて補正されない点を除いて、図１の変換部３３の構成と同一であるので、説明は省略する。
　（撮像装置の構成例）
　図１１は、図１０の撮像装置１７１の構成例を示すブロック図である。
　図１１の撮像装置１７１のマルチカメラ１８１は、Ｎ個（Ｎは複数）のカメラ２１１－１乃至２１１－Ｎにより構成される。
　カメラ２１１－１乃至２１１－Ｎは、例えば、カメラ２１１－１乃至２１１－Ｎの視点が所定の表示画像生成方式に対応する視点となるように配置される。カメラ２１１－１乃至２１１－Ｎは、それぞれ撮像を行い、その結果得られる動画像の２次元画像データ（撮像画像データ）を画像処理部１８２に供給する。以下では、カメラ２１１－１乃至２１１－Ｎを特に区別する必要がない場合、それらをまとめてカメラ２１１という。
　画像処理部１８２は、キャリブレーション部２２１、同期ずれ検出部２２２、およびデプス生成部２２３により構成される。
　画像処理部１８２のキャリブレーション部２２１は、カメラ２１１ごとに、マルチカメラ１８１から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部２２１は、キャリブレーション後の各カメラ２１１の２次元画像データを同期ずれ検出部２２２に供給する。また、キャリブレーション部２２１は、カメラ関連情報を図１０の符号化装置１７２に供給する。
　同期ずれ検出部２２２は、カメラ２１１－１乃至２１１－Ｎのうちの１つを基準カメラとし、残りを参照カメラとする。同期ずれ検出部２２２は、キャリブレーション部２２１から供給される基準カメラの２次元画像データと参照カメラの２次元画像データに基づいて、参照カメラごとに、基準カメラに対する参照カメラの２次元画像データの同期ずれをmsecオーダーで検出する。
　具体的には、同期ずれ検出部２２２は、基準カメラの２次元画像データと参照カメラの２次元画像データからフラッシュ光を検出する。同期ずれ検出部２２２は、フラッシュ光が検出された基準カメラの２次元画像データと参照カメラの２次元画像データの撮像時刻の差分を、参照カメラの２次元画像データの同期ずれとして検出する。
　参照カメラの２次元画像データの同期ずれは、フラッシュ光を検出する方法以外の方法により、２次元画像データを用いて行われるようにしてもよい。また、カメラ２１１が２次元画像データとともに音声データを取得する場合には、基準カメラに対する参照カメラの音声データの同期ずれを検出することにより、参照カメラの２次元画像データの同期ずれを検出するようにしてもよい。
　同期ずれ検出部２２２は、基準カメラの２次元画像データの同期ずれを０として検出する。同期ずれ検出部２２２は、検出された同期ずれの同期ずれ情報を符号化装置１７２に供給する。また、同期ずれ検出部２２２は、キャリブレーション部２２１から供給される各カメラ２１１の２次元画像データをデプス生成部２２３に供給する。
　デプス生成部２２３は、同期ずれ検出部２２２から供給される各カメラ２１１の２次元画像データに対してステレオマッチングを行うことにより、各カメラ２１１のデプス画像データを生成する。デプス生成部２２３は、各カメラ２１１の２次元画像データとデプス画像データを符号化装置１７２に供給する。
　（同期ずれ情報の例）
　図１２は、同期ずれ情報の例を示す図である。
　図１２の例では、カメラ２１１の視点が、図３のＢの視点８１乃至９０である。
　図１２に示すように、同期ずれ情報は、各カメラ２１１の視点のカメラＩＤに、そのカメラ２１１のnum_units_in_tick,time_scale,Delta_num_units_in_tick、およびDelta_time_scaleが対応付けられることにより構成される。
　num_units_in_tickは、フレーム間隔がtime_scaleで定義されるtime_unitの何個分であるかを示す情報である。time_scaleは、１秒間のtime_unitの数である。従って、num_units_in_tickとtime_scaleにより、フレームレートを表すことができる。
　図１２の例では、カメラＩＤが０，１，４、および５であるカメラ２１１のフレームレートは60Hz(59.94Hz)である。従って、例えば、カメラＩＤが０，１，４、および５であるカメラ２１１のnum_units_in_tickは1001であり、time_scaleは60000である。また、カメラＩＤが２，３、および６乃至９であるカメラ２１１のフレームレートは30Hz(29.97Hz)である。従って、例えば、カメラＩＤが２，３、および６乃至９であるカメラ２１１のnum_units_in_tickは2002であり、time_scaleは60000である。
　Delta_num_units_in_tickは、同期ずれがDelta_time_scaleで定義されるtime_unitの何個分であるかを示す情報である。Delta_time_scaleは、１秒間のtime_unitの数である。従って、Delta_num_units_in_tickとDelta_time_scaleにより、同期ずれを表すことができる。
　図１２の例では、カメラＩＤが０であるカメラ２１１が基準カメラである。従って、０であるカメラＩＤに対応するDelta_num_units_in_tickは０である。また、図１２の例では、カメラＩＤが３，４，７、および９であるカメラ２１１の同期ずれは０である。従って、３，４，７、および９であるカメラＩＤに対応するDelta_num_units_in_tickも０である。
　さらに、図１２の例では、カメラＩＤが１および５であるカメラ２１１の同期ずれは1/30（1/29.97）秒である。従って、例えば、１および５であるカメラＩＤに対応するDelta_num_units_in_tickは2002であり、Delta_time_scaleは60000である。また、カメラＩＤが２，６、および８であるカメラ２１１の同期ずれは1/15(1/14.985)秒である。従って、例えば、２，６、および８であるカメラＩＤに対応するDelta_num_units_in_tickは4004であり、Delta_time_scaleは60000である。
　なお、同期ずれ情報には、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であるかどうかを示す同期ずれ共通フラグが含まれるようにしてもよい。
　この場合、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であるとき、同期ずれ情報は、同期ずれが発生している全てのカメラ２１１の同期ずれが同一であることを示す同期ずれ共通フラグ、各カメラ２１１の同期ずれの有無を示す同期ずれフラグ（同期ずれ有無情報）、および、同期ずれが発生している全てのカメラ２１１に共通の同期ずれを表す情報により構成される。
　一方、同期ずれが発生している全てのカメラ２１１の同期ずれが同一ではないとき、同期ずれ情報は、図１２の同期ずれ情報と、同期ずれが発生している全てのカメラ２１１の同期ずれが同一ではないことを示す同期ずれ共通フラグとにより構成される。
　（符号化装置の構成例）
　図１３は、図１０の符号化装置１７２の構成例を示すブロック図である。
　図１３の符号化装置１７２は、AVC方式またはHEVC方式で符号化を行う場合の符号化装置１７２であり、２Ｎ個の符号化部２４１－１乃至２４１－２Ｎと伝送部２４２を備える。
　符号化装置１７２の符号化部２４１－１乃至２４１－２Ｎは、それぞれ、撮像装置１７１から供給される各カメラ２１１の２次元画像データまたはデプス画像データを、AVC方式またはHEVC方式で符号化し、符号化ストリームを生成する。
　符号化部２４１－１乃至２４１－２Ｎは、撮像装置１７１から供給されるカメラ関連情報と同期ずれ情報、並びに、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報をメタデータとする。符号化部２４１－１乃至２４１－２Ｎは、生成された符号化ストリームのUser unregistered SEIにメタデータを配置する。
　なお、符号化部２４１－１乃至２４１－Ｎは、符号化ストリームのUser unregistered SEIに、その符号化ストリームに対応するメタデータのみを配置することもできる。この場合、カメラ関連情報および同期ずれ情報と符号化ストリームとを対応付ける情報はメタデータに含まれない。符号化部２４１－１乃至２４１－２Ｎは、メタデータが配置された符号化ストリームを伝送部２４２に供給する。
　伝送部２４２は、符号化部２４１－１乃至２４１－２Ｎから供給される符号化ストリームを図１０の復号装置１７３に伝送する。
　（撮像装置と符号化装置の処理の説明）
　図１４は、図１０の撮像装置１７１と符号化装置１７２の符号化処理を説明するフローチャートである。
　図１４のステップＳ５１において、撮像装置１７１のカメラ２１１（図１１）は、撮像を行い、その結果得られる動画像の２次元画像データを画像処理部１８２に供給する。
　ステップＳ５２において、画像処理部１８２のキャリブレーション部２２１は、カメラ２１１ごとに、マルチカメラ１８１から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション部２２１は、キャリブレーション後の各カメラ２１１の２次元画像データを同期ずれ検出部２２２に供給する。
　ステップＳ５３において、キャリブレーション部２２１は、カメラ関連情報をメタデータとして符号化装置１７２に供給する。
　ステップＳ５４において、同期ずれ検出部２２２は、参照カメラごとに、キャリブレーション部２２１から供給される基準カメラと参照カメラの２次元画像データに基づいて、基準カメラに対する参照カメラの２次元画像データの同期ずれを検出する。また、同期ずれ検出部２２２は、基準カメラの２次元画像データの同期ずれとして０を検出する。
　ステップＳ５５において、同期ずれ検出部２２２は、検出された同期ずれの同期ずれ情報をメタデータとして符号化装置１７２に供給する。また、同期ずれ検出部２２２は、キャリブレーション部２２１から供給される各カメラ２１１の２次元画像データをデプス生成部２２３に供給する。
　ステップＳ５６において、デプス生成部２２３は、同期ずれ検出部２２２から供給される各カメラ２１１の２次元画像データに対してステレオマッチングを行うことにより、各カメラ２１１のデプス画像データを生成する。
　ステップＳ５７において、デプス生成部２２３は、各カメラ２１１の２次元画像データとデプス画像データを符号化装置１７２に供給する。
　ステップＳ５８において、符号化装置１７２は、撮像装置１７１から供給される各カメラ２１１の２次元画像データおよびデプス画像データ、並びにメタデータを符号化し、符号化ストリームを生成する。
　ステップＳ５９において、符号化装置１７２は、生成された符号化ストリームを復号装置１７３に伝送する。そして、処理は終了する。
　（復号部の構成例）
　図１５は、図１０の復号部１９１の構成例を示すブロック図である。
　図１５の例では、符号化装置１７２の構成が図１３の構成であり、符号化装置１７２から伝送されてくる符号化ストリームの符号化方式がAVC方式またはHEVC方式である。図１５の復号部１９１は、２Ｎ個の復号処理部２６１－１乃至２６１－２Ｎと出力部２６２により構成される。
　復号部１９１の復号処理部２６１－１乃至２６１－２Ｎは、受け取り部３１から供給される各カメラ２１１の２次元画像データおよびデプス画像データの符号化ストリームを、それぞれ、AVC方式またはHEVC方式に対応する方式で復号する。復号処理部２６１－１乃至２６１－２Ｎは、復号の結果得られる各カメラ２１１の２次元画像データまたはデプス画像データと、メタデータを構成するカメラ関連情報および同期ずれ情報とを出力部２６２に供給する。
　出力部２６２（同期処理部）は、復号処理部２６１－１乃至２６１－２Ｎから供給される同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの２次元画像データおよびデプス画像データを同期させて図１０の変換部１９２に供給する。
　例えば、同期ずれ情報に含まれる参照カメラのnum_units_in_tickが1001であり、Delta_num_units_in_tickが2002であり、time_scaleとDelta_time_scaleが60000である場合、出力部２６２は、参照カメラの２次元画像データとデプス画像データを２フレームだけ遅らせて変換部１９２に供給する。また、出力部２６２は、復号処理部２６１－１乃至２６１－２Ｎから供給されるカメラ関連情報を変換部１９２に供給する。
　以上により、変換部１９２に供給される各カメラ２１１の２次元画像データとデプス画像データが同期するため、変換部１９２における３次元データの生成精度が向上する。
　（復号装置の処理の説明）
　図１６は、図１０の変換部１９２の構成が、３次元データがオクルージョン３次元データを用いて補正されない点を除いて図８の構成と同一である場合の復号装置１７３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１７２から符号化ストリームが伝送されてきたとき、開始される。
　図１６のステップＳ７１において、復号装置１７３の受け取り部３１は、符号化装置１７２から伝送されてくる符号化ストリームを受け取り、復号部１９１に供給する。
　ステップＳ７２において、復号部１９１は、受け取り部３１から供給される符号化ストリームを、符号化装置１７２における符号化方式に対応する方式で復号する。
　ステップＳ７３において、復号部１９１は、復号の結果得られるメタデータのうちの同期ずれ情報に基づいて、参照カメラごとに、基準カメラと参照カメラの２次元画像データおよびデプス画像データを同期させて変換部１９２に供給する。また、出力部２６２は、メタデータのうちのカメラ関連情報を変換部１９２に供給する。
　ステップＳ７４において、変換部１９２は、復号部１９１から供給される２次元画像データ、デプス画像データ、およびカメラ関連情報に含まれるカメラパラメータを用いて、撮像装置１１と同様に、被写体の３次元データを生成する。
　ステップＳ７５乃至Ｓ７９の処理は、図９のステップＳ３５乃至Ｓ３９の処理と同様であるので、説明は省略する。
　以上のように、伝送システム１７０では、各カメラ２１１で取得された２次元画像データおよびデプス画像データをそのまま符号化して伝送するため、各カメラ２１１の２次元画像データおよびデプス画像データの同期がとれていない場合がある。
　しかしながら、伝送システム１７０では、撮像装置１７１が、各カメラの２次元画像データの同期ずれを検出し、符号化装置１７２が、検出された同期ずれの同期ずれ情報を、２次元画像データおよびデプス画像データとともに伝送する。従って、復号装置１７３は、同期ずれ情報に基づいて、各カメラ２１１の２次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置１７３は、同期がとれたＮ個のカメラ２１１の２次元画像データおよびデプス画像データを用いて、３次元データを高精度で生成することができる。
　＜第３実施の形態＞
　（伝送システムの第３実施の形態の構成例）
　図１７は、本開示を適用した伝送システムの第３実施の形態の構成例を示すブロック図である。
　図１７に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１７の伝送システム２８０の構成は、新たに撮像装置２８１、符号化装置２８２、および合成装置２８３が設けられる点、復号装置１３が復号装置２８４に代わる点、および、符号化装置１２で生成される２次元画像データおよびデプス画像データの視点が、所定の表示画像生成方式に対応する複数の視点のうちの一部である点が、図１の伝送システム１０の構成と異なる。
　伝送システム２８０では、所定の表示画像生成方式に対応する複数の視点のうちの一部の視点（以下、第１の視点群という）の符号化ストリームが符号化装置１２により生成され、他部の視点（以下、第２の視点群という）の符号化ストリームが符号化装置２８２により生成され、両方の符号化ストリームが合成（マージ）される。
　具体的には、伝送システム２８０の撮像装置２８１は、図１の撮像装置１１と同様に構成され、少なくとも一部が撮像装置１１における被写体と同一である被写体を撮像し、その被写体の３次元データを符号化装置２８２に供給する。
　符号化装置２８２は、変換部２１と同様に構成される変換部２９１、符号化部２２と同様に構成される符号化部２９２、および伝送部２３と同様に構成される伝送部２９３により構成される。符号化装置２８２は、３次元データから第２の視点群の２次元画像データとデプス画像データを生成し、符号化して合成装置２８３に伝送する。
　合成装置２８３は、符号化装置１２から伝送されてくる第１の視点群の符号化ストリーム（以下、第１の部分符号化ストリーム）と符号化装置２８２から伝送されてくる第２の視点群の符号化ストリーム（以下、第２の部分符号化ストリーム）を受け取る。合成装置２８３は、第１の部分符号化ストリームに対する第２の部分符号化ストリームの同期ずれを検出し、第２の符号化ストリームの同期ずれを表す視点群同期ずれ情報を生成する。
　視点群同期ずれ情報は、例えば、第２の視点群のフレームレートを表すnum_units_in_tickおよびtime_scaleと、同期ずれを表すDelta_num_units_in_tickおよびDelta_time_scaleにより構成される。
　合成装置２８３は、第２の部分符号化ストリームのメタデータに視点群同期ずれ情報を含める。合成装置２８３は、視点群同期ずれ情報が配置された第２の部分符号化ストリームと第１の部分符号化ストリームを合成し、所定の表示画像生成方式に対応する複数の視点の符号化ストリームを生成して復号装置２８４に伝送する。
　復号装置２８４の構成は、復号部３２が復号部３０１に代わる点が、図１の復号装置１３の構成と異なる。復号装置２８４の復号部３０１は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、カメラ関連情報とともに、メタデータのうちのオクルージョン３次元データを変換部３３に供給する点を除いて、図１０の復号部１９１と同様であるので、説明は省略する。
　（合成装置の構成例）
　図１８は、図１７の合成装置２８３の構成例を示すブロック図である。
　図１８の合成装置２８３は、復号部３２１、復号部３２２、同期ずれ検出部３２３、およびメタデータ付加部３２４により構成される。
　合成装置２８３の復号部３２１は、符号化装置１２から伝送されてくる第１の部分符号化ストリームを受け取る。復号部３２１は、受け取られた第１の部分符号化ストリームを、符号化部２２における符号化方式（図１８の例ではMVCD）に対応する方式で復号し、第１の視点群の２次元画像データ、デプス画像データ、およびメタデータを生成する。復号部３２１は、生成された第１の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
　復号部３２２は、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを受け取る。復号部３２２は、受け取られた第２の部分符号化ストリームを、符号化部２９２における符号化方式（図１８の例ではMVCD）に対応する方式で復号し、第２の視点群の２次元画像データ、デプス画像データ、およびメタデータを生成する。復号部３２２は、生成された第２の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
　同期ずれ検出部３２３は、復号部３２１と復号部３２２から供給される２次元画像データに基づいて、第１の視点群に対する第２の視点群の２次元画像データの同期ずれを検出する。
　同期ずれの検出方法は、第２実施の形態における同期ずれの検出方法と同一であってもよいし、異なっていてもよい。
　また、同期ずれの検出には、２次元画像データだけでなく、カメラパラメータとデプス画像データを用いるようにしてもよい。この場合、例えば、同期ずれ検出部３２３は、カメラ関連情報に含まれるカメラパラメータに基づいて、第１の視点群のうちの１つの視点と第２の視点群のうちの１つの視点の各時刻の２次元画像データの特徴点の２次元位置を３次元位置に変換する。同期ずれ検出部３２３は、２つの視点の特徴点の３次元位置の差分が最小となるときの２次元画像データの時刻の差分を、第１の視点群に対する第２の視点群の２次元画像データの同期ずれとして検出する。
　同期ずれ検出部３２３は、検出された同期ずれを表す視点群同期ずれ情報を、メタデータ付加部３２４に供給する。
　メタデータ付加部３２４は、同期ずれ検出部３２３から供給される視点群同期ずれ情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。メタデータ付加部３２４は、視点群同期ずれ情報がメタデータとして置換された第２の部分符号化ストリームと、符号化装置１２から伝送されてくる第１の部分符号化ストリームとを合成する。メタデータ付加部３２４（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
　（合成装置の処理の説明）
　図１７の撮像装置１１と符号化装置１２、撮像装置２８１と符号化装置２８２の符号化処理は、図５の符号化処理と同様であるので、説明は省略する。
　図１９は、図１８の合成装置２８３の合成処理を説明するフローチャートである。
　図１９のステップＳ９１において、合成装置２８３の復号部３２１は、符号化装置１２から伝送されてくる第１の部分符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２１は、復号の結果得られる第１の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
　ステップＳ９２において、復号部３２２は、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを、符号化部２９２における符号化方式に対応する方式で復号する。復号部３２２は、復号の結果得られる第２の視点群のうちの１つの視点の２次元画像データを同期ずれ検出部３２３に供給する。
　ステップＳ９３において、同期ずれ検出部３２３は、復号部３２１と復号部３２２から供給される２次元画像データに基づいて、第１の視点群に対する第２の視点群の２次元画像データの同期ずれを検出する。同期ずれ検出部３２３は、検出された同期ずれを表す視点群同期ずれ情報をメタデータ付加部３２４に供給する。
　ステップＳ９４において、メタデータ付加部３２４は、同期ずれ検出部３２３から供給される視点群同期ずれ情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
　ステップＳ９５において、メタデータ付加部３２４は、符号化装置１２から伝送されてくる第１の部分符号化ストリームと、視点群同期ずれ情報を含む第２の部分符号化ストリームとを合成する。メタデータ付加部３２４は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に供給し、処理を終了する。
　復号装置２８４の復号処理は、同期ずれ情報が視点群同期ずれ情報に代わる点、および、ステップＳ７２の処理によりオクルージョン３次元データも生成され、ステップＳ７４の処理後、図９のステップＳ３４と同様にオクルージョン３次元データを用いて３次元データが修正される点を除いて、図１６の復号処理と同様である。
　以上のように、伝送システム２８０では、符号化装置１２により生成された第１の部分符号化ストリームと、符号化装置２８２により生成された第２の部分符号化ストリームが合成されて復号装置２８４に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する第１の視点群と第２の視点群の符号化ストリームの同期がとれていない場合がある。
　しかしながら、伝送システム２８０では、合成装置２８３が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、その結果得られる第１の視点群と第２の視点群の２次元画像データの同期ずれを検出する。そして、合成装置２８３は、検出された同期ずれを表す視点群同期ずれ情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、復号装置２８４は、視点群同期ずれ情報に基づいて、第１の視点群と第２の視点群の２次元画像データおよびデプス画像データを同期させることができる。その結果、復号装置２８４は、同期がとれた第１の視点群と第２の視点群の２次元画像データとデプス画像データを用いて、３次元データを高精度で生成することができる。
　＜第４実施の形態＞
　（伝送システムの第４実施の形態における合成装置の構成例）
　本開示を適用した伝送システムの第４実施の形態の構成は、合成装置２８３が合成装置３４０に代わり、復号装置２８４の変換部３３が変換部３８０に代わる点、および視点群同期ずれ情報が座標変換情報に代わる点を除いて、図１７の伝送システム２８０の構成と同一である。従って、以下では、合成装置３４０と変換部３８０についてのみ説明する。
　図２０は、合成装置３４０の構成例を示すブロック図である。
　図２０に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２０の合成装置３４０の構成は、同期ずれ検出部３２３、メタデータ付加部３２４が、座標変換データ生成部３４１、メタデータ付加部３４２に代わる点が、図１８の合成装置２８３の構成と異なる。合成装置３４０は、各視点の２次元画像データの同期ずれを検出するのではなく、第１の視点群の３次元座標系である第１の３次元座標系を第２の視点群の３次元座標系である第２の３次元座標系に変換する座標変換データを生成する。
　具体的には、合成装置３４０の座標変換データ生成部３４１は、復号部３２２の復号により生成された第１の視点群の２次元画像データに基づいて、第１の視点群の視点ごとに、特徴点の２次元位置を求める。
　また、座標変換データ生成部３４１は、復号部３２１の復号により生成された第２の視点群のカメラ関連情報に含まれるカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、特徴点の第２の３次元座標系における３次元位置を求める。
　座標変換データ生成部３４１は、第１の視点群の視点ごとに、特徴点の２次元位置と第２の３次元座標系における３次元位置に基づいて、座標変換データを生成する。座標変換データ生成部３４１は、第１の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部３４２に供給する。
　メタデータ付加部３４２は、座標変換データ生成部３４１から供給される座標変換情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部３４２は、座標変換情報がメタデータとして配置された第１の部分符号化ストリームと、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを合成する。メタデータ付加部３４２（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
　（座標変換データの生成処理の説明）
　図２１は、図２０の座標変換データ生成部３４１による座標変換データを生成する処理を説明する図である。
　図２１の例では、第１の３次元座標系が、互いが垂直に交わる軸ｘＡ乃至ｚＡを座標軸とする座標系であり、第２の３次元座標系が、互いが垂直に交わる軸ｘＢ乃至ｚＢを座標軸とする、第１の３次元座標系とは異なる座標系である。
　第１の視点群のうちの１つの視点の仮想カメラ３６１により撮像される、第１の３次元座標系における３次元位置がＰ１である特徴点の画像上の２次元位置ＰＡは、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　ＲｃａｍＡ｜ｔｃａｍＡは、第１の部分符号化ストリームのメタデータのうちの、仮想カメラ３６１の第１の３次元座標系におけるカメラパラメータである。
　一方、仮想カメラ３６１により撮像される、第１の３次元座標系における３次元位置がＰ１であり、第２の３次元座標系における３次元位置がＰ１´である特徴点の画像上の２次元位置ＰＢは、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　ＲｃａｍＢ｜ｔｃａｍＢは、仮想カメラ３６１の第２の３次元座標系におけるカメラパラメータである。
　式（４）を変形すると、３次元位置Ｐ１´は、以下の式（５）で表される。
Figure JPOXMLDOC01-appb-M000005
　２次元位置ＰＡと２次元位置ＰＢは同一であるので、上述した式（５）の２次元位置ＰＢに式（３）の右辺を代入すると、式（６）になる。
Figure JPOXMLDOC01-appb-M000006
　式（６）は、第１の３次元座標系における３次元位置Ｐ１を、第２の３次元座標系における３次元位置Ｐ１´に変換する式である。従って、座標変換データ生成部３４１は、式（６）における、カメラの外部パラメータと同一の表現方法で表現されるＲｃｏｎ｜ｔｃｏｎを、座標変換データとして求める。
　具体的には、座標変換データ生成部３４１は、第２の視点群のカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、特徴点の第２の３次元座標系における３次元位置を求める。また、座標変換データ生成部３４１は、第１の視点群の２次元画像データに基づいて、第１の視点群の視点ごとに、特徴点の２次元位置を求める。
　そして、座標変換データ生成部３４１は、第１の視点群の視点ごとに、特徴点の第２の３次元座標系における３次元位置をＰ１´に代入し、２次元位置をＰＡに代入した式（４）により、仮想カメラ３６１の第２の３次元座標系における外部パラメータＲｃａｍＢ｜ｔｃａｍＢを求める。
　以上の処理は、オンラインキャリブレーションと呼ばれる。オンラインキャリブレーションの詳細は、例えば、Zhengyou Zhang,"A Flexible New Technique for Camera Calibration",Technical Report MSR-TR-98-71,Microsoft Corporation,December 2.1998等に記載されている。
　座標変換データ生成部３４１は、第１の視点群の視点ごとに、外部パラメータＲｃａｍＢ｜ｔｃａｍＢと外部パラメータＲｃａｍＢ｜ｔｃａｍＢを用いて、上述した式（６）により、座標変換データを求める。
　（座標変換情報の例）
　図２２は、座標変換情報の例を示す図である。
　図２２の例では、第１の視点群の視点のカメラＩＤが０乃至３である。
　図２２に示すように、座標変換情報は、第１の視点群の各視点のカメラＩＤに、その視点のisCorrectionFlagと座標変換データが対応付けられることにより構成される。
　isCorrectionFlagは、対応する視点の３次元座標系である第１の３次元座標系が、基準となる第２の３次元座標系と異なるかどうかを示すフラグである。isCorrectionFlagは、対応する視点の３次元座標系である第１の３次元座標系が、基準となる第２の３次元座標系と異なることを示す場合１であり、異ならないことを示す場合０である。
　第４実施の形態では、第１の３次元座標系と第２の３次元座標系は異なっているので、全てのisCorrectionFlagは１である。また、図２２では、カメラＩＤがｉである視点の座標変換データをＲ|ｔ（ｉ）と記載している。
　なお、座標変換情報には、第１の視点群の全ての視点の座標変換データが同一であるかどうかを示す座標変換共通フラグが含まれるようにしてもよい。この場合、第１の視点群の全ての視点の座標変換データが同一であるとき、座標変換情報は、第１の視点群の全ての視点の座標変換データが同一であることを示す座標変換共通フラグ（座標変換共通情報）と、第１の視点群の全ての視点に共通の座標変換データとにより構成される。座標変換共通フラグは、例えば、第１の視点群の全ての視点の座標変換データが同一である場合１であり、異なる場合０である。
　（合成装置の処理の説明）
　図２３は、図２０の合成装置３４０の合成処理を説明するフローチャートである。
　図２３のステップＳ１１１およびＳ１１２の処理は、図１９のステップＳ９１およびＳ９２の処理と同様であるので、説明は省略する。
　ステップＳ１１３において、合成装置３４０の座標変換データ生成部３４１は、第２の視点群のカメラパラメータ、２次元画像データ、およびデプス画像データと、第１の視点群の２次元画像データに基づいて、第１の視点群の各視点の座標変換データを生成する。座標変換データ生成部３４１は、第１の視点群の各視点の座標変換データを含む座標変換情報をメタデータ付加部３４２に供給する。
　ステップＳ１１４において、メタデータ付加部３４２は、座標変換データ生成部３４１から供給される座標変換情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。
　ステップＳ１１５において、メタデータ付加部３４２は、座標変換情報を含む第１の部分符号化ストリームと、符号化装置２８２から伝送されてくる第２の部分符号化ストリームを合成する。メタデータ付加部３４２は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。そして、処理は終了する。
　（変換部の構成例）
　図２４は、復号装置２８４の表示画像生成方式が自由視点表示画像生成方式である場合の変換部３８０の構成例を示すブロック図である。
　図２４に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２４の変換部３８０の構成は、３次元データ生成部１５１が３次元データ生成部３８１に代わる点が、図８の変換部３３の構成と異なる。
　３次元データ生成部３８１は、３次元位置変換部３９１、３次元位置変換部３９２、座標変換部３９３、およびデータ生成部３９４により構成される。
　３次元データ生成部３８１の３次元位置変換部３９１（第１の３次元位置変換部）は、復号部３０１から供給される第１の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、第１の視点の２次元画像データの各画素の２次元位置を、第１の３次元座標系における３次元位置に変換する。３次元位置変換部３９１は、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置と、第１の視点群の２次元画像データとを座標変換部３９３に供給する。
　３次元位置変換部３９２（第２の３次元位置変換部）は、復号部３０１から供給される第２の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、上述した式（１）により、第２の視点群の２次元画像データの各画素の２次元位置を、第２の３次元座標系における３次元位置に変換する。３次元位置変換部３９２は、第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と、第２の視点群の２次元画像データとをデータ生成部３９４に供給する。
　座標変換部３９３は、復号部３０１から供給されるメタデータのうちの座標変換情報に基づいて、３次元位置変換部３９１から供給される第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換する。座標変換部３９３は、第１の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と、第１の視点群の２次元画像データとをデータ生成部３９４に供給する。
　データ生成部３９４は、第１の視点群および第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置に基づいて、第１の視点群および第２の視点群の２次元画像データから、被写体の３次元データを生成する。
　データ生成部３９４は、生成された３次元データを、復号部３０１から供給されるメタデータのうちのオクルージョン３次元データを用いて修正し、被写体位置決定部１５２と２次元データ生成部１５４に供給する。
　（復号装置の処理の説明）
　図２５は、第４実施の形態における復号装置２８４の復号処理を説明するフローチャートである。この復号処理は、例えば、合成装置３４０から符号化ストリームが伝送されてきたとき開始される。
　図２５のステップＳ１３１において、復号装置２８４の受け取り部３１は、合成装置２８３から伝送されてくる符号化ストリームを受け取る。
　ステップＳ１３２において、復号部３０１は、受け取られた符号化ストリームを、符号化部２２および符号化部２９２における符号化方式に対応する方式で復号する。復号部３０１は、その結果得られる第１の視点群と第２の視点群の２次元画像データ、デプス画像データ、およびメタデータを変換部３８０（図２４）に供給する。
　ステップＳ１３３において、変換部３８０の３次元位置変換部３９１は、第１の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を求める。３次元位置変換部３９１は、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置と２次元画像データを座標変換部３９３に供給する。
　ステップＳ１３４において、３次元位置変換部３９２は、第２の視点群のメタデータのうちのカメラパラメータ、２次元画像データ、およびデプス画像データに基づいて、第２の視点の２次元画像データの各画素の第２の３次元座標系における３次元位置を求める。３次元位置変換部３９２は、第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と２次元画像データをデータ生成部３９４に供給する。
　ステップＳ１３５において、座標変換部３９３は、復号部３０１から供給されるメタデータのうちの座標変換情報に基づいて、３次元位置変換部３９１から供給される第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換する。座標変換部３９３は、第１の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置と２次元画像データをデータ生成部３９４に供給する。
　ステップＳ１３６において、データ生成部３９４は、第１の視点群および第２の視点群の２次元画像データの各画素の第２の３次元座標系における３次元位置に基づいて、第１の視点群および第２の視点群の２次元画像データから、被写体の３次元データを生成する。
　ステップＳ１３７乃至Ｓ１４２の処理は、図９のステップＳ３４乃至Ｓ３９の処理と同様であるので、説明は省略する。
　なお、合成装置２８３は、座標変換情報を第１の部分符号化ストリームに配置するのではなく、第１の部分符号化ストリームに配置される第１の３次元座標系における第１の視点群の各視点の外部パラメータＲｃａｍＡ|ｔｃａｍＡを、第２の３次元座標系における各視点の外部パラメータＲｃａｍＢ|ｔｃａｍＢに置換するようにしてもよい。この場合、３次元データ生成部３８１には、座標変換部３９３が設けられず、３次元位置変換部３９１は、外部パラメータＲｃａｍＡ|ｔｃａｍＡの代わりに外部パラメータＲｃａｍＢ|ｔｃａｍＢを用いて、直接、第２の３次元座標系における３次元位置を求める。
　第１の視点群の全ての視点の座標変換データが異なる場合には、外部パラメータＲｃａｍＡ｜ｔｃａｍＡを外部パラメータＲｃａｍＢ|ｔｃａｍＢに置換する方が望ましい。座標変換情報を第１の部分符号化ストリームに配置する場合、元の第１の部分符号化ストリームを修正する必要がないため、外部パラメータを置換する場合に比べて処理が容易である。
　また、第１の視点群の各視点の座標変換データは、各視点の２次元画像データのスケール（視点と撮像面との奥行き方向の距離）が同一であれば同一である。従って、この場合には、座標変換データ生成部３４１は、第１の視点群のうちの１つの視点の座標変換データのみを、第１の視点群の各視点に共通の座標変換データとして生成するようにしてもよい。
　以上のように、第４実施の形態では、符号化装置１２により生成された第１の部分符号化ストリームと、符号化装置２８２により生成された第２の部分符号化ストリームが合成されて復号装置２８４に伝送される。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームの３次元座標系が同一ではない場合がある。
　しかしながら、第４実施の形態では、合成装置３４０が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、復号結果に基づいて座標変換データを生成する。そして、合成装置３４０は、生成された座標変換データを含む座標変換情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、変換部３８０は、座標変換情報に基づいて、第１の視点群の２次元画像データの各画素の第１の３次元座標系における３次元位置を、第２の３次元座標系における３次元位置に変換することができる。その結果、変換部３８０は、第１の視点群と第２の視点群の２次元画像データの各画素の同一の第１の３次元座標系における３次元位置に基づいて、２次元画像データから３次元データを高精度で生成することができる。
　第２乃至第４実施の形態において、２次元画像データとデプス画像データの所定の表示画像生成方式に対応する視点が異なる場合には、２次元画像データとデプス画像データそれぞれに基づいて、それぞれの視点の同期ずれの検出または座標変換データの生成が行われる。
　＜第５実施の形態＞
　（伝送システムの第５実施の形態における合成装置の構成例）
　本開示を適用した伝送システムの第５実施の形態の構成は、合成装置２８３が合成装置４００に代わり、復号装置２８４の変換部３３が変換部４２０に代わる点、および視点群同期ずれ情報が色ずれ補正情報に代わる点を除いて、図１７の伝送システム２８０の構成と同一である。従って、以下では、合成装置４００と変換部４２０についてのみ説明する。
　図２６は、合成装置４００の構成例を示すブロック図である。
　図２６に示す構成のうち、図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２６の合成装置４００の構成は、同期ずれ検出部３２３、メタデータ付加部３２４が、色ずれ補正データ生成部４０１、メタデータ付加部４０２に代わる点が、図１８の合成装置２８３の構成と異なる。合成装置４００は、各視点の２次元画像データの同期ずれを検出するのではなく、各視点の２次元画像データの色ずれを補正する色ずれ補正データを生成する。
　具体的には、合成装置４００の色ずれ補正データ生成部４０１は、第１の視点群と第２の視点群の視点のうちの１つを基準視点とし、他の視点を参照視点とする。色ずれ補正データ生成部４０１は、参照視点ごとに、復号部３２１または復号部３２２の復号により生成された基準視点と参照視点の２次元画像データに基づいて、基準視点に対する参照視点の２次元画像データの色ずれを補正する色ずれ補正データを生成する。
　具体的には、参照視点の２次元画像データのうちの特徴点のＲＧＢ値（Ｒ,Ｇ,Ｂ）に対して逆ガンマ補正が行われたＲＧＢ値（Ｒ´,Ｇ´,Ｂ´）は、以下の式（７）により表される。
Figure JPOXMLDOC01-appb-M000007
　γＲ, γＧ, γＢは、それぞれ、Ｒ，Ｇ，Ｂのガンマ値である。
　また、ＲＧＢ値（Ｒ´,Ｇ´,Ｂ´）を、基準視点の２次元画像データのうちの、参照視点のＲＧＢ値が（Ｒ、Ｇ，Ｂ）である特徴点のＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に対して逆ガンマ補正を行ったＲＧＢ値（Ｒ´´,Ｇ´´,Ｂ´´）に変換する式は、以下の式（８）により表される。
Figure JPOXMLDOC01-appb-M000008
　ａ１１乃至ａ１３，ａ２１乃至ａ２３、およびａ３１乃至ａ３３は、係数である。
　さらに、ＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）は、ＲＧＢ値（Ｒ´´,Ｇ´´,Ｂ´´）に対してガンマ補正を行った値であるので、以下の式（９）で表される。
Figure JPOXMLDOC01-appb-M000009
　以上により、色ずれ補正データ生成部４０１は、参照視点の２次元画像データから特徴点のＲＧＢ値（Ｒ,Ｇ,Ｂ）を抽出し、基準視点の２次元画像データから特徴点のＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）を抽出する。そして、色ずれ補正データ生成部４０１は、抽出されたＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に基づいて、ＲＧＢ値（Ｒ,Ｇ,Ｂ）をＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）に変換する際に必要となるガンマ値γＲ, γＧ, γＢと、係数ａ１１乃至ａ１３、ａ２１乃至ａ２３、およびａ３１乃至ａ３３とを色ずれ補正データとして生成する。
　また、色ずれ補正データ生成部４０１は、基準視点の色ずれ補正データとして、ＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部４０１は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部４０２に供給する。
　メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第１の視点群の色ずれ補正情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。また、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第２の視点群の色ずれ補正情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
　メタデータ付加部４０２は、色ずれ補正情報がメタデータとして配置された第１の部分符号化ストリームと第２の部分符号化ストリームを合成する。メタデータ付加部４０２（伝送部）は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
　（色ずれ補正情報の例）
　図２７は、色ずれ補正情報の例を示す図である。
　図２７の例では、所定の表示画像生成方式に対応する複数の視点の数が９である。
　図２７に示すように、色ずれ補正情報は、所定の表示画像生成方式に対応する全ての視点の各カメラＩＤに、その視点のisCorrectionFlagと色ずれ補正データが対応付けられることにより構成される。
　isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生しているかどうかを示すフラグである。isCorrectionFlagは、対応する視点と基準視点との間で色ずれが発生していることを示す場合１であり、発生していないことを示す場合０である。
　図２７の例では、カメラＩＤが０である視点が基準視点であり、カメラＩＤが１，２，４、および６乃至９である参照視点と基準視点との間で色ずれが発生していない。従って、０乃至２，４、および６乃至９であるカメラＩＤに対応するisCorrectionFlagは０であり、これらのカメラＩＤに対応して色ずれ補正データは記述されない。
　また、図２７の例では、カメラＩＤが３および５である参照視点と基準視点との間で色ずれが発生している。従って、３および５であるカメラＩＤに対応するisCorrectionFlagは１であり、これらのカメラＩＤに対応して色ずれ補正データが記述される。図２７では、カメラＩＤがｉである視点の色ずれ補正データをＰ（ｉ）と記載している。
　なお、色ずれ補正情報には、色ずれが発生している全ての視点の色ずれ補正データが同一であるかどうかを示す色ずれ共通フラグが含まれるようにしてもよい。この場合、色ずれが発生している全ての視点の色ずれ補正データが同一であるとき、色ずれ補正情報は、色ずれが発生している全ての視点の色ずれ補正データが同一であることを示す色ずれ共通フラグ（色ずれ共通情報）と、色ずれが発生している全ての視点に共通の色ずれ補正データとにより構成される。色ずれ共通フラグは、例えば、色ずれが発生している全ての視点の色ずれ補正データが同一である場合１であり、異なる場合０である。
　（合成装置の処理の説明）
　図２８は、図２６の合成装置４００の合成処理を説明するフローチャートである。
　図２８のステップＳ１６１およびＳ１６２の処理は、図１９のステップＳ９１およびＳ９２の処理と同様であるので、説明は省略する。
　ステップＳ１６３において、合成装置４００の色ずれ補正データ生成部４０１は、参照視点ごとに、復号部３２１または復号部３２２の復号により生成された基準視点と参照視点の２次元画像データに基づいて、各参照視点の色ずれ補正データを生成する。また、色ずれ補正データ生成部４０１は、基準視点の色ずれ補正データとして、ＲＧＢ値（Ｒ,Ｇ,Ｂ）とＲＧＢ値（Ｒｃ，Ｇｃ,Ｂｃ）が同一となる色ずれ補正データを生成する。色ずれ補正データ生成部４０１は、生成された各視点の色ずれ補正データを含む色ずれ補正情報をメタデータ付加部４０２に供給する。
　ステップＳ１６４において、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第１の視点群の色ずれ補正情報を、符号化装置１２から伝送されてくる第１の部分符号化ストリームにメタデータとして配置する。
　ステップＳ１６５において、メタデータ付加部４０２は、色ずれ補正データ生成部４０１から供給される色ずれ補正情報のうちの第２の視点群の色ずれ補正情報を、符号化装置２８２から伝送されてくる第２の部分符号化ストリームにメタデータとして配置する。
　ステップＳ１６６において、メタデータ付加部４０２は、色ずれ補正情報がメタデータとして配置された第１の部分符号化ストリームと第２の部分符号化ストリームを合成する。メタデータ付加部４０２は、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームを、復号装置２８４に伝送する。
　（変換部の構成例）
　図２９は、変換部４２０の構成例を示すブロック図である。
　図２９に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２９の変換部４２０の構成は、色補正部４２１が新たに設けられる点が、図８の変換部３３の構成と異なる。
　変換部４２０の色補正部４２１は、復号部３０１による復号の結果得られる色ずれ補正情報に基づいて、上述した式（７）乃至（９）により、第１の視点群と第２の視点群の２次元画像データの色補正を行う。これにより、全ての視点の２次元画像データにおいて色とＲＧＢ値との関係が同一になる。色補正部４２１は、色補正後の第１の視点群と第２の視点群の２次元画像データと、復号部３０１による復号の結果得られる第１の視点群と第２の視点群のデプス画像データを３次元データ生成部１５１に供給する。
　第５実施の形態における復号装置２８４の復号処理は、ステップＳ３２とステップＳ３３の間で、色補正部４２１による色補正が行われる点を除いて、図９の復号処理と同様であるので、説明は省略する。
　以上のように、第５実施の形態では、異なるカメラにより撮像された２次元画像データを用いて生成された第１の部分符号化ストリームと第２の部分符号化ストリームを合成して復号装置２８４に伝送する。従って、合成の結果得られる所定の表示画像生成方式に対応する複数の視点の符号化ストリームにおいて色ずれが発生する場合がある。
　しかしながら、第５実施の形態では、合成装置３４０が、第１の部分符号化ストリームと第２の部分符号化ストリームを一旦復号し、その結果得られる各視点の２次元画像データの色ずれ補正データを生成する。そして、合成装置３４０は、生成された色ずれ補正データの色ずれ補正情報を、第１の部分符号化ストリームおよび第２の部分符号化ストリームとともに伝送する。従って、変換部４２０は、色ずれ補正データに基づいて、第１の視点群と第２の視点群の各視点の２次元画像データの色ずれを補正することができる。その結果、変換部４２０は、色ずれが補正された第１の視点群と第２の視点群の２次元画像データとデプス画像データを用いて３次元データを生成することにより、３次元データのうちの２次元画像データの精度を向上させることができる。
　また、第５実施の形態では、合成装置４００が、色ずれ補正情報を伝送するので、第１の部分符号化ストリームと第２の部分符号化ストリームに色ずれ補正情報をメタデータとして配置するだけで済む。従って、第１の部分符号化ストリームと第２の部分符号化ストリームを復号し、色ずれを補正して再符号化する場合に比べて、合成装置４００の処理量を削減することができる。
　なお、第５実施の形態において、視点または視点群ごとの２次元画像データの、中心部に対する周辺部の減光を補正するゲインを含む周辺減光補正情報がメタデータとして第１の部分符号化ストリームと第２の部分符号化ストリームに配置されるようにしてもよい。また、視点または視点群ごとのExif（Exchangeable image file format）情報がメタデータとして配置されるようにしてもよい。
　＜第６実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ６００において、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
　バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
　入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
　以上のように構成されるコンピュータ６００では、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ６００（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ６００では、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ６００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本開示は、以下のような構成もとることができる。
　（１）
　複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する２次元データ生成部と、
　前記２次元データ生成部により生成された前記複数の第２の視点の２次元画像データと前記デプス画像データを符号化する符号化部と、
　前記符号化部により符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データを伝送する伝送部と
　を備える符号化装置。
　（２）
　前記複数の第１の視点と前記複数の第２の視点とは異なる
　ように構成された
　前記（１）に記載の符号化装置。
　（３）
　前記複数の第２の視点は、同一円上に等間隔に存在する
　ように構成された
　前記（１）または（２）に記載の符号化装置。
　（４）
　前記複数の第２の視点のうちの少なくも２つの視点は、略水平方向に並ぶ
　ように構成された
　前記（１）または（２）に記載の符号化装置。
　（５）
　前記伝送部は、前記複数の第２の視点のうちの水平方向に並ぶ２つの視点を特定する情報を伝送する
　ように構成された
　前記（４）に記載の符号化装置。
　（６）
　前記伝送部は、前記複数の第２の視点の２次元画像データにおけるオクルージョン領域の前記３次元データを伝送する
　ように構成された
　前記（１）乃至（５）のいずれかに記載の符号化装置。
　（７）
　前記２次元データ生成部は、前記複数の第２の視点のカメラパラメータに基づいて、前記３次元データから前記複数の第２の視点の２次元画像データを生成し、前記第３の視点のカメラパラメータに基づいて、前記デプス画像データを生成し、
　前記伝送部は、前記複数の第２の視点および前記第３の視点の前記カメラパラメータを伝送する
　ように構成された
　前記（１）乃至（６）のいずれかに記載の符号化装置。
　（８）
　前記所定の表示画像生成方式の数は、複数である
　ように構成された
　前記（１）乃至（７）のいずれかに記載の符号化装置。
　（９）
　前記複数の第２の視点と前記第３の視点は同一である
　ように構成された
　前記（１）乃至（８）のいずれかに記載の符号化装置。
　（１０）
　符号化装置が、
　複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する２次元データ生成ステップと、
　前記２次元データ生成ステップの処理により生成された前記複数の第２の視点の２次元画像データと前記デプス画像データを符号化する符号化ステップと、
　前記符号化ステップの処理により符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データを伝送する伝送ステップと
　を含む符号化方法。
　（１１）
　所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとを復号する復号部と、
　前記復号部による復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データを生成する３次元データ生成部と、
　前記３次元データ生成部により生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データを表示画像データとして生成する２次元データ生成部と
　を備える復号装置。
　（１２）
　前記複数の第１の視点は、同一円上に等間隔に存在する
　ように構成された
　前記（１１）に記載の復号装置。
　（１３）
　前記複数の第１の視点のうちの少なくも２つの視点は、略水平方向に並ぶ
　ように構成された
　前記（１１）に記載の復号装置。
　（１４）
　前記複数の第１の視点のうちの水平方向に並ぶ２つの視点を特定する情報を受け取る受け取り部
　をさらに備える
　前記（１３）に記載の復号装置。
　（１５）
　前記複数の第１の視点の２次元画像データと前記デプス画像データは、複数の第３の視点の２次元画像データから生成された被写体の３次元データから生成される
　ように構成された
　前記（１１）乃至（１４）のいずれかに記載の復号装置。
　（１６）
　前記３次元データ生成部は、前記複数の第１の視点の２次元画像データ、前記デプス画像データ、および前記複数の第１の視点の２次元画像データにおけるオクルージョン領域の３次元データを用いて、前記被写体の３次元データを生成する
　ように構成された
　前記（１５）に記載の復号装置。
　（１７）
　前記３次元データ生成部は、前記複数の第１の視点および前記第２の視点のカメラパラメータに基づいて、前記被写体の３次元データを生成する
　ように構成された
　前記（１１）乃至（１６）のいずれかに記載の復号装置。
　（１８）
　前記所定の表示画像生成方式の数は、複数である
　ように構成された
　前記（１１）乃至（１７）のいずれかに記載の復号装置。
　（１９）
　前記複数の第１の視点と前記第２の視点は同一である
　ように構成された
　前記（１１）乃至（１８）のいずれかに記載の復号装置。
　（２０）
　復号装置が、
　所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとを復号する復号ステップと、
　前記復号ステップの処理による復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データを生成する３次元データ生成ステップと、
　前記３次元データ生成ステップの処理により生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データを表示画像データとして生成する２次元データ生成ステップと
　を含む復号方法。
　１１　撮像装置,　１２　符号化装置,　１３　復号装置,　２２　符号化部,　２３　伝送部,　３１　受け取り部,　３２　復号部,　５３　２次元データ生成部,　１５１　３次元データ生成部,　１５４　２次元データ生成部,　１７１　撮像装置,　１７２　符号化装置,　１７３　復号装置,　１９２　変換部,　２１１－１乃至２１１－Ｎ　カメラ,　２２２　同期ずれ検出部,　２６１－１乃至２６１－２Ｎ　復号処理部,　２６２　出力部,　２８２　符号化装置,　２８３　合成装置,　２８４　復号装置,　２９２　符号化部,　３０１　復号部,　３２１，３２２　復号部,　３２３　同期ずれ検出部,　３２４　メタデータ付加部,　３４０　合成装置,　３４１　座標変換データ生成部,　３４２　メタデータ付加部，　３９１，３９２　３次元位置変換部,　３９３　座標変換部,　３９４　データ生成部，　４００　合成装置,　４０１　色ずれ補正データ生成部,　４０２　メタデータ付加部，　４２１　色補正部

Claims (20)

  1. 　複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する２次元データ生成部と、
    　前記２次元データ生成部により生成された前記複数の第２の視点の２次元画像データと前記デプス画像データを符号化する符号化部と、
    　前記符号化部により符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データを伝送する伝送部と
    　を備える符号化装置。
  2. 　前記複数の第１の視点と前記複数の第２の視点とは異なる
    　ように構成された
    　請求項１に記載の符号化装置。
  3. 　前記複数の第２の視点は、同一円上に等間隔に存在する
    　ように構成された
    　請求項１に記載の符号化装置。
  4. 　前記複数の第２の視点のうちの少なくも２つの視点は、略水平方向に並ぶ
    　ように構成された
    　請求項１に記載の符号化装置。
  5. 　前記伝送部は、前記複数の第２の視点のうちの水平方向に並ぶ２つの視点を特定する情報を伝送する
    　ように構成された
    　請求項４に記載の符号化装置。
  6. 　前記伝送部は、前記複数の第２の視点の２次元画像データにおけるオクルージョン領域の前記３次元データを伝送する
    　ように構成された
    　請求項１に記載の符号化装置。
  7. 　前記２次元データ生成部は、前記複数の第２の視点のカメラパラメータに基づいて、前記３次元データから前記複数の第２の視点の２次元画像データを生成し、前記第３の視点のカメラパラメータに基づいて、前記デプス画像データを生成し、
    　前記伝送部は、前記複数の第２の視点および前記第３の視点の前記カメラパラメータを伝送する
    　ように構成された
    　請求項１に記載の符号化装置。
  8. 　前記所定の表示画像生成方式の数は、複数である
    　ように構成された
    　請求項１に記載の符号化装置。
  9. 　前記複数の第２の視点と前記第３の視点は同一である
    　ように構成された
    　請求項１に記載の符号化装置。
  10. 　符号化装置が、
    　複数の第１の視点の２次元画像データから生成された被写体の３次元データから、所定の表示画像生成方式に対応する複数の第２の視点の２次元画像データと第３の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データとを生成する２次元データ生成ステップと、
    　前記２次元データ生成ステップの処理により生成された前記複数の第２の視点の２次元画像データと前記デプス画像データを符号化する符号化ステップと、
    　前記符号化ステップの処理により符号化された前記複数の第２の視点の２次元画像データと前記デプス画像データを伝送する伝送ステップと
    　を含む符号化方法。
  11. 　所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとを復号する復号部と、
    　前記復号部による復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データを生成する３次元データ生成部と、
    　前記３次元データ生成部により生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データを表示画像データとして生成する２次元データ生成部と
    　を備える復号装置。
  12. 　前記複数の第１の視点は、同一円上に等間隔に存在する
    　ように構成された
    　請求項１１に記載の復号装置。
  13. 　前記複数の第１の視点のうちの少なくも２つの視点は、略水平方向に並ぶ
    　ように構成された
    　請求項１１に記載の復号装置。
  14. 　前記複数の第１の視点のうちの水平方向に並ぶ２つの視点を特定する情報を受け取る受け取り部
    　をさらに備える
    　請求項１３に記載の復号装置。
  15. 　前記複数の第１の視点の２次元画像データと前記デプス画像データは、複数の第３の視点の２次元画像データから生成された被写体の３次元データから生成される
    　ように構成された
    　請求項１１に記載の復号装置。
  16. 　前記３次元データ生成部は、前記複数の第１の視点の２次元画像データ、前記デプス画像データ、および前記複数の第１の視点の２次元画像データにおけるオクルージョン領域の３次元データを用いて、前記被写体の３次元データを生成する
    　ように構成された
    　請求項１５に記載の復号装置。
  17. 　前記３次元データ生成部は、前記複数の第１の視点および前記第２の視点のカメラパラメータに基づいて、前記被写体の３次元データを生成する
    　ように構成された
    　請求項１１に記載の復号装置。
  18. 　前記所定の表示画像生成方式の数は、複数である
    　ように構成された
    　請求項１１に記載の復号装置。
  19. 　前記複数の第１の視点と前記第２の視点は同一である
    　ように構成された
    　請求項１１に記載の復号装置。
  20. 　復号装置が、
    　所定の表示画像生成方式に対応する複数の第１の視点の２次元画像データの符号化データと、第２の視点に対する各画素の被写体の奥行き方向の位置を示すデプス画像データの符号化データとを復号する復号ステップと、
    　前記復号ステップの処理による復号の結果得られる前記複数の第１の視点の第２次元画像データと前記デプス画像データとを用いて、被写体の３次元データを生成する３次元データ生成ステップと、
    　前記３次元データ生成ステップの処理により生成された前記３次元データに基づいて、前記所定の表示画像生成方式で２次元画像データを表示画像データとして生成する２次元データ生成ステップと
    　を含む復号方法。
PCT/JP2016/082024 2015-11-11 2016-10-28 符号化装置および符号化方法、復号装置および復号方法 Ceased WO2017082076A1 (ja)

Priority Applications (16)

Application Number Priority Date Filing Date Title
RU2018116473A RU2721678C2 (ru) 2015-11-11 2016-10-28 Устройство кодирования и способ кодирования, устройство декодирования и способ декодирования
EP16864039.9A EP3343914A4 (en) 2015-11-11 2016-10-28 ENCLOSURE DEVICE AND ENCLOSURE METHOD AND DECOMPOSITION DEVICE AND DECOMPOSITION METHOD
AU2016352648A AU2016352648A1 (en) 2015-11-11 2016-10-28 Encoding device and encoding method, and decoding device and decoding method
MYPI2018000679A MY202620A (en) 2015-11-11 2016-10-28 Encoding apparatus and encoding method, decoding apparatus and decoding method
SG11201803682RA SG11201803682RA (en) 2015-11-11 2016-10-28 Encoding apparatus and encoding method, decoding apparatus and decoding method
KR1020187012316A KR102516992B1 (ko) 2015-11-11 2016-10-28 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
CN201680064678.3A CN108353157B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法
CN202110383257.XA CN113286137B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法
MX2018005501A MX389538B (es) 2015-11-11 2016-10-28 Dispositivo de codificación y método de codificación, aparato de decodificación y método de decodificación.
US15/765,805 US11716487B2 (en) 2015-11-11 2016-10-28 Encoding apparatus and encoding method, decoding apparatus and decoding method
BR112018009070A BR112018009070A8 (pt) 2015-11-11 2016-10-28 aparelhos de codificação e de decodificação, e, métodos para codificação por um aparelho de codificação e para decodificação por um aparelho de decodificação.
CA3004241A CA3004241C (en) 2015-11-11 2016-10-28 Encoding apparatus and encoding method, decoding apparatus and decoding method
JP2017550061A JP6384744B2 (ja) 2015-11-11 2016-10-28 符号化装置および符号化方法
ZA2018/02193A ZA201802193B (en) 2015-11-11 2018-04-04 Encoding device and encoding method, and decoding device and decoding method
PH12018500977A PH12018500977A1 (en) 2015-11-11 2018-05-04 Encoding device and encoding method, and decoding device and decoding method
AU2021203450A AU2021203450B2 (en) 2015-11-11 2021-05-27 Encoding device and encoding method, and decoding device and decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-221233 2015-11-11
JP2015221233 2015-11-11

Publications (1)

Publication Number Publication Date
WO2017082076A1 true WO2017082076A1 (ja) 2017-05-18

Family

ID=58695131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082024 Ceased WO2017082076A1 (ja) 2015-11-11 2016-10-28 符号化装置および符号化方法、復号装置および復号方法

Country Status (14)

Country Link
US (1) US11716487B2 (ja)
EP (1) EP3343914A4 (ja)
JP (3) JP6384744B2 (ja)
KR (1) KR102516992B1 (ja)
CN (2) CN113286137B (ja)
AU (2) AU2016352648A1 (ja)
BR (1) BR112018009070A8 (ja)
MX (1) MX389538B (ja)
MY (1) MY202620A (ja)
PH (1) PH12018500977A1 (ja)
RU (1) RU2721678C2 (ja)
SG (1) SG11201803682RA (ja)
WO (1) WO2017082076A1 (ja)
ZA (1) ZA201802193B (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769643A (zh) * 2018-06-15 2018-11-06 深圳超多维科技有限公司 视频拍摄方法、装置及系统
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
WO2019167300A1 (en) 2018-03-01 2019-09-06 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
WO2020008758A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
WO2020105422A1 (en) 2018-11-20 2020-05-28 Sony Corporation Image processing device, image processing method, program, and display device
WO2020121844A1 (en) 2018-12-12 2020-06-18 Sony Corporation Image processing device, image processing method, and program
WO2020137584A1 (ja) 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
JP2020522802A (ja) * 2017-05-31 2020-07-30 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． 異なる複数のヴァンテージ・ポイントから、バーチャル・シーンのバーチャル・エンティティ記述フレームに基づいて、バーチャル・シーンのフレームをレンダリングする方法及びシステム
JP2020522801A (ja) * 2017-05-31 2020-07-30 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
WO2020262261A1 (ja) 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021079592A1 (ja) 2019-10-21 2021-04-29 ソニー株式会社 情報処理装置、３ｄデータの生成方法及びプログラム
WO2021187093A1 (ja) 2020-03-17 2021-09-23 ソニーグループ株式会社 画像処理装置、および、動画像データ生成方法
WO2022024780A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
US11557087B2 (en) 2018-12-19 2023-01-17 Sony Group Corporation Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
JP2024040313A (ja) * 2019-06-11 2024-03-25 株式会社Mujin 第１のカメラによって生成された第１の画像を第２のカメラによって生成された第２の画像に基づいて更新する方法及び処理システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876050B (zh) * 2018-08-31 2021-08-20 盎锐（上海）信息科技有限公司 基于3d摄像机的数据处理装置及方法
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
US11341715B2 (en) 2019-03-07 2022-05-24 Alibaba Group Holding Limited Video reconstruction method, system, device, and computer readable storage medium
US12136243B2 (en) * 2019-03-20 2024-11-05 Interdigital Vc Holdings, Inc. Processing missing points of a point cloud
WO2021022266A2 (en) * 2019-10-07 2021-02-04 Futurewei Technologies, Inc. Video-based point cloud compression (v-pcc) timing information
CN112788325B (zh) * 2019-11-06 2023-06-02 Oppo广东移动通信有限公司 一种图像处理方法、编码装置、解码装置及存储介质
JP2021099430A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
KR102242710B1 (ko) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 반자유 시점 영상을 제공하는 장치
CN114926605B (zh) * 2022-07-19 2022-09-30 北京飞渡科技有限公司 一种三维模型的抽壳方法
CN117671402A (zh) * 2022-08-22 2024-03-08 华为技术有限公司 识别模型训练方法、装置以及可移动智能设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157825A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP2010531604A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
JP2011519227A (ja) * 2008-04-25 2011-06-30 トムソン ライセンシング 奥行き信号の符号化
JP2012023488A (ja) * 2010-07-13 2012-02-02 Ntt Docomo Inc 画像処理装置、画像処理方法、表示装置及びプログラム
JP2012518367A (ja) * 2009-02-19 2012-08-09 トムソン ライセンシング ３ｄ映像フォーマット

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US8244025B2 (en) * 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
JP5035195B2 (ja) 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
US8750632B2 (en) 2008-12-26 2014-06-10 JVC Kenwood Corporation Apparatus and method for encoding images from multiple viewpoints and associated depth information
JP2010157821A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP2010157823A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
WO2012101582A1 (en) * 2011-01-24 2012-08-02 Invision Biometrics Ltd. Method and system for acquisition, representation, compression, and transmission of three-dimensional data
CN102724520A (zh) 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9351028B2 (en) 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
JP2013211777A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR102126532B1 (ko) * 2013-09-30 2020-06-24 엘지디스플레이 주식회사 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
EP3175200A4 (en) * 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US20170004647A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Rendering graphics data on demand

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010531604A (ja) * 2007-06-26 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
JP2011519227A (ja) * 2008-04-25 2011-06-30 トムソン ライセンシング 奥行き信号の符号化
JP2010157825A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP2012518367A (ja) * 2009-02-19 2012-08-09 トムソン ライセンシング ３ｄ映像フォーマット
JP2012023488A (ja) * 2010-07-13 2012-02-02 Ntt Docomo Inc 画像処理装置、画像処理方法、表示装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3343914A4 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020522802A (ja) * 2017-05-31 2020-07-30 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． 異なる複数のヴァンテージ・ポイントから、バーチャル・シーンのバーチャル・エンティティ記述フレームに基づいて、バーチャル・シーンのフレームをレンダリングする方法及びシステム
JP7194125B2 (ja) 2017-05-31 2022-12-21 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッド バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
JP7194126B2 (ja) 2017-05-31 2022-12-21 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッド 異なる複数のヴァンテージ・ポイントから、バーチャル・シーンのバーチャル・エンティティ記述フレームに基づいて、バーチャル・シーンのフレームをレンダリングする方法及びシステム
JP2020522801A (ja) * 2017-05-31 2020-07-30 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
CN110998669A (zh) * 2017-08-08 2020-04-10 索尼公司 图像处理装置和方法
CN110998669B (zh) * 2017-08-08 2023-12-08 索尼公司 图像处理装置和方法
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
JP7003994B2 (ja) 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
JPWO2019031259A1 (ja) * 2017-08-08 2020-09-10 ソニー株式会社 画像処理装置および方法
WO2019167300A1 (en) 2018-03-01 2019-09-06 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method
CN108769643A (zh) * 2018-06-15 2018-11-06 深圳超多维科技有限公司 视频拍摄方法、装置及系统
US11516453B2 (en) 2018-07-06 2022-11-29 Sony Corporation Information processing apparatus, information processing method, and program for point cloud sample processing
JP7310816B2 (ja) 2018-07-06 2023-07-19 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JPWO2020008758A1 (ja) * 2018-07-06 2021-07-08 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
WO2020008758A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
WO2020105422A1 (en) 2018-11-20 2020-05-28 Sony Corporation Image processing device, image processing method, program, and display device
WO2020121844A1 (en) 2018-12-12 2020-06-18 Sony Corporation Image processing device, image processing method, and program
US11557087B2 (en) 2018-12-19 2023-01-17 Sony Group Corporation Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
WO2020137584A1 (ja) 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
KR20210107631A (ko) 2018-12-25 2021-09-01 소니그룹주식회사 영상 재생 장치, 재생 방법 및 프로그램
US11825066B2 (en) 2018-12-25 2023-11-21 Sony Corporation Video reproduction apparatus, reproduction method, and program
JP2024040313A (ja) * 2019-06-11 2024-03-25 株式会社Mujin 第１のカメラによって生成された第１の画像を第２のカメラによって生成された第２の画像に基づいて更新する方法及び処理システム
WO2020262261A1 (ja) 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11842453B2 (en) 2019-06-28 2023-12-12 Sony Group Corporation Information processing device, information processing method, and program
WO2021079592A1 (ja) 2019-10-21 2021-04-29 ソニー株式会社 情報処理装置、３ｄデータの生成方法及びプログラム
WO2021187093A1 (ja) 2020-03-17 2021-09-23 ソニーグループ株式会社 画像処理装置、および、動画像データ生成方法
JPWO2022024780A1 (ja) * 2020-07-30 2022-02-03
WO2022024780A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
US12260491B2 (en) 2020-07-30 2025-03-25 Sony Group Corporation Information processing device, information processing method, video distribution method, and information processing system

Also Published As

Publication number Publication date
BR112018009070A8 (pt) 2019-02-26
MY202620A (en) 2024-05-10
KR20180081720A (ko) 2018-07-17
JP7143905B2 (ja) 2022-09-29
BR112018009070A2 (ja) 2018-10-30
RU2721678C2 (ru) 2020-05-21
EP3343914A1 (en) 2018-07-04
AU2021203450A1 (en) 2021-06-24
SG11201803682RA (en) 2018-06-28
RU2018116473A (ru) 2019-11-05
CA3004241A1 (en) 2017-05-18
KR102516992B1 (ko) 2023-04-04
US11716487B2 (en) 2023-08-01
AU2016352648A1 (en) 2018-05-10
CN113286137B (zh) 2024-02-02
JP6384744B2 (ja) 2018-09-05
US20180302647A1 (en) 2018-10-18
MX389538B (es) 2025-03-20
MX2018005501A (es) 2018-08-01
AU2021203450B2 (en) 2022-11-24
RU2018116473A3 (ja) 2019-11-05
JPWO2017082076A1 (ja) 2018-07-26
CN113286137A (zh) 2021-08-20
CN108353157B (zh) 2021-06-08
EP3343914A4 (en) 2019-04-10
JP2018182755A (ja) 2018-11-15
ZA201802193B (en) 2020-08-26
CN108353157A (zh) 2018-07-31
JP2021072639A (ja) 2021-05-06
JP6872131B2 (ja) 2021-05-19
PH12018500977A1 (en) 2019-01-28

Similar Documents

Publication Publication Date Title
JP6384744B2 (ja) 符号化装置および符号化方法
JP6911765B2 (ja) 画像処理装置および画像処理方法
KR102527566B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN101651841B (zh) 一种立体视频通讯的实现方法、系统和设备
JP7009996B2 (ja) 画像処理装置および画像処理方法
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
CA3004241C (en) Encoding apparatus and encoding method, decoding apparatus and decoding method
JP6599634B2 (ja) 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16864039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017550061

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016864039

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15765805

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20187012316

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2018/005501

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 3004241

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 11201803682R

Country of ref document: SG

Ref document number: 2018116473

Country of ref document: RU

Ref document number: 12018500977

Country of ref document: PH

ENP Entry into the national phase

Ref document number: 2016352648

Country of ref document: AU

Date of ref document: 20161028

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018009070

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112018009070

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180504