WO2019198521A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2019198521A1
WO2019198521A1 PCT/JP2019/013535 JP2019013535W WO2019198521A1 WO 2019198521 A1 WO2019198521 A1 WO 2019198521A1 JP 2019013535 W JP2019013535 W JP 2019013535W WO 2019198521 A1 WO2019198521 A1 WO 2019198521A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
projection direction
decoding
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/013535
Other languages
English (en)
French (fr)
Inventor
智 隈
央二 中神
幸司 矢野
加藤　毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201980024400.7A priority Critical patent/CN111937388A/zh
Priority to US16/981,722 priority patent/US11310518B2/en
Priority to EP19784358.4A priority patent/EP3780613A4/en
Priority to KR1020207027270A priority patent/KR20200140256A/ko
Priority to JP2020513193A priority patent/JPWO2019198521A1/ja
Publication of WO2019198521A1 publication Critical patent/WO2019198521A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that can more easily decode encoded data of 3D data.
  • Non-Patent Document 1 Conventionally, as a method for encoding 3D data representing a three-dimensional structure such as a point cloud, for example, there has been encoding using a voxel such as Octtree (for example, Non-Patent Document 1). reference).
  • a voxel such as Octtree
  • the present disclosure has been made in view of such a situation, and makes it possible to more easily decode encoded data of 3D data.
  • An image processing apparatus includes projection direction information that is information related to a projection direction of position information of 3D data representing a three-dimensional structure onto a two-dimensional plane, and a geometry obtained by projecting the position information onto the two-dimensional plane.
  • the image processing apparatus includes a bit stream generation unit that generates a bit stream including encoded image data.
  • An image processing method includes projection direction information that is information regarding a projection direction of position information of 3D data representing a three-dimensional structure onto a two-dimensional plane, and a geometry obtained by projecting the position information onto the two-dimensional plane. This is an image processing method for generating a bitstream including encoded image data.
  • An image processing apparatus converts the position information into the two-dimensional plane based on projection direction information that is information related to the projection direction of the position information of 3D data representing a three-dimensional structure onto the two-dimensional plane.
  • An image processing apparatus includes a decoding unit that decodes a bitstream including encoded data of a projected geometry image.
  • An image processing method is configured to convert the position information into the two-dimensional plane based on projection direction information that is information related to the projection direction of the position information of 3D data representing a three-dimensional structure onto the two-dimensional plane.
  • This is an image processing method for decoding a bit stream including encoded data of a projected geometry image.
  • an image processing apparatus projects a geometry image obtained by projecting position information of 3D data representing a three-dimensional structure onto a two-dimensional plane in a direction in which the position information is projected onto the two-dimensional plane.
  • the image processing apparatus includes a packing unit arranged and packed in a corresponding encoding unit.
  • an image processing method projects a geometry image obtained by projecting position information of 3D data representing a three-dimensional structure onto a two-dimensional plane in a direction in which the position information is projected onto the two-dimensional plane.
  • This is an image processing method in which data is arranged and packed in a corresponding encoding unit.
  • the image processing apparatus further includes the encoding unit corresponding to the projection direction of the position information of the 3D data representing the three-dimensional structure of the bitstream on the two-dimensional plane, and the two-dimensional image in the projection direction. It is an image processing apparatus provided with the decoding part which decodes the geometry image projected on the plane.
  • an image processing method in which, from a coding unit corresponding to a projection direction of position information of 3D data representing a three-dimensional structure of a bitstream on a two-dimensional plane, the two-dimensional image in the projection direction.
  • This is an image processing method for decoding a geometry image projected on a plane.
  • projection direction information that is information related to a projection direction of position information of 3D data representing a three-dimensional structure onto a two-dimensional plane, and the position information on the two-dimensional plane.
  • a bit stream including encoded data of the projected geometry image is generated.
  • the position information is the A bit stream including encoded data of the geometry image projected onto the dimension plane is decoded.
  • a geometry image obtained by projecting position information of 3D data representing a three-dimensional structure onto a two-dimensional plane is an image of the position information to the two-dimensional plane. Packed by being arranged in a coding unit corresponding to the projection direction.
  • an image can be processed.
  • encoded data of 3D data can be decoded more easily.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • Video-based approach> ⁇ Documents that support technical contents and technical terms>
  • the scope disclosed in the present technology includes not only the contents described in the embodiments but also the contents described in the following non-patent documents that are known at the time of filing.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
  • Non-Patent Document 3 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
  • Non-Patent Document 4 Jianle Chen, Maria Alshina, Gary J.
  • ⁇ Point cloud> Conventionally, there are data such as point clouds that represent 3D structures based on point cloud position information and attribute information, and meshes that are composed of vertices, edges, and surfaces, and that define 3D shapes using polygonal representations. .
  • a three-dimensional structure as shown in A of FIG. 1 is expressed as a set (point group) of a large number of points as shown in B of FIG. That is, the point cloud data is configured by position information and attribute information (for example, color) of each point in the point cloud. Therefore, the data structure is relatively simple, and an arbitrary three-dimensional structure can be expressed with sufficient accuracy by using a sufficiently large number of points.
  • an input point cloud (Point ⁇ cloud) is divided into a plurality of segmentations (also referred to as regions), and each region is projected onto a two-dimensional plane.
  • the data for each position of the point cloud (that is, the data of each point) is composed of the position information (Geometry (also referred to as Depth)) and the attribute information (Texture) as described above. Projected onto a dimensional plane.
  • Each segmentation (also referred to as a patch) projected on the two-dimensional plane is arranged in a two-dimensional image.
  • two-dimensional plane images such as AVC (Advanced Video Coding) and HEVC (High Efficiency Video Coding). It is encoded by the encoding method.
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • ⁇ Transmission of projection direction information> Therefore, a bit including projection direction information, which is information related to the projection direction of the position information of the 3D data representing the three-dimensional structure onto the two-dimensional plane, and encoded data of the geometry image obtained by projecting the position information onto the two-dimensional plane. Create a stream.
  • projection direction information that is information related to the projection direction of position information of 3D data representing a three-dimensional structure onto a two-dimensional plane, and encoded data of a geometry image obtained by projecting the position information onto the two-dimensional plane
  • bit stream generation unit that generates a bit stream including.
  • the projection direction can be arbitrarily set, for example, a patch with a more appropriate projection direction according to the view direction or the like can be generated and encoded.
  • the encoded data of the 3D data can be more easily decoded on the decoding side. For example, it is possible to suppress the occurrence of occlusion or to suppress an increase in the number of patches, and it is possible to suppress an increase in the load of decoding processing (for example, processing amount, processing time, data amount to be processed, etc.). .
  • projection direction information which is information related to the projection direction of the position information of the 3D data representing the three-dimensional structure onto the two-dimensional plane
  • encoded data of a geometry image obtained by projecting the position information onto the two-dimensional plane is included. Decode the bitstream.
  • a code of a geometry image obtained by projecting the position information onto the two-dimensional plane A decoding unit for decoding the bitstream including the digitized data is provided.
  • a geometry image obtained by projecting position information of 3D data representing a three-dimensional structure onto a two-dimensional plane is arranged and packed in an encoding unit corresponding to the projection direction of the position information onto the two-dimensional plane.
  • a geometry image obtained by projecting position information of 3D data representing a three-dimensional structure onto a two-dimensional plane is arranged in an encoding unit corresponding to the projection direction of the position information onto the two-dimensional plane. Then, a packing unit for packing is provided.
  • a geometry image projected on the two-dimensional plane in the projection direction is decoded from an encoding unit corresponding to the projection direction on the two-dimensional plane of the position information of the 3D data representing the three-dimensional structure of the bitstream. To do.
  • a geometry image projected on a two-dimensional plane in the projection direction from an encoding unit corresponding to the projection direction on the two-dimensional plane of position information of 3D data representing the three-dimensional structure of the bitstream is provided.
  • encoded data of 3D data can be more easily decoded, and an increase in decoding processing load (for example, processing amount, processing time, data amount to be processed, etc.) can be suppressed.
  • the projection direction indicates an angle of projection of 3D data (for example, a point cloud) onto a two-dimensional plane in the video-based approach, that is, the direction and position (distance) of the two-dimensional plane as viewed from the 3D data.
  • the projection direction (direction and position) may be expressed using spherical coordinates (r, ⁇ , ⁇ ).
  • This projection direction may include the same orthogonal directions (0 degrees, 90 degrees, 180 degrees, 270 degrees) as before, and new directions and positions other than these orthogonal coordinate directions. It may be.
  • the projection direction is only the orthogonal coordinate direction as shown in the table of FIG. 4B, and is predetermined (cannot be set).
  • a projection direction other than the orthogonal coordinate direction can be set as shown in the table of FIG. 4C, for example.
  • projection direction information that is information about the projection direction is generated and transmitted.
  • the projection direction information is information indicating the correspondence between the identifier and the projection direction. That is, the projection direction information is information for assigning an identifier to the set projection direction.
  • FIG. 4C shows an example of the projection direction information.
  • the projection direction (direction sphere coordinate ⁇ , direction sphere coordinate ⁇ , distance r) is associated with each projection direction identifier (projection direction index). Note that the same projection direction may be associated with a plurality of identifiers.
  • a direction or position that tends to be the View direction can be set as the projection direction, or conversely, the View direction
  • the projection direction can be set so as to suppress the occurrence of occlusion, such as by excluding the direction and position that are difficult to become from the projection direction, and the reduction in reproducibility can be suppressed.
  • the projection direction can be set so as to suppress the increase in patch division, an increase in the smoothing processing amount can also be suppressed.
  • a decoding order (decoding priority order) may be set for each projection direction.
  • a number indicating the decoding order (priority order of decoding) is assigned to the identifier (projection direction index) of each projection direction. Note that the same decoding order may be assigned to a plurality of identifiers.
  • More diverse decoding methods can be realized by controlling the decoding order of each patch using such information. For example, the more important projection direction can be decoded earlier.
  • a decoding method in which decoding is performed preferentially from a patch having a projection direction close to the requested view direction with reference to the decoding order becomes possible. As a result, the requested image in the view direction can be restored (displayed) more quickly.
  • a decoding method in which decoding of patches in an unimportant projection direction is omitted depending on the load situation or the like is possible.
  • semantic information indicating characteristics (meaning) in the three-dimensional structure may be included as attribute information.
  • a projection direction for projecting a portion having a predetermined meaning in the three-dimensional structure may be set, and semantic information indicating the meaning may be added as attribute information in association with the projection direction.
  • a dedicated projection direction for projecting a person's “face” may be set, and semantic information such as “Face” may be added to the projection direction.
  • the semantic information “Face1” is added to the projection directions whose projection direction indexes are “10” and “11”.
  • the patch relating to “Face 1” can be decoded by decoding the patches in the projection direction.
  • a plurality of attribute information may be added to one projection direction index.
  • a plurality of pieces of semantic information may be added to one projection direction index.
  • encoding unit information that is information regarding an encoding unit in which a patch is arranged for each projection direction is generated and transmitted.
  • the encoding unit information is information indicating a correspondence relationship between the above-described identifier of the projection direction and the encoding unit in which the patch projected in the projection direction is arranged. That is, the coding unit information is information indicating the correspondence between each projection direction and the coding unit to be used.
  • An encoding unit is a data unit that can be encoded and decoded independently.
  • a specific data unit of the encoding unit is not particularly limited, and may be a slice, a tile, a picture, or the like, for example.
  • FIG. 5A An example of patch arrangement in the conventional case is shown in FIG.
  • a plurality of patches 32 are arranged in a picture 31.
  • FIG. 5A only one patch is given a reference numeral, but the figure in the picture 31 is a patch 32, respectively.
  • the numbers shown in each patch 32 indicate the projection direction (that is, the projection direction index).
  • each patch 32 is arranged in the picture 31 without considering the decoding order or the like. Therefore, as in the table shown in FIG. 5B, each projection direction index is assigned the same frame (frame index “0”) (ie, cannot be set). ).
  • encoding units (frames, slices, tiles, etc.) in which patches are arranged can be set for each projection direction.
  • a frame index for identifying a frame a slice index for identifying a slice, and a tile index for identifying a tile are associated with each projection direction index.
  • the patch with the projection direction index “0” is arranged at the slice index “1” of the frame index “0”.
  • the patch with the projection direction index “6” is arranged at the slice index “0” with the frame index “0”.
  • a plurality of encoding units may be assigned to one projection direction as in the projection index “5” in the table of FIG. 6, or as projection indexes “1” and “2”.
  • a plurality of projection directions may be assigned to the same encoding unit.
  • each patch can be arranged in a coding unit corresponding to the projection direction. For example, as shown in FIG. 7, each patch 32 in FIG. 5A can be divided into slices 51 to 57 for each projection index.
  • decoding of patches in unnecessary projection directions can be omitted (that is, only some patches can be decoded) (partial decoding can be realized). It is also possible to preferentially decode important patches (control the decoding order of patches). That is, encoded data of 3D data can be more easily decoded, and an increase in decoding processing load (for example, processing amount, processing time, data amount to be processed, etc.) can be suppressed. Even when various decoding methods are realized, it is possible to decode a part of necessary data, so that an increase in the load of the decoding process can be suppressed.
  • patch placement control is performed using slices, but placement control may be performed using tiles instead of slices. Further, the arrangement control may be performed using both slices and tiles.
  • the coding unit in such patch arrangement control may be hierarchized. That is, for example, the arrangement control of a plurality of hierarchies may be performed like a frame and a slice. For example, in the example of FIG. 6, patches may be arranged in frames other than the frame index “0”.
  • the attribute information regarding decoding may include semantic information (for example, “Face”) indicating characteristics (meaning) in the three-dimensional structure. By doing so, it becomes possible to select a coding unit to be decoded based on the semantic information.
  • semantic information for example, “Face”
  • each patch and its projection direction are associated with each other using the projection direction identifier described above. That is, an identifier of the projection direction is assigned to each patch. Thereby, various information such as the projection direction, attribute information, and encoding unit can be associated with each patch.
  • the encoding of the patch in the projection direction that is unnecessary for 2D imaging may be omitted.
  • a patch in the projection direction that projects the sole of the foot is likely not to be clearly decoded. Therefore, by omitting such encoding of the patch in the projection direction, it is possible to suppress an increase in code amount and suppress a decrease in encoding efficiency.
  • this unnecessary projection direction setting method is arbitrary. For example, it may be set based on arbitrary information or the like.
  • each patch is arranged in an encoding unit corresponding to the projection direction of the patch.
  • each patch is arranged according to the coding unit information.
  • the default is the initial value of the view direction set when the user does not specify the view direction to be displayed. You may make it give priority to the decoding order of the data (patch) for View directions. In this way, the image in the default view direction can be restored (displayed) earlier.
  • the quality setting may be controlled according to the display frequency of the patch.
  • each patch is arranged in a coding unit controlled for each projection direction. Since each coding unit can be independently coded and decoded, the quality can be controlled for each coding unit. That is, the quality of the patch can be controlled according to the projection direction of the patch. For example, when the displayed view direction is biased, the patch display frequency is also biased, for example, the display frequency of patches used for image generation in the frequently displayed view direction is increased. As a matter of course, the subjective image quality with respect to the code amount is improved by improving the image quality of a patch with a higher display frequency than a patch with a lower display frequency. In other words, by performing encoding quality setting according to such a bias, it is possible to suppress a decrease in encoding efficiency.
  • the decoding method can be controlled based on the above-described projection direction information, coding unit information, and the like.
  • the decoding may be performed in the order of projection directions close to the designated view direction.
  • the projection direction information By referring to the projection direction information, the projection direction of each patch can be grasped more easily, so that such decoding control can be realized more easily.
  • partial decoding may be performed according to the view direction. Since the encoding unit in which each patch is arranged is controlled for each projection direction, a part of patches can be decoded (partial decoding can be realized) based on the projection direction. Also, by referring to the encoding unit information, it is possible to more easily grasp the encoding unit in which the patch in the desired projection direction is arranged. Furthermore, the projection direction of each patch can be more easily grasped by referring to the projection direction information. Therefore, such decoding control can be realized more easily.
  • decoding of a patch in the projection direction opposite to the View direction may be omitted.
  • a patch in the direction opposite to the View direction does not contribute to generation of an image in the View direction. Therefore, decoding of unnecessary information can be omitted by omitting decoding of the patch in the projection direction opposite to the View direction by partial decoding (partial decoding) corresponding to the View direction. That is, an increase in decoding load can be suppressed.
  • the view direction is set as indicated by a thick arrow with respect to four projection directions id0 to id3.
  • the decoding order of patches in each projection direction may be, for example, the order in which the inner product value of each projection direction and the View direction is small.
  • the patches are decoded in the order of id0, id3, id1, and id2.
  • the decoding order of patches in each projection direction may be as follows.
  • Decoding is performed starting from a negative inner product and a small absolute value. 2. Decode the inner product of 0. 3. Decoding is performed starting from a positive inner product and a small absolute value.
  • the patches are decoded in the order of id3, id0, id1, id2.
  • decoding may be performed from the smallest value, and when the inner product is not negative, decoding may not be performed. In that case, the patches are decoded in the order of id0 and id3.
  • the 3D data for generating the patch described above may be position information (Geometry) indicating the position of each point, or attribute information (Texture) such as color information added to the position information. May be.
  • FIG. 9 is a block diagram illustrating an example of a configuration of an encoding device that is an aspect of an image processing device to which the present technology is applied.
  • An encoding apparatus 100 shown in FIG. 9 is an apparatus that encodes 3D data such as a point cloud onto a two-dimensional plane and performs encoding using an encoding method for a two-dimensional image (an encoding apparatus to which a video-based approach is applied). ).
  • FIG. 9 shows main components such as a processing unit and a data flow, and the ones shown in FIG. 9 are not all. That is, in the encoding apparatus 100, there may be a processing unit that is not shown as a block in FIG. 9, or there may be a process or data flow that is not shown as an arrow or the like in FIG. The same applies to other diagrams illustrating the processing unit and the like in the encoding device 100.
  • the encoding device 100 includes a patch decomposing unit 111, a metadata generating unit 112, a packing unit 113, an auxiliary patch information compressing unit 114, a video encoding unit 115, a video encoding unit 116, and an OMap encoding. Part 117 and multiplexer 118.
  • the patch decomposition unit 111 performs processing related to decomposition of 3D data. For example, the patch decomposing unit 111 acquires 3D data (for example, a point cloud) that represents a three-dimensional structure and information on a view direction (View Info) that are input to the encoding device 100. Further, the patch decomposing unit 111 decomposes the acquired 3D data into a plurality of segmentations, and projects the 3D data onto a two-dimensional plane for each segmentation to generate a patch. At that time, the patch decomposition unit 111 acquires projection direction information from the metadata generation unit 112, and assigns an identifier (projection direction index) to each patch based on the information.
  • 3D data for example, a point cloud
  • View Info view direction
  • the patch decomposing unit 111 decomposes the acquired 3D data into a plurality of segmentations, and projects the 3D data onto a two-dimensional plane for each segmentation to generate a patch.
  • the patch decomposition unit 111 acquires projection
  • the patch disassembling unit 111 supplies information about each generated patch to the packing unit 113. Further, the patch decomposing unit 111 supplies auxiliary patch information, which is information relating to the decomposition, to the auxiliary patch information compressing unit 114. Further, the patch decomposing unit 111 supplies information related to the projection direction and the like when generating the patch to the metadata generating unit 112.
  • the metadata generation unit 112 performs processing related to generation of metadata. For example, the metadata generation unit 112 acquires information regarding the projection direction and the like supplied from the patch decomposition unit 111. The metadata generation unit 112 generates projection direction information and encoding unit information based on the information. The metadata generation unit 112 supplies the generated projection direction information to, for example, the patch decomposition unit 111, the packing unit 113, the video encoding unit 115, the video encoding unit 116, the OMap encoding unit 117, and the multiplexer 118. Also, the metadata generation unit 112 supplies the generated encoding unit information to, for example, the packing unit 113, the video encoding unit 115, the video encoding unit 116, the OMap encoding unit 117, and the multiplexer 118.
  • the packing unit 113 performs processing related to data packing. For example, the packing unit 113 acquires two-dimensional plane data (patch) on which 3D data is projected for each region supplied from the patch decomposition unit 111. The packing unit 113 packs each acquired patch as a video frame. For example, the packing unit 113 arranges a patch of position information (Geometry) indicating the position of the point in a two-dimensional image, and adds a patch of attribute information (Texture) such as color information added to the position information to the two-dimensional image. Place and pack their two-dimensional images as video frames respectively.
  • position information Geographicmetry
  • Texture patch of attribute information
  • the packing unit 113 performs packing based on the projection direction information and the coding unit information supplied from the metadata generation unit 112. That is, as described above, the packing unit 113 controls the encoding unit (frame, slice, tile, etc.) in which each patch is arranged according to the projection direction. That is, the packing unit 113 arranges each patch in an encoding unit corresponding to the projection direction.
  • the packing unit 112 also generates an occupancy map (Occupancy Map) indicating the presence / absence of data for each position and performs a Dilation process.
  • the packing unit 113 supplies various processed data to a subsequent processing unit. For example, the packing unit 113 supplies a video frame of position information (Geometry) to the video encoding unit 115. For example, the packing unit 113 supplies a video frame of attribute information (Texture) to the video encoding unit 116. Further, for example, the packing unit 113 supplies an occupancy map to the OMap encoding unit 117. In addition, the packing unit 113 supplies control information regarding the packing to the multiplexer 118.
  • the auxiliary patch information compression unit 114 performs processing related to compression of auxiliary patch information. For example, the auxiliary patch information compression unit 114 acquires data supplied from the patch decomposition unit 111. The auxiliary patch information compression unit 114 encodes (compresses) auxiliary patch information included in the acquired data. The auxiliary patch information compression unit 114 supplies the encoded data of the obtained auxiliary patch information to the multiplexer 118.
  • the video encoding unit 115 performs processing related to encoding of a video frame of position information (Geometry). For example, the video encoding unit 115 acquires a video frame of position information (Geometry) supplied from the packing unit 113. Further, the video encoding unit 115 encodes the acquired video frame of the position information (Geometry) by an arbitrary two-dimensional image encoding method such as AVC or HEVC. The video encoding unit 115 supplies encoded data (encoded data of a video frame of position information (Geometry)) obtained by the encoding to the multiplexer 118.
  • encoded data encoded data of a video frame of position information (Geometry)
  • the video encoding unit 115 may perform encoding quality control based on the projection direction information and the inter-code unit control information supplied from the metadata generation unit 112. For example, the video encoding unit 115 may control the quality (for example, quantization parameter) of the video frame in accordance with the display frequency of patches included in the video frame.
  • the quality for example, quantization parameter
  • the video encoding unit 116 performs processing related to encoding of a video frame of attribute information (Texture). For example, the video encoding unit 116 acquires a video frame of attribute information (Texture) supplied from the packing unit 113. Further, the video encoding unit 116 encodes the acquired video frame of the attribute information (Texture) by an arbitrary two-dimensional image encoding method such as AVC or HEVC. The video encoding unit 116 supplies the encoded data (the encoded data of the video frame of the attribute information (Texture)) obtained by the encoding to the multiplexer 118.
  • a video frame of attribute information (Texture) supplied from the packing unit 113.
  • the video encoding unit 116 encodes the acquired video frame of the attribute information (Texture) by an arbitrary two-dimensional image encoding method such as AVC or HEVC.
  • the video encoding unit 116 supplies the encoded data (the encoded data of the video frame of the attribute information (Texture)) obtained by the en
  • the video encoding unit 116 performs encoding quality control based on the projection direction information and the inter-code unit control information supplied from the metadata generation unit 112. You may do it.
  • the OMap encoding unit 117 performs processing related to encoding of an occupancy map indicating the presence / absence of data for each position. For example, the OMap encoding unit 117 acquires a video frame of an occupancy map supplied from the packing unit 113. The OMap encoding unit 117 encodes the acquired occupancy map by an arbitrary encoding method such as arithmetic encoding. The OMap encoding unit 117 supplies the encoded data of the occupancy map obtained by the encoding to the multiplexer 118.
  • the OMap encoding unit 117 also performs encoding quality control based on the projection direction information and the inter-code unit control information supplied from the metadata generation unit 112, as in the case of the video encoding unit 115. You may do it.
  • the multiplexer 118 performs processing related to multiplexing. For example, the multiplexer 118 acquires encoded data of auxiliary patch information supplied from the auxiliary patch information compression unit 114. Further, the multiplexer 118 acquires control information related to packing supplied from the packing unit 113. Further, the multiplexer 118 acquires encoded data of a video frame of position information (Geometry) supplied from the video encoding unit 115. Further, the multiplexer 118 acquires encoded data of a video frame of attribute information (Texture) supplied from the video encoding unit 116. Further, the multiplexer 118 acquires encoded data of an occupancy map supplied from the OMap encoding unit 117.
  • the multiplexer 118 acquires encoded data of auxiliary patch information supplied from the auxiliary patch information compression unit 114. Further, the multiplexer 118 acquires control information related to packing supplied from the packing unit 113. Further, the multiplexer 118 acquires encoded data of a video frame of position information (Geometry) supplied from
  • the multiplexer 118 acquires the projection direction information and the coding unit information supplied from the metadata generation unit 112.
  • the multiplexer 118 multiplexes the acquired information and generates a bitstream.
  • the multiplexer 118 outputs the generated bit stream to the outside of the encoding device 100.
  • FIG. 10 is a block diagram illustrating a main configuration example of the patch decomposition unit 111 of FIG.
  • the patch decomposition unit 111 in this case includes a normal estimation unit 151, a segmentation initial setting unit 152, a segmentation update unit 153, a projection direction setting unit 154, a two-dimensional projection unit 155, and an index adding unit. 156.
  • the normal estimation unit 151 performs processing related to estimation of the normal of the surface of the 3D data. For example, the normal estimation unit 151 acquires input 3D data (Point Cloud). Moreover, the normal estimation part 151 estimates the normal of the surface of the object which the acquired 3D data represents. For example, the normal estimation unit 151 estimates a normal by constructing a kd-tree, searching for a neighborhood, and calculating an optimal approximate tangent plane. The normal estimation unit 151 supplies the normal estimation result together with other data to the segmentation initial setting unit 152.
  • the segmentation initial setting unit 152 performs processing related to the initial setting of the segmentation. For example, the segmentation initial setting unit 152 acquires data supplied from the normal estimation unit 151. In addition, the segmentation initial setting unit 152 classifies the surface of the 3D data corresponding to the normal line based on the components of the six axes in the normal direction estimated by the normal line estimation unit 151. The segmentation initial setting unit 152 supplies the classification result to the segmentation update unit 153 together with other data.
  • the segmentation update unit 153 performs processing related to segmentation update. For example, the segmentation update unit 153 acquires data supplied from the segmentation initial setting unit 152. Also, the segmentation update unit 153 collects areas that are too small in the default segmentation set by the segmentation initial setting unit 152 so that the area becomes sufficiently large. The segmentation updating unit 153 supplies the updated information on the segmentation to the projection direction setting unit 154 together with other information.
  • the projection direction setting unit 154 performs processing related to the setting of the projection direction. For example, the projection direction setting unit 154 acquires data (including information on the updated segmentation) supplied from the segmentation update unit 153. In addition, the projection direction setting unit 154 acquires View Info that is information related to the View direction. The projection direction setting unit 154 sets the projection direction of each segmentation based on the information. For example, the projection direction setting unit 154 sets the projection direction so as to suppress the occurrence of occlusion based on the normal line of each segmentation, the assumed view direction, and the like. Further, for example, the projection direction setting unit 154 sets the projection direction so as to suppress an increase in the number of patches to be generated based on the normal line of each segmentation, the assumed view direction, and the like.
  • the projection direction setting unit 154 supplies information about the set projection direction and the like to the metadata generation unit 112. In addition, the projection direction setting unit 154 supplies information regarding the projection direction and the like to the two-dimensional projection unit 155 together with other information such as information regarding the updated segmentation.
  • the 2D projection unit 155 performs processing related to 2D projection of 3D data.
  • the two-dimensional projection unit 155 acquires data supplied from the projection direction setting unit 154.
  • the two-dimensional projection unit 155 projects each segmentation onto a two-dimensional plane in the projection direction, and generates a patch.
  • the two-dimensional projection unit 155 generates a patch of position information (Geometry) and attribute information (Texture).
  • the two-dimensional projection unit 155 supplies the generated position information (Geometry) patch and attribute information (Texture) patch to the index adding unit 156 together with other data.
  • the index assigning unit 156 performs processing related to the assignment of the projection direction index. For example, the index assigning unit 156 acquires data supplied from the two-dimensional projection unit 155. Further, the index assigning unit 156 acquires the projection direction information supplied from the metadata generation unit 112. Further, the index assigning unit 156 assigns a projection direction index corresponding to the projection direction to each patch based on the acquired projection direction information. The index assigning unit 156 supplies the processed data (position information (Geometry) patch to which the projection direction index is assigned, attribute information (Texture) patch, etc.) to the packing unit 113.
  • position information Geometry
  • Texture attribute information
  • FIG. 11 is a block diagram illustrating a main configuration example of the metadata generation unit 112 in FIG. 9. As illustrated in FIG. 11, the metadata generation unit 112 includes a projection direction information generation unit 171 and a coding unit information generation unit 172.
  • the projection direction information generation unit 171 performs processing related to generation of projection direction information. For example, the projection direction information generation unit 171 acquires information regarding the projection direction and the like supplied from the patch decomposition unit 111. Further, the projection direction information generation unit 171 sets a projection direction based on the information, attaches a projection direction index, and generates projection direction information. Further, the projection direction information generation unit 171 adds attribute information to each projection direction index as necessary.
  • the projection direction information generation unit 171 supplies the generated projection direction information to the encoding unit information generation unit 172.
  • the projection direction information generation unit 171 also supplies the projection direction information to the patch decomposition unit 111, the packing unit 113, the video encoding unit 115, the video encoding unit 116, the OMap encoding unit 117, and the multiplexer 118. .
  • the coding unit information generation unit 172 performs processing related to generation of coding unit information. For example, the encoding unit information generation unit 172 acquires the projection direction information supplied from the projection direction information generation unit 171. Also, the coding unit information generation unit 172 sets a coding unit in which patches in each projection direction are arranged, and generates coding unit information by associating information indicating the coding unit with a projection direction index.
  • the encoding unit information generation unit 172 supplies the generated encoding unit information to the packing unit 113, the video encoding unit 115, the video encoding unit 116, the OMap encoding unit 117, and the multiplexer 118.
  • FIG. 12 is a block diagram illustrating an example of a configuration of a decoding device that is an aspect of an image processing device to which the present technology is applied.
  • the decoding device 200 shown in FIG. 12 decodes encoded data obtained by projecting 3D data such as a point cloud onto a two-dimensional plane and encoding it using a decoding method for a two-dimensional image, and projects the encoded data into a three-dimensional space.
  • Device decoding device to which a video-based approach is applied).
  • FIG. 12 main components such as a processing unit and a data flow are shown, and the components shown in FIG. 12 are not all. That is, in the decoding apparatus 200, there may be a processing unit that is not shown as a block in FIG. 12, or there may be a process or data flow that is not shown as an arrow or the like in FIG. This is the same in other diagrams explaining the processing unit and the like in the decoding device 200.
  • the decoding device 200 includes a demultiplexer 211, a metadata processing unit 212, an auxiliary patch information decoding unit 213, a video decoding unit 214, a video decoding unit 215, an OMap decoding unit 216, an unpacking unit 217, and A 3D reconstruction unit 218 is included.
  • the demultiplexer 211 performs processing related to data demultiplexing. For example, the demultiplexer 211 acquires a bit stream input to the decoding device 200. This bit stream is supplied from the encoding device 100, for example. The demultiplexer 211 demultiplexes this bit stream, extracts the encoded data of the auxiliary patch information, and supplies it to the auxiliary patch information decoding unit 213. Further, the demultiplexer 211 extracts encoded data of a video frame of position information (Geometry) from the bit stream by demultiplexing, and supplies it to the video decoding unit 214.
  • a video frame of position information Gaometry
  • the demultiplexer 211 extracts the encoded data of the video frame of the attribute information (Texture) from the bit stream by demultiplexing, and supplies it to the video decoding unit 215. Also, the demultiplexer 211 extracts encoded data of the occupancy map from the bit stream by demultiplexing, and supplies it to the OMap decoding unit 216.
  • the demultiplexer 211 extracts metadata such as projection direction information and encoding unit information from the bit stream by demultiplexing, and supplies the metadata to the metadata processing unit 212.
  • the metadata processing unit 212 performs processing related to decoding control based on metadata. For example, the metadata processing unit 212 acquires metadata (projection direction information, encoding unit information, etc.) supplied from the demultiplexer 211. In addition, the metadata processing unit 212 acquires a view direction designation (view) by a user or the like. The metadata processing unit 212 controls decoding by the video decoding unit 214, the video decoding unit 215, and the OMap decoding unit 216 based on the metadata, the view direction, and the like. For example, the decoding order of patches and the range of patches to be decoded (partial decoding) are controlled.
  • the auxiliary patch information decoding unit 213 performs processing related to decoding of encoded data of auxiliary patch information. For example, the auxiliary patch information decoding unit 213 acquires encoded data of auxiliary patch information supplied from the demultiplexer 211. The auxiliary patch information decoding unit 213 decodes encoded data of auxiliary patch information included in the acquired data. The auxiliary patch information decoding unit 213 supplies auxiliary patch information obtained by the decoding to the 3D reconstruction unit 218.
  • the video decoding unit 214 performs processing related to decoding of encoded data of a video frame of position information (Geometry). For example, the video decoding unit 214 acquires encoded data of a video frame of position information (Geometry) supplied from the demultiplexer 211. In addition, the video decoding unit 214 receives control of the metadata processing unit 212.
  • the video decoding unit 214 decodes the encoded data acquired from the demultiplexer 211 under the control of the metadata processing unit 212, and obtains a video frame of position information (Geometry). For example, the video decoding unit 214 decodes the encoded data of the encoding unit corresponding to the projection direction of the position information (Geometry) onto the two-dimensional plane specified by the metadata processing unit 212. For example, the video decoding unit 214 decodes the encoded data of the encoding unit in the decoding range specified by the metadata processing unit 212. For example, the video decoding unit 214 decodes the encoded data of each encoding unit in the decoding order specified by the metadata processing unit 212. The video decoding unit 214 supplies the decoded encoding unit position information (Geometry) data to the unpacking unit 217.
  • the video decoding unit 215 performs processing related to decoding of the encoded data of the video frame of the attribute information (Texture). For example, the video decoding unit 215 acquires encoded data of a video frame of attribute information (Texture) supplied from the demultiplexer 211. In addition, the video decoding unit 215 receives control of the metadata processing unit 212.
  • the video decoding unit 215 decodes the encoded data acquired from the demultiplexer 211 under the control of the metadata processing unit 212 to obtain a video frame of attribute information (Texture). For example, the video decoding unit 215 decodes the encoded data of the encoding unit in the decoding range specified by the metadata processing unit 212. For example, the video decoding unit 215 decodes the encoded data of each encoding unit in the decoding order specified by the metadata processing unit 212. The video decoding unit 215 supplies the decoded attribute unit attribute information (Texture) data to the unpacking unit 217.
  • a video frame of attribute information (Texture).
  • the video decoding unit 215 decodes the encoded data of the encoding unit in the decoding range specified by the metadata processing unit 212.
  • the video decoding unit 215 decodes the encoded data of each encoding unit in the decoding order specified by the metadata processing unit 212.
  • the video decoding unit 215 supplies the decoded attribute unit attribute information (
  • the OMap decoding unit 216 performs processing related to decoding of encoded data of the occupancy map. For example, the OMap decoding unit 216 acquires encoded data of an occupancy map supplied from the demultiplexer 211. In addition, the OMap decoding unit 216 receives control of the metadata processing unit 212.
  • the OMap decoding unit 216 decodes the encoded data acquired from the demultiplexer 211 under the control of the metadata processing unit 212, and obtains an occupancy map. For example, the OMap decoding unit 216 decodes the encoded data of the encoding unit in the decoding range specified by the metadata processing unit 212. For example, the OMap decoding unit 216 decodes the encoded data of each encoding unit in the decoding order specified by the metadata processing unit 212. The OMap decoding unit 216 supplies the decoded occupancy map data of the coding unit to the unpacking unit 217.
  • the unpacking unit 217 performs processing related to unpacking. For example, the unpacking unit 217 acquires the video frame (coding unit data) of the position information (Geometry) from the video decoding unit 214, and the video frame (coding unit data) of the attribute information (Texture) from the video decoding unit 215. Data) and an occupancy map (coding unit data) from the OMap decoding unit 216. The unpacking unit 217 unpacks the position information video frame and the attribute information video frame.
  • the unpacking unit 217 3D stores various data such as position information (Geometry) data (patch, etc.), attribute information (Texture) data (patch, etc.), and occupancy map data obtained by unpacking. This is supplied to the reconstruction unit 218.
  • the 3D reconstruction unit 218 performs processing related to reconstruction of 3D data.
  • the 3D reconstruction unit 218 includes auxiliary patch information supplied from the auxiliary patch information decoding unit 213, position information (Geometry) data, attribute information (Texture) data, and occupancy information supplied from the unpacking unit 217.
  • 3D data Point (Cloud) is reconstructed based on pansy map data.
  • the 3D reconstruction unit 218 outputs the 3D data obtained by such processing to the outside of the decoding device 200.
  • the 3D data is supplied to a display unit to display the image, recorded on a recording medium, or supplied to another device via communication, for example.
  • FIG. 13 is a block diagram illustrating a main configuration example of the metadata processing unit 212 of FIG.
  • the metadata processing unit 212 includes an inner product calculation unit 251, a decoding range setting unit 252, a decoding order setting unit 253, and a decoding control unit 254.
  • the inner product calculation unit 251 performs processing related to calculation of the inner product. For example, the inner product calculation unit 251 acquires the projection direction information supplied from the demultiplexer 211. Also, the inner product calculation unit 251 acquires the designation of the view direction input by the user or the like. The inner product calculation unit 251 calculates the inner product of a vector indicating the projection direction and a vector indicating the view direction. The inner product calculation unit 251 supplies the inner product calculation result to the decoding range setting unit 252.
  • the decoding range setting unit 252 performs processing related to setting of the decoding range. For example, the decoding range setting unit 252 acquires the inner product result supplied from the inner product calculation unit 251. Further, the decoding range setting unit 252 acquires the coding unit information supplied from the demultiplexer 211. Also, the decoding range setting unit 252 sets a decoding range (coding unit to be decoded) based on the result of the inner product and the coding unit information. That is, the decoding range setting unit 252 controls whether or not to perform partial decoding, and further controls the decoding range when performing partial decoding. The decoding range setting unit 252 supplies the decoding order setting unit 253 with the result of the inner product, the coding unit information, and information regarding the set decoding range.
  • the decoding order setting unit 253 performs processing related to setting of the decoding order. For example, the decoding order setting unit 253 acquires information supplied from the decoding range setting unit 252. In addition, the decoding order setting unit 253 acquires the projection direction information supplied from the demultiplexer 211. Further, the decoding order setting unit 253 corresponds to the setting of the decoding order, the setting of the decoding range, and the view direction based on the result of the inner product, the projection direction information, the coding unit information, the information about the decoding range, and the like. The decoding order of the encoding unit to decode is set. The decoding order setting unit 253 supplies the decoding control unit 254 with the inner product result, the coding unit information, the information about the decoding range, and the information about the set decoding order.
  • the decoding control unit 254 performs processing related to decoding control. For example, the decoding control unit 254 acquires information supplied from the decoding order setting unit 253. Also, the decoding control unit 254 controls decoding by the video decoding unit 214, the video decoding unit 215, and the OMap decoding unit 216 based on the information. For example, the decoding control unit 254 designates a coding unit that is a target of decoding performed by these processing units. Further, for example, the decoding control unit 254 controls the specification of the decoding range of decoding performed by these processing units, the decoding order, and the like.
  • the projection direction can be arbitrarily set, so that the occurrence of occlusion can be suppressed and the increase in the number of patches can be suppressed.
  • the encoded data of the 3D data can be more easily decoded by various decoding methods such as selecting and decoding a patch having a more appropriate projection direction according to the view direction or the like. As a result, an increase in the load of the decoding process can be suppressed.
  • the patch decomposing unit 111 of the encoding apparatus 100 projects 3D data onto a two-dimensional plane and decomposes it into patches in step S101.
  • step S102 the metadata generation unit 112 generates projection direction information and encoding unit information as metadata.
  • step S103 the patch decomposing unit 111 (index assigning unit 156) assigns (corresponds) a projection direction index to each patch according to the projection direction information generated in step S102.
  • step S104 the auxiliary patch information compression unit 114 compresses the auxiliary patch information obtained by the process in step S101.
  • step S105 the packing unit 113 performs packing according to the projection direction information and the coding unit information generated in step S102. That is, the packing unit 113 arranges each patch in a coding unit (slice or the like) corresponding to the projection direction of the frame image and packs it as a video frame. In addition, the packing unit 113 generates an occupancy map corresponding to the video frame.
  • step S106 the video encoding unit 115 encodes the geometry video frame, which is the video frame of the position information obtained by the process in step S105, using the encoding method for two-dimensional images.
  • step S107 the video encoding unit 116 encodes the color video frame, which is the video frame of the attribute information obtained by the processing in step S105, by the encoding method for two-dimensional images.
  • step S108 the OMap encoding unit 117 encodes the occupancy map obtained by the processing in step S105 by a predetermined encoding method.
  • the video encoding unit 115 to the OMap encoding unit 117 control the quality based on the projection direction information, the encoding unit information, and the like in the encoding performed by each of them (the encoding in steps S106 to S108). May be.
  • step S109 the multiplexer 118 performs various information generated as described above (for example, the encoded data generated in steps S106 to S108 and the metadata generated in step S102 (projection direction information and encoding unit). Information)) is multiplexed, and a bit stream including the information is generated.
  • step S110 the multiplexer 118 outputs the bit stream generated by the process in step S109 to the outside of the encoding apparatus 100.
  • step S110 ends, the encoding process ends.
  • the normal estimation unit 151 estimates the normal of each surface of the 3D data in step S131.
  • step S132 the segmentation initial setting unit 152 performs initial setting of segmentation.
  • step S133 the segmentation updating unit 153 updates the segmentation in the initial state set in step S132 as necessary.
  • step S134 the projection direction setting unit 154 sets the projection direction of each segmentation based on, for example, View Info.
  • step S135 the projection direction setting unit 154 supplies information related to the projection direction set in step S134 to the metadata generation unit 112.
  • step S136 the two-dimensional projection unit 155 projects each segmentation of the 3D data onto the two-dimensional plane in the projection direction set in step S134.
  • step S136 the patch disassembly process ends, and the process returns to FIG.
  • the projection direction information generation unit 171 When the metadata generation process is started, the projection direction information generation unit 171 generates projection direction information based on the information regarding the projection direction supplied from the patch decomposition unit 111 (projection direction setting unit 154) in step S151. To do.
  • step S152 the encoding unit information generation unit 172 sets the encoding unit for projecting each patch based on the projection direction information generated in step S151, and generates encoding unit information.
  • each process as described above it is possible to arbitrarily set the projection direction. For example, it is possible to generate and encode a patch with a more appropriate projection direction according to the View direction or the like. As a result, the encoded data of the 3D data can be more easily decoded on the decoding side. For example, it is possible to suppress the occurrence of occlusion or to suppress an increase in the number of patches, and to suppress an increase in the load of decoding processing.
  • the decoding order of patches can be easily controlled during decoding, or partial decoding for decoding only a part of patches can be realized. That is, the encoded data of 3D data can be more easily decoded on the decoding side, and an increase in decoding processing load can be suppressed.
  • the demultiplexer 211 of the decoding device 200 demultiplexes the bitstream in step S201.
  • step S202 the auxiliary patch information decoding unit 213 decodes the auxiliary patch information extracted from the bitstream in step S201.
  • step S203 the metadata processing unit 212 controls decoding in accordance with the metadata (projection direction information and coding unit information) extracted from the bitstream in step S201.
  • step S204 the video decoding unit 214 decodes the encoded data of the geometry video frame (position information video frame) extracted from the bit stream in step S201 in accordance with the decoding control in step S203.
  • step S205 the video decoding unit 215 decodes the encoded data of the color video frame (the attribute information video frame) extracted from the bit stream in step S201 in accordance with the decoding control in step S203.
  • step S206 the OMap decoding unit 216 decodes the encoded data of the occupancy map extracted from the bit stream in step S201 according to the decoding control in step S203.
  • step S207 the unpacking unit 217 unpacks the geometry video frame and the color video frame, and extracts a patch.
  • step S208 the 3D reconstruction unit 218 reconstructs 3D data such as a point cloud based on the auxiliary patch information obtained in step S202, the patch obtained in step S207, and the like.
  • step S208 ends, the decryption process ends.
  • step S222 the decoding range setting unit 252 determines a projection direction that satisfies the condition (encoding unit corresponding to the projection direction) based on the inner product result and the encoding unit information calculated in step S221, that is, decoding.
  • the projection direction (encoding unit to decode) is specified.
  • step S223 the decoding order setting unit 253 specifies the decoding order of the coding units that satisfy the conditions specified in step S222 based on the projection direction information.
  • step S224 the decoding control unit 254 controls the video decoding unit 214, the video decoding unit 215, and the OMap decoding unit 216, and specifies the “coding unit that satisfies the condition” specified in step S222 in step S223. Decrypt in “decoding order”. In accordance with this decoding control, each processing from step S204 to step S206 (FIG. 17) is executed.
  • step S224 when it is set so that the decoding control is performed as described above, the metadata processing ends, and the processing returns to FIG.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the encoding side to the decoding side. For example, you may make it transmit the control information (for example, enabled_flag) which controls whether application (or prohibition) of applying this technique mentioned above is permitted.
  • control that specifies a range (for example, an upper limit or a lower limit of the block size, or both, a slice, a picture, a sequence, a component, a view, a layer, etc.) that is permitted (or prohibited) to apply the present technology described above.
  • Information may be transmitted.
  • ⁇ Computer> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 19 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 914 includes a network interface, for example.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program, for example. Is performed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable medium 921 to the drive 915.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • the encoding device 100 and the decoding device 200 have been described as application examples of the present technology. However, the present technology can be applied to any configuration.
  • the present technology can be applied to transmitters and receivers (for example, television receivers and mobile phones) in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals via cellular communication, or
  • the present invention can be applied to various electronic devices such as an apparatus (for example, a hard disk recorder or a camera) that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory and reproduces an image from the storage medium.
  • the present technology provides a processor (for example, a video processor) as a system LSI (Large Scale Integration) or the like, a module (for example, a video module) using a plurality of processors, or a unit (for example, a video unit) using a plurality of modules.
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • module for example, a video module
  • unit for example, a video unit
  • it may be implemented as a configuration of a part of the apparatus such as a set (for example, a video set) in which other functions are further added to the unit.
  • the present technology can also be applied to a network system including a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, audio visual (AV) devices, portable information processing terminals, and Internet of Things (IoT) devices. You may make it do.
  • AV audio visual
  • IoT Internet of Things
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are all systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliances, weather, nature monitoring, etc. . Moreover, the use is also arbitrary.
  • “flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more Information that can identify the state is also included. Therefore, the value that can be taken by the “flag” may be, for example, a binary value of 1/0, or may be three or more values. That is, the number of bits constituting this “flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information includes not only the form in which the identification information is included in the bitstream but also the form in which the difference information of the identification information with respect to certain reference information is included in the bitstream.
  • the “flag” and “identification information” include not only the information but also difference information with respect to the reference information.
  • various information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as it is associated with the encoded data.
  • the term “associate” means, for example, that one data can be used (linked) when one data is processed. That is, the data associated with each other may be collected as one data, or may be individual data. For example, information associated with encoded data (image) may be transmitted on a different transmission path from the encoded data (image). Further, for example, information associated with encoded data (image) may be recorded on a recording medium different from the encoded data (image) (or another recording area of the same recording medium). Good.
  • the “association” may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the above-described program may be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices in a shared manner.
  • the plurality of processes may be executed by one apparatus, or may be executed in a shared manner by a plurality of apparatuses.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • a program executed by a computer may be executed in a time series according to the order described in this specification, or in parallel or in a call process. It may be executed individually at a necessary timing such as when it is broken. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a plurality of technologies related to the present technology can be independently implemented as long as no contradiction occurs.
  • any of a plurality of present technologies can be used in combination.
  • part or all of the present technology described in any of the embodiments can be combined with part or all of the present technology described in other embodiments.
  • a part or all of the arbitrary present technology described above can be implemented in combination with other technologies not described above.
  • this technique can also take the following structures.
  • An image processing apparatus including a bit stream generation unit that generates a bit stream.
  • the attribute information includes information regarding a decoding order.
  • a projection direction information generation unit that generates the projection direction information is further provided, The image processing apparatus according to (1), wherein the bit stream generation unit generates a bit stream including the projection direction information generated by the projection direction information generation unit and the encoded data.
  • a packing unit that arranges and packs the geometry image in an image according to the projection direction information; An encoding unit that encodes the image in which the geometry image is packed by the packing unit and generates the encoded data; and The image processing device according to (1), wherein the bit stream generation unit generates a bit stream including the projection direction information and the encoded data generated by the encoding unit.
  • An image processing apparatus comprising: a decoding unit that decodes a bitstream including the bitstream.
  • a coding unit information generation unit that generates the coding unit information is further provided.
  • An encoding unit that encodes the image in which the geometry image is packed by the packing unit and generates encoded data;
  • the image processing device according to (11), wherein the coding unit is a slice, a tile, or a picture.
  • 100 encoding device 111 patch decomposing unit, 112 metadata generating unit, 113 packing unit, 114 auxiliary patch information compressing unit, 115 video encoding unit, 116 video encoding unit, 117 OMap encoding unit, 118 multiplexer, 151 method Line estimation unit, 152 segmentation initial setting unit, 153 segmentation update unit, 154 projection direction setting unit, 155 two-dimensional projection unit, 156 indexing unit, 171 projection direction information generation unit, 172 encoding unit information generation unit, 200 decoding device , 211 Demultiplexer, 212 Metadata processing unit, 213 Auxiliary patch information decoding unit, 214 Video decoding unit, 215 Video decoding unit, 216 OMap decoding unit, 217 Unpack Ring section, 218 3D reconstruction unit, 251 an inner product calculation unit, 252 decoding range setting unit, 253 decoding order setting unit, 254 decoding control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本開示は、３Ｄデータの符号化データをより容易に復号することができるようにする画像処理装置および方法に関する。 ３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、３Ｄデータの符号化データをより容易に復号することができるようにした画像処理装置および方法に関する。
　従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。
　近年、その他の符号化方法として、例えば、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
　しかしながら、従来の方法では、復号順や復号範囲等の制約が多く、例えば所望の部分を復号するために全体を復号しなければならない等の、煩雑な作業が必要になるおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの符号化データをより容易に復号することができるようにするものである。
　本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する画像処理方法である。
　本技術の他の側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部を備える画像処理装置である。
　本技術の他の側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部を備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部を備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームが生成される。
　本技術の他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームが復号される。
　本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像が、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置されてパッキングされる。
　本技術のさらに他の側面の画像処理装置および方法においては、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像が復号される。
　本開示によれば、画像を処理することができる。特に、３Ｄデータの符号化データをより容易に復号することができる。
ポイントクラウドの例を説明する図である。 ビデオベースドアプローチの概要の例を説明する図である。 本技術に関する主な特徴をまとめた図である。 投影方向情報について説明する図である。 パッキングの様子の例について説明する図である。 符号化単位情報について説明する図である。 パッキングの様子の例について説明する図である。 View方向と復号順について説明する図である。 符号化装置の主な構成例を示すブロック図である。 パッチ分解部の主な構成例を説明する図である。 メタデータ生成部の主な構成例を説明する図である。 復号装置の主な構成例を示すブロック図である。 メタデータ処理部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 パッチ分解処理の流れの例を説明するフローチャートである。 メタデータ生成処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 メタデータ処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ビデオベースドアプローチ
　２．第１の実施の形態（投影方向毎の制御）
　３．付記
　＜１．ビデオベースドアプローチ＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
　非特許文献１：（上述）
　非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
　非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
　非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
　つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
　　＜ポイントクラウド＞
　従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
　例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
　　＜ビデオベースドアプローチの概要＞
　このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。
　このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。
　そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、２次元画像に配置され、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。
　しかしながら、従来の方法では、復号順や復号範囲等の制約が多く、例えば所望の部分を復号するために全体を復号しなければならない等の、煩雑な作業が必要になるおそれがあった。
　例えば、従来の場合、全パッチが復号順等を考慮せずにフレーム画像に配置されており、パッチ間で符号化単位が独立していないため、一部のパッチを復号するために、全パッチを復号する必要があった（部分デコードが困難であった）。
　また、従来の場合、２Ｄ平面に投影する基準方向として、直交する方向（0度、90度、180度、270度）への投影が使われていたが、その場合、最大45度をプロジェクションすることになるため、オクルージョンの発生が増大し、再現性が低減するおそれがあった。
　さらに、例えば、デプス（Depth）のレンジが広い（Video Codec圧縮効率低下）画像のビット深度におさめるためパッチ分割が増大し、スムージングの処理量が増大するおそれがあった。
　　＜投影方向情報の伝送＞
　そこで、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するようにする。
　例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部を備えるようにする。
　このようにすることにより、投影方向を任意に設定することができるので、例えばView方向等に応じた、より適切な投影方向のパッチを生成し、符号化することができる。これにより、復号側において３Ｄデータの符号化データをより容易に復号することができるようになる。例えば、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができ、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
　また、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号するようにする。
　例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部を備えるようにする。
　このようにすることにより、パッチの任意に設定された投影方向をより容易に把握することができるので、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
　　＜パッチの配置制御＞
　また、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置してパッキングするようにする。
　例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部を備えるようにする。
　このようにすることにより、復号の際に、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、復号側において３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
　また、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像を復号するようにする。
　例えば画像処理装置において、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像を復号する復号部を備えるようにする。
　このようにすることにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
　　＜ビデオベースドアプローチに関する本技術＞
　以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図３の表に示されるように、本技術においては、パッチに対して投影方向に関する設定を行うようにする。
　　＜投影方向＞
　投影方向とは、ビデオベースドアプローチにおける３Ｄデータ（例えばポイントクラウド等）の２次元平面への投影のアングル、つまり、３Ｄデータからみた２次元平面の方向および位置（距離）を示す。例えば、図４のＡに示されるように、球座標（r，θ，φ）を用いて投影方向（方向および位置）を表すようにしてもよい。
　この投影方向には、従来と同一の、互いに直交する方向（0度、90度、180度、270度）が含まれていてもよいし、それら直交座標方向以外の新たな方向および位置が含まれていてもよい。従来の場合、投影方向は、図４のＢの表に示されるような直交座標方向のみであり、予め定められていた（設定不可能であった）。上述のようにパッチに対して投影方向に関する設定を行うことにより、例えば図４のＣの表に示されるように、直交座標方向以外の投影方向も設定することができる。
　　＜投影方向情報＞
　投影方向に関する設定として、例えば、この投影方向に関する情報である投影方向情報を生成し、伝送する。投影方向情報は、識別子と投影方向との対応関係を示す情報である。つまり、投影方向情報は、設定する投影方向に対して識別子を割り当てる情報である。図４のＣにその投影方向情報の例を示す。図４のＣに示される投影方向情報では、各投影方向の識別子（投影方向インデックス）に対して、投影方向（方向球座標φ、方向球座標θ、距離ｒ）が対応付けられている。なお、複数の識別子に互いに同一の投影方向を対応付けてもよい。
　このような投影方向情報を生成し、伝送することにより、各パッチと投影方向との対応付けをこの識別子を用いて行うことができる。したがって、符号量の増大を抑制することができる。また、復号側においても、この投影方向情報に基づいて、容易に各パッチの投影方向を把握することができる。したがって、復号処理の負荷の増大を抑制することができ、３Ｄデータの符号化データをより容易に復号することができる。
　また、このような投影方向情報を生成し、伝送することにより、任意の投影方向の設定が可能になるので、例えばView方向になり易い方向や位置を投影方向として設定したり、逆にView方向になり難い方向や位置を投影方向から除外したりする等、オクルージョンの発生を抑制するように投影方向を設定することができ、再現性の低減を抑制することができる。また、パッチ分割の増大を抑制するように投影方向を設定することも可能になるので、スムージング処理量の増大を抑制することもできる。
　　＜付加情報＞
　なお、この投影方向情報には、付加情報として、復号に関する属性情報を付加するようにしてもよい。属性情報の内容は任意である。また、付加する属性情報の数は任意である。
　例えば、属性情報として、投影方向毎に復号順（復号の優先順）を設定するようにしてもよい。図４のＣに示される投影方向情報の場合、「属性」として、復号順（復号の優先順）を示す数字が、各投影方向の識別子（投影方向インデックス）に割り当てられている。なお、複数の識別子に対して、互いに同一の復号順を割り当てるようにしてもよい。
　このような情報を用いて各パッチの復号順を制御することにより、より多様な復号方法を実現することができる。例えば、より重要な投影方向ほどより先に復号することができる。また、例えば、この復号順を参考にして、要求されたView方向に近い投影方向のパッチから優先的に復号するといった復号方法が可能になる。これにより、要求されたView方向の画像をより早く復元（表示）することができる。また、例えば、負荷状況等に応じて重要でない投影方向のパッチの復号を省略するといった復号方法も可能になる。
　また、属性情報として、３次元構造体における特性（意味）を示す意味情報を含むようにしてもよい。例えば、３次元構造体における所定の意味を持つ箇所を投影するための投影方向を設定し、その意味を示す意味情報を属性情報として、その投影方向に対応付けて付加するようにしてもよい。例えば、人物の「顔」を投影するための専用の投影方向を設定し、その投影方向に対して「Face」等といった意味情報を付加するようにしてもよい。
　このようにすることにより、復号において、その意味情報による投影方向の選択も可能になる。例えば、「顔」を復号したい場合に、投影方向を指定する代わりにこの意味情報「Face」を指定するだけで、容易に必要なパッチを復号し、「顔」の画像を復元（表示）することができる。
　図４のＣの例の場合、投影方向インデックスが「１０」および「１１」の投影方向に対して、意味情報「Face1」が付加されている。この場合、これらの投影方向のパッチを復号することにより、「Face1」に関するパッチを復号することができる。なお、１つの投影方向インデックスに対して複数の属性情報を付加するようにしてもよい。また、１つの投影方向インデックスに対して複数の意味情報を付加するようにしてもよい。
　　＜符号化単位情報＞
　投影方向に関する設定として、例えば、この投影方向毎にパッチを配置する符号化単位に関する情報である符号化単位情報を生成し、伝送する。符号化単位情報は、上述した投影方向の識別子と、その投影方向で投影されたパッチを配置する符号化単位との対応関係を示す情報である。つまり、符号化単位情報は、各投影方向と使用する符号化単位との対応関係を示す情報である。
　符号化単位とは、独立に符号化・復号が可能なデータ単位である。この符号化単位の具体的なデータ単位は特に限定されないが、例えば、スライス、タイル、ピクチャ等であってもよい。
　従来の場合のパッチの配置例を図５のＡに示す。図５のＡにおいて、ピクチャ３１には、複数のパッチ３２が配置されている。図５のＡにおいては、１つのパッチに対してのみ符号を付しているが、ピクチャ３１内の図形は、それぞれ、パッチ３２である。各パッチ３２内に示される数字は、投影方向（つまり投影方向インデックス）を示す。従来の場合、この図５のＡに示されるように、各パッチ３２は、復号順等を考慮せずに、ピクチャ３１に配置されていた。したがって、図５のＢに示される表のように、各投影方向インデックスには、いずれにも、互いに同一のフレーム（フレームインデックス「０」）が割り当てられることになる（つまり設定不可能であった）。
　上述のような符号化単位情報により、例えば図６の表に示されるように、パッチを配置する符号化単位（フレーム、スライス、タイル等）を、投影方向毎に設定することができる。図６の例の場合、各投影方向インデックスに対して、フレームを識別するフレームインデックス、スライスを識別するスライスインデックス、およびタイルを識別するタイルインデックスが対応付けられている。
　例えば、図６の表の場合、投影方向インデックス「０」のパッチは、フレームインデックス「０」のスライスインデックス「１」に配置される。また、投影方向インデックス「６」のパッチは、フレームインデックス「０」のスライスインデックス「０」に配置される。
　なお、図６の表の投影インデックス「５」のように、１つの投影方向に対して複数の符号化単位を割り当てるようにしてもよいし、投影インデックス「１」と「２」のように、複数の投影方向を互いに同一の符号化単位に割り当てるようにしてもよい。
　この符号化単位情報に従って各パッチを配置することにより、各パッチを、投影方向に応じた符号化単位に配置することができる。例えば、図７に示されるように、図５のＡの各パッチ３２を、その投影インデックス毎に、スライス５１乃至スライス５７に分けて配置することができる。
　これにより、例えば、不要な投影方向のパッチの復号を省略する（つまり、一部のパッチのみを復号する）ことができる（部分デコードを実現することができる）。また、重要なパッチを優先的に復号する（パッチの復号順を制御する）こともできる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。また、多様な復号方法を実現する場合においても、必要な一部のデータを復号させることができるので、復号処理の負荷の増大を抑制することができる。
　なお、図６の例においてはスライスを用いてパッチの配置制御を行っているが、スライスの代わりにタイルを用いて配置制御するようにしてもよい。また、スライスとタイルの両方を用いて配置制御するようにしてもよい。もちろんこのようなパッチの配置制御における符号化単位は、階層化してもよい。つまり、例えば、フレームとスライスのように、複数階層の配置制御を行うようにしてもよい。例えば、図６の例において、フレームインデックス「０」以外のフレームにもパッチを配置するようにしてもよい。
　なお、この符号化単位情報には、付加情報として、復号に関する属性情報を付加するようにしてもよい。属性情報の内容は任意である。例えば、属性情報として、３次元構造体における特性（意味）を示す意味情報（たとえば「Face」等）を含むようにしてもよい。このようにすることにより、その意味情報によって、復号する符号化単位を選択することも可能になる。
　　＜符号化処理＞
　３Ｄデータの符号化処理においては、上述した投影方向の識別子を用いて、各パッチとその投影方向とを紐づけする。つまり、各パッチに投影方向の識別子を割り当てる。これにより、投影方向、属性情報、符号化単位等の各種情報を各パッチに対応付けることができる。
　なお、この符号化の際、２Ｄ画像化（復号）に不要な投影方向のパッチの符号化を省略するようにしてもよい。例えば、人物の場合、足裏を投影するような投影方向のパッチは、明らかに復号されない可能性が高い。そこでそのような投影方向のパッチの符号化を省略することにより、符号量の増大を抑制し、符号化効率の低減を抑制することができる。
　どのような投影方向を不要とするかは、３次元構造体や状況等に依存する。したがって、この不要な投影方向の設定方法は任意である。例えば、任意の情報等に基づいて設定されるようにしてもよい。
　また、３Ｄデータの符号化処理においては、パッチが画像上に配置されてパッキングされるが、このパッキングにおいて、各パッチを、そのパッチの投影方向に対応する符号化単位に配置するようにする。例えば、上述の符号化単位情報が設定されている場合、その符号化単位情報に従って、各パッチの配置を行うようにする。このようにすることにより、投影方向毎に配置する符号化単位を制御することができるので、３Ｄデータの符号化データをより容易に復号することができる。
　また、３Ｄデータの符号化処理において、例えば、上述したように各パッチの復号順に優先順をつける場合、ユーザが表示させたいView方向を指定しない場合に設定されるView方向の初期値であるデフォルトView方向用のデータ（パッチ）の復号順を優先化するようにしてもよい。このようにすることにより、デフォルトView方向の画像をより早期に復元（表示）することができる。
　また、３Ｄデータの符号化処理において、パッキングされたパッチを符号化する際に、その品質設定をそのパッチの表示頻度に応じて制御するようにしてもよい。上述のように、各パッチは投影方向毎に制御された符号化単位に配置されている。各符号化単位は独立に符号化・復号が可能であるので、その符号化単位毎に品質を制御することもできる。つまり、パッチの投影方向に応じて、そのパッチの品質を制御することができる。例えば、表示されるView方向に偏りがある場合、よく表示されるView方向の画像生成に使用されるパッチの表示頻度が高くなる等、パッチの表示頻度にも偏りが生じることになる。当然、表示頻度の低いパッチよりも表示頻度の高いパッチの画質を向上させる方が、符号量に対する主観的画質が向上する。つまり、このような偏りに応じて符号化の品質設定を行うことにより、符号化効率の低減を抑制することができる。
　　＜復号処理＞
　３Ｄデータの復号処理においては、上述した投影方向情報や符号化単位情報等に基づいて、復号方法を制御することができる。例えば、指定されたView方向に近い投影方向順で復号するようにしてもよい。投影方向情報を参照することにより、各パッチの投影方向をより容易に把握することができるので、このような復号制御をより容易に実現することができる。
　また、例えば、View方向に応じて部分復号（部分デコード）を行うようにしてもよい。各パッチを配置する符号化単位が投影方向毎に制御されているので、投影方向に基づいて一部のパッチを復号する（部分復号を実現する）ことができる。また、符号化単位情報を参照することにより、所望の投影方向のパッチが配置される符号化単位をより容易に把握することができる。さらに、投影方向情報を参照することにより、各パッチの投影方向をより容易に把握することができる。したがって、このような復号制御をより容易に実現することができる。
　例えばView方向と逆の投影方向のパッチは復号を省略するようにしてもよい。一般的に、View方向と逆方向のパッチは、View方向の画像の生成に寄与しない。したがって、上述した、View方向に応じた部分復号（部分デコード）によって、View方向と逆の投影方向のパッチの復号を省略することにより、不要な情報の復号を省略することができる。つまり、復号の負荷の増大を抑制することができる。
　例えば、図８に示されるように、id0乃至id3の４つの投影方向に対して太線矢印のようにView方向が設定されるとする。各投影方向のパッチの復号順は、例えば、各投影方向とView方向との内積の値の小さい順としてもよい。この場合、パッチは、id0、id3、id1、id2の順に復号される。また、例えば、各投影方向のパッチの復号順は、以下の順としてもよい。
　１．内積が負で絶対値が小さいものから復号する。
　２．内積が０のものを復号する。
　３．内積が正で絶対値が小さいものから復号する。
　この場合、パッチは、id3、id0、id1、id2の順に復号される。
　また、内積が負である場合は値が小さいものから復号し、内積が負でない場合は復号しないようにしてもよい。その場合、パッチは、id0、id3の順に復号される。
　また、顔を含むもの、つまり、属性情報「Face」に対応するパッチのみを復号するようにしてもよい。
　なお、以上に説明したパッチを生成する３Ｄデータは、各ポイントの位置を示す位置情報（Geometry）であってもよいし、その位置情報に付加される色情報等の属性情報（Texture）であってもよい。
　＜２．第１の実施の形態＞
　　＜符号化装置＞
　次に、以上のような各手法を実現する構成について説明する。図９は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図９に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。
　なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、符号化装置１００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。
　図９に示されるように符号化装置１００は、パッチ分解部１１１、メタデータ生成部１１２、パッキング部１１３、補助パッチ情報圧縮部１１４、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８を有する。
　パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））やView方向に関する情報（View Info）を取得する。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のセグメンテーションに分解し、そのセグメンテーション毎に３Ｄデータを２次元平面に投影し、パッチを生成する。その際、パッチ分解部１１１は、投影方向情報をメタデータ生成部１１２から取得し、その情報に基づいて、各パッチに識別子（投影方向インデックス）を割り当てる。
　パッチ分解部１１１は、生成した各パッチに関する情報をパッキング部１１３に供給する。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１４に供給する。さらに、パッチ分解部１１１は、パッチを生成する際の投影方向等に関する情報をメタデータ生成部１１２に供給する。
　メタデータ生成部１１２は、メタデータの生成に関する処理を行う。例えば、メタデータ生成部１１２は、パッチ分解部１１１から供給される投影方向等に関する情報を取得する。メタデータ生成部１１２は、その情報に基づいて投影方向情報や符号化単位情報を生成する。メタデータ生成部１１２は、生成した投影方向情報を、例えば、パッチ分解部１１１、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。また、メタデータ生成部１１２は、生成した符号化単位情報を、例えば、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。
　パッキング部１１３は、データのパッキングに関する処理を行う。例えば、パッキング部１１３は、パッチ分解部１１１から供給される領域毎に３Ｄデータが投影された２次元平面のデータ（パッチ）を取得する。また、パッキング部１１３は、取得した各パッチをビデオフレームとしてパッキングする。例えば、パッキング部１１３は、ポイントの位置を示す位置情報（Geometry）のパッチを２次元画像に配置し、その位置情報に付加される色情報等の属性情報（Texture）のパッチを２次元画像に配置し、それらの２次元画像を、それぞれ、ビデオフレームとしてパッキングする。
　その際、パッキング部１１３は、メタデータ生成部１１２から供給された投影方向情報や符号化単位情報に基づいて、パッキングを行う。つまり、パッキング部１１３は、上述したように、各パッチを配置する符号化単位（フレーム、スライス、タイル等）を、その投影方向に応じて制御する。つまり、パッキング部１１３は、各パッチを、その投影方向に対応する符号化単位に配置する。
　なお、パッキング部１１２は、位置毎のデータの有無を示すオキュパンシーマップ（Occupancy Map）の生成やDilation処理も行う。パッキング部１１３は、処理後の各種データを後段の処理部に供給する。例えば、パッキング部１１３は、位置情報（Geometry）のビデオフレームをビデオ符号化部１１５に供給する。また、例えば、パッキング部１１３は、属性情報（Texture）のビデオフレームをビデオ符号化部１１６に供給する。さらに、例えば、パッキング部１１３は、オキュパンシーマップをOMap符号化部１１７に供給する。また、パッキング部１１３は、そのパッキングに関する制御情報をマルチプレクサ１１８に供給する。
　補助パッチ情報圧縮部１１４は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１４は、パッチ分解部１１１から供給されるデータを取得する。補助パッチ情報圧縮部１１４は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１４は、得られた補助パッチ情報の符号化データをマルチプレクサ１１８に供給する。
　ビデオ符号化部１１５は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１３から供給される位置情報（Geometry）のビデオフレームを取得する。また、ビデオ符号化部１１５は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
　なお、この符号化の際、ビデオ符号化部１１５は、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。例えば、ビデオ符号化部１１５は、ビデオフレームを、そのビデオフレームに含まれるパッチの表示頻度等に応じて品質（例えば量子化パラメータ）を制御するようにしてもよい。
　ビデオ符号化部１１６は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１６は、パッキング部１１３から供給される属性情報（Texture）のビデオフレームを取得する。また、ビデオ符号化部１１６は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１６は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
　なお、このビデオ符号化部１１６も、ビデオ符号化部１１５の場合と同様に、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。
　OMap符号化部１１７は、位置毎のデータの有無を示すオキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部１１７は、パッキング部１１３から供給されるオキュパンシーマップのビデオフレームを取得する。また、OMap符号化部１１７は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１７は、その符号化により得られたオキュパンシーマップの符号化データをマルチプレクサ１１８に供給する。
　なお、このOMap符号化部１１７も、ビデオ符号化部１１５の場合と同様に、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。
　マルチプレクサ１１８は、多重化に関する処理を行う。例えば、マルチプレクサ１１８は、補助パッチ情報圧縮部１１４から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ１１８は、パッキング部１１３から供給されるパッキングに関する制御情報を取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１５から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１６から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、OMap符号化部１１７から供給されるオキュパンシーマップの符号化データを取得する。
　さらに、マルチプレクサ１１８は、メタデータ生成部１１２から供給される投影方向情報や符号化単位情報を取得する。
　マルチプレクサ１１８は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１８は、その生成したビットストリームを符号化装置１００の外部に出力する。
　　＜パッチ分解部＞
　図１０は、図９のパッチ分解部１１１の主な構成例を示すブロック図である。図１０に示されるように、この場合のパッチ分解部１１１は、法線推定部１５１、セグメンテーション初期設定部１５２、セグメンテーション更新部１５３、投影方向設定部１５４、２次元投影部１５５、およびインデックス付与部１５６を有する。
　法線推定部１５１は、３Ｄデータの表面の法線の推定に関する処理を行う。例えば、法線推定部１５１は、入力される３Ｄデータ（Point Cloud）を取得する。また、法線推定部１５１は、その取得した３Ｄデータが表すオブジェクトの表面の法線を推定する。例えば、法線推定部１５１は、kd-treeを構築し、近傍を探索し、最適近似接平面を算出する等して法線を推定する。法線推定部１５１は、その法線の推定結果をその他のデータとともに、セグメンテーション初期設定部１５２に供給する。
　セグメンテーション初期設定部１５２は、セグメンテーションの初期設定に関する処理を行う。例えば、セグメンテーション初期設定部１５２は、法線推定部１５１から供給されるデータを取得する。また、セグメンテーション初期設定部１５２は、法線推定部１５１により推定された法線の、６軸の各方向の成分に基づいて、３Ｄデータの、その法線に対応する面を分類する。セグメンテーション初期設定部１５２は、その分類結果を、他のデータとともにセグメンテーション更新部１５３に供給する。
　セグメンテーション更新部１５３は、セグメンテーションの更新に関する処理を行う。例えば、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２から供給されるデータを取得する。また、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２により設定された初期設定のセグメンテーションにおける小さすぎる領域をまとめ、十分に大きな領域となるようにする。セグメンテーション更新部１５３は、更新したセグメンテーションに関する情報を、その他の情報とともに、投影方向設定部１５４に供給する。
　投影方向設定部１５４は、投影方向の設定に関する処理を行う。例えば、投影方向設定部１５４は、セグメンテーション更新部１５３から供給されるデータ（更新したセグメンテーションに関する情報を含む）を取得する。また、投影方向設定部１５４は、View方向に関する情報であるView Infoを取得する。投影方向設定部１５４は、それらの情報に基づいて、各セグメンテーションの投影方向を設定する。例えば、投影方向設定部１５４は、各セグメンテーションの法線や想定されるView方向等に基づいて、オクルージョンの発生を抑制するように投影方向を設定する。また、例えば、投影方向設定部１５４は、各セグメンテーションの法線や想定されるView方向等に基づいて、生成するパッチ数の増大を抑制するように投影方向を設定する。
　投影方向設定部１５４は、その設定した投影方向等に関する情報をメタデータ生成部１１２に供給する。また、投影方向設定部１５４は、その投影方向等に関する情報を、更新したセグメンテーションに関する情報等のその他の情報とともに、２次元投影部１５５に供給する。
　２次元投影部１５５は、３Ｄデータの２次元投影に関する処理を行う。例えば、２次元投影部１５５は、投影方向設定部１５４から供給されるデータを取得する。また、２次元投影部１５５は、各セグメンテーションをその投影方向の２次元平面に投影し、パッチを生成する。例えば、２次元投影部１５５は、位置情報（Geometry）や属性情報（Texture）のパッチを生成する。２次元投影部１５５は、生成した位置情報（Geometry）のパッチや属性情報（Texture）のパッチを、その他のデータとともに、インデックス付与部１５６に供給する。
　インデックス付与部１５６は、投影方向インデックスの付与に関する処理を行う。例えば、インデックス付与部１５６は、２次元投影部１５５から供給されるデータを取得する。また、インデックス付与部１５６は、メタデータ生成部１１２から供給される投影方向情報を取得する。また、インデックス付与部１５６は、取得した投影方向情報に基づいて、各パッチに、その投影方向に対応する投影方向インデックスを付与する。インデックス付与部１５６は、処理後のデータ（投影方向インデックスを付与した位置情報（Geometry）のパッチや属性情報（Texture）のパッチ等）をパッキング部１１３に供給する。
　　＜メタデータ生成部＞
　図１１は、図９のメタデータ生成部１１２の主な構成例を示すブロック図である。図１１に示されるように、メタデータ生成部１１２は、投影方向情報生成部１７１および符号化単位情報生成部１７２を有する。
　投影方向情報生成部１７１は、投影方向情報の生成に関する処理を行う。例えば、投影方向情報生成部１７１は、パッチ分解部１１１から供給される投影方向等に関する情報を取得する。また、投影方向情報生成部１７１は、その情報に基づいて投影方向を設定し、投影方向インデックスを付して、投影方向情報を生成する。また、投影方向情報生成部１７１は、必要に応じて属性情報を、各投影方向インデックスに付加する。
　投影方向情報生成部１７１は、生成した投影方向情報を符号化単位情報生成部１７２に供給する。また、投影方向情報生成部１７１は、その投影方向情報を、パッチ分解部１１１、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８にも供給する。
　符号化単位情報生成部１７２は、符号化単位情報の生成に関する処理を行う。例えば、符号化単位情報生成部１７２は、投影方向情報生成部１７１から供給される投影方向情報を取得する。また、符号化単位情報生成部１７２は、各投影方向のパッチを配置する符号化単位を設定し、その符号化単位を示す情報を投影方向インデックスに対応付けて、符号化単位情報を生成する。
　符号化単位情報生成部１７２は、生成した符号化単位情報を、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。
　　＜復号装置＞
　図１２は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１２に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。
　なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、復号装置２００において、図１２においてブロックとして示されていない処理部が存在したり、図１２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。
　図１２に示されるように復号装置２００は、デマルチプレクサ２１１、メタデータ処理部２１２、補助パッチ情報復号部２１３、ビデオ復号部２１４、ビデオ復号部２１５、OMap復号部２１６、アンパッキング部２１７、および３Ｄ再構築部２１８を有する。
　デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１３に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometry）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１５に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１６に供給する。
　さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、投影方向情報や符号化単位情報等のメタデータを抽出し、それをメタデータ処理部２１２に供給する。
　メタデータ処理部２１２は、メタデータに基づく復号制御に関する処理を行う。例えば、メタデータ処理部２１２は、デマルチプレクサ２１１から供給されるメタデータ（投影方向情報や符号化単位情報等）を取得する。また、メタデータ処理部２１２は、ユーザ等によるView方向の指定（View）を取得する。メタデータ処理部２１２は、そのメタデータやView方向等に基づいて、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６による復号を制御する。例えば、パッチの復号順や復号するパッチの範囲（部分復号）を制御する。
　補助パッチ情報復号部２１３は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１３は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１３は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１３は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１８に供給する。
　ビデオ復号部２１４は、位置情報（Geometry）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１４は、メタデータ処理部２１２の制御を受け付ける。
　また、ビデオ復号部２１４は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、位置情報（Geometry）のビデオフレームを得る。例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される、位置情報（Geometry）の２次元平面への投影方向に応じた符号化単位の符号化データを復号する。例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。ビデオ復号部２１４は、復号した符号化単位の位置情報（Geometry）のデータを、アンパッキング部２１７に供給する。
　ビデオ復号部２１５は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１５は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１５は、メタデータ処理部２１２の制御を受け付ける。
　また、ビデオ復号部２１５は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。例えば、ビデオ復号部２１５は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、ビデオ復号部２１５は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。ビデオ復号部２１５は、復号した符号化単位の属性情報（Texture）のデータを、アンパッキング部２１７に供給する。
　OMap復号部２１６は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１６は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。また、OMap復号部２１６は、メタデータ処理部２１２の制御を受け付ける。
　また、OMap復号部２１６は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、オキュパンシーマップを得る。例えば、OMap復号部２１６は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、OMap復号部２１６は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。OMap復号部２１６は、復号した符号化単位のオキュパンシーマップのデータを、アンパッキング部２１７に供給する。
　アンパッキング部２１７は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１７は、ビデオ復号部２１４から位置情報（Geometry）のビデオフレーム（符号化単位のデータ）を取得し、ビデオ復号部２１５から属性情報（Texture）のビデオフレーム（符号化単位のデータ）を取得し、OMap復号部２１６からオキュパンシーマップ（符号化単位のデータ）を取得する。また、アンパッキング部２１７は、位置情報のビデオフレームや属性情報のビデオフレームをアンパッキングする。アンパッキング部２１７は、アンパッキングして得られた位置情報（Geometry）のデータ（パッチ等）や属性情報（Texture）のデータ（パッチ等）、並びにオキュパンシーマップのデータ等の各種データを、３Ｄ再構築部２１８に供給する。
　３Ｄ再構築部２１８は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１８は、補助パッチ情報復号部２１３から供給される補助パッチ情報や、アンパッキング部２１７から供給される位置情報（Geometry）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータ等に基づいて、３Ｄデータ（Point Cloud）を再構築する。３Ｄ再構築部２１８は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。
　この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
　　＜メタデータ処理部＞
　図１３は、図１２のメタデータ処理部２１２の主な構成例を示すブロック図である。図１３に示されるように、メタデータ処理部２１２は、内積算出部２５１、復号範囲設定部２５２、復号順設定部２５３、および復号制御部２５４を有する。
　内積算出部２５１は、内積の算出に関する処理を行う。例えば、内積算出部２５１は、デマルチプレクサ２１１から供給される投影方向情報を取得する。また、内積算出部２５１は、ユーザ等により入力されたView方向の指定を取得する。また、内積算出部２５１は、投影方向を示すベクトルとView方向を示すベクトルとの内積を算出する。内積算出部２５１は、内積の算出結果を復号範囲設定部２５２に供給する。
　復号範囲設定部２５２は、復号範囲の設定に関する処理を行う。例えば、復号範囲設定部２５２は、内積算出部２５１から供給される内積の結果を取得する。また、復号範囲設定部２５２は、デマルチプレクサ２１１から供給される符号化単位情報を取得する。また、復号範囲設定部２５２は、内積の結果と符号化単位情報とに基づいて、復号範囲（復号する符号化単位）を設定する。つまり、復号範囲設定部２５２は、部分復号を行うか否かを制御し、部分復号を行う場合は、さらに復号する範囲を制御する。復号範囲設定部２５２は、内積の結果、符号化単位情報、および設定した復号範囲に関する情報を復号順設定部２５３に供給する。
　復号順設定部２５３は、復号順の設定に関する処理を行う。例えば、復号順設定部２５３は、復号範囲設定部２５２から供給される情報を取得する。また、復号順設定部２５３は、デマルチプレクサ２１１から供給される投影方向情報を取得する。また、復号順設定部２５３は、内積の結果、投影方向情報、符号化単位情報、復号範囲に関する情報等に基づいて、復号順の設定、復号範囲の設定、およびView方向に対応するように、復号する符号化単位の復号順を設定する。復号順設定部２５３は、内積の結果、符号化単位情報、復号範囲に関する情報、および設定した復号順に関する情報を、復号制御部２５４に供給する。
　復号制御部２５４は、復号の制御に関する処理を行う。例えば、復号制御部２５４は、復号順設定部２５３から供給される情報を取得する。また、復号制御部２５４は、その情報に基づいて、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６による復号を制御する。例えば、復号制御部２５４は、それらの処理部で行われる復号の対象となる符号化単位を指定する。また、例えば、復号制御部２５４は、それらの処理部で行われる復号の復号範囲の指定や復号順等を制御する。
　このような構成を備えることにより、投影方向を任意に設定することができるので、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができる。また、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷の増大を抑制することができる。
　また、このような構成を備えることにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
　　＜符号化処理の流れ＞
　次に、符号化装置１００により実行される符号化処理の流れの例を、図１４のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。
　ステップＳ１０２において、メタデータ生成部１１２は、投影方向情報および符号化単位情報をメタデータとして生成する。
　ステップＳ１０３において、パッチ分解部１１１（インデックス付与部１５６）は、ステップＳ１０２において生成された投影方向情報に従って、投影方向インデックスを各パッチに付与する（対応付ける）。
　ステップＳ１０４において、補助パッチ情報圧縮部１１４は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。
　ステップＳ１０５において、パッキング部１１３は、ステップＳ１０２において生成された投影方向情報および符号化単位情報等に従って、パッキングを行う。つまり、パッキング部１１３は、各パッチを、フレーム画像の、その投影方向に対応する符号化単位（スライス等）に配置して、ビデオフレームとしてパッキングする。また、パッキング部１１３は、そのビデオフレームに対応するオキュパンシーマップを生成する。
　ステップＳ１０６において、ビデオ符号化部１１５は、ステップＳ１０５の処理により得られた位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。
　ステップＳ１０７において、ビデオ符号化部１１６は、ステップＳ１０５の処理により得られた属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。
　ステップＳ１０８において、OMap符号化部１１７は、ステップＳ１０５の処理により得られたオキュパンシーマップを、所定の符号化方法により符号化する。
　なお、ビデオ符号化部１１５乃至OMap符号化部１１７は、それぞれが行う符号化（ステップＳ１０６乃至ステップＳ１０８の符号化）において、投影方向情報や符号化単位情報等に基づいて品質を制御するようにしてもよい。
　ステップＳ１０９において、マルチプレクサ１１８は、以上のように生成された各種情報（例えば、ステップＳ１０６乃至ステップＳ１０８において生成された符号化データや、ステップＳ１０２において生成されたメタデータ（投影方向情報や符号化単位情報））を多重化し、これらの情報を含むビットストリームを生成する。
　ステップＳ１１０において、マルチプレクサ１１８は、ステップＳ１０９の処理により生成したビットストリームを符号化装置１００の外部に出力する。
　ステップＳ１１０の処理が終了すると、符号化処理が終了する。
　　＜パッチ分解処理の流れ＞
　次に、図１５のフローチャートを参照して、図１４のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。
　パッチ分解処理が開始されると、法線推定部１５１は、ステップＳ１３１において、３Ｄデータの各面の法線を推定する。
　ステップＳ１３２において、セグメンテーション初期設定部１５２は、セグメンテーションの初期設定を行う。
　ステップＳ１３３において、セグメンテーション更新部１５３は、ステップＳ１３２において設定された初期状態のセグメンテーションを、必要に応じて更新する。
　ステップＳ１３４において、投影方向設定部１５４は、例えばView Info等に基づいて、各セグメンテーションの投影方向を設定する。
　ステップＳ１３５において、投影方向設定部１５４は、ステップＳ１３４において設定した投影方向に関する情報をメタデータ生成部１１２に供給する。
　ステップＳ１３６において、２次元投影部１５５は、３Ｄデータの各セグメンテーションを、ステップＳ１３４において設定した投影方向の２次元平面に投影する。
　ステップＳ１３６の処理が終了すると、パッチ分解処理が終了し、処理は図１４に戻る。
　　＜メタデータ生成処理の流れ＞
　次に、図１４のステップＳ１０２において実行されるメタデータ生成処理の流れの例を、図１６のフローチャートを参照して説明する。
　メタデータ生成処理が開始されると、投影方向情報生成部１７１は、ステップＳ１５１において、パッチ分解部１１１（投影方向設定部１５４）から供給された投影方向に関する情報に基づいて、投影方向情報を生成する。
　ステップＳ１５２において、符号化単位情報生成部１７２は、ステップＳ１５１において生成された投影方向情報に基づいて、各パッチを投影する符号化単位を設定し、符号化単位情報を生成する。
　以上の処理により、投影方向情報や符号化単位情報等のメタデータが生成されると、メタデータ生成処理が終了し、処理は図１４に戻る。
　以上のように各処理を実行することにより、投影方向を任意に設定することができるので、例えばView方向等に応じた、より適切な投影方向のパッチを生成し、符号化することができる。これにより、復号側において３Ｄデータの符号化データをより容易に復号することができるようになる。例えば、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができ、復号処理の負荷の増大を抑制することができる。
　また、以上のように各処理を実行することにより、復号の際に、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、復号側において３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
　　＜復号処理の流れ＞
　次に、復号装置２００により実行される復号処理の流れの例を、図１７のフローチャートを参照して説明する。
　復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。
　ステップＳ２０２において、補助パッチ情報復号部２１３は、ステップＳ２０１においてビットストリームから抽出された補助パッチ情報を復号する。
　ステップＳ２０３において、メタデータ処理部２１２は、ステップＳ２０１においてビットストリームから抽出されたメタデータ（投影方向情報や符号化単位情報）に応じて復号を制御する。
　ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
　ステップＳ２０５において、ビデオ復号部２１５は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
　ステップＳ２０６において、OMap復号部２１６は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
　ステップＳ２０７において、アンパッキング部２１７は、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。
　ステップＳ２０８において、３Ｄ再構築部２１８は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０７において得られたパッチ等とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。
　ステップＳ２０８の処理が終了すると復号処理が終了する。
　　＜メタデータ処理の流れ＞
　次に、図１７のステップＳ２０３において実行されるメタデータ処理の流れの例を、図１８のフローチャートを参照して説明する。
　メタデータ処理が開始されると、メタデータ処理部２１２の内積算出部２５１は、ステップＳ２２１において、投影方向情報に基づいて、指定されたView方向を示すViewベクトルと、投影方向を示す投影ベクトルとの内積を算出する。
　ステップＳ２２２において、復号範囲設定部２５２は、ステップＳ２２１において算出された内積の結果と符号化単位情報とに基づいて、条件を満たす投影方向（その投影方向に対応する符号化単位）、つまり、復号する投影方向（復号する符号化単位）を特定する。
　ステップＳ２２３において、復号順設定部２５３は、投影方向情報に基づいて、ステップＳ２２２において特定された条件を満たす符号化単位の復号順を特定する。
　ステップＳ２２４において、復号制御部２５４は、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６を制御し、ステップＳ２２２において特定された「条件を満たす符号化単位」を、ステップＳ２２３において特定した「復号順」に復号させる。この復号制御に従って、ステップＳ２０４乃至ステップＳ２０６（図１７）の各処理が実行される。
　ステップＳ２２４において、上述したように復号制御が行われるように設定されると、メタデータ処理が終了し、処理は図１７に戻る。
　以上のように各処理を実行することにより、パッチの任意に設定された投影方向をより容易に把握することができるので、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷の増大を抑制することができる。
　また、以上のように各処理を実行することにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
　＜３．付記＞
　　＜制御情報＞
　以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１９に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
　また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部
　を備える画像処理装置。
　（２）　前記投影方向情報は、識別子と、前記位置情報を前記２次元平面に投影する際の方向および位置との対応関係に関する情報を含む
　（１）に記載の画像処理装置。
　（３）　前記投影方向情報は、復号に関する属性情報をさらに含む
　（２）に記載の画像処理装置。
　（４）　前記属性情報は、復号順に関する情報を含む
　（３）に記載の画像処理装置。
　（５）　前記属性情報は、前記３次元構造における特性を示す意味情報を含む
　（３）に記載の画像処理装置。
　（６）　前記投影方向情報を生成する投影方向情報生成部をさらに備え、
　前記ビットストリーム生成部は、前記投影方向情報生成部により生成された前記投影方向情報と、前記符号化データとを含むビットストリームを生成する
　（１）に記載の画像処理装置。
　（７）　前記投影方向情報に応じて、前記ジオメトリ画像を画像に配置してパッキングするパッキング部と、
　前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、前記符号化データを生成する符号化部と
　をさらに備え、
　前記ビットストリーム生成部は、前記投影方向情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成する
　（１）に記載の画像処理装置。
　（８）　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する
　画像処理方法。
　（９）　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部
　を備える画像処理装置。
　（１０）　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する
　画像処理方法。
　（１１）　３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部
　を備える画像処理装置。
　（１２）　前記パッキング部は、前記投影方向の識別子と、前記ジオメトリ画像を配置する符号化単位を示す情報との対応関係を示す符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
　（１１）に記載の画像処理装置。
　（１３）　前記符号化単位情報は、復号に関する属性情報をさらに含む
　（１２）に記載の画像処理装置。
　（１４）　前記属性情報は、前記３次元構造における特性を示す意味情報を含む
　（１３）に記載の画像処理装置。
　（１５）　前記符号化単位情報を生成する符号化単位情報生成部をさらに備え、
　前記パッキング部は、前記符号化単位情報生成部により生成された前記符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
　（１２）に記載の画像処理装置。
　（１６）　前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、符号化データを生成する符号化部と、
　前記符号化単位情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
　（１２）に記載の画像処理装置。
　（１７）　前記符号化単位は、スライス、タイル、またはピクチャである
　（１１）に記載の画像処理装置。
　（１８）　３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする
　画像処理方法。
　（１９）　ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部
　を備える画像処理装置。
　（２０）　ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する
　画像処理方法。
　１００　符号化装置，　１１１　パッチ分解部，　１１２　メタデータ生成部，　１１３　パッキング部，　１１４　補助パッチ情報圧縮部，　１１５　ビデオ符号化部，　１１６　ビデオ符号化部，　１１７　OMap符号化部，　１１８　マルチプレクサ，　１５１　法線推定部，　１５２　セグメンテーション初期設定部，　１５３　セグメンテーション更新部，　１５４　投影方向設定部，　１５５　２次元投影部，　１５６　インデックス付与部，　１７１　投影方向情報生成部，　１７２　符号化単位情報生成部，　２００　復号装置，　２１１　デマルチプレクサ，　２１２　メタデータ処理部，　２１３　補助パッチ情報復号部，　２１４　ビデオ復号部，　２１５　ビデオ復号部，　２１６　OMap復号部，　２１７　アンパッキング部，　２１８　３Ｄ再構築部，　２５１　内積算出部，　２５２　復号範囲設定部，　２５３　復号順設定部，　２５４　復号制御部

Claims (20)

  1. 　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部
    　を備える画像処理装置。
  2. 　前記投影方向情報は、識別子と、前記位置情報を前記２次元平面に投影する際の方向および位置との対応関係に関する情報を含む
    　請求項１に記載の画像処理装置。
  3. 　前記投影方向情報は、復号に関する属性情報をさらに含む
    　請求項２に記載の画像処理装置。
  4. 　前記属性情報は、復号順に関する情報を含む
    　請求項３に記載の画像処理装置。
  5. 　前記属性情報は、前記３次元構造における特性を示す意味情報を含む
    　請求項３に記載の画像処理装置。
  6. 　前記投影方向情報を生成する投影方向情報生成部をさらに備え、
    　前記ビットストリーム生成部は、前記投影方向情報生成部により生成された前記投影方向情報と、前記符号化データとを含むビットストリームを生成する
    　請求項１に記載の画像処理装置。
  7. 　前記投影方向情報に応じて、前記ジオメトリ画像を画像に配置してパッキングするパッキング部と、
    　前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、前記符号化データを生成する符号化部と
    　をさらに備え、
    　前記ビットストリーム生成部は、前記投影方向情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成する
    　請求項１に記載の画像処理装置。
  8. 　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する
    　画像処理方法。
  9. 　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部
    　を備える画像処理装置。
  10. 　３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する
    　画像処理方法。
  11. 　３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部
    　を備える画像処理装置。
  12. 　前記パッキング部は、前記投影方向の識別子と、前記ジオメトリ画像を配置する符号化単位を示す情報との対応関係を示す符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
    　請求項１１に記載の画像処理装置。
  13. 　前記符号化単位情報は、復号に関する属性情報をさらに含む
    　請求項１２に記載の画像処理装置。
  14. 　前記属性情報は、前記３次元構造における特性を示す意味情報を含む
    　請求項１３に記載の画像処理装置。
  15. 　前記符号化単位情報を生成する符号化単位情報生成部をさらに備え、
    　前記パッキング部は、前記符号化単位情報生成部により生成された前記符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
    　請求項１２に記載の画像処理装置。
  16. 　前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、符号化データを生成する符号化部と、
    　前記符号化単位情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
    　請求項１２に記載の画像処理装置。
  17. 　前記符号化単位は、スライス、タイル、またはピクチャである
    　請求項１１に記載の画像処理装置。
  18. 　３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする
    　画像処理方法。
  19. 　ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部
    　を備える画像処理装置。
  20. 　ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する
    　画像処理方法。
PCT/JP2019/013535 2018-04-11 2019-03-28 画像処理装置および方法 Ceased WO2019198521A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980024400.7A CN111937388A (zh) 2018-04-11 2019-03-28 图像处理装置和方法
US16/981,722 US11310518B2 (en) 2018-04-11 2019-03-28 Image processing apparatus and method
EP19784358.4A EP3780613A4 (en) 2018-04-11 2019-03-28 IMAGE PROCESSING DEVICE AND METHOD
KR1020207027270A KR20200140256A (ko) 2018-04-11 2019-03-28 화상 처리 장치 및 방법
JP2020513193A JPWO2019198521A1 (ja) 2018-04-11 2019-03-28 画像処理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018076225 2018-04-11
JP2018-076225 2018-04-11

Publications (1)

Publication Number Publication Date
WO2019198521A1 true WO2019198521A1 (ja) 2019-10-17

Family

ID=68163656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013535 Ceased WO2019198521A1 (ja) 2018-04-11 2019-03-28 画像処理装置および方法

Country Status (7)

Country Link
US (1) US11310518B2 (ja)
EP (1) EP3780613A4 (ja)
JP (1) JPWO2019198521A1 (ja)
KR (1) KR20200140256A (ja)
CN (1) CN111937388A (ja)
TW (1) TW201946449A (ja)
WO (1) WO2019198521A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210513A1 (ja) * 2020-04-13 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2021529482A (ja) * 2018-06-30 2021-10-28 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 点群符号化方法、点群復号化方法、符号器、及び復号器
WO2021261516A1 (ja) * 2020-06-23 2021-12-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2023508271A (ja) * 2020-01-07 2023-03-02 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2024016955A (ja) * 2022-07-27 2024-02-08 日本放送協会 符号化装置、ストリーム合成装置、復号装置、およびプログラム
JP2024138070A (ja) * 2019-06-28 2024-10-07 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ処理装置及び方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566703B (zh) * 2018-01-17 2023-10-20 索尼公司 图像处理装置和方法
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
WO2020036384A1 (en) * 2018-08-12 2020-02-20 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
WO2020230710A1 (ja) * 2019-05-10 2020-11-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11575935B2 (en) * 2019-06-14 2023-02-07 Electronics And Telecommunications Research Institute Video encoding method and video decoding method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019055963A1 (en) * 2017-09-18 2019-03-21 Apple Inc. COMPRESSION OF CLOUD OF POINTS

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018022940A1 (en) * 2016-07-27 2018-02-01 Align Technology, Inc. Intraoral scanner with dental diagnostics capabilities
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
EP3642800B1 (en) * 2017-07-10 2025-02-26 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US11405643B2 (en) * 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
CN110049323B (zh) * 2018-01-17 2021-09-07 华为技术有限公司 编码方法、解码方法和装置
US10887574B2 (en) * 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US12010350B2 (en) * 2019-03-22 2024-06-11 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2020197086A1 (ko) * 2019-03-25 2020-10-01 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019055963A1 (en) * 2017-09-18 2019-03-21 Apple Inc. COMPRESSION OF CLOUD OF POINTS

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (INTERNATIONAL TELECOMMUNICATION UNION, April 2017 (2017-04-01)
"High efficiency video coding", TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (INTERNATIONAL TELECOMMUNICATION UNION, December 2016 (2016-12-01)
JIANLE CHENELENA ALSHINAGARY J. SULLIVANJENS-RAINER, JILL BOYCE: "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001 V1, JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING, 13 July 2017 (2017-07-13)
MARIUS PREDA, POINT CLOUD COMPRESSION IN MPEG, 28 October 2017 (2017-10-28), XP055643992, Retrieved from the Internet <URL:https://mpeg.chiariglione.org/sites/default/files/events/05_MP20%20PPC%20Preda%202017.pdf> [retrieved on 20190510] *
R. MEKURIAK. BLOMP. CESAR, DESIGN, IMPLEMENTATION AND EVALUATION OF A POINT CLOUD CODEC FOR TELE-IMMERSIVE VIDEO
See also references of EP3780613A4
TILO OCHOTTA ET AL., IMAGE-BASED SURFACE COMPRESSION, 2008, XP055534929, Retrieved from the Internet <URL:http://kops.uni-konstanz.de/bitstream/handle/123456789/3009/Ochotta-opus-117979.pdf> [retrieved on 20190510] *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704837B2 (en) 2018-06-30 2023-07-18 Huawei Technologies Co., Ltd. Point cloud encoding method, point cloud decoding method, encoder, and decoder
US11328450B2 (en) 2018-06-30 2022-05-10 Huawei Technologies Co., Ltd. Point cloud encoding method, point cloud decoding method, encoder, and decoder
JP2021529482A (ja) * 2018-06-30 2021-10-28 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 点群符号化方法、点群復号化方法、符号器、及び復号器
JP7057453B2 (ja) 2018-06-30 2022-04-19 華為技術有限公司 点群符号化方法、点群復号化方法、符号器、及び復号器
US12464138B2 (en) 2019-06-28 2025-11-04 Lg Electronics Inc. Apparatus and method for processing point cloud data
JP2024138070A (ja) * 2019-06-28 2024-10-07 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ処理装置及び方法
JP7798974B2 (ja) 2019-06-28 2026-01-14 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ処理装置及び方法
JP2023508271A (ja) * 2020-01-07 2023-03-02 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP7448660B2 (ja) 2020-01-07 2024-03-12 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2024063123A (ja) * 2020-01-07 2024-05-10 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP7753419B2 (ja) 2020-01-07 2025-10-14 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
WO2021210513A1 (ja) * 2020-04-13 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021261516A1 (ja) * 2020-06-23 2021-12-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2024016955A (ja) * 2022-07-27 2024-02-08 日本放送協会 符号化装置、ストリーム合成装置、復号装置、およびプログラム

Also Published As

Publication number Publication date
EP3780613A1 (en) 2021-02-17
KR20200140256A (ko) 2020-12-15
US11310518B2 (en) 2022-04-19
CN111937388A (zh) 2020-11-13
US20210250600A1 (en) 2021-08-12
TW201946449A (zh) 2019-12-01
EP3780613A4 (en) 2021-05-19
JPWO2019198521A1 (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
WO2019198521A1 (ja) 画像処理装置および方法
JP7552828B2 (ja) 画像処理装置および方法
TWI815842B (zh) 影像處理裝置及方法
US11699248B2 (en) Image processing apparatus and method
US20210027505A1 (en) Image processing apparatus and method
US11399189B2 (en) Image processing apparatus and method
JP7331852B2 (ja) 画像処理装置および方法
US11356690B2 (en) Image processing apparatus and method
JP7396302B2 (ja) 画像処理装置および方法
HK40029724A (en) Image processing device and method
HK40029724B (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784358

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020513193

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207027270

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019784358

Country of ref document: EP

Effective date: 20201111