WO2019065299A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2019065299A1
WO2019065299A1 PCT/JP2018/034131 JP2018034131W WO2019065299A1 WO 2019065299 A1 WO2019065299 A1 WO 2019065299A1 JP 2018034131 W JP2018034131 W JP 2018034131W WO 2019065299 A1 WO2019065299 A1 WO 2019065299A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
attribute information
information
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/034131
Other languages
English (en)
French (fr)
Inventor
智 隈
加藤　毅
央二 中神
幸司 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to KR1020207007802A priority Critical patent/KR20200058398A/ko
Priority to CN201880061353.9A priority patent/CN111133478A/zh
Priority to US16/649,295 priority patent/US11315320B2/en
Priority to JP2019544581A priority patent/JP7268599B2/ja
Priority to EP18863672.4A priority patent/EP3690824A4/en
Publication of WO2019065299A1 publication Critical patent/WO2019065299A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present disclosure relates to an information processing apparatus and method, and more particularly to an information processing apparatus and method capable of suppressing a reduction in subjective image quality.
  • This indication is made in view of such a situation, and enables it to control reduction of a subjective image quality.
  • the information processing apparatus is a point to be compared, which is a point to be compared with the current point which is a processing target point of point cloud data whose position information has been updated, from point cloud data before position information is updated.
  • the information processing apparatus includes: a search unit searching for a point; and an attribute information setting unit comparing the comparison target point searched by the search unit with the current point to set attribute information of the current point.
  • An information processing method is a comparison target that is a point to be compared with a current point that is a processing target point of point cloud data whose position information has been updated from point cloud data before position information is updated. It is an information processing method of searching for a point, comparing the searched comparison target point with the current point, and setting attribute information of the current point.
  • the point cloud data before the position information is updated is compared with the current point that is the processing target point of the point cloud data whose position information is updated.
  • a certain comparison target point is searched, the searched comparison target point is compared with the current point, and attribute information of the current point is set.
  • information can be processed.
  • reduction in subjective image quality can be suppressed.
  • a three-dimensional structure as shown in A of FIG. 1 is expressed as a set (point group) of a large number of points (point data) as shown in B of FIG. That is, the data of the point cloud is composed of position information and attribute information (for example, color etc.) of each point of this point group. Therefore, while the data structure is relatively simple, an arbitrary three-dimensional structure can be represented with sufficient accuracy by using a sufficiently large number of points.
  • a voxel is a data structure for quantizing position information to be encoded.
  • a comparison target point which is a point to be compared with the current point which is the point to be processed of the point cloud data whose position information is updated is searched and specified by the search
  • the comparison target point and the current point are compared, and attribute information of the current point is set.
  • a comparison target point which is a point to be compared with the current point which is a processing target point of the point cloud data whose position information is updated.
  • the search unit is provided with an attribute information setting unit that compares the comparison target point searched by the search unit with the current point and sets attribute information of the current point.
  • attribute information associated with a change in position information is specified by specifying a comparison target point while considering a change in position information, and setting attribute information of the current point to be processed using the attribute information. It is possible to suppress the change of (color information etc.). Therefore, it is possible to suppress the reduction in PSNR and to suppress the reduction in the subjective image quality (the change in appearance) of the point cloud.
  • FIGS. 2 to 4 show how the point changes due to the quantization of the position information.
  • a in these figures schematically indicates the point cloud before quantization.
  • B in these figures schematically shows the point cloud after quantization.
  • Each arrow of AtoB indicates the correspondence between a point before quantization and a point after quantization when using after quantization as a reference, and each arrow of BtoA is the reverse, that is, before quantization Shows the correspondence between the point before quantization and the point after quantization.
  • FIG. 2 shows an example where the position and the number of points do not substantially change due to quantization.
  • the comparison target for the point 13 after quantization is the point 11 before quantization located at substantially the same position as the point 13 (the point 13 after quantization is the point before quantization Corresponding to 11).
  • the comparison target for the point 11 before quantization is the point 13 after quantization which is located substantially at the same position as the point 11 (the point 11 before quantization is the point 13 after quantization) Correspond to
  • the comparison target for the point 14 after quantization is the point 12 before quantization which is located substantially at the same position as the point 14
  • the comparison target for the point 12 before quantization is The object is a point 14 after quantization which is located substantially at the same position as the point 12.
  • FIG. 3 shows an example where the number of points is reduced by quantization.
  • the comparison targets for the point 23 after quantization are the points 21 and 22 before quantization (the points 23 after quantization correspond to the points 21 and 22 before quantization) To do).
  • the comparison target for the point 21 before quantization is the point 23 after quantization located at substantially the same position as the point 21 (the point 21 before quantization is the point 23 after quantization) Correspond to
  • the attribute information (i ') of the point 23 is a value generated using the attribute information (i) of the point 21 and the attribute information (j) of the point 22, or the attribute information (i) of the point 21 Approximately the same value is set.
  • FIG. 4 shows an example where the number of points is increased by quantization or the position of the points is shifted.
  • the comparison target for the point 33 after quantization is the point 32 before quantization (the point 33 after quantization corresponds to the point 32 before quantization).
  • the comparison object for the point 31 before quantization is the point 34 after quantization (the point 31 before quantization corresponds to the point 34 after quantization).
  • attribute information can be set to each point so as to suppress a reduction in the subjective image quality of the point cloud by searching for a comparison target in consideration of a change in position.
  • point cloud as data to be processed
  • present technology is not limited to point cloud, but indicates a three-dimensional structure such as mesh, and can set attribute information.
  • Data can be applied to any processing object. Further, this processing target may be a moving image or a still image.
  • FIG. 5 is a block diagram illustrating an exemplary main configuration of a coding device which is an embodiment of an information processing device to which the present technology is applied.
  • the coding apparatus 100 shown in FIG. 5 codes point cloud data input as a coding target using voxels, and outputs the obtained coded data and the like. At this time, the encoding apparatus 100 performs this encoding in a method to which the present technology is applied as described below.
  • the encoding device 100 includes a control unit 101, a preprocessing unit 111, a bounding box setting unit 112, a voxel setting unit 113, a signal sequence generation unit 114, and an encoding unit 115.
  • the control unit 101 performs processing related to control of each processing unit in the encoding device 100. For example, the control unit 101 controls execution or skip (omission) of processing by each processing unit. For example, the control unit 101 performs such control based on predetermined control information. By doing this, the control unit 101 can suppress the execution of unnecessary processing, and can suppress an increase in load.
  • the control unit 101 may have any configuration.
  • the control unit 101 includes a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and the like.
  • the processing may be performed by loading a stored program or data into the RAM and executing it.
  • the preprocessing unit 111 performs predetermined processing as preprocessing on an encoding target (data of point cloud) which is controlled by the control unit 101 and input to the encoding apparatus 100, and the processed data is bounded box
  • the setting unit 112 is supplied.
  • control unit 101 causes the preprocessing unit 111 to execute preprocessing when the execution of preprocessing is permitted (not prohibited) according to control information that permits or prohibits the execution of preprocessing. Also, for example, the control unit 101 is permitted (not prohibited) to execute the preprocessing according to the control information indicating the range of the encoding target to be the target of permission or prohibition of the execution of the preprocessing. Then, the pre-processing unit 111 executes the pre-processing. Furthermore, for example, the control unit 101 causes the pre-processing unit 111 to execute the process of which the execution is permitted (not prohibited) according to the control information specifying the process content for permitting or prohibiting the execution. By doing this, the execution of unnecessary pre-processing can be suppressed, and an increase in load can be suppressed.
  • the preprocessing unit 111 may perform processing for reducing noise as preprocessing, or may perform processing for changing the resolution (the number of points). Also, for example, the arrangement of each point may be updated so as to equalize the density of the point group or give a desired bias.
  • non-point cloud data such as image information having depth information is input to the encoding apparatus 100, and the preprocessing unit 111 converts the input data into point cloud data as pre-processing. It may be converted.
  • the pre-processing unit 111 may have any configuration, for example, the pre-processing unit 111 has a CPU, a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM and executes them. Pre-processing may be performed by performing the processing.
  • the bounding box setting unit 112 is controlled by the control unit 101, and performs processing relating to setting of the bounding box for normalizing position information to be encoded.
  • the control unit 101 sets the bounding box in the bounding box setting unit 112.
  • the control unit 101 is permitted (not prohibited) to set the bounding box.
  • the bounding box setting unit 112 sets the bounding box for the target.
  • the control unit 101 causes the bounding box setting unit 112 to use bound (not prohibited) parameters according to control information on permission or prohibition of parameters used for setting the bounding box. To set By doing this, it is possible to suppress the setting of unnecessary bounding boxes and the use of unnecessary parameters, and it is possible to suppress an increase in load.
  • the bounding box setting unit 112 sets a bounding box for each object to be encoded. For example, as shown in A of FIG. 6, when the object 131 and the object 132 are represented by data of point cloud, the bounding box setting unit 112, as shown in B of FIG. The bounding box 141 and the bounding box 142 are set to include the objects 132 respectively.
  • the bounding box setting unit 112 supplies the voxel setting unit 113 with information on the bounding box.
  • the bounding box setting unit 112 may have any configuration.
  • the CPU has a CPU, a ROM, a RAM, etc., and the CPU loads a program or data stored in the ROM or the like into the RAM.
  • the processing related to the setting of the bounding box may be performed by executing the processing.
  • the voxel setting unit 113 is controlled by the control unit 101 to perform processing regarding setting of voxels for quantizing position information to be encoded.
  • the control unit 101 when the setting of the voxel is permitted (not prohibited) according to the control information for permitting or prohibiting the setting of the voxel, the control unit 101 causes the voxel setting unit 113 to set the voxel. Also, for example, according to the control information indicating the range of the encoding target to be the target of permission or prohibition of the setting of the voxel, the control unit 101 is permitted (not prohibited) to be encoded for the setting of the voxel On the other hand, the voxel setting unit 113 sets the voxel.
  • control unit 101 causes the voxel setting unit 113 to set the voxel using the permitted (not prohibited) parameter according to the control information on permission or prohibition of the parameter used for setting the voxel. .
  • unnecessary setting of voxels and use of unnecessary parameters can be suppressed, and an increase in load can be suppressed.
  • the voxel setting unit 113 sets a voxel in the bounding box set by the bounding box setting unit 112. For example, as illustrated in C of FIG. 6, the voxel setting unit 113 divides the bounding box 141 to set the voxel 151. That is, the voxel setting unit 113 quantizes (that is, voxels) point cloud data in the bounding box with voxels. When there are a plurality of bounding boxes, the voxel setting unit 113 voxels point cloud data for each bounding box. That is, in the case of the example of FIG. 6B, the voxel setting unit 113 performs the same process on the bounding box 142.
  • the voxel setting unit 113 sets the voxelized point cloud data (also referred to as voxel data) (information on data structure for quantizing position information), attribute information, etc. Are supplied to the signal string generation unit 114.
  • the voxel setting unit 113 may have any configuration.
  • the voxel setting unit 113 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to the setting of the voxel may be performed by executing the processing.
  • the signal string generation unit 114 is controlled by the control unit 101 and performs processing regarding generation of a signal string.
  • control unit 101 causes the signal sequence generation unit 114 to generate a signal sequence when the generation of the signal sequence is permitted (not prohibited) according to the control information which permits or prohibits the generation of the signal sequence. Also, for example, the control unit 101 is permitted (not prohibited) to generate a signal sequence according to control information indicating a range to be encoded that is a target of permission or prohibition of generation of a signal sequence. Signal sequence generator 114 generates a signal sequence. By doing this, it is possible to suppress the generation of an unnecessary signal sequence and to suppress an increase in load.
  • the signal sequence generation unit 114 converts, for example, voxel data obtained by quantizing point cloud data (for example, voxel data generated by the voxel setting unit 113 as shown in C of FIG. 6) and other information into a signal sequence.
  • the signal sequence is supplied to the encoding unit 115.
  • the signal string generation unit 114 may have any configuration, but for example, the CPU has a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM.
  • the processing related to the generation of the signal sequence may be performed by executing the processing.
  • the encoding unit 115 is controlled by the control unit 101, and performs processing relating to encoding of the supplied signal sequence.
  • control unit 101 encodes the signal sequence to the encoding unit 115 when the encoding of the signal sequence is permitted (not prohibited) according to the control information for permitting or prohibiting the encoding of the signal sequence.
  • control unit 101 is allowed (not prohibited) to code the signal sequence according to the control information indicating the range of the coding target to be the target of permission or prohibition of the signal sequence coding.
  • the encoding unit 115 encodes a signal sequence for the encoding target. By doing this, it is possible to suppress the coding of unnecessary signal sequences and to suppress an increase in load.
  • the encoding unit 115 encodes the supplied signal sequence to generate encoded data (bit stream).
  • the coding method of this signal sequence is arbitrary.
  • the encoding unit 115 may encode the signal sequence by variable length coding (VLC (Variable Length Code)).
  • VLC Variable Length Code
  • the encoding unit 115 appropriately encodes related information other than point cloud data, such as control information, and stores the related information in a header, a parameter set, or the like.
  • the encoding unit 115 associates the bit stream of the various information described above with each other.
  • the term "associate" means, for example, that one data can be processed (linked) in processing the other data. That is, the data associated with each other may be collected as one data or may be individual data. For example, control information associated with coded data may be transmitted on a transmission path different from that of the coded data. Also, for example, control information associated with encoded data may be recorded on a recording medium (or another recording area of the same recording medium) other than the encoded data. Note that this “association” may not be the entire data but a part of the data. For example, they may be associated with one another in arbitrary units such as a plurality of frames, one frame, or a part in a frame.
  • Encoding section 115 outputs the encoded data (bit stream) obtained by such encoding to the outside of encoding apparatus 100.
  • the data (coded data and control information) output from the coding apparatus 100 may be decoded by, for example, a processing unit at a later stage (not shown) to restore point cloud data. It may be transmitted by the communication unit and transmitted to another apparatus such as a decoding apparatus via a predetermined transmission path, or may be recorded on a recording medium (not shown).
  • the encoding unit 115 may have any configuration.
  • the encoding unit 115 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to encoding may be performed by executing the processing.
  • FIG. 7 is a block diagram showing a main configuration example of the encoding unit 115 (FIG. 5). As shown in FIG. 7, the encoding unit 115 includes a geometric information encoding unit 201, an attribute information updating unit 202, an attribute information encoding unit 203, and a combining unit 204.
  • the geometry information encoding unit 201 performs processing regarding encoding of geometry information (Geometry information) such as position information.
  • geometry information such as position information.
  • the geometry information encoding unit 201 encodes a signal sequence of geometry information (voxel data) supplied from the signal sequence generation unit 114, and generates a bitstream thereof.
  • the geometry information encoding unit 201 supplies the bit stream to the combining unit 204.
  • the geometry information encoding unit 201 may have any configuration, for example, it has a CPU, a ROM, a RAM, etc., and the CPU stores programs and data stored in the ROM etc. as a RAM. May be loaded and executed to perform processing related to encoding of geometrical information.
  • the attribute information update unit 202 performs a process related to update of attribute information. For example, the attribute information update unit 202 updates the attribute information of each point (each voxel) so as to correspond to the quantization of the position information.
  • the attribute information includes, for example, at least one of color information, an ⁇ channel, and a normal vector.
  • the attribute information update unit 202 acquires point cloud data (that is, data before quantization) including geometry information and attribute information from the preprocessing unit 111 (FIG. 5). Also, the attribute information update unit 202 acquires a signal sequence of voxel data (that is, data after quantization) from the signal sequence generation unit 114. The attribute information update unit 202 sets, for each point (voxel), a comparison target point to be compared so as to correspond to a change in position information due to quantization based on the information. Then, the attribute information update unit 202 sets the attribute information of each point using the attribute information of the comparison target point. The attribute information update unit 202 supplies the attribute information (update attribute information) thus updated to the attribute information encoding unit 203.
  • point cloud data that is, data before quantization
  • a signal sequence of voxel data that is, data after quantization
  • the attribute information update unit 202 sets, for each point (voxel), a comparison target point to be compared so as to correspond to a
  • the attribute information updating unit 202 may have any configuration, but for example, the CPU has a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM.
  • the processing related to updating of the attribute information may be performed by executing the processing.
  • the attribute information encoding unit 203 performs processing related to encoding of attribute information. For example, the attribute information encoding unit 203 encodes update attribute information, which is attribute information updated by the attribute information updating unit 202, and generates the bit stream. The attribute information encoding unit 203 supplies the bit stream to the combining unit 204.
  • the attribute information encoding unit 203 may have any configuration, but for example, the CPU has a ROM, a RAM, etc., and the CPU stores programs and data stored in the ROM etc. in the RAM. By loading and executing, processing concerning encoding of attribute information may be performed.
  • the combining unit 204 performs processing on combining of bit streams. For example, the combining unit 204 combines the bit stream of the geometry information supplied from the geometry information coding unit 201 and the bit stream of the attribute information supplied from the attribute information coding unit 203, and one bit is generated. Put together in a stream. Note that this bit stream may include metadata such as a header and a parameter set. The combining unit 204 outputs the bit stream to the outside of the encoding device 100.
  • composition unit 204 may have any configuration, for example, the composition unit 204 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM. By executing the process, processing relating to bit stream composition may be performed.
  • FIG. 8 is a block diagram showing an example of the main configuration of the attribute information update unit 202 (FIG. 7).
  • the attribute information update unit 202 includes a control unit 211, a comparison target search unit 221, an attribute information setting unit 222, and an exception processing unit 223.
  • the control unit 211 controls the operation of each processing unit of the comparison target search unit 221 to the exception processing unit 223. For example, the control unit 211 performs each process performed by the comparison target search unit 221 to the exception processing unit 223 based on information related to processing such as processing conditions (request from the outside) and processing modes and parameters used for processing. Set the method etc.
  • control unit 211 performs this setting based on information such as processing speed, quality, compression algorithm, and the like.
  • the control unit 211 sets a comparison target determination method, controls the comparison target search unit 221, and determines the comparison target by the method.
  • the control unit 211 sets a comparison method, controls the attribute information setting unit 222, and causes the method to compare attribute information.
  • the control unit 211 sets an attribute determination method, controls the attribute information setting unit 222, and causes the method to determine an attribute.
  • control unit 211 sets an exception handling method, controls the exception handling unit 223, and causes the exception handling to be performed by that method.
  • the control unit 211 may have any configuration.
  • the control unit 211 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM. By performing the process, a process related to control may be performed.
  • the comparison target search unit 221 acquires geometry information before quantization (geometry information before position change) and geometry information after quantization (voxel (Voxel) data), and uses them to obtain the control unit 211. Search for comparison points to be compared with the current point according to the set method. When the comparison target point is specified, the comparison target search unit 221 supplies the comparison information, which is information on the comparison target point, to the attribute information setting unit 222.
  • comparison target search unit 221 may have any configuration, for example, it has a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to the search for the comparison target point may be performed by executing the processing.
  • the attribute information setting unit 222 acquires attribute information before quantization (attribute information before position change) in addition to the comparison target information. Using the information, the attribute information setting unit 222 compares the current point with the comparison target point in the method set by the control unit 211. Further, the attribute information setting unit 222 determines the attribute of the current point by the method set by the control unit 211 using the attribute information of the comparison target point, sets the attribute information, and reflects the attribute. The attribute information setting unit 222 supplies the exception processing unit 223 with the attribute information (attribute information after position change) of the set current point.
  • the attribute information includes at least one of color information, an alpha channel, and a normal vector.
  • the attribute information setting unit 222 may have any configuration.
  • the attribute information setting unit 222 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to the setting of the attribute information may be performed by executing the processing.
  • the exception processing unit 223 performs exception processing by the method set by the control unit 211 when the comparison target point is not found. Details of exception handling will be described later.
  • the exception processing unit 223 supplies the attribute information after position change supplied from the attribute information setting unit 222 as update attribute information to the attribute information encoding unit 203 (FIG. 7) when exception processing is not performed.
  • the exception processing unit 223 may have any configuration.
  • the exception processing unit 223 has a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM. Processing related to exception processing may be performed by executing the processing.
  • FIG. 9 is a block diagram showing an example of the main configuration of the control unit 211 (FIG. 8).
  • the control unit 211 includes, for example, a comparison method setting unit 231, a comparison target determination method setting unit 232, an attribute determination method setting unit 233, and an exception handling method setting unit 234.
  • the comparison method setting unit 231 performs processing related to setting of the comparison method.
  • the comparison method is arbitrary, for example, as shown in B of FIG. 10, the method of determining the color from the relationship of AtoB, the method of determining the color from the relationship of BtoA, and the relationship from the relationship of both AtoB and BtoA A method to decide is prepared as a candidate, and the comparison method setting unit 231 selects any one of these methods.
  • the comparison method setting unit 231 selects one of these methods based on various conditions (for example, processing speed, quality, compression algorithm, and the like).
  • the attribute information setting unit 222 uses the attribute information of the points 253 and 252 which are comparison target points The attribute information of the point 251 which is a point is set.
  • the attribute information setting unit 222 uses the attribute information of the point 253 as the comparison target point to set the current point The attribute information of the point 251 which is
  • the attribute information setting unit 222 sets the attribute information of the points 252 and 253 or The attribute information of the point 251 which is the current point is set using the attribute information.
  • the comparison method setting unit 231 may have any configuration.
  • the comparison method setting unit 231 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the process related to the setting of the comparison method may be performed by executing the process.
  • the comparison target determination method setting unit 232 performs processing relating to setting of a comparison target determination method.
  • the determination method of the comparison target is arbitrary, but may be, for example, a method of selecting, as the comparison target point, the point closest to the current point in the point cloud data before the position information is updated. .
  • the comparison target search unit 221 is located closer to the point 252 and the point 253 located near the point 251 which is the current point Select a point (located nearby) as the comparison target point.
  • the point cloud data located before the predetermined distance r with respect to the current point of the point cloud data before the position information is updated, and the point located closest to the current point is selected as the comparison target point. It may be.
  • the comparison target search unit 221 sets a circle 254 of a radius r centered on the point 251 which is the current point, and locates the inside of the circle 254. Of the points 252 and 253, the point located closer (closest) is selected as the comparison target point. In this case, since the maximum value r of the distance between the current point and the comparison target point is set, the comparison target point may not exist. In that case, the exception handling unit 223 performs exception handling.
  • Other algorithms are optional, but may be an algorithm that adapts to a subjective structure to determine comparison targets, such as, for example, reducing errors in edge portions.
  • the comparison target search unit 221 sets a circle 254 of a radius r centered on the point 251 which is the current point, and locates the inside of the circle 254.
  • a point selected according to another algorithm is selected as a point to be compared.
  • a plurality of methods such as these are prepared as candidates, and the comparison object determination method setting unit 232 selects one of these methods.
  • the comparison target determination method setting unit 232 selects any one of these methods based on various conditions (for example, processing speed, quality, compression algorithm, and the like).
  • the comparison target determination method setting unit 232 may have any configuration, for example, it has a CPU, a ROM, a RAM, etc., and the CPU stores programs and data stored in the ROM etc. By loading and executing it, processing concerning setting of the determination method of the comparison target may be performed.
  • the attribute determination method setting unit 233 performs processing relating to setting of the attribute determination method.
  • the method of determining the attribute is arbitrary, for example, one of the attributes of the comparison target point may be selected and applied to the attribute of the current point.
  • the attribute information setting unit 222 sets one of the attribute information of the point 252 and the point 253 which are the comparison target points to the point 251 which is the current point.
  • the average of the attributes of the plurality of comparison target points may be applied to the attribute of the current point.
  • the attribute information setting unit 222 applies the average of the attribute information of both points 252 and 253, which are comparison points, to the point 251, which is the current point. .
  • the attribute of each comparison target point may be weighted, and the average (weighted average) may be applied to the attribute of the current point.
  • the attribute information setting unit 222 applies the weighted average of the attribute information of both the point 252 and the point 253 which are the comparison target to the point 251 which is the current point. Do.
  • the weight (coefficient) may be set, for example, according to the distance from the comparison target point to the current point, the feature (for example, brightness) of the attribute information of the comparison target point, and the like.
  • a plurality of methods such as these are prepared as candidates, and the attribute determination method setting unit 233 selects one of these methods.
  • the attribute determination method setting unit 233 selects one of these methods based on various conditions (for example, processing speed, quality, compression algorithm, and the like).
  • the attribute determination method setting unit 233 may have any configuration.
  • the attribute determination method setting unit 233 includes a CPU, a ROM, a RAM, and the like, and the CPU stores programs and data stored in the ROM and the like in the RAM. By loading and executing, processing regarding setting of a method of determining an attribute may be performed.
  • the exception handling method setting unit 234 performs processing relating to setting of the exception handling method.
  • the exception processing method is optional, but, for example, the current point having no comparison target point may be made invisible.
  • the exception processing unit 223 assigns an invisible attribute (no_color_attribute) to a current point having no comparison target point (sets a bit or defines an invisible color in a header or the like, Set the color).
  • the exception processing unit 223 supplies the attribute information encoding unit 203 with the attribute information to which the invisible attribute is added as update attribute information.
  • a current point having no comparison target point may be excluded from the target of encoding.
  • the encoding apparatus 100 encodes the point cloud from which the point for which the comparison target point is not found is excluded.
  • the encoding method (for example, the mode, the parameter, and the like) may be changed so that a current point having no comparison target point is not generated.
  • the exception processing unit 223 requests, for example, the pre-processing unit 111 or the like to re-encode the point cloud. At that time, the exception processing unit 223 changes the encoding method and requests re-encoding.
  • the change of the encoding method may be any.
  • the threshold DAG TH used for DAG (Directed Acyclic Graph) (also referred to as effective directivity graph) may be changed.
  • a plurality of methods such as these are prepared as candidates, and the exception processing method setting unit 234 selects one of these methods.
  • the exception handling method setting unit 234 selects any one of these methods based on various conditions (for example, processing speed, quality, compression algorithm, etc.).
  • the exception handling method setting unit 234 may have any configuration.
  • the exception processing method setting unit 234 includes a CPU, a ROM, a RAM, and the like, and the CPU stores programs and data stored in the ROM and the like in the RAM. By loading and executing, processing relating to setting of a method of exception handling may be performed.
  • the encoding apparatus 100 can set attribute information to each point so as to suppress the reduction in the subjective image quality of the point cloud by searching for the comparison target in consideration of the change in the position.
  • the comparison method setting unit 231 to the exception processing method setting unit 234 of the control unit 211 are used as in the table shown in A of FIG.
  • the method of each process may be set according to (high speed, high quality (focus on objective index), high quality (focus on subjective index), etc.).
  • the comparison method setting unit 231 to the exception processing method setting unit 234 of the control unit 211 use the application (high speed, as shown in the table of FIG.
  • the method of each processing may be set according to high quality (focus on objective index), high quality (focus on subjective index), and the like.
  • the encoding device 100 can suppress an increase in unnecessary processing load and processing time.
  • the preprocessing unit 111 preprocesses the input data in step S101.
  • step S102 the bounding box setting unit 112 sets a bounding box for the preprocessed data.
  • step S103 the voxel setting unit 113 sets a voxel in the bounding box set in step S102.
  • step S104 the signal sequence generator 114 generates a signal sequence based on the data structure.
  • step S105 the encoding unit 115 encodes the signal sequence generated by the process of step S104.
  • step S106 the encoding unit 115 outputs the bit stream obtained by the encoding to the outside of the encoding apparatus 100.
  • This bit stream is, for example, transmitted to the decoding side (decoding device etc.) or recorded on a recording medium.
  • step S106 ends, the encoding process ends.
  • the encoding target is a moving image
  • this series of processing is performed for each frame.
  • the geometric information encoding unit 201 encodes voxel data in step S121.
  • step S122 the attribute information update unit 202 updates the attribute information.
  • step S123 the attribute information encoding unit 203 encodes the attribute information updated in step S122.
  • step S124 the combining unit 204 combines the bit stream obtained by the process of step S121 and the bit stream obtained by the process of step S123.
  • step S124 ends, the signal sequence encoding process ends, and the process returns to FIG.
  • control unit 211 When the attribute information update process is started, the control unit 211 performs control process in step S141 to determine the method of each process.
  • step S142 the comparison target search unit 221 searches for comparison target points in accordance with the comparison target determination method set in step S141.
  • step S143 the attribute information setting unit 222 determines whether to set attribute information at the current point. If it is determined that the attribute information is to be set, the process proceeds to step S144.
  • step S144 the attribute information setting unit 222 sets the attribute information of the current point according to the comparison method and the attribute determination method set in step S141.
  • step S144 When the process of step S144 ends, the process proceeds to step S145. Further, in step S143, for example, when it is determined that the comparison target point is not found and the attribute information is not set to the current point, the processing proceeds to step S145.
  • step S145 the exception processing unit 223 determines whether to perform exception processing. For example, when it is determined that the comparison target point is not found and the exception processing is performed, the processing proceeds to step S146.
  • step S146 the exception processing unit 223 performs exception processing in accordance with the exception processing method set in step S141.
  • step S146 When the process of step S146 ends, the attribute information update process ends, and the process returns to FIG. Further, in step S145, for example, if the comparison target point is found and it is determined that the exception processing is not performed, the processing of step S146 is omitted, the attribute information update processing ends, and the processing returns to FIG.
  • the comparison method setting unit 231 sets the comparison method in step S161 and supplies the setting to the attribute information setting unit 222.
  • step S162 the comparison target determination method setting unit 232 sets the comparison target determination method, and supplies the setting to the comparison target search unit 221.
  • step S163 the attribute determination method setting unit 233 sets the attribute determination method, and supplies the setting to the attribute information setting unit 222.
  • step S164 the exception handling method setting unit 234 sets the exception handling method, and supplies the setting to the exception handling unit 223.
  • step S164 ends, the control process ends.
  • the encoding device 100 can suppress an increase in unnecessary processing load and processing time.
  • a of FIG. 16 compares the value of PSNR of each method with respect to each component of YUV
  • B of FIG. 16 is a bar graph of it.
  • the white bar graph in FIG. 16B corresponds to Dag ORG in the table in FIG. 16A
  • the hatched bar graph in B in FIG. 16 corresponds to Dag BtoA in the table in FIG.
  • the meshed bar graph corresponds to Dag New in the table of FIG.
  • the present technology can be applied to improve PSNR by searching for comparison targets in consideration of changes in position. Therefore, it is possible to suppress the reduction of the subjective image quality of the point cloud.
  • ⁇ Decoding device The decoding device that decodes the bit stream generated by the encoding device 100 decodes the attribute information as well as the geometrical information. Also, when the invisible attribute (no_color_attribute) is set for the point, the decoding device performs processing to make the point invisible.
  • FIG. 17 is a block diagram illustrating an exemplary main configuration of a decoding device which is an embodiment of an information processing device to which the present technology is applied.
  • the decoding device 300 shown in FIG. 17 is a decoding device corresponding to the coding device 100 of FIG. 5, for example, decodes point cloud coding data generated by the coding device 100 and outputs point cloud data. Restore.
  • the decoding device 300 includes a decoding unit 301, a voxel data generation unit 302, and a point cloud processing unit 303.
  • the decoding unit 301 performs processing related to decoding of a bitstream. For example, the decoding unit 301 decodes a bitstream by a decoding method corresponding to the encoding method of the encoding unit 115, and extracts a signal sequence of geometry information and attribute information from the bitstream. The decoding unit 301 supplies the signal sequence extracted from the bit stream to the voxel data generation unit 302.
  • the decryption unit 301 may have any configuration, for example, the decryption unit 301 has a CPU, a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM. Processing may be performed on decoding by executing the process.
  • the voxel data generation unit 302 performs processing related to generation of voxel data. For example, the voxel data generation unit 302 generates voxel data corresponding to the signal sequence supplied from the decoding unit 301. The voxel data generation unit 302 supplies the generated voxel data to the point cloud processing unit 303.
  • the voxel data generation unit 302 may have any configuration.
  • the voxel data generation unit 302 includes a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to the generation of voxel data may be performed by executing the processing.
  • the point clouding processing unit 303 performs processing on restoration of point cloud data. For example, the point cloud processing unit 303 converts the supplied voxel data into point cloud data (generates decoded point cloud data). Note that the point clouding processing unit 303 may further convert the decoded point cloud data into mesh data.
  • the point clouding processing unit 303 outputs the generated decryption point cloud data (or mesh data) to the outside of the decryption apparatus 300.
  • the output decoding point cloud data (or Mesh data) may be subjected to image processing by, for example, a processing unit at a later stage (not shown) and displayed on a monitor as image information, or a communication unit (not shown). And may be transmitted to another apparatus via a predetermined transmission path, or may be recorded on a recording medium (not shown).
  • the point cloud processing unit 303 may have any configuration, for example, it has a CPU, a ROM, a RAM, and the like, and the CPU stores programs and data stored in the ROM and the like in the RAM. By loading and executing, processing relating to restoration of point cloud data may be performed.
  • the decoding device 300 can correctly decode the bitstream generated by the encoding device 100. Therefore, the decoding device 300 can realize suppression of reduction in subjective image quality.
  • FIG. 18 is a block diagram showing a main configuration example of the decoding unit 301. As shown in FIG. As illustrated in FIG. 18, the decoding unit 301 includes a geometry information decoding unit 321, an attribute information decoding unit 322, and an invisible processing unit 323.
  • the geometry information decoding unit 321 decodes the supplied bit stream to extract a signal sequence of geometry information.
  • the geometry information decoding unit 321 supplies the signal sequence of the extracted geometry information to the voxel data generation unit 302 (FIG. 17).
  • the geometry information decoding unit 321 may have any configuration, but for example, it has a CPU, a ROM, a RAM, etc., and the CPU stores programs and data stored in the ROM etc. in the RAM. Processing concerning decoding of geometrical information may be performed by loading and executing.
  • the attribute information decoding unit 322 decodes the supplied bit stream, and extracts a signal sequence of attribute information (updated attribute information).
  • the attribute information decoding unit 322 supplies the signal sequence of the extracted attribute information (updated attribute information) to the invisible processing unit 323.
  • the attribute information decoding unit 322 may have any configuration, but for example, the CPU has a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM. A process related to decoding of attribute information may be performed by executing the process.
  • the invisible processing unit 323 performs invisible processing to make the point to which the invisible attribute (no_color_attribute) is given invisible by using the signal sequence of the supplied attribute information (update attribute information).
  • the invisible processing unit 323 supplies a signal sequence of attribute information (updated attribute information) appropriately subjected to the invisible processing to the voxel data generation unit 302 (FIG. 17).
  • the invisible processing unit 323 may have any configuration.
  • the invisible processing unit 323 has a CPU, a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM.
  • the processing related to the invisible may be performed by executing it.
  • the decoding device 300 can correctly decode the bit stream generated by the coding device 100. Therefore, the decoding device 300 can realize the suppression of the reduction in the subjective image quality of the point cloud.
  • step S301 the decoding unit 301 decodes the bit stream and extracts a signal sequence.
  • step S302 the voxel data generation unit 302 restores voxel data from the signal sequence extracted in step S301.
  • step S303 the point cloud processing unit 303 restores point cloud data from the voxel data obtained by the process of step S302.
  • step S304 the point clouding processing unit 303 outputs the restored point cloud data (decryption point cloud data) to the outside of the decryption apparatus 300.
  • step S304 ends, the decoding process ends.
  • the geometry information decoding unit 321 decodes the geometry information bitstream in step S321.
  • step S322 the attribute information decoding unit 322 decodes the bit stream of the attribute information.
  • step S323 the invisible processing unit 323 determines whether to perform invisible processing. If it is determined that the point to which the invisible attribute is assigned is present and the invisible process is to be performed on the point, the process proceeds to step S324.
  • step S324 the invisible processing unit 323 performs invisible processing on the point to which the invisible attribute is assigned.
  • step S324 When the process of step S324 ends, the bitstream decoding process ends, and the process returns to FIG. If it is determined in step S323 that the invisible process is not to be performed, the process of step S324 is omitted, the bitstream decoding process ends, and the process returns to FIG.
  • the decoding device 300 can realize the suppression of the reduction in the subjective image quality of the point cloud.
  • both the point 412 and the point 413 are set as the comparison target points with respect to the point 411 which is the current point in the voxel 410, both the point 412 and the point 413
  • the attribute information of may be set to the point 411.
  • each of a plurality of pieces of attribute information may be set in directions different from each other as viewed from the current point.
  • the attribute information to be applied may be changed according to the direction (viewpoint direction) of accessing the current point.
  • the direction in which each attribute information is applied in other words, the direction in which the applied attribute information is switched.
  • the number of pieces of attribute information for example, the number of colors
  • the number of pieces of attribute information may be specified. For example, as shown in FIG. 22, even if information (num_of_color_attribute) indicating the number of attribute information that can be set to the current point, and information (arrangement_type) indicating the direction (axis) to switch attribute information are set. Good.
  • a of FIG. 22 is an example in the case of setting two pieces of attribute information at the current point. As shown in A of FIG. 22, although the number of pieces of attribute information is the same, the direction in which the attribute information is assigned changes according to the value of arrangement_type.
  • B of FIG. 22 is an example in the case of setting many attribute information by a current point. As shown in B of FIG. 22, the number of pieces of attribute information set to the current point changes according to the value of num_of_color_attribute. And the direction to which each attribute information is allocated also changes according to the number of the attribute information.
  • attribute information may be switched at the boundary, and attribute information on both sides of the boundary may be mixed (blended) near the boundary.
  • attribute information on both sides of the boundary may be mixed (blended) near the boundary.
  • the color may gradually change as the viewpoint direction changes.
  • the division method of the direction which allocates attribute information is arbitrary, and is not limited to the above-mentioned example.
  • it may be divided in the latitude direction and the longitude direction. That is, information indicating the number of divisions in the latitudinal direction (num_of_color_attribute_split_latitude (n_lat)) and information indicating the number of divisions in the longitudinal direction (num_of_color_attribute_split_longitude (n_long)) may be set as the attribute information allocation direction.
  • a of FIG. 23 shows an example of division in the latitude direction.
  • B of FIG. 23 shows an example of division in the longitudinal direction.
  • the division number in the latitude direction and the division number in the longitude direction may be set independently of each other.
  • identification information (#) may be provided in which the values of these two parameters are collectively set.
  • attribute information may be allocated in the same manner as in the case of assigning one piece of attribute information described above to each direction to which attribute information of the current point can be assigned.
  • attribute information of the points 412 and 413 are based on the point 411. , Located in different directions. Therefore, in this case, the attribute information of the point 412 is assigned to the direction on the point 412 side of the point 411 in the same manner as in the case of assigning one attribute information described above.
  • the attribute information of the point 413 may be assigned in the same manner as in the case of assigning one attribute information described above.
  • the attribute information update unit 202 has the same configuration as that in the case of FIG. An example of the flow of the attribute information update process in this case will be described with reference to the flowchart of FIG.
  • control unit 211 When the attribute information update process is started, the control unit 211 performs control process in step S401 to determine the method of each process. This control process is the same as that in the case of FIG.
  • step S402 the comparison target search unit 221 searches for comparison target points according to the comparison target determination method set in step S401.
  • step S403 the control unit 211 sets a processing target angle, that is, a direction (current direction) in which attribute information of the current point is set.
  • step S404 the attribute information setting unit 222 determines whether to set attribute information in the current direction of the current point. If it is determined that the attribute information is to be set, the process proceeds to step S405.
  • step S405 the attribute information setting unit 222 sets attribute information in the current direction of the current point in accordance with the comparison method and the attribute determination method set in step S401.
  • step S405 When the process of step S405 ends, the process proceeds to step S406. Further, in step S404, for example, when it is determined that the comparison target point is not found in the current direction and the attribute information is not set in that direction, the processing proceeds to step S406.
  • step S406 the exception processing unit 223 determines whether to perform exception processing. For example, if the comparison target point is not found in the current direction and it is determined that exception processing is to be performed, the processing proceeds to step S407.
  • step S407 the exception processing unit 223 performs exception processing according to the exception processing method set in step S401.
  • step S407 ends, the process proceeds to step S408. Further, in step S406, for example, when the comparison target point is found in the current direction and it is determined that exception processing is not performed, the processing of step S407 is omitted, and the processing proceeds to step S408.
  • step S408 the control unit 211 determines whether there is an unprocessed angle. If it is determined that there is an unprocessed angle, the process returns to step S403. In step S403, an unprocessed angle is set as a processing target (the current direction is updated), and the processing after step S404 is repeated.
  • each process of steps S403 to S408 is performed for each direction in which the attribute information of the current point can be set.
  • step S408 If it is determined in step S408 that the process has been performed for all directions, the attribute information update process ends, and the process returns to FIG.
  • the encoding device 100 can suppress the reduction in subjective image quality of the point cloud.
  • ⁇ Display device> When displaying a point cloud including points for which a plurality of pieces of attribute information are set, the attribute information used for display is selected according to the viewpoint direction.
  • FIG. 26 is a block diagram illustrating a main configuration example of a display device which is an embodiment of an information processing device to which the present technology is applied.
  • the display device 500 shown in FIG. 26 is a device for displaying a point cloud including points for which a plurality of attribute information are set.
  • the display device 500 includes a point cloud data acquisition unit 501, a viewpoint direction setting unit 502, a geometric information drawing unit 503, an attribute information drawing unit 504, and a display unit 505.
  • the point cloud data acquisition unit 501 acquires point cloud data including points for which a plurality of pieces of attribute information are set, from the outside of the display device 500.
  • the point cloud data acquisition unit 501 supplies the acquired point cloud data to the viewpoint direction setting unit 502.
  • the point cloud data acquisition unit 501 may have any configuration.
  • the point cloud data acquisition unit 501 has a CPU, a ROM, a RAM, and the like, and the CPU stores programs and data stored in the ROM and the like in the RAM. By loading and executing, processing regarding acquisition of point cloud data may be performed.
  • the viewpoint direction setting unit 502 sets a plane (viewpoint direction) on which the point cloud is to be displayed.
  • the viewpoint direction setting unit 502 receives an instruction input from the outside such as a user operation and the like, and sets the viewpoint direction based on the instruction.
  • the method of setting the viewpoint direction is arbitrary, and for example, the viewpoint direction setting unit 502 sets the viewpoint direction according to a predetermined predetermined pattern, and sets the viewpoint direction based on other than the above instruction input. You may When setting the viewpoint direction, the viewpoint direction setting unit 502 supplies point cloud data and information indicating the viewpoint direction to the geometric information drawing unit 503.
  • the view direction setting unit 502 may have any configuration, but for example, the CPU has a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM.
  • the processing related to the setting of the viewpoint direction may be performed by executing the processing.
  • the geometrical information drawing unit 503 draws geometrical information of the point cloud data based on the set viewpoint direction.
  • the geometry information drawing unit 503 supplies the point cloud data, the information indicating the viewpoint direction, and the drawing result thereof to the attribute information drawing unit 504.
  • the geometrical information drawing unit 503 may have any configuration, but for example, it has a CPU, a ROM, a RAM, etc., and the CPU stores programs and data stored in the ROM etc. in the RAM. By loading and executing, processing concerning drawing of geometric information may be performed.
  • the attribute information drawing unit 504 selects attribute information of each point based on the set viewpoint direction, and draws the selected attribute information.
  • the attribute information drawing unit 504 supplies the drawing result of the geometric information and the attribute information to the display unit 505.
  • the attribute information drawing unit 504 may have any configuration.
  • the attribute information drawing unit 504 has a CPU, a ROM, a RAM, etc., and the CPU loads programs and data stored in the ROM etc. into the RAM.
  • the processing related to the drawing of the attribute information may be performed by executing the processing.
  • the display unit 505 displays the supplied drawing result of the geometric information and the attribute information on the monitor.
  • the point cloud data acquisition unit 501 acquires point cloud data in step S502.
  • step S502 the viewpoint direction setting unit 502 sets a viewpoint direction for displaying the point cloud.
  • step S503 the geometrical information drawing unit 503 draws geometrical information of the point cloud data according to the viewpoint direction set in step S502.
  • step S504 the attribute information drawing unit 504 selects attribute information in accordance with the viewpoint direction set in step S502, and draws the selected attribute information.
  • step S505 the display unit 505 displays the image of the geometric information and the attribute information drawn in steps S503 and S504.
  • step S505 ends, the display process ends.
  • the point cloud is displayed as a moving image, the above process is repeated for each frame.
  • the display device 500 can display attribute information according to the viewpoint direction. For example, the color of each point may be changed according to the direction (viewpoint direction) in which the point cloud data is viewed.
  • FIG. 28 is a block diagram illustrating an exemplary main configuration of an image processing apparatus that is an embodiment of an information processing apparatus to which the present technology is applied.
  • An image processing apparatus 600 illustrated in FIG. 28 is an apparatus that performs predetermined image processing in which position information changes, on point cloud data that is input.
  • the image processing apparatus 600 includes an image processing unit 601 and an attribute information updating unit 602.
  • the image processing unit 601 performs predetermined image processing. For example, as in the example shown in FIG. 29, the image processing unit 601 performs point interpolation and resampling (repositioning). In the example of FIG. 29, the point 651 in the state A before processing is resampled, and is converted into the points 652 to 654 in the state B after processing. That is, the number of points is increasing.
  • the image processing unit 601 supplies the point cloud data before and after processing to the attribute information updating unit 602.
  • the image processing unit 601 may have any configuration.
  • the image processing unit 601 has a CPU, a ROM, a RAM, and the like, and the CPU loads programs and data stored in the ROM and the like into the RAM.
  • the processing related to the image processing may be performed by executing the processing.
  • the attribute information update unit 602 updates attribute information using the point cloud data before and after the supplied image processing.
  • the attribute information update unit 602 has the same configuration as the attribute information update unit 202 (FIG. 8) and performs the same processing.
  • the attribute information update unit 602 searches the comparison target point corresponding to the current point from the point before the process, so the above-mentioned quantum
  • the attribute information can be updated according to the change of the position information as in the case of
  • step S601 the image processing unit 601 performs image processing accompanied by updating of geometrical information.
  • step S602 the attribute information update unit 602 updates the point cloud attribute information so as to correspond to the update of the geometric information (change in position information) in the image processing of step S601.
  • This attribute information update process is performed in the same flow as the case described with reference to the flowchart of FIG. 14, and thus the description thereof is omitted.
  • step S602 ends, the image processing ends.
  • the image processing apparatus 600 can suppress the reduction in the subjective image quality of the point cloud.
  • the series of processes described above can be performed by hardware or software. In addition, some processes may be executed by hardware and other processes may be executed by software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 31 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 901, a read only memory (ROM) 902, and a random access memory (RAM) 903 are mutually connected via a bus 904.
  • An input / output interface 910 Also connected to the bus 904 is an input / output interface 910.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, and an output terminal.
  • the storage unit 913 is formed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives removable media 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program. Processing is performed.
  • the RAM 903 also stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable media 921 to the drive 915.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in the ROM 902 or the storage unit 913.
  • the present technology relates to any configuration that configures an apparatus or system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, a unit using a plurality of modules, etc. It can also be implemented as a set or the like with additional functions (ie, part of the configuration of the device).
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors a unit using a plurality of modules, etc.
  • additional functions ie, part of the configuration of the device.
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the above-described processing unit may be realized with any configuration as long as it has the function described for the processing unit.
  • the processing unit may be configured by any circuit, an LSI, a system LSI, a processor, a module, a unit, a set, a device, an apparatus, a system, or the like.
  • a plurality of them may be combined.
  • the same type of configuration may be combined as a plurality of circuits, a plurality of processors, or the like, or different types of configurations such as a circuit and an LSI may be combined.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • the program described above can be executed on any device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processes described as a plurality of steps can be collectively performed as one step.
  • the program executed by the computer may be such that the processing of the steps describing the program is executed in chronological order according to the order described in this specification, in parallel or when a call is made, etc. It may be executed individually at the necessary timing of That is, as long as no contradiction arises, the processing of each step may be performed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • An attribute information setting unit configured to compare the comparison target point searched by the search unit with a current point and set attribute information of the current point.
  • the search unit is configured to locate a point located closer than a predetermined distance to the current point of the point cloud data before the position information is updated, and the point located closest to the current point as the comparison target point
  • the information processing apparatus according to (1) or (2).
  • the search unit is selected according to another algorithm of the point cloud data before the position information is updated, and a point located closer than a predetermined distance with respect to the current point is the comparison target point
  • the information processing apparatus according to any one of (1) to (3).
  • the attribute information setting unit sets the attribute information based on the positional relationship between points in the direction from the point cloud data before the position information is updated to the point cloud data in which the position information is updated.
  • the information processing apparatus according to any one of 1) to (4).
  • the attribute information setting unit sets the attribute information based on the positional relationship between points in the direction from the point cloud data whose position information has been updated to the point cloud data before the position information is updated.
  • An information processing apparatus according to any one of 1) to (5).
  • the attribute information setting unit updates the position information from the direction from the point cloud data before the position information is updated to the point cloud data whose position information is updated and the point cloud data whose position information is updated.
  • the information processing apparatus according to any one of (1) to (6), wherein the attribute information is set based on a positional relationship between both points in a direction toward the point cloud data before being processed.
  • the attribute information setting unit selects any one of the plurality of comparison target points searched by the search unit, and sets the attribute information of the current point.
  • the information processing apparatus according to any one of 7).
  • the attribute information setting unit sets an average of attribute information of the plurality of comparison target points searched by the search unit to the attribute information of the current point (1) to (8) Information processor as described.
  • the attribute information setting unit sets the weighted average of each attribute information of the plurality of comparison target points searched by the search unit to the attribute information of the current point (1) to (9) Information processing apparatus described in.
  • (11) The information processing apparatus according to (10), wherein the weight is a distance based on a distance between the comparison target point and the current point or a feature of attribute information of the comparison target point.
  • (12) The information processing apparatus according to any one of (1) to (11), further including an exception processing unit that performs predetermined exception processing when the comparison target point does not exist.
  • the information processing apparatus controls the method of determining the attribute information based on at least one of processing speed, quality, and compression algorithm.
  • the control unit further controls a comparison method of the current point and the comparison target point, The information processing apparatus according to (16) or (17), wherein the attribute information setting unit compares the current point with the comparison target point using a comparison method selected by the control unit.
  • the control unit controls a method of determining the comparison target point, The information processing apparatus according to any one of (16) to (18), wherein the search unit determines the comparison target point using the determination method selected by the control unit.
  • the system further comprises an exception processing unit that performs predetermined exception processing when the comparison target point does not exist.
  • the control unit controls a method of the exception handling, The information processing apparatus according to any one of (16) to (19), wherein the exception processing unit performs exception processing selected by the control unit.
  • the attribute information setting unit sets each of the plurality of attribute information in directions different from each other as viewed from the current point.
  • the information processing apparatus according to (22) or (23), wherein the attribute information setting unit sets information indicating the number of divisions in the latitudinal direction and the longitudinal direction as the direction of allocating the attribute information.
  • the point cloud data in which the position information is updated is voxel data obtained by quantizing the point cloud data.
  • the attribute information includes at least one of color information, an ⁇ channel, and a normal vector.
  • a point to be compared which is a point to be compared with the current point that is the point to be processed of the point cloud data whose position information is updated, is searched.
  • An information processing method comprising: comparing the searched comparison point with a current point, and setting attribute information of the current point.
  • 100 encoding device 101 control unit, 111 preprocessing unit, 112 bounding box setting unit, 113 voxel setting unit, 114 signal sequence generation unit, 115 encoding unit, 201 geometric information encoding unit, 202 attribute information updating unit, 203 attribute information encoding unit, 204 combining unit, 221 comparison object search unit, 222 attribute information setting unit, 223 exception processing unit, 231 comparison method setting unit, 232 comparison object determination method setting unit, 233 attribute determination method setting unit, 234 Exception processing method setting unit, 300 decoding unit, 301 decoding unit, 302 voxel data generation unit, 303 point cloud processing unit, 321 geometry information decoding unit, 322 attribute information decoding unit, 323 invisible processing unit, 500 display unit , 501 point cloud data acquisition unit, 502 viewpoint direction setting unit, 503 geometric information drawing unit, 504 attribute information drawing unit, 505 display unit, 600 image processing apparatus, 601 image processing unit, 602 attribute information update unit, 900 the computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本開示は、主観画質の低減を抑制することができるようにする情報処理装置および方法に関する。 位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索し、その探索された比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、主観画質の低減を抑制することができるようにした情報処理装置および方法に関する。
　従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュの頂点データの圧縮方法として、例えばOctree等のような、ボクセル（Voxel）を用いた量子化があった（例えば非特許文献１参照）。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
　しかしながら、一般的に、このような位置情報の量子化によって、Geometry情報（幾何学情報）が歪み、ポイントの位置がずれる場合が多い。したがって、色情報等の属性情報の位置関係も歪み、比較対象のポイントが変わったり、増減したりして、PSNR（Peak Signal-to-Noise Ratio）が低減するおそれがあった。すなわち、ポイントクラウドの主観画質が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、主観画質の低減を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索する探索部と、前記探索部により探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する属性情報設定部とを備える情報処理装置である。
　本技術の一側面の情報処理方法は、位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索し、探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントが探索され、その探索された比較対象ポイントとカレントポイントとが比較され、カレントポイントの属性情報が設定される。
　本開示によれば、情報を処理することができる。特に、主観画質の低減を抑制することができる。
ポイントクラウドの例を説明する図である。 量子化等によるポイントの変化の例を説明する図である。 量子化等によるポイントの変化の例を説明する図である。 量子化等によるポイントの変化の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 符号化の概要の例を説明する図である。 符号化部の主な構成例を示すブロック図である。 属性情報更新部の主な構成例を示すブロック図である。 制御部の主な構成例を示すブロック図である。 ポイントの位置の変化の様子の例を示す図である。 属性情報決定方法の制御の例を説明する図である。 符号化処理の流れの例を説明するフローチャートである。 信号列符号化処理の流れの例を説明するフローチャートである。 属性情報更新処理の流れの例を説明するフローチャートである。 制御処理の流れの例を説明するフローチャートである。 PSNRの比較の例を説明する図である。 復号装置の主な構成例を示すブロック図である。 復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 ビットストリーム復号処理の流れの例を説明するフローチャートである。 複数の属性情報を設定する様子の例を説明する図である。 属性情報の割り当て方の例を説明する図である。 属性情報の割り当て方の例を説明する図である。 属性情報の設定の仕方の例を説明する図である。 属性情報更新処理の流れの例を説明するフローチャートである。 表示装置の主な構成例を示すブロック図である。 表示処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 ポイントの補間・リサンプルの様子の例を説明する図である。 画像処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．位置情報が更新されたポイントへの単数属性情報の設定
　２．第１の実施の形態（符号化装置：単数属性情報の設定）
　３．第２の実施の形態（復号装置：単数属性情報の設定）
　４．第３の実施の形態（符号化装置：複数属性情報の設定）
　５．第４の実施の形態（表示装置：複数属性情報の設定）
　６．第５の実施の形態（画像処理装置）
　７．その他
　＜１．位置情報が更新されたポイントへの単数属性情報の設定＞
　　＜ポイントクラウド＞
　従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
　例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点（ポイントデータ）の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
　しかしながら、このようなポイントクラウドやメッシュ等のデータはそのデータ量が比較的大きいので、符号化等によるデータ量の圧縮が求められている。例えば、OctreeやKDtree等といったボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、符号化対象の位置情報を量子化するためのデータ構造である。
　　＜位置情報の量子化における属性情報の設定＞
　一般的に、このような位置情報の量子化によって、Geometry情報（幾何学情報）が歪み、ポイントの位置がずれる場合が多い。各ポイントには、位置情報（幾何学情報）とともに属性情報も設定されている。したがって、このような量子化により、色情報等の属性情報の位置関係も歪み、比較対象のポイントが変わったり、増減したりして、PSNR（Peak Signal-to-Noise Ratio）が低減するおそれがあった。すなわち、ポイントクラウドの主観画質が低減するおそれがあった。
　そこで、位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索し、その探索により特定した比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定するようにする。
　例えば、情報処理装置において、位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索する探索部と、その探索部により探索された比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する属性情報設定部とを備えるようにする。
　このように、位置情報の変化を考慮しながら比較対象ポイントを特定し、その属性情報を利用して、処理対象であるカレントポイントの属性情報を設定することにより、位置情報の変化に伴う属性情報（色情報等）の変化を抑制することができる。したがって、PSNRの低減を抑制し、ポイントクラウドの主観画質の低減（見た目の変化）を抑制することができる。
　　＜設定の概要＞
　このような設定の概要を、図２乃至図４を参照して説明する。図２乃至図４は、位置情報の量子化によるポイントの変化の様子を示している。これらの図中のＡは、量子化前のポイントクラウドを模式的に示したものである。また、これらの図中のＢは、量子化後のポイントクラウドを模式的に示したものである。AtoBの各矢印は、量子化後を基準とする場合の、量子化前のポイントと量子化後のポイントとの対応関係を示しており、BtoAの各矢印は、その逆、すなわち、量子化前を基準とする場合の、量子化前のポイントと量子化後のポイントとの対応関係を示している。
　例えば、図２は、量子化によりポイントの位置も数も略変化しない場合の例を示している。この場合、AtoBにおいては、量子化後のポイント１３にとっての比較対象は、ポイント１３と略同じ位置に位置する量子化前のポイント１１である（量子化後のポイント１３は、量子化前のポイント１１に対応する）。また、BtoAにおいては、量子化前のポイント１１にとっての比較対象は、ポイント１１と略同じ位置に位置する量子化後のポイント１３である（量子化前のポイント１１は、量子化後のポイント１３に対応する）。
　同様に、AtoBにおいては、量子化後のポイント１４にとっての比較対象は、ポイント１４と略同じ位置に位置する量子化前のポイント１２であり、BtoAにおいては、量子化前のポイント１２にとっての比較対象は、ポイント１２と略同じ位置に位置する量子化後のポイント１４である。
　つまり、この場合、AtoBとBtoAのどちら向きでもポイントの対応関係は変化しない。したがって、ポイント１３の属性情報（ｉ’）には、ポイント１１の属性情報（ｉ）と略同一の値が設定される。同様に、ポイント１４の属性情報（ｊ’）には、ポイント１２の属性情報（ｊ）と略同一の値が設定される。
　例えば、図３は、量子化によりポイント数が低減する場合の例を示している。この場合、AtoBにおいては、量子化後のポイント２３にとっての比較対象は、量子化前のポイント２１およびポイント２２である（量子化後のポイント２３は、量子化前のポイント２１およびポイント２２に対応する）。また、BtoAにおいては、量子化前のポイント２１にとっての比較対象は、ポイント２１と略同じ位置に位置する量子化後のポイント２３である（量子化前のポイント２１は、量子化後のポイント２３に対応する）。
　したがって、ポイント２３の属性情報（ｉ’）には、ポイント２１の属性情報（ｉ）およびポイント２２の属性情報（ｊ）を用いて生成された値、または、ポイント２１の属性情報（ｉ）と略同一の値が設定される。
　例えば、図４は、量子化によりポイント数が増大する、または、ポイントの位置がずれる場合の例を示している。この場合、AtoBにおいては、量子化後のポイント３３にとっての比較対象は、量子化前のポイント３２である（量子化後のポイント３３は、量子化前のポイント３２に対応する）。また、BtoAにおいては、量子化前のポイント３１にとっての比較対象は、量子化後のポイント３４である（量子化前のポイント３１は、量子化後のポイント３４に対応する）。
　したがって、ポイント３３の属性情報（ｉ’）には、ポイント３２の属性情報（ｊ）と略同一の値が設定される。また、ポイント３４の属性情報（ｊ’）には、ポイント３１の属性情報（ｉ）と略同一の値が設定される。
　このように位置の変化を考慮して比較対象を探索することにより、ポイントクラウドの主観画質の低減を抑制するように、各ポイントに属性情報を設定することができる。
　なお、以下においては処理対象のデータとしてポイントクラウドを例に本技術の説明を行うが、本技術は、ポイントクラウドに限らず、例えばメッシュ等、３次元構造を示し、属性情報の設定が可能なデータであればどのような処理対象に対しても適用することができる。また、この処理対象は、動画像であってもよいし、静止画像であってもよい。
　＜２．第１の実施の形態＞
　　＜符号化装置＞
　図５は、本技術を適用した情報処理装置の一実施の形態である符号化装置の主な構成例を示すブロック図である。図５に示される符号化装置１００は、符号化対象として入力されたポイントクラウドのデータを、ボクセルを用いて符号化し、得られた符号化データ等を出力する。その際、符号化装置１００は、以下に説明するように本技術を適用した方法でこの符号化を行う。
　図５に示されるように、符号化装置１００は、制御部１０１、前処理部１１１、バウンディングボックス設定部１１２、ボクセル設定部１１３、信号列生成部１１４、および符号化部１１５を有する。
　制御部１０１は、符号化装置１００内の各処理部の制御に関する処理を行う。例えば、制御部１０１は、各処理部による処理の実行またはスキップ（省略）を制御する。例えば、制御部１０１は、所定の制御情報に基づいてそのような制御を行う。このようにすることにより、制御部１０１は、不要な処理の実行を抑制することができ、負荷の増大を抑制することができる。
　制御部１０１は、どのような構成を有するようにしてもよいが、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
　前処理部１１１は、制御部１０１により制御され、符号化装置１００に入力される符号化対象（ポイントクラウドのデータ）に対して、前処理として所定の処理を施し、処理後のデータをバウンディングボックス設定部１１２に供給する。
　例えば、制御部１０１は、前処理の実行を許可または禁止する制御情報に従って、前処理の実行が許可されている（禁止されていない）場合に、前処理部１１１に前処理を実行させる。また、例えば、制御部１０１は、前処理の実行の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、前処理の実行が許可されている（禁止されていない）符号化対象に対して、前処理部１１１に前処理を実行させる。さらに例えば、制御部１０１は、実行を許可または禁止する処理内容を指定する制御情報に従って、実行が許可されている（禁止されていない）処理を前処理部１１１に実行させる。このようにすることにより、不要な前処理の実行を抑制することができ、負荷の増大を抑制することができる。
　なお、前処理の内容は任意である。例えば、前処理部１１１が、前処理として、ノイズを低減させる処理を施すようにしても良いし、解像度（点の数）を変更する処理を行うようにしても良い。また例えば、点群の密度を均等にしたり、所望の偏りを持たせたりするように、各点の配置を更新するようにしてもよい。さらに例えば、奥行き情報を有する画像情報等のようなポイントクラウドでないデータが符号化装置１００に入力されるようにし、前処理部１１１が、前処理として、その入力されたデータをポイントクラウドのデータに変換するようにしてもよい。
　前処理部１１１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、前処理を行うようにしてもよい。
　バウンディングボックス設定部１１２は、制御部１０１により制御されて、符号化対象の位置情報を正規化するためのバウンディングボックスの設定に関する処理を行う。
　例えば、制御部１０１は、バウンディングボックスの設定の許可または禁止する制御情報に従って、そのバウンディングボックスの設定が許可されている（禁止されていない）場合に、バウンディングボックス設定部１１２にそのバウンディングボックスを設定させる。また、例えば、制御部１０１は、バウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのバウンディングボックスの設定が許可されている（禁止されていない）符号化対象に対して、バウンディングボックス設定部１１２にそのバウンディングボックスを設定させる。さらに例えば、制御部１０１は、バウンディングボックスの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、バウンディングボックス設定部１１２に、使用が許可されている（禁止されていない）パラメータを用いてバウンディングボックスを設定させる。このようにすることにより、不要なバウンディングボックスの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
　例えば、バウンディングボックス設定部１１２は、符号化対象の各オブジェクトに対するバウンディングボックスを設定する。例えば、図６のＡに示されるように、ポイントクラウドのデータによりオブジェクト１３１やオブジェクト１３２が表現されている場合、バウンディングボックス設定部１１２は、図６のＢに示されるように、そのオブジェクト１３１やオブジェクト１３２をそれぞれ包含するようにバウンディングボックス１４１やバウンディングボックス１４２を設定する。図５に戻り、バウンディングボックスが設定されると、バウンディングボックス設定部１１２は、そのバウンディングボックスに関する情報をボクセル設定部１１３に供給する。
　なお、バウンディングボックス設定部１１２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、バウンディングボックスの設定に関する処理を行うようにしてもよい。
　ボクセル設定部１１３は、制御部１０１により制御されて、符号化対象の位置情報を量子化するためのボクセルの設定に関する処理を行う。
　例えば、制御部１０１は、ボクセルの設定の許可または禁止する制御情報に従って、そのボクセルの設定が許可されている（禁止されていない）場合に、ボクセル設定部１１３にそのボクセルを設定させる。また、例えば、制御部１０１は、ボクセルの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのボクセルの設定が許可されている（禁止されていない）符号化対象に対して、ボクセル設定部１１３にそのボクセルを設定させる。さらに例えば、制御部１０１は、ボクセルの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、ボクセル設定部１１３に、使用が許可されている（禁止されていない）パラメータを用いてボクセルを設定させる。このようにすることにより、不要なボクセルの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
　例えば、ボクセル設定部１１３は、バウンディングボックス設定部１１２により設定されたバウンディングボックス内に、ボクセルを設定する。例えば、ボクセル設定部１１３は、図６のＣに示されるように、バウンディングボックス１４１を分割してボクセル１５１を設定する。つまり、ボクセル設定部１１３は、バウンディングボックス内のポイントクラウドデータをボクセルにより量子化（すなわちボクセル化）する。なお、バウンディングボックスが複数存在する場合、ボクセル設定部１１３は、各バウンディングボックスについてポイントクラウドデータをボクセル化する。つまり、図６のＢの例の場合、ボクセル設定部１１３は、バウンディングボックス１４２に対しても同様の処理を行う。以上のようにしてボクセルが設定されると、ボクセル設定部１１３は、そのボクセル化されたポイントクラウドデータ（ボクセルデータとも称する）（位置情報の量子化のためのデータ構造に関する情報）や属性情報等を、信号列生成部１１４に供給する。
　なお、ボクセル設定部１１３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセルの設定に関する処理を行うようにしてもよい。
　信号列生成部１１４は、制御部１０１により制御され、信号列の生成に関する処理を行う。
　例えば、制御部１０１は、信号列の生成を許可または禁止する制御情報に従って、信号列の生成が許可されている（禁止されていない）場合に、信号列生成部１１４に信号列を生成させる。また、例えば、制御部１０１は、信号列の生成の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の生成が許可されている（禁止されていない）符号化対象に対して、信号列生成部１１４に信号列を生成させる。このようにすることにより、不要な信号列の生成を抑制することができ、負荷の増大を抑制することができる。
　信号列生成部１１４は、例えば、ポイントクラウドデータを量子化したボクセルデータ（例えば図６のＣに示されるようなボクセル設定部１１３により生成されたボクセルデータ）やその他の情報を信号列化し、その信号列を符号化部１１５に供給する。
　なお、信号列生成部１１４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、信号列の生成に関する処理を行うようにしてもよい。
　符号化部１１５は、制御部１０１により制御され、供給された信号列の符号化に関する処理を行う。
　例えば、制御部１０１は、信号列の符号化を許可または禁止する制御情報に従って、信号列の符号化が許可されている（禁止されていない）場合に、符号化部１１５に信号列を符号化させる。また、例えば、制御部１０１は、信号列の符号化の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の符号化が許可されている（禁止されていない）符号化対象に対して、符号化部１１５に信号列を符号化させる。このようにすることにより、不要な信号列の符号化を抑制することができ、負荷の増大を抑制することができる。
　符号化部１１５は、例えば、供給された信号列を符号化し、符号化データ（ビットストリーム）を生成する。この信号列の符号化方法は任意である。例えば、符号化部１１５が、可変長符号化（VLC（Variable Length Code））により信号列を符号化するようにしてもよい。図６のＤは、符号化された信号列の様子の例を示している。
　また、符号化部１１５は、適宜、例えば制御情報等の、ポイントクラウドデータ以外の関連情報も符号化し、ヘッダやパラメータセット等に格納する。
　符号化部１１５は、上述した各種情報のビットストリームを互いに関連付ける。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データに関連付けられた制御情報は、その符号化データとは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データに関連付けられた制御情報は、その符号化データとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　符号化部１１５は、このような符号化により得られた符号化データ（ビットストリーム）を符号化装置１００の外部に出力する。この符号化装置１００より出力されたデータ（符号化データや制御情報）は、例えば、図示せぬ後段の処理部により復号され、ポイントクラウドのデータが復元されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して復号装置等の他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。
　なお、符号化部１１５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、符号化に関する処理を行うようにしてもよい。
　　＜符号化部＞
　図７は、符号化部１１５（図５）の主な構成例を示すブロック図である。図７に示されるように、符号化部１１５は、幾何学情報符号化部２０１、属性情報更新部２０２、属性情報符号化部２０３、および合成部２０４を有する。
　幾何学情報符号化部２０１は、位置情報等の幾何学情報（Geometry情報）の符号化に関する処理を行う。例えば、幾何学情報符号化部２０１は、信号列生成部１１４から供給される幾何学情報（ボクセルデータ）の信号列を符号化し、そのビットストリームを生成する。幾何学情報符号化部２０１は、そのビットストリームを合成部２０４に供給する。
　なお、幾何学情報符号化部２０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、幾何学情報の符号化に関する処理を行うようにしてもよい。
　属性情報更新部２０２は、属性情報の更新に関する処理を行う。例えば、属性情報更新部２０２は、位置情報の量子化に対応させるように、各ポイント（各ボクセル）の属性情報を更新する。この属性情報には、例えば、色情報、αチャンネル、および法線ベクトルの内、少なくともいずれか１つが含まれる。
　例えば、属性情報更新部２０２は、幾何学情報および属性情報を含むポイントクラウドデータ（すなわち、量子化前のデータ）を前処理部１１１（図５）から取得する。また、属性情報更新部２０２は、信号列生成部１１４から、ボクセルデータの信号列（すなわち、量子化後のデータ）を取得する。属性情報更新部２０２は、これらの情報に基づいて、量子化による位置情報の変化に対応させるように、比較の対象とする比較対象ポイントを各ポイント（ボクセル）について設定する。そして、属性情報更新部２０２は、その比較対象ポイントの属性情報を用いて、各ポイントの属性情報を設定する。属性情報更新部２０２は、このように更新した属性情報（更新属性情報）を属性情報符号化部２０３に供給する。
　なお、属性情報更新部２０２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性情報の更新に関する処理を行うようにしてもよい。
　属性情報符号化部２０３は、属性情報の符号化に関する処理を行う。例えば、属性情報符号化部２０３は、属性情報更新部２０２により更新された属性情報である更新属性情報を符号化し、そのビットストリームを生成する。属性情報符号化部２０３は、そのビットストリームを合成部２０４に供給する。
　なお、属性情報符号化部２０３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性情報の符号化に関する処理を行うようにしてもよい。
　合成部２０４は、ビットストリームの合成に関する処理を行う。例えば、合成部２０４は、幾何学情報符号化部２０１から供給される幾何学情報のビットストリームと、属性情報符号化部２０３から供給される属性情報のビットストリームとを合成し、１本のビットストリームにまとめる。なお、このビットストリームには、ヘッダやパラメータセット等のメタデータが含まれるようにしてもよい。合成部２０４は、そのビットストリームを符号化装置１００の外部に出力する。
　なお、合成部２０４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ビットストリームの合成に関する処理を行うようにしてもよい。
　　＜属性情報更新部＞
　図８は、属性情報更新部２０２（図７）の主な構成例を示すブロック図である。図８に示されるように、属性情報更新部２０２は、制御部２１１、比較対象探索部２２１、属性情報設定部２２２、および例外処理部２２３を有する。
　制御部２１１は、比較対象探索部２２１乃至例外処理部２２３の各処理部の動作を制御する。例えば、制御部２１１は、処理条件（外部からの要求）や、処理のモードや処理に用いられるパラメータ等の処理に関する情報に基づいて、比較対象探索部２２１乃至例外処理部２２３が行う各処理の方法等を設定する。
　例えば、制御部２１１は、処理速度、品質、圧縮アルゴリズム等の情報に基づいて、この設定を行う。例えば、制御部２１１は、比較対象決定方法を設定し、比較対象探索部２２１を制御し、その方法で比較対象を決定させる。また、例えば、制御部２１１は、比較方法を設定し、属性情報設定部２２２を制御し、その方法で属性情報の比較を行わせる。また、例えば、制御部２１１は、属性決定方法を設定し、属性情報設定部２２２を制御し、その方法で属性を決定させる。さらに、例えば、制御部２１１は、例外処理方法を設定し、例外処理部２２３を制御し、その方法で例外処理を行わせる。
　なお、制御部２１１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、制御に関する処理を行うようにしてもよい。
　比較対象探索部２２１は、量子化前の幾何学情報（位置変更前幾何学情報）と量子化後の幾何学情報（ボクセル（Voxel）データ）とを取得し、それら用いて、制御部２１１により設定された方法で、カレントポイントと比較する比較対象ポイントを探索する。比較対象ポイントを特定すると、比較対象探索部２２１は、その比較対象ポイントに関する情報である比較対象情報を属性情報設定部２２２に供給する。
　なお、比較対象探索部２２１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、比較対象ポイントの探索に関する処理を行うようにしてもよい。
　属性情報設定部２２２は、比較対象情報の他に、量子化前の属性情報（位置変更前属性情報）を取得する。属性情報設定部２２２は、それらの情報を用いて、制御部２１１により設定された方法でカレントポイントと比較対象ポイントとを比較する。また、属性情報設定部２２２は、比較対象ポイントの属性情報を用いて、制御部２１１により設定された方法でカレントポイントの属性を決定し、属性情報を設定してその属性を反映させる。属性情報設定部２２２は、その設定したカレントポイントの属性情報（位置変更後属性情報）を例外処理部２２３に供給する。この属性情報は、色情報、αチャンネル、および法線ベクトルの内、少なくともいずれか１つを含む。
　なお、属性情報設定部２２２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性情報の設定に関する処理を行うようにしてもよい。
　例外処理部２２３は、比較対象ポイントが見つからない場合、制御部２１１により設定された方法で例外処理を行う。例外処理の詳細については、後述する。例外処理部２２３は、例外処理を行わない場合、属性情報設定部２２２から供給された位置変更後属性情報を更新属性情報として、属性情報符号化部２０３（図７）に供給する。
　なお、例外処理部２２３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、例外処理に関する処理を行うようにしてもよい。
　　＜制御部＞
　図９は、制御部２１１（図８）の主な構成例を示すブロック図である。図９に示されるように、制御部２１１は、例えば、比較方法設定部２３１、比較対象決定方法設定部２３２、属性決定方法設定部２３３、および例外処理方法設定部２３４を有する。
　比較方法設定部２３１は、比較方法の設定に関する処理を行う。比較方法は任意であるが、例えば、図１０のＢに示されるように、AtoBの関係から色を決める方法と、BtoAの関係から色を決める方法と、AtoB, BtoAの両方の関係から色を決める方法とが候補として用意され、比較方法設定部２３１は、これらの中からいずれかの方法を選択する。例えば、比較方法設定部２３１は、各種条件（例えば、処理速度、品質、圧縮アルゴリズム等）に基づいて、これらの中からいずれかの方法を選択する。
　例えば、比較方法設定部２３１が比較方法として、AtoBの関係から色を決める方法を設定した場合、属性情報設定部２２２は、比較対象ポイントであるポイント２５３およびポイント２５２の属性情報を用いて、カレントポイントであるポイント２５１の属性情報を設定する。
　また、例えば、比較方法設定部２３１が比較方法として、BtoAの関係から色を決める方法を設定した場合、属性情報設定部２２２は、比較対象ポイントであるポイント２５３の属性情報を用いて、カレントポイントであるポイント２５１の属性情報を設定する。
　さらに、例えば、比較方法設定部２３１が比較方法として、AtoBおよびBtoAの関係から色を決める方法を設定した場合、属性情報設定部２２２は、ポイント２５２およびポイント２５３の属性情報、または、ポイント２５３の属性情報を用いて、カレントポイントであるポイント２５１の属性情報を設定する。
　なお、比較方法設定部２３１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、比較方法の設定に関する処理を行うようにしてもよい。
　比較対象決定方法設定部２３２は、比較対象の決定方法の設定に関する処理を行う。比較対象の決定方法は任意であるが、例えば、位置情報が更新される前のポイントクラウドデータの、カレントポイントに対して最近傍に位置するポイントを比較対象ポイントとして選択する方法であってもよい。この方法の場合、比較対象探索部２２１は、例えば、図１０のＡに示されるように、カレントポイントであるポイント２５１の近傍に位置するポイント２５２とポイント２５３の内、より近傍に位置する（最近傍に位置する）ポイントを比較対象ポイントとして選択する。
　また、例えば、位置情報が更新される前のポイントクラウドデータの、カレントポイントに対して、所定の距離ｒより近くに位置し、かつ、最近傍に位置するポイントを比較対象ポイントとして選択する方法であってもよい。この方法の場合、比較対象探索部２２１は、例えば、図１０のＡに示されるように、カレントポイントであるポイント２５１を中心とする半径ｒの円２５４を設定し、その円２５４の内部に位置するポイント２５２およびポイント２５３の内、より近傍に位置する（最近傍に位置する）ポイントを比較対象ポイントとして選択する。この場合、カレントポイントと比較対象ポイントとの距離の最大値ｒが設定されているので、比較対象ポイントが存在しないこともあり得る。その場合、例外処理部２２３により例外処理が行われる。
　また、例えば、位置情報が更新される前のポイントクラウドデータの、他のアルゴリズムに従って選択され、かつ、カレントポイントに対して所定の距離ｒより近くに位置するポイントを比較対象ポイントとして選択する方法であってもよい。他のアルゴリズムは任意であるが、例えば、エッジ部分の誤差を低減させる等、主観的な構造に適応して比較対象を決定するようなアルゴリズムであってもよい。この方法の場合、比較対象探索部２２１は、例えば、図１０のＡに示されるように、カレントポイントであるポイント２５１を中心とする半径ｒの円２５４を設定し、その円２５４の内部に位置するポイント２５２およびポイント２５３の内、他のアルゴリズムに従って選択されるポイントを比較対象ポイントとして選択する。
　例えば、これらのような複数の方法が候補として用意され、比較対象決定方法設定部２３２は、これらの中からいずれかの方法を選択する。例えば、比較対象決定方法設定部２３２は、各種条件（例えば、処理速度、品質、圧縮アルゴリズム等）に基づいて、これらの中からいずれかの方法を選択する。
　なお、比較対象決定方法設定部２３２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、比較対象の決定方法の設定に関する処理を行うようにしてもよい。
　属性決定方法設定部２３３は、属性の決定方法の設定に関する処理を行う。属性の決定方法は任意であるが、例えば、比較対象ポイントの属性の中から１つを選択し、それをカレントポイントの属性に適用するようにしてもよい。図１０のＡの例を用いて説明すると、この場合、属性情報設定部２２２は、比較対象ポイントであるポイント２５２およびポイント２５３の内のいずれか一方の属性情報を、カレントポイントであるポイント２５１に適用する。
　また、例えば、複数の比較対象ポイントの属性の平均を、カレントポイントの属性に適用するようにしてもよい。図１０のＡの例を用いて説明すると、この場合、属性情報設定部２２２は、比較対象ポイントであるポイント２５２およびポイント２５３の両方の属性情報の平均を、カレントポイントであるポイント２５１に適用する。
　さらに、例えば、各比較対象ポイントの属性に重み付けをし、その平均（重みづけ平均）を、カレントポイントの属性に適用するようにしてもよい。図１０のＡの例を用いて説明すると、この場合、属性情報設定部２２２は、比較対象ポイントであるポイント２５２およびポイント２５３の両方の属性情報の重み付け平均を、カレントポイントであるポイント２５１に適用する。
　なお、この重み（係数）は、例えば、比較対象ポイントからカレントポイントまでの距離や、比較対象ポイントの属性情報の特徴（例えば明るさ）等に応じて設定されるようにしてもよい。
　例えば、これらのような複数の方法が候補として用意され、属性決定方法設定部２３３は、これらの中からいずれかの方法を選択する。例えば、属性決定方法設定部２３３は、各種条件（例えば、処理速度、品質、圧縮アルゴリズム等）に基づいて、これらの中からいずれかの方法を選択する。
　なお、属性決定方法設定部２３３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性の決定方法の設定に関する処理を行うようにしてもよい。
　例外処理方法設定部２３４は、例外処理方法の設定に関する処理を行う。例外処理方法は任意であるが、例えば、比較対象ポイントがないカレントポイントを不可視にするようにしてもよい。この場合、例外処理部２２３は、例えば、比較対象ポイントがないカレントポイントに対し、不可視属性（no_color_attribute）を付与する（ビットを立てる、または、不可視の色をヘッダ等に定義し、カレントポイントをその色に設定する）。例外処理部２２３は、その不可視属性を付与した属性情報を更新属性情報として属性情報符号化部２０３に供給する。
　また、例えば、比較対象ポイントがないカレントポイントを符号化の対象から除外するようにしてもよい。この場合、例外処理部２２３は、例えば、比較対象ポイントがないカレントポイントを符号化の対象から除外し、そのポイントを除外したポイントクラウド（更新幾何学情報）を前処理部１１１等に供給し、再符号化を要求する。符号化装置１００は、その要求に従って、その比較対象ポイントが見つからないポイントが除外されたポイントクラウドの符号化を行う。
　また、例えば、比較対象ポイントがないカレントポイントが発生しないように、符号化方法（例えばモードやパラメータ等）を変更するようにしてもよい。この場合、例外処理部２２３は、例えば、前処理部１１１等にポイントクラウドの再符号化を要求する。その際、例外処理部２２３は、符号化方法を変更して再符号化するように要求する。
　この符号化方法の変更はどのようなものであってもよい。例えば、DAG（Directed Acyclic Graph）（有効指向性グラフとも称する）に用いられる閾値DAG THを変更するようにしてもよい。
　例えば、これらのような複数の方法が候補として用意され、例外処理方法設定部２３４は、これらの中からいずれかの方法を選択する。例えば、例外処理方法設定部２３４は、各種条件（例えば、処理速度、品質、圧縮アルゴリズム等）に基づいて、これらの中からいずれかの方法を選択する。
　なお、例外処理方法設定部２３４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、例外処理の方法の設定に関する処理を行うようにしてもよい。
　このように位置の変化を考慮して比較対象を探索することにより、符号化装置１００は、ポイントクラウドの主観画質の低減を抑制するように、各ポイントに属性情報を設定することができる。
　　＜制御例＞
　例えば、点の位置がずれる場合、または、点の数が低減する場合、制御部２１１の比較方法設定部２３１乃至例外処理方法設定部２３４は、図１１のＡに示される表のように、用途（高速、高品質（客観指標重視）、高品質（主観指標重視）等）に応じて、各処理の方法を設定するようにしてもよい。また、例えば、リサンプリング等により点の数が増大する場合、制御部２１１の比較方法設定部２３１乃至例外処理方法設定部２３４は、図１１のＢに示される表のように、用途（高速、高品質（客観指標重視）、高品質（主観指標重視）等）に応じて、各処理の方法を設定するようにしてもよい。
　以上のように用途に応じて処理を制御することにより、符号化装置１００は、不要な処理の負荷や処理時間の増大を抑制することができる。
　　＜符号化処理の流れ＞
　以上のような構成の符号化装置１００により実行される符号化処理の流れの例を図１２のフローチャートを参照して説明する。
　符号化処理が開始されると、前処理部１１１は、ステップＳ１０１において、入力されたデータに対して前処理を行う。
　ステップＳ１０２において、バウンディングボックス設定部１１２は、前処理されたデータに対してバウンディングボックスを設定する。
　ステップＳ１０３において、ボクセル設定部１１３は、ステップＳ１０２において設定されたバウンディングボックスにボクセルを設定する。
　ステップＳ１０４において、信号列生成部１１４は、データ構造に基づいて信号列を生成する。
　ステップＳ１０５において、符号化部１１５は、ステップＳ１０４の処理により生成された信号列を符号化する。
　ステップＳ１０６において、符号化部１１５は、その符号化により得られたビットストリームを符号化装置１００の外部に出力する。このビットストリームは例えば復号側（復号装置等）に伝送されたり、記録媒体に記録されたりする。
　ステップＳ１０６の処理が終了すると、符号化処理が終了する。例えば、符号化対象が動画像である場合、この一連の処理をフレーム毎に行う。
　　＜信号列符号化処理の流れ＞
　次に、図１２のステップＳ１０５において実行される信号列符号化処理の流れの例を、図１３のフローチャートを参照して説明する。
　信号列符号化処理が開始されると、幾何学情報符号化部２０１は、ステップＳ１２１において、ボクセルデータを符号化する。
　ステップＳ１２２において、属性情報更新部２０２は、属性情報を更新する。
　ステップＳ１２３において、属性情報符号化部２０３は、ステップＳ１２２において更新された属性情報を符号化する。
　ステップＳ１２４において、合成部２０４は、ステップＳ１２１の処理により得られたビットストリームと、ステップＳ１２３の処理により得られたビットストリームとを合成する。
　ステップＳ１２４の処理が終了すると、信号列符号化処理が終了し、処理は図１２に戻る。
　　＜属性情報更新処理の流れ＞
　次に、図１４のフローチャートを参照して、図１３のステップＳ１２２において実行される属性情報更新処理の流れの例を説明する。
　属性情報更新処理が開始されると、制御部２１１は、ステップＳ１４１において制御処理を行い、各処理の方法を決定する。
　ステップＳ１４２において、比較対象探索部２２１は、ステップＳ１４１において設定された比較対象決定方法に従って、比較対象ポイントを探索する。
　ステップＳ１４３において、属性情報設定部２２２は、カレントポイントに属性情報を設定するか否かを判定する。属性情報を設定すると判定された場合、処理はステップＳ１４４に進む。
　ステップＳ１４４において、属性情報設定部２２２は、ステップＳ１４１において設定された比較方法や属性決定方法に従って、カレントポイントの属性情報を設定する。
　ステップＳ１４４の処理が終了すると処理はステップＳ１４５に進む。また、ステップＳ１４３において、例えば比較対象ポイントが見つからず、カレントポイントに属性情報を設定しないと判定された場合、処理はステップＳ１４５に進む。
　ステップＳ１４５において、例外処理部２２３は、例外処理を行うか否かを判定する。例えば比較対象ポイントが見つからず、例外処理を行うと判定された場合、処理はステップＳ１４６に進む。
　ステップＳ１４６において、例外処理部２２３は、ステップＳ１４１において設定された例外処理方法に従って、例外処理を行う。
　ステップＳ１４６の処理が終了すると属性情報更新処理が終了し、処理は図１３に戻る。また、ステップＳ１４５において、例えば比較対象ポイントが見つかっており、例外処理を行わないと判定された場合、ステップＳ１４６の処理が省略され、属性情報更新処理が終了し、処理は図１３に戻る。
　　＜制御処理の流れ＞
　次に、図１５のフローチャートを参照して、図１４のステップＳ１４１において実行される制御処理の流れの例を説明する。
　制御処理が開始されると、比較方法設定部２３１は、ステップＳ１６１において、比較方法を設定し、その設定を属性情報設定部２２２に供給する。
　ステップＳ１６２において、比較対象決定方法設定部２３２は、比較対象決定方法を設定し、その設定を比較対象探索部２２１に供給する。
　ステップＳ１６３において、属性決定方法設定部２３３は、属性決定方法を設定し、その設定を属性情報設定部２２２に供給する。
　ステップＳ１６４において、例外処理方法設定部２３４は、例外処理方法を設定し、その設定を例外処理部２２３に供給する。
　ステップＳ１６４の処理が終了すると、制御処理が終了する。
　以上のように各処理を実行することにより、符号化装置１００は、不要な処理の負荷や処理時間の増大を抑制することができる。
　　＜処理の評価＞
　DAG（有効指向性グラフ）処理を行う場合において、従来の通りに行う方法（Dag ORG）、BtoAの方向について幾何学情報の変化を考慮して属性情報を更新する方法（Dag BtoA）、および、AtoB, BtoAの両方について幾何学情報の変化を考慮して属性情報を更新する方法（Dag New）のそれぞれのPSNR評価結果を比較したものを図１６に示す。
　図１６のＡは、各方法のPSNRの値をYUVの各成分について比較したものであり、図１６のＢは、それを棒グラフ化したものである。図１６のＢの白地の棒グラフが図１６のＡの表のDag ORGに対応し、図１６のＢの斜線模様の棒グラフが図１６のＡの表のDag BtoAに対応し、図１６のＢの網目模様の棒グラフが図１６のＡの表のDag Newに対応する。
　図１６に示されるように、本技術を適用して、位置の変化を考慮して比較対象を探索することにより、PSNRを向上させることができる。したがって、ポイントクラウドの主観画質の低減を抑制することができる。
　＜３．第２の実施の形態＞
　　＜復号装置＞
　符号化装置１００が生成したビットストリームを復号する復号装置は、幾何学情報とともに属性情報も復号する。また、ポイントに対して不可視属性（no_color_attribute）が設定されている場合、復号装置は、そのポイントを不可視にするように処理を行う。
　図１７は、本技術を適用した情報処理装置の一実施の形態である復号装置の主な構成例を示すブロック図である。図１７に示される復号装置３００は、図５の符号化装置１００に対応する復号装置であり、例えばこの符号化装置１００により生成されたポイントクラウドの符号化データを復号し、ポイントクラウドのデータを復元する。
　図１７に示されるように、復号装置３００は、復号部３０１、ボクセルデータ生成部３０２、およびポイントクラウド化処理部３０３を有する。
　復号部３０１は、ビットストリームの復号に関する処理を行う。例えば、復号部３０１は、ビットストリームを符号化部１１５の符号化方法に対応する復号方法で復号し、ビットストリームから、幾何学情報や属性情報の信号列を抽出する。復号部３０１は、ビットストリームから抽出した信号列をボクセルデータ生成部３０２に供給する。
　なお、復号部３０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、復号に関する処理を行うようにしてもよい。
　ボクセルデータ生成部３０２は、ボクセルデータの生成に関する処理を行う。例えば、ボクセルデータ生成部３０２は、復号部３０１から供給される信号列に対応するボクセルデータを生成する。ボクセルデータ生成部３０２は、生成したボクセルデータをポイントクラウド化処理部３０３に供給する。
　なお、ボクセルデータ生成部３０２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセルデータの生成に関する処理を行うようにしてもよい。
　ポイントクラウド化処理部３０３は、ポイントクラウドデータの復元に関する処理を行う。例えば、ポイントクラウド化処理部３０３は、供給されたボクセルデータをポイントクラウドデータに変換する（復号ポイントクラウドデータを生成する）。なお、ポイントクラウド化処理部３０３が、その復号ポイントクラウドデータをさらにMeshデータに変換するようにしてもよい。
　ポイントクラウド化処理部３０３は、生成した復号ポイントクラウドデータ（またはMeshデータ）を復号装置３００の外部に出力する。この出力された復号ポイントクラウドデータ（またはMeshデータ）は、例えば、図示せぬ後段の処理部により画像処理され、画像情報としてモニタ等に表示されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。
　なお、ポイントクラウド化処理部３０３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ポイントクラウドデータの復元に関する処理を行うようにしてもよい。
　以上のように、復号装置３００は、符号化装置１００により生成されたビットストリームを正しく復号することができる。したがって、復号装置３００は、主観画質の低減の抑制を実現することができる。
　　＜復号部＞
　図１８は、復号部３０１の主な構成例を示すブロック図である。図１８に示されるように、復号部３０１は、幾何学情報復号部３２１、属性情報復号部３２２、および不可視処理部３２３を有する。
　幾何学情報復号部３２１は、供給されたビットストリームを復号し、幾何学情報の信号列を抽出する。幾何学情報復号部３２１は、抽出した幾何学情報の信号列をボクセルデータ生成部３０２（図１７）に供給する。
　なお、幾何学情報復号部３２１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、幾何学情報の復号に関する処理を行うようにしてもよい。
　属性情報復号部３２２は、供給されたビットストリームを復号し、属性情報（更新属性情報）の信号列を抽出する。属性情報復号部３２２は、抽出した属性情報（更新属性情報）の信号列を不可視処理部３２３に供給する。
　なお、属性情報復号部３２２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性情報の復号に関する処理を行うようにしてもよい。
　不可視処理部３２３は、供給された属性情報（更新属性情報）の信号列を用いて、不可視属性（no_color_attribute）が付与されたポイントを不可視にする不可視処理を行う。不可視処理部３２３は、適宜不可視処理を施した属性情報（更新属性情報）の信号列をボクセルデータ生成部３０２（図１７）に供給する。
　なお、不可視処理部３２３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、不可視に関する処理を行うようにしてもよい。
　以上のように、復号装置３００は、符号化装置１００が生成したビットストリームを正しく復号することができる。したがって、復号装置３００は、ポイントクラウドの主観画質の低減の抑制を実現することができる。
　　＜復号処理の流れ＞
　この場合の復号装置３００により実行される復号処理の流れの例を、図１９のフローチャートを参照して説明する。
　復号処理が開始されると、復号部３０１は、ステップＳ３０１において、ビットストリームを復号し、信号列を抽出する。
　ステップＳ３０２において、ボクセルデータ生成部３０２は、ステップＳ３０１において抽出された信号列からボクセルデータを復元する。
　ステップＳ３０３において、ポイントクラウド化処理部３０３は、ステップＳ３０２の処理により得られたボクセルデータからポイントクラウドデータを復元する。
　ステップＳ３０４において、ポイントクラウド化処理部３０３は、復元されたポイントクラウドデータ（復号ポイントクラウドデータ）を復号装置３００の外部に出力する。
　ステップＳ３０４の処理が終了すると、復号処理が終了する。
　　＜ビットストリーム復号処理の流れ＞
　次に、図１９のステップＳ３０１において実行されるビットストリーム復号処理の流れの例を、図２０のフローチャートを参照して説明する。
　ビットストリーム復号処理が開始されると、幾何学情報復号部３２１は、ステップＳ３２１において、幾何学情報のビットストリームを復号する。
　ステップＳ３２２において、属性情報復号部３２２は、属性情報のビットストリームを復号する。
　ステップＳ３２３において、不可視処理部３２３は、不可視処理を行うか否かを判定する。不可視属性が付与されたポイントが存在し、そのポイントに対して不可視処理を行うと判定された場合、処理はステップＳ３２４に進む。
　ステップＳ３２４において、不可視処理部３２３は、不可視属性が付与されたポイントに対して不可視処理を行う。
　ステップＳ３２４の処理が終了するとビットストリーム復号処理が終了し、処理は図１９に戻る。また、ステップＳ３２３において、不可視処理を行わないと判定された場合、ステップＳ３２４の処理が省略され、ビットストリーム復号処理が終了し、処理は図１９に戻る。
　以上のように各処理を行うことにより、復号装置３００は、ポイントクラウドの主観画質の低減の抑制を実現することができる。
　＜４．第３の実施の形態＞
　　＜複数属性情報の設定＞
　なお、以上においては、１つのポイントに対して単数の属性情報を設定するように説明したが、これに限らず、１つのポイントに対して複数の属性情報を設定することができるようにしてもよい。
　例えば、図２１のＡに示されるように、ボクセル４１０において、カレントポイントであるポイント４１１に対して、ポイント４１２およびポイント４１３が比較対象ポイントとして設定されている場合、そのポイント４１２およびポイント４１３の両方の属性情報をポイント４１１に設定することができるようにしてもよい。
　その場合、図２１のＢに示される属性情報４２１のように、複数の属性情報のそれぞれを、カレントポイントからみて互いに異なる方向に設定するようにしてもよい。換言するに、そのカレントポイントにアクセスする方向（視点方向）に応じて適用される属性情報が変化するようにしてもよい。
　さらに、各属性情報が適用される方向（換言するに、適用される属性情報が切り替わる向き）を指定することができるようにしてもよい。さらに、カレントポイントに設定可能な属性情報の数（例えば色数）を指定することができるようにしてもよい。例えば、図２２に示されるように、カレントポイントに設定可能な属性情報の数を示す情報（num_of_color_attribute）と、属性情報を切り替える方向（軸）を示す情報（arrangement_type）とを設定するようにしてもよい。
　図２２のＡは、カレントポイントに２つの属性情報を設定する場合の例である。図２２のＡに示されるように、属性情報の数は同じでも、arrangement_typeの値によって、属性情報が割り当てられる方向が変化する。
　図２２のＢは、カレントポイントにより多数の属性情報を設定する場合の例である。図２２のＢに示されるように、num_of_color_attributeの値によってカレントポイントに設定される属性情報の数が変化する。そしてその属性情報の数に応じて、各属性情報が割り当てられる方向も変化する。
　なお、境界において属性情報が切り替わるようにしてもよいし、境界付近においては、その境界の両側の属性情報が混在（ブレンド）されるようにしてもよい。例えば、色情報の場合、視点方向が変わるにつれて色が徐々に変化するようにしてもよい。
　なお、属性情報を割り当てる方向の分割方法は任意であり、上述の例に限定されない。例えば、図２３に示されるように、緯度方向および経度方向に分割するようにしてもよい。つまり、属性情報を割り当てる方向として、緯度方向の分割数を示す情報（num_of_color_attribute_split_latitude（n_lat））および経度方向の分割数を示す情報（num_of_color_attribute_split_longitude（n_long））を設定するようにしてもよい。
　図２３のＡは、緯度方向に分割する例を示している。図２３のＢは、経度方向に分割する例を示している。緯度方向の分割数と経度方向の分割数は互いに独立に設定することができるようにしてもよい。また、例えば、図２３のＣに示される表のように、これら２つのパラメータの値をまとめて設定する識別情報（＃）を設けるようにしてもよい。このような識別情報を用いることにより、属性情報を割り当てる方向の分割方法を示すために必要な情報量を低減させることができる。
　なお、複数の属性情報を設定する場合、カレントポイントの属性情報を割り当て可能な各方向に対して、上述した１つの属性情報を割り当てる場合と同様の方法で属性情報を割り当てるようにすればよい。例えば、図２４のＡに示されるように、ボクセル４１０において、カレントポイントであるポイント４１１に対して、ポイント４１２およびポイント４１３の属性情報を割り当てる場合、ポイント４１１を基準とするとポイント４１２とポイント４１３は、互いに異なる方向に位置する。したがって、この場合、ポイント４１１のポイント４１２側の方向に対して、上述した１つの属性情報を割り当てる場合と同様の方法でポイント４１２の属性情報を割り当て、ポイント４１１のポイント４１３側の方向に対して、上述した１つの属性情報を割り当てる場合と同様の方法でポイント４１３の属性情報を割り当てるようにしてもよい。
　　＜属性情報更新処理の流れ＞
　したがって、その場合、属性情報更新部２０２は、図８の場合と同様の構成を有する。図２５のフローチャートを参照して、この場合の属性情報更新処理の流れの例を説明する。
　属性情報更新処理が開始されると、制御部２１１は、ステップＳ４０１において制御処理を行い、各処理の方法を決定する。この制御処理は、図１４の場合と同様であるのでその説明を省略する。
　ステップＳ４０２において、比較対象探索部２２１は、ステップＳ４０１において設定された比較対象決定方法に従って、比較対象ポイントを探索する。
　ステップＳ４０３において、制御部２１１は、処理対象角度、すなわち、カレントポイントの、属性情報を設定する方向（カレント方向）を設定する。
　ステップＳ４０４において、属性情報設定部２２２は、カレントポイントのカレント方向に属性情報を設定するか否かを判定する。属性情報を設定すると判定された場合、処理はステップＳ４０５に進む。
　ステップＳ４０５において、属性情報設定部２２２は、ステップＳ４０１において設定された比較方法や属性決定方法に従って、カレントポイントのカレント方向に属性情報を設定する。
　ステップＳ４０５の処理が終了すると処理はステップＳ４０６に進む。また、ステップＳ４０４において、例えばカレント方向に対して比較対象ポイントが見つからず、その方向に属性情報を設定しないと判定された場合、処理はステップＳ４０６に進む。
　ステップＳ４０６において、例外処理部２２３は、例外処理を行うか否かを判定する。例えばカレント方向に比較対象ポイントが見つからず、例外処理を行うと判定された場合、処理はステップＳ４０７に進む。
　ステップＳ４０７において、例外処理部２２３は、ステップＳ４０１において設定された例外処理方法に従って、例外処理を行う。
　ステップＳ４０７の処理が終了すると処理はステップＳ４０８に進む。また、ステップＳ４０６において、例えばカレント方向に比較対象ポイントが見つかっており、例外処理を行わないと判定された場合、ステップＳ４０７の処理が省略され、処理はステップＳ４０８に進む。
　ステップＳ４０８において、制御部２１１は、未処理の角度が存在するか否かを判定する。未処理の角度が存在すると判定された場合、処理はステップＳ４０３に戻る。ステップＳ４０３において、未処理の角度が処理対象に設定され（カレント方向が更新され）、ステップＳ４０４以降の処理が繰り返される。
　以上のようにして、カレントポイントの属性情報を設定可能な各方向に対して、ステップＳ４０３乃至ステップＳ４０８の各処理が実行される。
　そしてステップＳ４０８において、全ての方向について処理が行われたと判定された場合、属性情報更新処理が終了し、処理は図１３に戻る。
　以上のように属性情報更新処理を行うことにより、符号化装置１００は、ポイントクラウドの主観画質の低減を抑制することができる。
　＜５．第４の実施の形態＞
　　＜表示装置＞
　複数の属性情報が設定されたポイントを含むポイントクラウドを表示する場合、表示に用いられる属性情報がその視点方向によって選択される。
　図２６は、本技術を適用した情報処理装置の一実施の形態である表示装置の主な構成例を示すブロック図である。図２６に示される表示装置５００は、複数の属性情報が設定されたポイントを含むポイントクラウドを表示する装置である。
　図２６に示されるように、表示装置５００は、ポイントクラウドデータ取得部５０１、視点方向設定部５０２、幾何学情報描画部５０３、属性情報描画部５０４、および表示部５０５を有する。
　ポイントクラウドデータ取得部５０１は、表示装置５００の外部より、複数の属性情報が設定されたポイントを含むポイントクラウドデータを取得する。ポイントクラウドデータ取得部５０１は、取得したポイントクラウドデータを視点方向設定部５０２に供給する。
　なお、ポイントクラウドデータ取得部５０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ポイントクラウドデータの取得に関する処理を行うようにしてもよい。
　視点方向設定部５０２は、ポイントクラウドの表示する面（視点方向）を設定する。例えば、視点方向設定部５０２は、ユーザ操作等の外部からの指示入力を受け付け、その指示に基づいて視点方向を設定する。なお、この視点方向の設定方法は任意であり、例えば、視点方向設定部５０２が予め定められた所定のパタンに従って視点方向を設定する等、上述の指示入力以外に基づいて視点方向を設定するようにしてもよい。視点方向を設定すると視点方向設定部５０２は、ポイントクラウドデータとその視点方向を示す情報を幾何学情報描画部５０３に供給する。
　なお、視点方向設定部５０２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、視点方向の設定に関する処理を行うようにしてもよい。
　幾何学情報描画部５０３は、設定された視点方向に基づいて、ポイントクラウドデータの幾何学情報を描画する。幾何学情報描画部５０３は、ポイントクラウドデータとその視点方向を示す情報と、その描画結果とを属性情報描画部５０４に供給する。
　なお、幾何学情報描画部５０３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、幾何学情報の描画に関する処理を行うようにしてもよい。
　属性情報描画部５０４は、設定された視点方向に基づいて各ポイントの属性情報を選択し、選択した属性情報を描画する。属性情報描画部５０４は、幾何情報および属性情報の描画結果を表示部５０５に供給する。
　なお、属性情報描画部５０４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、属性情報の描画に関する処理を行うようにしてもよい。
　表示部５０５は、供給された幾何情報および属性情報の描画結果をモニタに表示する。
　　＜表示処理の流れ＞
　このような表示装置５００により実行される表示処理の流れの例を、図２７のフローチャートを参照して説明する。
　表示処理が開始されると、ポイントクラウドデータ取得部５０１は、ステップＳ５０２において、ポイントクラウドデータを取得する。
　ステップＳ５０２において、視点方向設定部５０２は、そのポイントクラウドを表示する視点方向を設定する。
　ステップＳ５０３において、幾何学情報描画部５０３は、ステップＳ５０２において設定された視点方向に応じてポイントクラウドデータの幾何学情報を描画する。
　ステップＳ５０４において、属性情報描画部５０４は、ステップＳ５０２において設定された視点方向に応じて属性情報を選択し、その選択した属性情報を描画する。
　ステップＳ５０５において、表示部５０５は、ステップＳ５０３およびステップＳ５０４において描画された幾何学情報および属性情報の画像を表示する。
　ステップＳ５０５の処理が終了すると表示処理が終了する。なお、ポイントクラウドを動画像として表示する場合、以上の処理がフレーム毎に繰り返される。
　このようにすることにより表示装置５００は、視点方向に応じた属性情報を表示させることができる。例えば、ポイントクラウドデータを見る向き（視点方向）によって各ポイントの色が変化するようにすることもできる。
　＜６．第５の実施の形態＞
　　＜画像処理装置＞
　以上においては、ポイントクラウドデータの符号化（量子化）について説明したが、本技術を適用した属性情報の更新は、ポイントクラウドの位置情報が変化する任意の画像処理において適用することができる。
　図２８は、本技術を適用した情報処理装置の一実施の形態である画像処理装置の主な構成例を示すブロック図である。図２８に示される画像処理装置６００は、入力されるポイントクラウドデータに対して、位置情報が変化する所定の画像処理を行う装置である。
　図２８に示されるように、画像処理装置６００は、画像処理部６０１および属性情報更新部６０２を有する。
　画像処理部６０１は、所定の画像処理を行う。例えば、画像処理部６０１は、図２９に示される例のように、ポイントの補間やリサンプル（再配置）を行う。図２９の例の場合、処理前の状態Ａにおけるポイント６５１がリサンプルされ、処理後の状態Ｂにおいてポイント６５２乃至ポイント６５４に変換されている。すなわち、ポイント数が増大している。
　画像処理部６０１は、処理前後のポイントクラウドデータを属性情報更新部６０２に供給する。
　なお、画像処理部６０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、画像処理に関する処理を行うようにしてもよい。
　属性情報更新部６０２は、供給された画像処理前後のポイントクラウドデータを用いて、属性情報の更新を行う。属性情報更新部６０２は、属性情報更新部２０２（図８）と同様の構成を有し、同様の処理を行う。
　このように処理前に存在しなかったポイントを配置するような処理であっても、属性情報更新部６０２は、処理前のポイントからカレントポイントに対応する比較対象ポイントを探索するので、上述の量子化の場合と同様に、位置情報の変化に応じて属性情報を更新することができる。
　　＜画像処理の流れ＞
　図３０のフローチャートを参照して、この画像処理装置６００により実行される画像処理の流れの例を説明する。
　画像処理が開始されると、画像処理部６０１は、ステップＳ６０１において、幾何学情報の更新を伴う画像処理を行う。
　ステップＳ６０２において、属性情報更新部６０２は、ステップＳ６０１の画像処理における幾何学情報の更新（位置情報の変化）に対応するように、ポイントクラウドの属性情報を更新する。この属性情報更新処理は、図１４のフローチャートを参照して説明した場合と同様の流れで行われるので、その説明を省略する。
　ステップＳ６０２の処理が終了すると、画像処理が終了する。
　以上のように、画像処理装置６００は、ポイントクラウドの主観画質の低減を抑制することができる。
　＜７．その他＞
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図３１に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索する探索部と、
　前記探索部により探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する属性情報設定部と
　を備える情報処理装置。
　（２）　前記探索部は、位置情報が更新される前のポイントクラウドデータの、前記カレントポイントに対して最近傍に位置するポイントを前記比較対象ポイントとして選択する
　（１）に記載の情報処理装置。
　（３）　前記探索部は、位置情報が更新される前のポイントクラウドデータの、前記カレントポイントに対して、所定の距離より近くに位置し、かつ、最近傍に位置するポイントを前記比較対象ポイントとして選択する
　（１）または（２）に記載の情報処理装置。
　（４）　前記探索部は、位置情報が更新される前のポイントクラウドデータの、他のアルゴリズムに従って選択され、かつ、前記カレントポイントに対して所定の距離より近くに位置するポイントを前記比較対象ポイントとして選択する
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記属性情報設定部は、位置情報が更新される前のポイントクラウドデータから位置情報が更新されたポイントクラウドデータへ向かう方向のポイント同士の位置関係に基づいて前記属性情報を設定する
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記属性情報設定部は、位置情報が更新されたポイントクラウドデータから位置情報が更新される前のポイントクラウドデータへ向かう方向のポイント同士の位置関係に基づいて前記属性情報を設定する
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記属性情報設定部は、位置情報が更新される前のポイントクラウドデータから位置情報が更新されたポイントクラウドデータへ向かう方向と、位置情報が更新されたポイントクラウドデータから位置情報が更新される前のポイントクラウドデータへ向かう方向との両方のポイント同士の位置関係に基づいて前記属性情報を設定する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの内のいずれか１つの属性情報を選択し、前記カレントポイントの属性情報を設定する
　（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの各属性情報の平均を前記カレントポイントの属性情報を設定する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの各属性情報の重み付き平均を前記カレントポイントの属性情報を設定する
　（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記重みは、前記比較対象ポイントと前記カレントポイントとの距離、または、前記比較対象ポイントの属性情報の特徴に基づく係数である
　（１０）に記載の情報処理装置。
　（１２）　前記比較対象ポイントが存在しない場合に所定の例外処理を行う例外処理部をさらに備える
　（１）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記例外処理部は、前記カレントポイントの属性情報として、前記カレントポイントを不可視とする不可視属性を設定する
　（１２）に記載の情報処理装置。
　（１４）　前記例外処理部は、前記カレントポイントを符号化対象より除外して再符号化させる
　（１２）または（１３）に記載の情報処理装置。
　（１５）　前記例外処理部は、前記カレントポイントが出現しなくなるように符号化方法を変更して再符号化させる
　（１２）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　属性情報の決定方法を制御する制御部をさらに備え、
　前記属性情報設定部は、前記制御部により選択された属性情報の決定方法を用いて、前記カレントポイントの属性情報を設定するように構成される
　（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記制御部は、処理速度、品質、および圧縮アルゴリズムの内、少なくともいずれか１つに基づいて、前記属性情報の決定方法を制御する
　（１６）に記載の情報処理装置。
　（１８）　前記制御部は、さらに、前記カレントポイントと前記比較対象ポイントとの比較方法を制御し、
　前記属性情報設定部は、前記制御部により選択された比較方法を用いて前記カレントポイントと前記比較対象ポイントとを比較する
　（１６）または（１７）に記載の情報処理装置。
　（１９）　前記制御部は、前記比較対象ポイントの決定方法を制御し、
　前記探索部は、前記制御部により選択された決定方法を用いて前記比較対象ポイントを決定する
　（１６）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　前記比較対象ポイントが存在しない場合に所定の例外処理を行う例外処理部をさらに備え、
　前記制御部は、前記例外処理の方法を制御し、
　前記例外処理部は、前記制御部により選択された例外処理を行う
　（１６）乃至（１９）のいずれかに記載の情報処理装置。
　（２１）　前記属性情報設定部は、前記カレントポイントに対して、複数の属性情報を設定する
　（１）乃至（２０）のいずれかに記載の情報処理装置。
　（２２）　前記属性情報設定部は、前記複数の属性情報のそれぞれを、前記カレントポイントからみて互いに異なる方向に設定する
　（２１）に記載の情報処理装置。
　（２３）　前記属性情報設定部は、前記カレントポイントに設定可能な属性情報の数を示す情報と、属性情報を切り替える方向を示す情報とを設定する
　（２２）に記載の情報処理装置。
　（２４）　前記属性情報設定部は、前記属性情報を割り当てる方向として、緯度方向および経度方向のそれぞれの分割数を示す情報を設定する
　（２２）または（２３）に記載の情報処理装置。
　（２５）　前記位置情報が更新されたポイントクラウドデータは、ポイントクラウドデータを量子化したボクセルデータである
　（１）乃至（２４）のいずれかに記載の情報処理装置。
　（２６）　前記属性情報は、色情報、αチャンネル、および法線ベクトルの内、少なくともいずれか１つを含む
　（１）乃至（２５）のいずれかに記載の情報処理装置。
　（２７）　位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索し、
　探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する
　情報処理方法。
　１００　符号化装置，　１０１　制御部，　１１１　前処理部，　１１２　バウンディングボックス設定部，　１１３　ボクセル設定部，　１１４　信号列生成部，　１１５　符号化部，　２０１　幾何学情報符号化部，　２０２　属性情報更新部，　２０３　属性情報符号化部，　２０４　合成部，　２２１　比較対象探索部，　２２２　属性情報設定部，　２２３　例外処理部，　２３１　比較方法設定部，　２３２　比較対象決定方法設定部，　２３３　属性決定方法設定部，　２３４　例外処理方法設定部，　３００　復号装置，　３０１　復号部，　３０２　ボクセルデータ生成部，　３０３　ポイントクラウド化処理部，　３２１　幾何学情報復号部，　３２２　属性情報復号部，　３２３　不可視処理部，　５００　表示装置，　５０１　ポイントクラウドデータ取得部，　５０２　視点方向設定部，　５０３　幾何学情報描画部，　５０４　属性情報描画部，　５０５　表示部，　６００　画像処理装置，　６０１　画像処理部，　６０２　属性情報更新部，　９００　コンピュータ

Claims (20)

  1. 　位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索する探索部と、
    　前記探索部により探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する属性情報設定部と
    　を備える情報処理装置。
  2. 　前記探索部は、位置情報が更新される前のポイントクラウドデータの、前記カレントポイントに対して最近傍に位置するポイントを前記比較対象ポイントとして選択する
    　請求項１に記載の情報処理装置。
  3. 　前記探索部は、位置情報が更新される前のポイントクラウドデータの、前記カレントポイントに対して、所定の距離より近くに位置し、かつ、最近傍に位置するポイントを前記比較対象ポイントとして選択する
    　請求項１に記載の情報処理装置。
  4. 　前記探索部は、位置情報が更新される前のポイントクラウドデータの、他のアルゴリズムに従って選択され、かつ、前記カレントポイントに対して所定の距離より近くに位置するポイントを前記比較対象ポイントとして選択する
    　請求項１に記載の情報処理装置。
  5. 　前記属性情報設定部は、
    　　位置情報が更新される前のポイントクラウドデータから位置情報が更新されたポイントクラウドデータへ向かう方向のポイント同士の位置関係、
    　　または、位置情報が更新されたポイントクラウドデータから位置情報が更新される前のポイントクラウドデータへ向かう方向のポイント同士の位置関係、
    　に基づいて前記属性情報を設定する
    　請求項１に記載の情報処理装置。
  6. 　前記属性情報設定部は、位置情報が更新される前のポイントクラウドデータから位置情報が更新されたポイントクラウドデータへ向かう方向と、位置情報が更新されたポイントクラウドデータから位置情報が更新される前のポイントクラウドデータへ向かう方向との両方のポイント同士の位置関係に基づいて前記属性情報を設定する
    　請求項１に記載の情報処理装置。
  7. 　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの内のいずれか１つの属性情報を選択し、前記カレントポイントの属性情報を設定する
    　請求項１に記載の情報処理装置。
  8. 　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの各属性情報の平均を前記カレントポイントの属性情報を設定する
    　請求項１に記載の情報処理装置。
  9. 　前記属性情報設定部は、前記探索部により探索された複数の前記比較対象ポイントの各属性情報の重み付き平均を前記カレントポイントの属性情報を設定する
    　請求項１に記載の情報処理装置。
  10. 　前記重みは、前記比較対象ポイントと前記カレントポイントとの距離、または、前記比較対象ポイントの属性情報の特徴に基づく係数である
    　請求項９に記載の情報処理装置。
  11. 　前記比較対象ポイントが存在しない場合に所定の例外処理を行う例外処理部をさらに備える
    　請求項１に記載の情報処理装置。
  12. 　属性情報の決定方法を制御する制御部をさらに備え、
    　前記属性情報設定部は、前記制御部により選択された属性情報の決定方法を用いて、前記カレントポイントの属性情報を設定するように構成される
    　請求項１に記載の情報処理装置。
  13. 　前記制御部は、処理速度、品質、および圧縮アルゴリズムの内、少なくともいずれか１つに基づいて、前記属性情報の決定方法を制御する
    　請求項１２に記載の情報処理装置。
  14. 　前記属性情報設定部は、前記カレントポイントに対して、複数の属性情報を設定する
    　請求項１に記載の情報処理装置。
  15. 　前記属性情報設定部は、前記複数の属性情報のそれぞれを、前記カレントポイントからみて互いに異なる方向に設定する
    　請求項１４に記載の情報処理装置。
  16. 　前記属性情報設定部は、前記カレントポイントに設定可能な属性情報の数を示す情報と、属性情報を切り替える方向を示す情報とを設定する
    　請求項１５に記載の情報処理装置。
  17. 　前記属性情報設定部は、前記属性情報を割り当てる方向として、緯度方向および経度方向のそれぞれの分割数を示す情報を設定する
    　請求項１５に記載の情報処理装置。
  18. 　前記位置情報が更新されたポイントクラウドデータは、ポイントクラウドデータを量子化したボクセルデータである
    　請求項１に記載の情報処理装置。
  19. 　前記属性情報は、色情報、αチャンネル、および法線ベクトルの内、少なくともいずれか１つを含む
    　請求項１に記載の情報処理装置。
  20. 　位置情報が更新される前のポイントクラウドデータから、位置情報が更新されたポイントクラウドデータの処理対象のポイントであるカレントポイントと比較するポイントである比較対象ポイントを探索し、
    　探索された前記比較対象ポイントとカレントポイントとを比較し、カレントポイントの属性情報を設定する
    　情報処理方法。
PCT/JP2018/034131 2017-09-29 2018-09-14 情報処理装置および方法 Ceased WO2019065299A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207007802A KR20200058398A (ko) 2017-09-29 2018-09-14 정보 처리 장치 및 방법
CN201880061353.9A CN111133478A (zh) 2017-09-29 2018-09-14 信息处理装置和方法
US16/649,295 US11315320B2 (en) 2017-09-29 2018-09-14 Information processing apparatus and method
JP2019544581A JP7268599B2 (ja) 2017-09-29 2018-09-14 情報処理装置および方法
EP18863672.4A EP3690824A4 (en) 2017-09-29 2018-09-14 DEVICE AND PROCESS FOR PROCESSING INFORMATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017189782 2017-09-29
JP2017-189782 2017-09-29

Publications (1)

Publication Number Publication Date
WO2019065299A1 true WO2019065299A1 (ja) 2019-04-04

Family

ID=65902295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034131 Ceased WO2019065299A1 (ja) 2017-09-29 2018-09-14 情報処理装置および方法

Country Status (6)

Country Link
US (1) US11315320B2 (ja)
EP (1) EP3690824A4 (ja)
JP (1) JP7268599B2 (ja)
KR (1) KR20200058398A (ja)
CN (1) CN111133478A (ja)
WO (1) WO2019065299A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021075537A1 (ja) * 2019-10-18 2021-04-22
CN114073086A (zh) * 2019-07-04 2022-02-18 Lg 电子株式会社 点云数据处理设备和方法
JP2022544571A (ja) * 2019-08-14 2022-10-19 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) * 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN113168719A (zh) * 2018-12-07 2021-07-23 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
BR112021016832A2 (pt) * 2019-03-18 2021-10-19 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais, e dispositivo de decodificação de dados tridimensionais
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
JP7737646B2 (ja) * 2021-12-16 2025-09-11 独立行政法人 国立印刷局 網点印刷物用データの作成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230294A (ja) * 2011-04-27 2012-11-22 Kyocera Document Solutions Inc 定着装置及びそれを備えた画像形成装置
JP2016224674A (ja) * 2015-05-29 2016-12-28 株式会社日立製作所 点群データモデル化装置、および点群データモデル化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867774B1 (en) 2002-12-02 2005-03-15 Ngrain (Canada) Corporation Method and apparatus for transforming polygon data to voxel data for general purpose applications
CN102024097A (zh) * 2010-12-29 2011-04-20 深圳市海博科技有限公司 一种治疗计划中靶点布置优化方法和治疗计划系统
JP5711039B2 (ja) * 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US20180310025A1 (en) * 2017-04-24 2018-10-25 Nokia Technologies Oy Method and technical equipment for encoding media content
US10867414B2 (en) * 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
CN119251323A (zh) * 2018-06-08 2025-01-03 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230294A (ja) * 2011-04-27 2012-11-22 Kyocera Document Solutions Inc 定着装置及びそれを備えた画像形成装置
JP2016224674A (ja) * 2015-05-29 2016-12-28 株式会社日立製作所 点群データモデル化装置、および点群データモデル化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. MEKURIASTUDENT MEMBER IEEEK. BLOMP. CESAR.MEMBER: "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video", IEEE
See also references of EP3690824A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114073086A (zh) * 2019-07-04 2022-02-18 Lg 电子株式会社 点云数据处理设备和方法
US12335520B2 (en) 2019-07-04 2025-06-17 Lg Electronics Inc. Point cloud data processing apparatus and method
JP2022544571A (ja) * 2019-08-14 2022-10-19 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP7640526B2 (ja) 2019-08-14 2025-03-05 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JPWO2021075537A1 (ja) * 2019-10-18 2021-04-22
JP7638883B2 (ja) 2019-10-18 2025-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ復号方法、及び三次元データ復号装置

Also Published As

Publication number Publication date
US11315320B2 (en) 2022-04-26
JP7268599B2 (ja) 2023-05-08
EP3690824A4 (en) 2020-09-23
KR20200058398A (ko) 2020-05-27
JPWO2019065299A1 (ja) 2020-10-22
EP3690824A1 (en) 2020-08-05
CN111133478A (zh) 2020-05-08
US20200279435A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
WO2019065299A1 (ja) 情報処理装置および方法
JP7234925B2 (ja) 情報処理装置および方法
JP7384159B2 (ja) 画像処理装置および方法
US11943457B2 (en) Information processing apparatus and method
KR102521801B1 (ko) 정보 처리 장치 및 방법
CN112740277A (zh) 图像处理装置和图像处理方法
EP3691276A1 (en) Information processing device and method
JP7586078B2 (ja) 情報処理装置および方法
CN111727461B (zh) 信息处理装置和方法
CN112789657A (zh) 图像处理装置和方法
US12505577B2 (en) Information processing apparatus and method for prohibiting the combined use of scalable encoding and scaling encoding
CN113795870A (zh) 用于点云属性编解码的信道间预测和变换的技术和装置
KR20250143123A (ko) 부호화 장치 및 방법
US20250104289A1 (en) Information processing device and method
WO2024084952A1 (ja) 情報処理装置および方法
JP7544050B2 (ja) 情報処理装置および方法
US12511790B2 (en) Graph signal frequency-domain motion compensation for point cloud attributes coding
WO2019198520A1 (ja) 情報処理装置および方法
JP6294810B2 (ja) 動画像符号化装置、動画像復号装置及びコンピュータプログラム
CN115066902A (zh) 图像处理装置和方法
JPH0837664A (ja) 動画像符号化／復号化装置
CN120283266A (zh) 用于位置编码中初始顶点选择的最优子网格编码顺序
CN113906477A (zh) 信息处理装置和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863672

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019544581

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207007802

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018863672

Country of ref document: EP

Effective date: 20200429