WO2023053957A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2023053957A1
WO2023053957A1 PCT/JP2022/034320 JP2022034320W WO2023053957A1 WO 2023053957 A1 WO2023053957 A1 WO 2023053957A1 JP 2022034320 W JP2022034320 W JP 2022034320W WO 2023053957 A1 WO2023053957 A1 WO 2023053957A1
Authority
WO
WIPO (PCT)
Prior art keywords
profile
unit
bitstream
picture
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/034320
Other languages
English (en)
French (fr)
Inventor
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CA3228003A priority Critical patent/CA3228003A1/en
Priority to AU2022356617A priority patent/AU2022356617A1/en
Priority to JP2023551289A priority patent/JPWO2023053957A1/ja
Priority to CN202280063598.1A priority patent/CN117981322A/zh
Priority to US18/682,453 priority patent/US12501057B2/en
Priority to EP22875828.0A priority patent/EP4412215A4/en
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to MX2024003673A priority patent/MX2024003673A/es
Priority to KR1020247008257A priority patent/KR20240087683A/ko
Publication of WO2023053957A1 publication Critical patent/WO2023053957A1/ja
Priority to ZA2024/01396A priority patent/ZA202401396B/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present disclosure relates to an image processing device and method, and more particularly to an image processing device and method that enable bitstream specifications to more reliably correspond to profiles.
  • VVC Very Video Coding
  • Non-Patent Documents 1 to 3 there were VVC (Versatile Video Coding) and the like as video encoding methods (see, for example, Non-Patent Documents 1 to 3).
  • VVC Very Video Coding
  • the following profile was added as an extended profile of VVC ver.2 (see Non-Patent Document 4, for example).
  • Main 12 Intra profile, Main 12 4:4:4 Intra profile, and Main 16 4:4:4 Intra profile are intended for video production applications and encode all pictures with I pictures only. It is a profile designed to Also, Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, and Main 16 4:4:4 Still Picture profile are profiles that use I-pictures to encode still pictures.
  • the present disclosure has been made in view of this situation, and is intended to more reliably make bitstream specifications compatible with profiles.
  • An image processing apparatus is an image processing apparatus including a picture encoding unit that encodes a video to be encoded with the picture type of all pictures as I-pictures when a predetermined condition is satisfied. be.
  • An image processing method is an image processing method that encodes a moving image to be encoded with the picture type of all pictures as I-pictures when a predetermined condition is satisfied.
  • An image processing device includes a picture decoding unit that decodes a bitstream of a moving image to be decoded, and all pictures of the moving image in the bitstream if a predetermined condition is satisfied. and a confirmation unit for confirming whether the type is an I picture.
  • An image processing method decodes a bitstream of a moving image to be decoded, and if a predetermined condition is satisfied, in the bitstream, all pictures of the moving image are of I-picture type. This is an image processing method for confirming whether or not
  • An image processing device sets a control flag for controlling whether to limit the slice types of all slices of the moving image to I slices when the encoding profile of the moving image is an intra profile.
  • a parameter set encoding unit that is set to true and encodes a parameter set that includes the control flag; and a picture code that encodes the moving image with all the slices as I slices when the control flag is true.
  • An image processing method sets a control flag for controlling whether to limit the slice types of all slices of the moving image to I-slices when the encoding profile of the moving image is an intra profile. set to true, encode a parameter set including the control flag, and encode the moving image with all the slices as I slices when the control flag is true.
  • An image processing device decodes a bitstream of a moving image, and generates a control flag for controlling whether to limit slice types of all slices of the moving image to I slices. and a control flag confirmation unit for confirming whether the control flag is true when the profile of the bitstream is an intra profile.
  • An image processing method decodes a bitstream of a moving image, generates a control flag for controlling whether to limit slice types of all slices of the moving image to I slices, An image processing method for checking whether the control flag is true when the stream profile is an intra profile.
  • the video to be encoded is encoded with the picture type of all pictures as I-pictures.
  • a bitstream of a moving image to be decoded is decoded, and if a predetermined condition is satisfied, in the bitstream, all pictures of the moving image have picture types is an I picture.
  • the encoding profile of a moving image is an intra profile
  • it is controlled whether to limit the slice type of all slices of the moving image to I slices.
  • a control flag is set to true, a parameter set including the control flag is coded, and if the control flag is true, all the slices are I slices and the video is coded.
  • a bitstream of a moving image is decoded, and a control flag is generated that controls whether to limit the slice type of all slices of the moving image to I slices. , if the profile of the bitstream is an intra profile, the control flag is checked to be true.
  • FIG. 4 is a diagram showing an example of bitstream constraints; FIG. 4 is a diagram showing an example of bitstream constraints; FIG. 4 is a diagram showing an example of syntax; It is a figure which shows the example of a change of a standard.
  • 1 is a block diagram showing a main configuration example of an encoding device;
  • FIG. 11 is a flowchart illustrating an example of the flow of NAL unit encoding processing;
  • FIG. It is a block diagram which shows the main structural examples of a decoding apparatus.
  • FIG. 11 is a flowchart showing an example of the flow of NAL unit decoding processing;
  • FIG. 1 is a block diagram showing a main configuration example of an encoding device;
  • FIG. 10 is a flowchart for explaining an example of the flow of encoding processing
  • FIG. 11 is a flowchart illustrating an example of the flow of NAL unit encoding processing
  • FIG. It is a block diagram which shows the main structural examples of a decoding apparatus.
  • 10 is a flowchart showing an example of the flow of decoding processing
  • FIG. 11 is a flowchart showing an example of the flow of NAL unit decoding processing
  • FIG. FIG. 4 is a diagram showing an example of bitstream constraints
  • FIG. 4 is a diagram showing an example of bitstream constraints
  • FIG. 2 shows an example of syntax and semantics
  • It is a figure which shows the example of a change of a standard.
  • 1 is a block diagram showing a main configuration example of an encoding device;
  • FIG. 11 is a flowchart illustrating an example of the flow of NAL unit encoding processing;
  • FIG. It is a block diagram which shows the main structural examples of a decoding apparatus.
  • 10
  • FIG. 10 is a flowchart for explaining an example of the flow of encoding processing
  • FIG. 11 is a flowchart illustrating an example of the flow of parameter set encoding processing
  • FIG. FIG. 11 is a flowchart for explaining an example of the flow of picture encoding processing
  • FIG. It is a block diagram which shows the main structural examples of a decoding apparatus.
  • 10 is a flowchart showing an example of the flow of decoding processing
  • FIG. 11 is a flowchart showing an example of the flow of parameter set decoding processing
  • FIG. FIG. 11 is a flowchart showing an example of the flow of picture decoding processing
  • FIG. It is a block diagram which shows the main structural examples of an image coding apparatus.
  • 4 is a flowchart showing an example of the flow of image encoding processing; It is a block diagram which shows the main structural examples of an image decoding apparatus. 4 is a flowchart showing an example of the flow of image decoding processing; It is a block diagram which shows the main structural examples of a computer.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • Non-Patent Document 4 (above)
  • Non-Patent Document 5 Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
  • Non-Patent Document 6 Recommendation ITU-T H.265 (08/2021) "High efficiency video coding", August 2021
  • Non-Patent Document 7 Frank Bossen.
  • the content described in the non-patent literature mentioned above is also the basis for determining the support requirements.
  • Quad-Tree Block Structure and QTBT (Quad Tree Plus Binary Tree) Block Structure described in the above non-patent literature are not directly described in the examples, they are within the scope of disclosure of the present technology, shall meet the support requirements of the claims.
  • technical terms such as Parsing, Syntax, and Semantics are also within the scope of disclosure of the present technology even if they are not directly described in the embodiments, and meet the support requirements for a range of
  • the term "block” (not a block indicating a processing unit) used in the description as a partial area of an image (picture) or a processing unit indicates an arbitrary partial area in a picture unless otherwise specified. Its size, shape, characteristics, etc. are not limited.
  • the "block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), CU (Coding Unit), LCU (Largest Coding Unit), CTB (Coding Tree Block), CTU (Coding Tree Unit), sub-blocks, macro-blocks, tiles, or slices.
  • the block size may be specified not only directly but also indirectly.
  • the block size may be specified using identification information that identifies the size.
  • the block size may be designated by a ratio or a difference from the size of a reference block (for example, LCU or SCU).
  • a reference block for example, LCU or SCU.
  • the above-mentioned information indirectly specifying a size may be used as the information. By doing so, the information amount of the information can be reduced, and the coding efficiency can be improved in some cases.
  • This block size specification also includes block size range specification (for example, block size range specification, etc.).
  • Non-Patent Documents 1 to 3 for example, VVC (Versatile Video Coding) and the like have been used as encoding methods for moving images.
  • VVC Very Video Coding
  • profiles are defined that represent a set of functions defined for each purpose.
  • addition of the following profile was proposed as an extended profile of VVC ver.2.
  • Main 12 Intra profile, Main 12 4:4:4 Intra profile, and Main 16 4:4:4 Intra profile are also referred to as intra profiles.
  • Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, and Main 16 4:4:4 Still Picture profile are also referred to as still picture profiles.
  • the intra profiles are all picture This profile is designed to encode only I-pictures.
  • Still Picture profiles are profiles that use I-pictures to encode still pictures.
  • An I-picture also called an intra-picture
  • An intra-picture is a picture to which only intra-prediction, which refers to the inside of a screen (inside a region) to generate a predicted image, is applied as prediction processing.
  • each picture (each slice) of a moving image is desirably encoded as an I picture (I slice).
  • a slice is a unit of data formed within a picture.
  • An I slice is a slice to which only intra prediction is applied as prediction processing, similar to an I picture.
  • the encoder can encode each picture as a P-picture or B-picture, or encode each picture's slice as a P-slice or B-slice.
  • a P-picture (P-slice) and a B-picture (B-slice) are pictures (slices) to which inter-prediction, which refers to other frames to generate a predicted image, can be applied as prediction processing. Therefore, there is a possibility that the bitstream specification does not correspond to the profile.
  • ⁇ Method 1-1> For example, when applying method 1, as shown in the second row from the top of the table in FIG. " (Method 1-1).
  • IRAPs Intra Random Access Pictures
  • NAL unit type By controlling the NAL unit type in this way, the picture type can be more easily limited to I-pictures.
  • Method 1-2 For example, when applying method 1, as shown in the third row from the top of the table in FIG. 1, if it is an intra profile, the picture type of all pictures may be limited to I pictures (method 1-2). . By providing such restrictions, it is possible to more reliably encode each picture (each slice) of a moving image as an I picture (I slice) when an intra profile is applied. . Therefore, it is possible to make the bitstream specification compatible with the profile more reliably.
  • bitstream restrictions as shown in FIG. 2 may be provided as bitstream restrictions related to intra profiles.
  • the NAL unit type (nal_unit_type) is set in the NAL unit header as in the syntax shown in FIG.
  • the bitstream constraints in Figure 2 require that this NAL unit type be in the range IDR_W_RADL to CRA_NUT for intra profiles (Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile). is limited to
  • nal_unit_type indicates the identification number of the NAL unit type.
  • IRAP includes IDR (Instantaneous Decoder Refresh) pictures, CRA (Clean Random Access) pictures, GDR (Gradual Decoding Refresh) pictures, and the like. That is, these values of nal_unit_type are "values that indicate IRAP".
  • each picture (each slice) of the video is encoded as an I picture (I slice) when the intra profile is applied.
  • I picture I slice
  • bitstream constraints in FIG. 2 can be added to "A3.5 Format range extensions profiles" in Non-Patent Document 7.
  • FIG. 5 is a block diagram showing an example of a configuration of an encoding device, which is one aspect of an image processing device to which the present technology is applied.
  • the encoding device 100 shown in FIG. 5 is a device that encodes a moving image to be encoded and generates a bitstream.
  • the encoding device 100 derives a prediction residual of a moving image and its predicted image, performs coefficient transformation (for example, orthogonal transformation) on the prediction residual, quantizes the transformation coefficient, and encodes it.
  • coefficient transformation for example, orthogonal transformation
  • this encoding method is an example.
  • the method of encoding a moving image by the encoding device 100 is not limited to this example. For example, some of the above-described processes, such as coefficient transform and quantization, may be skipped (omitted).
  • the encoding device 100 encodes a moving image by applying method 1, method 1-1, method 1-2, or a combination thereof.
  • FIG. 5 shows main elements such as the processing unit and data flow, and what is shown in FIG. 5 is not necessarily all.
  • the encoding device 100 may have processing units that are not shown as blocks in FIG.
  • the encoding apparatus 100 may have processes and data flows not indicated by arrows or the like in FIG.
  • encoding device 100 has NAL unit encoding section 101 .
  • NAL unit coding section 101 performs processing related to coding of NAL units to be stored in a bitstream.
  • NAL unit encoding section 101 acquires arbitrary parameters, forms NAL units for a video to be encoded using the parameters, and encodes the NAL units.
  • NAL unit coding section 101 can also be said to be a picture coding section that codes the picture of the video.
  • NAL unit encoding section 101 encodes NAL units by applying method 1, method 1-1, method 1-2, or a combination thereof described above.
  • NAL unit coding section 101 has NAL unit header setting section 111, NAL unit header coding section 112, and Raw Byte sequence payload coding section 113.
  • the NAL unit header setting section 111 sets the NAL unit header (NAL unit header) using the parameters supplied to the NAL unit coding section 101 and supplies it to the NAL unit header coding section 112 .
  • the NAL unit header encoding section 112 encodes the NAL unit header supplied from the NAL unit header setting section 111 according to the definition of the syntax table.
  • the Raw Byte sequence payload encoding unit 113 encodes the Raw Byte sequence payload according to the definition of the syntax table.
  • the NAL unit encoding section 101 (NAL unit header setting section 111) having such a configuration performs processing by applying method 1, method 1-1, method 1-2, or a combination thereof. That is, NAL unit encoding section 101 encodes a moving image according to the bitstream constraints regarding the intra profile described above. For example, when a predetermined condition is satisfied, NAL unit coding section 101 codes the video to be coded with the picture type of all pictures as I-pictures. For example, NAL unit coding section 101 may code the video according to the bitstream constraints shown in FIG.
  • NAL unit encoding section 101 sets the NAL unit type of all VCL NAL units to "value indicating IRAP", thereby setting the picture type of all pictures to I picture. good too. That is, if a predetermined condition is satisfied, NAL unit coding section 101 may set the NAL unit type of all VCL NAL units to "value indicating IRAP" and code the video. For example, in the case of VVC, the NAL unit encoding section 101 (NAL unit header setting section 111) may set nal_unit_type to any value from 7 to 11.
  • NAL unit encoding section 101 may set the "predetermined condition" that the video encoding profile is an intra profile. That is, when the video encoding profile is the intra profile, NAL unit encoding section 101 may encode the video with the picture type of all pictures as I-pictures. In other words, NAL unit encoding section 101 (NAL unit header setting section 111) may set the NAL unit type of all VCL NAL units to "a value indicating IRAP" when the profile is an intra profile.
  • the NAL unit encoding unit 101 determines that the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile. , may be an intra-profile. That is, if the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile, NAL unit encoding section 101 (NAL unit header setting section 111)
  • the picture type of the picture may be I-picture.
  • NAL unit encoding section 101 may determine which profile is using a profile identifier (general_profile_idc) for identifying the profile.
  • the profile identifier values corresponding to Main 12 Intra profile, Main 12 4:4:4 Intra profile, and Main 16 4:4:4 Intra profile are set to 10, 42, and 44, respectively. , and may be any value within a practicable range.
  • NAL unit encoding section 101 may handle the still picture profile in the same way as the intra profile.
  • NAL unit coding section 101 may set the picture type of all pictures to I-picture even when the profile is still picture profile, as in the case of intra profile.
  • the NAL unit encoding unit 101 sets the profile to Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile.
  • a thing may be a still picture profile. That is, the profile of the NAL unit encoding unit 101 (NAL unit header setting unit 111) is Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile.
  • the picture type of all pictures may be I-picture.
  • NAL unit coding section 101 NAL unit header setting section 111 may set the picture type of all pictures as I pictures.
  • the profile identifier values corresponding to Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, and Main 16 4:4:4 Still Picture profile are set to 66, 98, and 100, respectively.
  • the encoding apparatus 100 can apply bitstream constraints such as "if a predetermined condition is satisfied, encode the video to be encoded with the picture type of all pictures as I-pictures".
  • a moving image can be encoded according to
  • the encoding device 100 can encode moving images according to the bitstream constraints shown in FIG. In other words, the encoding apparatus 100 can more reliably match the bitstream specifications to the profile.
  • the NAL unit header setting section 111 of the encoding device 100 sets the NAL unit type based on the externally specified profile in step S101. At that time, NAL unit header setting section 111 may set the NAL unit type by applying method 1, method 1-1, method 1-2, or a combination thereof.
  • the NAL unit header setting section 111 may set the picture type of all pictures to I picture if a predetermined condition is satisfied. Also, if the condition is satisfied, the NAL unit header setting section 111 may set the NAL unit type of all VCL NAL units to "value indicating IRAP". Further, when the video encoding profile is an intra profile, the NAL unit header setting section 111 may set the picture type of all pictures to I-picture. At that time, the NAL unit header setting unit 111 determines whether the profile is "Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile", or "Intra profile". It can be said that Also, a profile identifier (general_profile_idc) may be used to determine whether it is an intra profile. Also, in the case of the still picture profile, the NAL unit types may be restricted as in the case of the intra profile.
  • step S102 the NAL unit header encoding unit 112 encodes the NAL unit header set in step S101 according to the definition of the syntax table.
  • the Raw Byte sequence payload encoding unit 113 encodes the Raw byte sequence payload according to the definition of the syntax table. That is, the Raw Byte sequence payload encoding unit 113 encodes the Raw byte sequence payload as a NAL unit of the NAL unit type set in step S101. That is, the Raw Byte sequence payload encoding unit 113 applies the above-described method 1, method 1-1, method 1-2, or a combination thereof so as to satisfy the above-described bitstream constraint on the intra profile (that Encode the Raw byte sequence payload, subject to bitstream constraints).
  • step S103 ends, the encoding process ends.
  • the encoding device 100 can encode a moving image according to the bitstream constraints shown in FIG. 2, for example. In other words, the encoding apparatus 100 can more reliably match the bitstream specifications to the profile.
  • FIG. 7 is a block diagram showing an example of a configuration of a decoding device, which is one aspect of an image processing device to which the present technology is applied.
  • a decoding device 200 shown in FIG. 7 is a device that decodes a bitstream and generates (restores) a moving image to be encoded.
  • the decoding device 200 decodes the bitstream to generate (restore) quantized coefficients, dequantizes the quantized coefficients to derive transform coefficients, and converts the transform coefficients to inverse coefficient transform (for example, inverse orthogonal transform). ) to derive a prediction residual, generate a predicted image from the decoded image, and add the predicted image to the prediction residual to generate (restore) image data.
  • this decoding method is an example.
  • the bitstream decoding method by the decoding device 200 is not limited to this example. For example, some of the above-described processes such as inverse quantization and inverse coefficient transform may be skipped (omitted).
  • the decoding device 200 corresponds to the encoding method applied by the encoding device 100. That is, the decoding device 200 performs decoding processing by applying a decoding method corresponding to the encoding method. In other words, the decoding device 200 can decode a bitstream generated by an image processing device (for example, the encoding device 100) to which the present technology is applied. Therefore, the decoding device 200 applies the above method 1, method 1-1, method 1-2, or a combination thereof to decode the bitstream. More specifically, the decoding device 200 checks whether or not the bitstream to be decoded satisfies the above-described bitstream constraints regarding the intra profile (decodes the bitstream while checking).
  • FIG. 7 shows main elements such as the processing unit and data flow, and what is shown in FIG. 7 is not necessarily all. That is, the decoding device 200 may have processing units not shown as blocks in FIG. Also, the decoding device 200 may have processes and data flows that are not shown as arrows or the like in FIG.
  • decoding device 200 has NAL unit decoding section 201 .
  • the NAL unit decoding section 201 performs processing related to decoding of NAL units stored in a bitstream.
  • NAL unit decoding section 201 acquires and decodes the bitstream supplied to decoding device 200, generates (restores) NAL units, and outputs parameters related to the NAL units.
  • the NAL unit decoding unit 201 can also be said to be a picture decoding unit that decodes the bitstream and generates (restores) pictures of the video.
  • NAL unit decoding section 201 applies Method 1, Method 1-1, Method 1-2, or a combination thereof to decode the bitstream and generate (restore) NAL units.
  • the NAL unit decoding section 201 has a NAL unit header decoding section 211, a bitstream constraint checking section 212, and a Raw Byte sequence payload decoding section 213.
  • the NAL unit header decoding unit 211 decodes the bitstream supplied to the NAL unit encoding unit 101, generates (restores) the NAL unit header, and supplies it to the bitstream constraint checking unit 212.
  • the bitstream constraint checking unit 212 uses the parameters included in the generated NAL unit header to check whether the bitstream to be decoded satisfies the bitstream constraints. At this time, the bitstream constraint checker 212 performs the check by applying the method 1, method 1-1, method 1-2, or a combination thereof. That is, the bitstream constraint checking unit 212 checks whether or not the bitstream to be decoded satisfies the bitstream constraint regarding the intra profile described above (decodes the bitstream while checking).
  • the bitstream constraint checking unit 212 may check whether the picture type of all pictures in the moving image is an I picture in the bitstream to be decoded. For example, the bitstream constraint checker 212 may check whether the bitstream to be decoded satisfies the bitstream constraints shown in FIG.
  • the bitstream constraint checking unit 212 may check whether the NAL unit type of all VCL NAL units is "value indicating IRAP" in the bitstream to be decoded. For example, in the case of VVC, the bitstream constraint checking unit 212 may check whether nal_unit_type is set to any value from 7 to 11 in the NAL unit header.
  • the bitstream constraint checking unit 212 may check whether the picture type of all pictures in the bitstream to be decoded is I-picture. In other words, if the profile is an intra profile, the bitstream constraint checking unit 212 checks whether the NAL unit type of all VCL NAL units is set to "value indicating IRAP" in the NAL unit header. good too.
  • the bitstream constraint confirmation unit 212 determines that the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile, even if it is an intra profile. good. That is, when the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile, the bitstream constraint checking unit 212 checks all You may check if the picture type of the picture is an I picture.
  • bitstream constraint confirmation unit 212 may determine which profile is using a profile identifier (general_profile_idc) for identifying the profile. That is, when the value of this profile identifier is 10, 42, or 44, the bitstream constraint checking unit 212 checks whether the picture type of all pictures in the bitstream to be decoded is I-picture. good.
  • a profile identifier generally_profile_idc
  • bitstream constraint checking unit 212 may handle the still picture profile in the same way as the intra profile. That is, even when the profile is the still picture profile, the bitstream constraint checking unit 212 checks whether the picture type of all pictures in the bitstream to be decoded is I-picture, as in the case of the intra profile. may
  • the bitstream constraint checking unit 212 confirms that the profile is Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile with the still picture profile. It can be a certain thing. That is, if the profile is Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile, the bitstream constraint checking unit 212 determines , it may check whether the picture type of all pictures is I-picture. At this time, if the value of this profile identifier is 66, 98, or 100, the bitstream constraint checking unit 212 checks whether the picture type of all pictures in the bitstream to be decoded is I-picture. good too.
  • the bitstream constraint confirmation unit 212 may output the confirmation result as described above. For example, if the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraints corresponding to method 1, method 1-1, method 1-2, or a combination thereof, the bitstream constraint may be notified to the user or the like with a warning message indicating that the For example, the bitstream constraint confirmation unit 212 may display the warning message as text or an image on the screen, or may output the warning message as audio from a speaker or the like. Also, the bitstream constraint checking unit 212 may provide the warning message as data or the like to another device, another processing unit (another application), or the like.
  • bitstream constraint checking unit 212 may control bitstream decoding based on the checking result. For example, if the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraints corresponding to method 1, method 1-1, method 1-2, or a combination thereof, the bitstream may be terminated. In addition, if the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraints corresponding to the above-described method 1, method 1-1, method 1-2, or a combination thereof, the user or the like The bitstream decoding process may be paused until authorized.
  • bitstream constraint checking unit 212 may output both a warning message and control the decoding process.
  • the Raw Byte sequence payload decoding unit 213 decodes the bitstream based on the parameters included in the generated NAL unit header and derives the Raw Byte sequence payload. Therefore, the Raw Byte sequence payload decoding unit 213 can also be said to be a picture decoding unit that decodes the bitstream of the moving image to be decoded.
  • the decoding device 200 can encode the video to be encoded with the picture type of all pictures as I-pictures when the bitstream to be decoded satisfies a predetermined condition. It is possible to check whether the bitstream constraints such as "do" are satisfied. For example, the decoding device 200 can check whether the bitstream to be decoded satisfies the bitstream constraints shown in FIG. In other words, the decoding device 200 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • the NAL unit header decoding unit 211 of the decoding device 200 decodes the encoded data of the NAL unit header according to the definition of the syntax table in step S201.
  • step S202 the bitstream constraint checking unit 212 determines whether the bitstream satisfies the bitstream constraint regarding the intra profile. At that time, the bitstream constraint checker 212 may perform the check by applying the method 1, method 1-1, method 1-2, or a combination thereof.
  • the bitstream constraint checking unit 212 may check whether the picture type of all pictures in the moving image is an I picture in the bitstream to be decoded. Also, if the condition is satisfied, the bitstream constraint checker 212 may check whether the NAL unit type of all VCL NAL units in the bitstream is "value indicating IRAP". For example, you may check that the nal_unit_type is one of 7 to 11 as follows.
  • the bitstream constraint checking unit 212 may check whether the picture type of all pictures in the bitstream is I-picture.
  • the bitstream constraint confirmation unit 212 checks that the profile is "Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile", "Intra profile It can be said that Also, a profile identifier (general_profile_idc) may be used to determine whether it is an intra profile. Also, in the case of the still picture profile, as in the case of the intra profile, it may be checked whether the picture type of all pictures in the bitstream to be decoded is I-picture.
  • step S203 the bitstream constraint confirmation unit 212 notifies a warning message indicating that the bitstream constraint regarding the intra profile is not satisfied.
  • step S203 When the process of step S203 ends, the process proceeds to step S204. Also, if it is determined in step S202 that the bitstream to be decoded satisfies the bitstream constraint regarding the intra profile, the process proceeds to step S204.
  • step S204 the Raw Byte sequence payload decoding unit 213 decodes the Raw byte sequence payload according to the definition of the syntax table.
  • step S204 ends, the decoding process ends.
  • the decoding device 200 can convert the bitstream to be decoded into a moving image to be encoded with the picture type of all pictures as I-pictures when a predetermined condition is satisfied. You can check if the bitstream constraints such as "encode" are satisfied. For example, the decoding device 200 can check whether the bitstream to be decoded satisfies the bitstream constraints shown in FIG. In other words, the decoding device 200 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • the picture type of all pictures may be limited to I pictures (method 1-3). .
  • I pictures Method 1-3
  • each picture (each slice) of a video is more reliably encoded as an I picture (I slice) even if it is not an intra profile. be able to. Therefore, it is possible to make the bitstream specification compatible with the profile more reliably.
  • FIG. 9 is a block diagram showing a main configuration example of encoding apparatus 100 in that case (when method 1-3 is applied). Note that FIG. 9 shows main components such as processing units and data flow, and the components shown in FIG. 9 are not necessarily all of them. In other words, the encoding device 100 may have processing units that are not shown as blocks in FIG. Also, the encoding apparatus 100 may have processes and data flows not indicated by arrows or the like in FIG.
  • encoding device 100 in this case has parameter set encoding section 301 in addition to the configuration of FIG.
  • a parameter set encoding unit 301 acquires a parameter set including parameters such as profile, level, tier, etc., encodes it, and outputs the encoded data (stores it in a bitstream).
  • the parameter set encoding unit 301 may apply the method 1-3 described above to perform processing.
  • the parameter set encoding unit 301 sets a control flag (irap_only_constraint_flag) for controlling whether to limit the picture type of all pictures of the video to I pictures, encodes the set control flag, and bit May be stored in a stream.
  • parameter set encoding section 301 has control flag setting section 311 and control flag encoding section 312 .
  • the control flag setting unit 311 sets a control flag (irap_only_constraint_flag).
  • the control flag setting unit 311 sets this control flag, for example, based on an instruction from a user or the like. Then, the control flag setting section 311 supplies the set control flag to the control flag encoding section 312 . Also, the control flag setting section 311 supplies the set control flag to the NAL unit header setting section 111 .
  • the control flag encoding unit 312 encodes the control flag and outputs the encoded data (stores it in the bitstream).
  • the NAL unit encoding section 101 applies method 1-3 described above and performs processing based on this control flag. For example, if this control flag is true, NAL unit coding section 101 may code the video with the picture type of all pictures as I-pictures. At that time, NAL unit encoding section 101 (NAL unit header setting section 111) sets the NAL unit type of all VCL NAL units to "value indicating IRAP", thereby setting the picture type of all pictures to I picture. good too. For example, in the case of VVC, the NAL unit encoding section 101 (NAL unit header setting section 111) may set nal_unit_type to any value from 7 to 11.
  • the NAL unit header encoding section 112 and the Raw Byte sequence payload encoding section 113 perform the same processing as in FIG.
  • the encoding apparatus 100 when the control flag (irap_only_constraint_flag) for controlling whether to limit the picture type of all pictures of a moving image to I-pictures is true, allows all pictures A moving image to be encoded can be encoded with the picture type of I-picture as an I-picture. In other words, the encoding apparatus 100 can more reliably match the bitstream specifications to the profile.
  • step S301 the control flag setting unit 311 of the encoding device 100 sets the picture type of all pictures of the moving image to I picture based on an instruction from the user or the like. Set a control flag (irap_only_constraint_flag) to control whether to restrict.
  • step S302 the control flag encoding unit 312 encodes the control flag (irap_only_constraint_flag) set in step S301 and stores it in the bitstream.
  • step S303 the NAL unit encoding unit 101 applies method 1-3 described above, executes NAL unit encoding processing based on the control flag (irap_only_constraint_flag) set in step S301, and encodes the NAL unit. do.
  • control flag irap_only_constraint_flag
  • NAL unit coding section 101 codes the video with the picture type of all pictures as I-pictures.
  • step S303 When the process of step S303 ends, the encoding process ends.
  • the NAL unit header setting section 111 sets the NAL unit type based on the control flag (irap_only_constraint_flag) in step S321. For example, if the control flag is true, NAL unit header setting section 111 sets the picture type of all pictures as I pictures. For example, in that case, the NAL unit header setting section 111 may set the NAL unit type of all VCL NAL units to "value indicating IRAP". For example, in the case of VVC, the NAL unit header setting section 111 may set nal_unit_type to any value from 7 to 11.
  • step S322 the NAL unit header encoding unit 112 encodes the NAL unit header set in step S301 according to the definition of the syntax table.
  • the Raw Byte sequence payload encoding unit 113 encodes the Raw byte sequence payload according to the definition of the syntax table. That is, the Raw Byte sequence payload encoding unit 113 encodes the Raw byte sequence payload as a NAL unit of the NAL unit type set in step S321. That is, Raw Byte sequence payload encoding section 113 applies the method 1-3 described above to encode the Raw byte sequence payload.
  • step S323 When the process of step S323 ends, the NAL unit encoding process ends, and the process returns to FIG.
  • the encoding apparatus 100 can control whether the picture type of all pictures in the moving image is limited to I-pictures.
  • a moving image to be encoded can be encoded by setting the picture type of the picture in I-picture to I-picture. In other words, the encoding apparatus 100 can more reliably match the bitstream specifications to the profile.
  • FIG. 12 is a block diagram showing a main configuration example of a decoding device in this case (when method 1-3 is applied). Note that FIG. 12 shows main components such as processing units and data flow, and the components shown in FIG. 12 are not necessarily all. That is, the decoding device 200 may have processing units not shown as blocks in FIG. Also, the decoding device 200 may have processes and data flows not indicated by arrows or the like in FIG. 12 .
  • decoding device 200 in this case has parameter set decoding section 401 in addition to the configuration in FIG.
  • the parameter set decoding unit 401 acquires coded data of a parameter set including parameters such as profile, level, tier, etc. stored in a bitstream, decodes it, and converts the parameter set (for example, profile, level, tier, etc.) parameters) are generated (restored).
  • the parameter set decoding unit 401 has a control flag decoding unit 411.
  • the control flag decoding unit 411 applies the method 1-3 described above, decodes the bitstream, and sets a control flag (irap_only_constraint_flag) for controlling whether the picture type of all pictures of the moving image is limited to I pictures. generate (restore)
  • the control flag decoder 411 supplies the generated control flag to the bitstream constraint checker 212 .
  • the bitstream constraint checking unit 212 may check whether the NAL unit type of all VCL NAL units is "value indicating IRAP" in the bitstream to be decoded. For example, in the case of VVC, the bitstream constraint checking unit 212 may check whether nal_unit_type is set to any value from 7 to 11 in the NAL unit header.
  • the bitstream constraint confirmation unit 212 may output the confirmation result as described above. For example, if the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraint corresponding to the method 1-3 described above, a warning message indicating that the bitstream constraint is not satisfied is sent to the user or the like. may notify you. For example, the bitstream constraint confirmation unit 212 may display the warning message as text or an image on the screen, or may output the warning message as audio from a speaker or the like. Also, the bitstream constraint checking unit 212 may provide the warning message as data or the like to another device, another processing unit (another application), or the like.
  • the bitstream constraint checking unit 212 may control bitstream decoding based on the checking result. For example, when the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraint corresponding to the methods 1-3 described above, the bitstream decoding process may be terminated. Further, if the bitstream constraint checking unit 212 determines that the bitstream does not satisfy the bitstream constraint corresponding to the method 1-3 described above, the bitstream constraint checking unit 212 temporarily suspends the decoding process of the bitstream until it is permitted by the user or the like. You can stop.
  • bitstream constraint checking unit 212 may output both a warning message and control the decoding process.
  • the NAL unit header decoding unit 211 and the Raw Byte sequence payload decoding unit 213 perform the same processing as in FIG.
  • the decoding device 200 when the control flag (irap_only_constraint_flag) for controlling whether to limit the picture type of all pictures of the moving image to I pictures is true, the bits to be decoded In the stream, it is possible to check whether the picture type of all pictures is I-picture. In other words, the decoding device 200 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • the control flag irap_only_constraint_flag
  • control flag decoding unit 411 of the decoding device 200 decodes (encoded data of control flags included in) the bitstream in step S401, and decodes all pictures of the moving image. Generate (restore) a control flag (irap_only_constraint_flag) for controlling whether the picture type is limited to I pictures.
  • step S402 the NAL unit decoding unit 201 executes the NAL unit encoding process by applying the method 1-3 described above, and extracts the NAL unit based on the control flag (irap_only_constraint_flag) generated (restored) in step S401. Decode the encoded data. That is, when the control flag is true, NAL unit coding section 101 checks whether the picture type of all pictures in the bitstream to be decoded is I-picture.
  • step S402 ends, the decoding process ends.
  • the NAL unit header decoding section 211 decodes the encoded data of the NAL unit header according to the definition of the syntax table in step S421.
  • step S422 the bitstream constraint checking unit 212 determines whether or not the bitstream to be decoded satisfies the bitstream constraint regarding the intra profile. At that time, the bitstream constraint checking unit 212 may perform the checking by applying the method 1-3 described above.
  • the bitstream constraint checker 212 may check whether the NAL unit type of all VCL NAL units in the bitstream is "value indicating IRAP". For example, in the case of VVC, the bitstream constraint checking unit 212 may check that the nal_unit_type is any one of 7 to 11.
  • step S423 the bitstream constraint confirmation unit 212 notifies a warning message indicating that the bitstream constraint regarding the intra profile is not satisfied.
  • step S423 When the process of step S423 ends, the process proceeds to step S424. Also, if it is determined in step S422 that the bitstream to be decoded satisfies the bitstream constraint regarding the intra profile, the process proceeds to step S424.
  • step S424 the Raw Byte sequence payload decoding unit 213 decodes the Raw byte sequence payload according to the definition of the syntax table.
  • step S424 ends, the process returns to FIG.
  • the decoding device 200 By executing each process in this way, the decoding device 200, if the control flag (irap_only_constraint_flag) for controlling whether to limit the picture type of all pictures of the moving image to I pictures is true, In the bitstream, it is possible to check whether the picture type of all pictures is I-picture. In other words, the decoding device 200 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • the control flag irap_only_constraint_flag
  • encoding device 100 and decoding device 200 apply method 1-3 described above in combination with other methods (method 1, method 1-1, method 1-2, or a combination thereof, etc. described above). may
  • the intra only constraint flag may be limited to true (method 2).
  • the intra only constraint flag (gci_intra_only_constraint_flag) is flag information indicating whether or not the slice type of all slices of a moving image is I slice. Also, this intra-only constraint flag can be said to be a control flag for controlling whether or not the slice type of all slices of a moving image is limited to I slices.
  • this constraint can be applied to, for example, the intra profile described above. That is, it is possible to control whether or not the slice type of all slices of a moving image is limited to I slices via this intra-only constraint flag. Therefore, it is possible to make the bitstream specification compatible with the profile more reliably.
  • Method 2-1 For example, when applying method 2, the profiles are Main 12 Intra profile, Main 12 4:4:4 Intra profile, Main 16 4:4:4 Intra profile, as shown in the second row from the top of the table in FIG. , the intra-only constraint flag may be restricted to true (method 2-1).
  • Method 2-1-1 For example, when applying method 2-1, as shown in the third row from the top of the table in FIG. (Method 2-1-1).
  • Method 2-2 For example, when method 2 is applied, the intra-only constraint flag may be restricted to true even in the case of still picture profiles, as shown at the bottom of the table in FIG. 15 (method 2-2).
  • bitstream restrictions as shown in FIG. 16 may be provided as bitstream restrictions related to intra profiles.
  • an intra only constraint flag gci_intra_only_constraint_flag
  • this intra only constraint flag (gci_intra_only_constraint_flag) is true. is limited to
  • FIG. 19 is a block diagram showing an example of the configuration of an encoding device that is one aspect of an image processing device to which the present technology is applied.
  • An encoding device 500 shown in FIG. 19 is a device that encodes a moving image to be encoded and generates a bitstream.
  • the encoding device 500 derives a prediction residual of a moving image and its predicted image, performs coefficient transformation (for example, orthogonal transformation) on the prediction residual, quantizes the transformation coefficients, and encodes them.
  • coefficient transformation for example, orthogonal transformation
  • this encoding method is an example.
  • the method of encoding a moving image by the encoding device 500 is not limited to this example. For example, some of the above-described processes, such as coefficient transform and quantization, may be skipped (omitted).
  • the encoding device 500 encodes a moving image by applying method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof.
  • FIG. 19 shows main elements such as the processing unit and data flow, and the elements shown in FIG. 19 are not necessarily all.
  • the encoding device 500 may have processing units that are not shown as blocks in FIG.
  • the encoding device 500 may have processes and data flows that are not shown as arrows or the like in FIG.
  • encoding device 500 has parameter set encoding section 501 and picture encoding section 502 .
  • a parameter set encoding unit 501 acquires a parameter set including parameters such as profile, level, tier, etc., encodes it, and outputs the encoded data (stores it in a bitstream).
  • the picture encoding unit 502 acquires arbitrary parameters related to a moving image to be encoded, and uses the parameters to encode the moving image for each slice.
  • the parameter set encoding unit 501 and the picture encoding unit 502 apply the above-described method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof to perform processing. good too.
  • the parameter set encoding unit 501 sets an intra-only constraint flag (gci_intra_only_constraint_flag ) to true to encode the parameter set with its intra-only constraint flag.
  • the picture encoding unit 502 may encode the video with all slices of the video to be encoded set as I slices.
  • the picture encoding unit 502 may set the value of sh_slice_type, which is a parameter indicating the slice type, to "2".
  • the parameter set encoding unit 501 sets the intra only constraint flag to true when the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile. may
  • the parameter set encoding unit 501 may set the intra-only restriction flag to true when the value of the profile identifier (general_profile_idc) for identifying the profile is 10, 42, or 44.
  • parameter set encoding section 501 also sets the intra-only constraint flag to true when the profile is a still picture profile (for example, when the value of the profile identifier (general_profile_idc) is 66, 98, or 100). You may
  • the parameter set encoding unit 501 has an intra-only constraint flag setting unit 511 and an intra-only constraint flag encoding unit 512.
  • the picture coding unit 502 also has a slice header setting unit 521 , a slice header coding unit 522 and a slice coding unit 523 .
  • the intra-only restriction flag setting unit 511 determines that the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile as an intra profile. good too. That is, if the specified profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile, the intra only constraint flag setting unit 511 sets the intra only constraint flag to May be set to true.
  • the intra-only restriction flag setting unit 511 may determine what the specified profile is by using a profile identifier (general_profile_idc) for identifying the profile. That is, the intra-only restriction flag setting unit 511 may set the intra-only restriction flag to true when the value of this profile identifier is 10, 42, or 44.
  • a profile identifier generally_profile_idc
  • the intra-only restriction flag setting unit 511 may handle the still picture profile in the same way as the intra profile. That is, the intra-only constraint flag setting unit 511 may set the intra-only constraint flag to true even when the profile is the still picture profile, as in the case of the intra profile.
  • the intra-only restriction flag setting unit 511 determines that the profile is Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile. It is also possible to be That is, if the specified profile is Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, or Main 16 4:4:4 Still Picture profile, intra only constraint flag setting unit 511 sets intra only Constraint flags may be set to true.
  • the intra-only restriction flag setting unit 511 may determine what the specified profile is by using the profile identifier (general_profile_idc) for identifying the profile. That is, the intra-only restriction flag setting unit 511 may set the intra-only restriction flag to true when the value of this profile identifier is 66, 98, or 100.
  • FIG. 1 the profile identifier
  • the intra-only constraint flag setting unit 511 may supply the set intra-only constraint flag to the intra-only constraint flag encoding unit 512 and the slice header setting unit 521 .
  • the intra-only constraint flag encoding unit 512 may encode the intra-only constraint flag supplied from the intra-only constraint flag setting unit 511 and store the encoded data in the bitstream.
  • sh_slice_type which is a parameter indicating the slice type
  • the slice header setting unit 521 may set the slice type based on the specified profile type instead of the intra-only restriction flag. For example, the slice header setting unit 521 may set all slices as I slices when an intra profile is specified. For example, when Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile is specified, the slice header setting unit 521 sets all slices to I slices. good too. Also, when the value of the specified profile identifier is 10, 42, or 44, the slice header setting unit 521 may set the picture type of all pictures to I-picture. Further, the slice header setting unit 521 may set the picture type of all pictures to I-picture even when a still picture profile is specified.
  • the slice header setting unit 521 may supply the slice header set in this way to the slice header encoding unit 522 .
  • the slice header encoding unit 522 encodes the slice header supplied from the slice header setting unit 521 according to the definition of the syntax table.
  • the slice encoding unit 523 encodes slices according to the definition of the syntax table.
  • the encoding device 500 can encode moving images according to bitstream constraints such as "for intra profiles, limit the intra-only constraint flag to true".
  • bitstream constraints such as "for intra profiles, limit the intra-only constraint flag to true".
  • the encoding device 500 can encode moving images according to the bitstream constraints shown in FIG. In other words, the encoding apparatus 500 can more reliably match the bitstream specifications to the profile.
  • the parameter set encoding unit 501 of the encoding device 500 executes the parameter set encoding process and encodes the parameter set in step S501.
  • the parameter set encoding unit 501 sets the intra only constraint flag to true, and encodes the parameter set including the intra only constraint flag.
  • step S502 the picture encoding unit 502 executes picture encoding processing to encode the picture. At this time, if the intra-only constraint flag is true, the picture encoding unit 502 encodes the video to be encoded with all slices as I-slices.
  • step S502 ends, the encoding process ends.
  • the intra-only constraint flag setting unit 511 sets the intra-only constraint flag (gci_intra_only_constraint_flag) based on the specified profile in step S521. As described above, for example, when an intra profile is specified, the intra only constraint flag setting unit 511 may set the intra only constraint flag to true. At that time, the intra-only restriction flag setting unit 511 determines that the profile is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile as an intra profile. good too. Also, the intra-only restriction flag setting unit 511 may determine what the specified profile is by using a profile identifier (general_profile_idc) for identifying the profile. Also, the intra-only restriction flag setting unit 511 may handle the still picture profile in the same manner as the intra profile.
  • a profile identifier generally_profile_idc
  • step S522 the intra-only constraint flag encoding unit 512 encodes the intra-only constraint flag set in step S521 according to the definition of the syntax table.
  • step S522 When the process of step S522 ends, the parameter set encoding process ends, and the process returns to FIG.
  • the slice header setting unit 521 sets the slice type of the slice to be processed in step S541.
  • the slice header setting unit 521 may set the slice type based on the specified profile type instead of the intra-only restriction flag. For example, the slice header setting unit 521 may set all slices as I slices when an intra profile is specified. For example, when Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile is specified, the slice header setting unit 521 sets all slices to I slices. good too. Also, when the value of the specified profile identifier is 10, 42, or 44, the slice header setting unit 521 may set the picture type of all pictures to I-picture. Further, the slice header setting unit 521 may set the picture type of all pictures to I-picture even when a still picture profile is specified.
  • the slice header setting unit 521 sets a slice header including the slice type set in this way for the slice to be processed.
  • step S542 the slice header encoding unit 522 encodes the slice header of the processing target slice set in step S541 according to the definition of the syntax table.
  • step S543 the slice encoding unit 523 encodes the slice to be processed according to the definition of the syntax table.
  • step S544 the picture coding unit 502 determines whether or not all slices of the processing target frame have been coded. If it is determined that there are unprocessed slices, a new slice to be processed is selected from among the unprocessed slices, and the process returns to step S541. That is, each process of steps S541 to S544 is executed for each slice of the processing target frame.
  • step S544 if it is determined that all slices of the frame to be processed have been encoded, the picture encoding process ends, and the process returns to FIG.
  • the encoding device 500 can encode a moving image according to a bitstream constraint such as "for an intra profile, limit the intra-only constraint flag to true".
  • a bitstream constraint such as "for an intra profile, limit the intra-only constraint flag to true".
  • the encoding device 500 can encode moving images according to the bitstream constraints shown in FIG. In other words, the encoding apparatus 500 can more reliably match the bitstream specifications to the profile.
  • FIG. 23 is a block diagram showing an example of a configuration of a decoding device which is one aspect of an image processing device to which the present technology is applied.
  • a decoding device 600 shown in FIG. 23 is a device that decodes a bitstream and generates (restores) a moving image to be encoded.
  • the decoding device 600 decodes the bitstream to generate (restore) quantized coefficients, dequantizes the quantized coefficients to derive transform coefficients, and converts the transform coefficients to inverse coefficient transform (for example, inverse orthogonal transform). ) to derive a prediction residual, generate a predicted image from the decoded image, and add the predicted image to the prediction residual to generate (restore) image data.
  • inverse coefficient transform for example, inverse orthogonal transform
  • this decoding method is an example.
  • the bitstream decoding method by the decoding device 600 is not limited to this example. For example, some of the above-described processes such as inverse quantization and inverse coefficient transform may be skipped (omitted).
  • the decoding device 600 decodes the bitstream by applying method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof.
  • FIG. 23 shows main elements such as the processing unit and data flow, and what is shown in FIG. 23 is not necessarily all. That is, the decoding device 600 may have processing units not shown as blocks in FIG. Also, the decoding device 600 may have processes and data flows not indicated by arrows or the like in FIG.
  • decoding device 600 has parameter set decoding section 601 and picture decoding section 602 .
  • a parameter set decoding unit 601 obtains coded data of a parameter set including parameters such as profile, level, and tier stored in a bitstream, decodes it, and decodes the parameter set (for example, profile, level, tier, etc.). parameters) are generated (restored).
  • a picture decoding unit 602 acquires a bitstream, decodes the bitstream, generates (restores) a moving image to be encoded, and outputs parameters related to the moving image.
  • the parameter set decoding unit 601 has an intra-only constraint flag decoding unit 611 and a bitstream constraint checking unit 612.
  • the picture decoding unit 602 also has a slice header decoding unit 621 , a bitstream constraint checking unit 622 and a slice decoding unit 623 .
  • the intra only constraint flag decoding unit 611 applies the above-described method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof, decodes the bitstream, and decodes the intra only constraint flag ( gci_intra_only_constraint_flag) is generated (restored).
  • the intra-only constraint flag is a control flag that controls whether the slice types of all slices of a moving image are limited to I-slices. Therefore, the intra-only constraint flag decoding unit 611 can also be said to be a control flag decoding unit. Note that the intra-only constraint flag can also be said to be flag information indicating whether or not the slice type of all slices of a moving image stored in a bitstream is an I slice.
  • the intra-only constraint flag decoder 611 supplies the generated intra-only constraint flag to the bitstream constraint checker 612 and the bitstream constraint checker 622 .
  • bitstream constraint checking unit 612 determines that the intra only constraint flag is true. You can check if it is
  • bitstream constraint checking unit 612 may check whether the intra-only constraint flag is true when the value of the profile identifier (general_profile_idc) for identifying the profile is 10, 42, or 44.
  • bitstream constraint checking unit 612 may further check whether the intra-only constraint flag is true even when the profile of the bitstream is the still picture profile.
  • the bitstream constraint confirmation unit 612 may output the confirmation result as described above. For example, the bitstream constraint checking unit 612 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above (there is an intra-only constraint flag whose value is false even though it is an intra profile). If so, the user or the like may be notified of a warning message indicating that the bitstream constraint is not satisfied. For example, the bitstream constraint confirmation unit 612 may display the warning message as text or an image on the screen, or may output the warning message as audio from a speaker or the like. Also, the bitstream constraint checking unit 612 may provide the warning message as data or the like to another device, another processing unit (another application), or the like.
  • the bitstream constraint checker 612 may control decoding of the intra-only constraint flag based on the check result. For example, when the bitstream constraint checking unit 612 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above, the decoding process for the intra-only constraint flag may be terminated. Further, when the bitstream constraint checking unit 612 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above, the decoding processing of the intra-only constraint flag is temporarily suspended until the user or the like permits it. You can stop.
  • bitstream constraint checking unit 612 may both output a warning message and control the decoding process.
  • the slice header decoding unit 621 decodes the bitstream according to the definition of the syntax table and generates (restores) the slice header of the slice to be processed.
  • the slice header decoding unit 621 supplies the generated slice header of the slice to be processed to the bitstream constraint checking unit 622 .
  • the bitstream constraint confirmation unit 622 performs processing related to confirmation of bitstream constraints.
  • the bitstream constraint checker 622 may obtain the intra-only constraint flag supplied from the intra-only constraint flag decoder 611 .
  • the bitstream constraint checking unit 622 may acquire the slice header supplied from the slice header decoding unit 621 .
  • the bitstream constraint checking unit 622 applies the above-described method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof, and if a predetermined condition is satisfied, in the bitstream, It may be checked whether the slice type of all slices of the moving image is I-slice.
  • the bitstream constraint checking unit 622 may check whether or not the value of sh_slice_type, which is a parameter indicating the slice type, is "2" for all slices.
  • the bitstream constraint checking unit 622 may check whether the slice type of all the slices of the video in the bitstream is I slice. For example, if the intra-only constraint flag supplied from the intra-only constraint flag decoding unit 611 is true, the bitstream constraint checking unit 622 determines whether the slice type of all slices of the video in the bitstream is an I slice. can be checked.
  • the bitstream constraint checking unit 622 may check whether the slice type of all slices is I slice based on the profile type of the bitstream instead of the intra-only constraint flag. For example, when the profile of the bitstream is the intra profile, the bitstream constraint checking unit 622 may check whether the slice type of all slices of the video in the bitstream is I slice. For example, if the profile type of the bitstream is Main 12 Intra profile, Main 12 4:4:4 Intra profile, or Main 16 4:4:4 Intra profile, the bitstream constraint checking unit 622 checks all slice slices You may check if the type is an I slice.
  • the bitstream constraint checker 622 may check whether the slice type of all slices is I slice.
  • the bitstream constraint checking unit 622 may also check whether the slice type of all slices is an I slice even when the bitstream profile is the still picture profile.
  • the bitstream constraint confirmation unit 622 may output the confirmation result as described above. For example, if the bitstream constraint checking unit 622 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above (there is a slice that is not an I slice even though it is an intra profile), the bitstream A user or the like may be notified of a warning message indicating that the stream constraint is not satisfied. For example, the bitstream constraint confirmation unit 622 may display the warning message as text or an image on the screen, or may output the warning message as audio from a speaker or the like. Also, the bitstream constraint checking unit 622 may provide the warning message as data or the like to another device, another processing unit (another application), or the like.
  • bitstream constraint checker 622 may control decoding of the intra-only constraint flag based on the check result. For example, when the bitstream constraint checking unit 622 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above, the bitstream decoding process may be terminated. If the bitstream constraint checking unit 622 determines that the bitstream does not satisfy the bitstream constraint related to the intra-only constraint flag described above, the bitstream constraint checking unit 622 suspends the decoding process of the bitstream until the user or the like permits it. may
  • bitstream constraint confirmation unit 622 may output both a warning message and control the decoding process.
  • the slice decoding unit 623 decodes the bitstream and generates (restores) a moving image to be decoded included in the bitstream. For example, the slice decoding unit 623 decodes the target slice according to the definition of the syntax table.
  • the decoding device 600 can confirm whether all intra-only constraint flags are true, for example, when the profile of the bitstream is an intra profile. In other words, the decoding device 600 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • the parameter set decoding unit 601 executes the parameter decoding process in step S601, decodes the coded data of the parameter set included in the bitstream, and generates (restores) the parameter set. )do.
  • step S602 the picture decoding unit 602 executes picture decoding processing, decodes encoded data of pictures included in the bitstream, and generates (restores) pictures.
  • step S602 ends, the decoding process ends.
  • the intra-only constraint flag decoding unit 611 decodes the bitstream according to the definition of the syntax table and generates (restores) the intra-only constraint flag in step S621.
  • step S623 the bitstream constraint confirmation unit 612 notifies a warning message indicating that the bitstream constraint regarding the intra-only constraint flag is not satisfied.
  • step S623 ends, the parameter set decoding process ends, and the process returns to FIG. If it is determined in step S622 that the intra-only constraint flag is true, the parameter set decoding process ends and the process returns to FIG.
  • the slice header decoding unit 621 decodes the bitstream according to the definition of the syntax table in step S641 to generate (restore) the slice header of the slice to be processed.
  • step S642 the bitstream constraint checking unit 622 applies method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof described above to determine if the bitstream is related to the intra-only constraint flag. Determine whether the bitstream constraints are satisfied. For example, if a predetermined condition is satisfied, the bitstream constraint checking unit 622 may determine whether or not the slice type of all the slices of the video in the bitstream is the I slice. If it is determined that this bitstream constraint is not satisfied, the process proceeds to step S643.
  • step S643 the bitstream constraint confirmation unit 612 notifies a warning message indicating that the bitstream constraint regarding the intra-only constraint flag is not satisfied.
  • the bitstream constraint checking unit 622 notifies a warning message indicating that the slice type of video slices in the bitstream is not all I-slices even though a predetermined condition is satisfied.
  • step S643 When the process of step S643 ends, the process proceeds to step S644. Alternatively, if it is determined in step S642 that the bitstream satisfies the bitstream constraint regarding the intra-only constraint flag, the process proceeds to step S644.
  • step S644 the slice decoding unit 623 decodes the bitstream according to the definition of the syntax table and generates (restores) the slice to be processed.
  • step S645 the picture decoding unit 602 determines whether or not all slices of the processing target frame have been decoded. If it is determined that there are unprocessed slices, a new slice to be processed is selected from among the unprocessed slices, and the process returns to step S641. That is, each process of steps S641 to S645 is executed for each slice of the frame to be processed.
  • step S644 if it is determined that all slices of the frame to be processed have been decoded, the picture decoding process ends, and the process returns to FIG.
  • the decoding device 600 can check whether all intra-only constraint flags are true, for example, when the profile of the bitstream is an intra profile. In other words, the decoding device 600 can make the specification of the bitstream to be decoded correspond to the profile more reliably.
  • FIG. 27 is a block diagram showing an example of a configuration of an image encoding device which is one aspect of an image processing device to which the present technology is applied.
  • An image encoding device 700 shown in FIG. 27 is a device that encodes image data of a moving image.
  • the image encoding device 700 can encode image data of a moving image using the encoding method described in any of the non-patent documents mentioned above.
  • FIG. 27 shows main components such as processing units (blocks) and data flow, and what is shown in FIG. 27 is not necessarily all. That is, the image encoding device 700 may have processing units not shown as blocks in FIG. Also, the image encoding device 700 may have processes and data flows not indicated by arrows or the like in FIG.
  • the image encoding device 700 includes a control unit 701, a rearrangement buffer 711, a calculation unit 712, an orthogonal transformation unit 713, a quantization unit 714, an encoding unit 715, an accumulation buffer 716, an inverse quantization unit 717 , an inverse orthogonal transform unit 718 , a calculation unit 719 , an in-loop filter unit 720 , a frame memory 721 , a prediction unit 722 and a rate control unit 723 .
  • the control unit 701 divides the moving image data held by the rearrangement buffer 711 into processing unit blocks (CU, PU, transform block, etc.) based on an external or pre-specified processing unit block size. .
  • the control unit 701 determines coding parameters (header information Hinfo, prediction mode information Pinfo, transform information Tinfo, filter information Finfo, etc.) to be supplied to each block, for example, based on RDO (Rate-Distortion Optimization). do.
  • control unit 701 After determining the encoding parameters as described above, the control unit 701 supplies them to each block. Specifically, it is as follows.
  • Header information Hinfo is supplied to each block.
  • the prediction mode information Pinfo is supplied to the encoding section 715 and the prediction section 722 .
  • the transform information Tinfo is supplied to an encoding unit 715 , an orthogonal transform unit 713 , a quantization unit 714 , an inverse quantization unit 717 and an inverse orthogonal transform unit 718 .
  • the filter information Finfo is supplied to the in-loop filter section 720 .
  • Each field (input image) of moving image data is input to the image encoding device 700 in the order of reproduction (display order).
  • the rearrangement buffer 711 acquires and holds (stores) each input image in its reproduction order (display order).
  • the rearrangement buffer 711 rearranges the input image in encoding order (decoding order) or divides the input image into processing unit blocks under the control of the control unit 701 .
  • the rearrangement buffer 711 supplies each processed input image to the calculation unit 712 .
  • the rearrangement buffer 711 also supplies each input image (original image) to the prediction unit 722 and the in-loop filter unit 720 .
  • the calculation unit 712 receives the image I corresponding to the block of the processing unit and the prediction image P supplied from the prediction unit 722, subtracts the prediction image P from the image I as shown in the following formula, and predicts A residual D is derived and supplied to the orthogonal transform section 713 .
  • the orthogonal transform unit 713 receives the prediction residual D supplied from the calculation unit 712 and the transform information Tinfo supplied from the control unit 701, and transforms the prediction residual D into an orthogonal transform based on the transform information Tinfo. Perform the transform and derive the transform coefficient Coeff. For example, the orthogonal transform unit 713 performs primary transform on the prediction residual D to generate primary transform coefficients, performs secondary transform on the primary transform coefficients based on the ST identifier, and generates secondary transform coefficients. do. The orthogonal transform unit 713 supplies the obtained secondary transform coefficients to the quantization unit 714 as transform coefficients Coeff.
  • the orthogonal transformation unit 713 is not limited to orthogonal transformation, and can perform arbitrary coefficient transformation. That is, the transform coefficient Coeff may be derived by subjecting the prediction residual D to any coefficient transform. Therefore, the orthogonal transform section 713 can also be said to be a coefficient transform section.
  • the quantization unit 714 receives the transform coefficient Coeff supplied from the orthogonal transform unit 713 and the transform information Tinfo supplied from the control unit 701, and scales (quantizes) the transform coefficient Coeff based on the transform information Tinfo. )do. Note that the rate of this quantization is controlled by the rate control section 723 .
  • the quantization section 714 supplies the quantization coefficient qcoeff, which is the level value of the transform coefficient quantized in this way, to the encoding section 715 and the inverse quantization section 717 .
  • the encoding unit 715 receives the quantization coefficient qcoeff supplied from the quantization unit 714 and various encoding parameters supplied from the control unit 701 (header information Hinfo, prediction mode information Pinfo, transform information Tinfo, filter information Finfo, etc.). , information on filters such as filter coefficients supplied from the in-loop filter unit 720 and information on the optimum prediction mode supplied from the prediction unit 722 are input.
  • the coding unit 715 performs variable length coding (for example, arithmetic coding) on the quantized coefficient qcoeff to generate a bit string (coded data).
  • the encoding unit 715 includes information about the filter supplied from the in-loop filter unit 720 in the filter information Finfo, and includes information about the optimum prediction mode supplied from the prediction unit 722 in the prediction mode information Pinfo. Then, the encoding unit 715 encodes the above-described various encoding parameters (header information Hinfo, prediction mode information Pinfo, transform information Tinfo, filter information Finfo, etc.) to generate a bit string.
  • the encoding unit 715 multiplexes the bit strings (encoded data) of various information generated as described above to generate a bit stream of the encoded data. Encoder 715 supplies the bitstream to accumulation buffer 716 .
  • the accumulation buffer 716 temporarily holds the bitstream of the encoded data obtained by the encoding unit 715 .
  • the accumulation buffer 716 outputs the bitstream of the encoded data it holds to the outside of the image encoding device 700 at a predetermined timing. For example, this bitstream is transmitted to the decoding side via any recording medium, any transmission medium, any information processing device, or the like. That is, the accumulation buffer 716 is also a transmission unit that transmits a bitstream (encoded data).
  • the inverse quantization unit 717 performs processing related to inverse quantization. For example, the inverse quantization unit 717 receives the quantization coefficient qcoeff supplied from the quantization unit 714 and the transformation information Tinfo supplied from the control unit 701, and calculates the quantization coefficient qcoeff based on the transformation information Tinfo. Scale (inverse quantize) the value of . Note that this inverse quantization is inverse processing of the quantization performed in the quantization section 714 . The inverse quantization unit 717 supplies the transform coefficient Coeff_IQ obtained by such inverse quantization to the inverse orthogonal transform unit 718 .
  • the inverse orthogonal transform unit 718 performs processing related to inverse orthogonal transform. For example, the inverse orthogonal transform unit 718 receives the transform coefficient Coeff_IQ supplied from the inverse quantization unit 717 and the transform information Tinfo supplied from the control unit 701, and transforms the transform coefficient Coeff_IQ based on the transform information Tinfo. Then, an inverse orthogonal transform is performed to derive a prediction residual D'. This inverse orthogonal transform is an inverse process of the orthogonal transform performed in the orthogonal transform section 713 . The inverse orthogonal transformation unit 718 supplies the prediction residual D′ obtained by such inverse orthogonal transformation to the calculation unit 719 .
  • the inverse orthogonal transform unit 718 performs the inverse processing of the processing performed by the orthogonal transform unit 713 .
  • the inverse orthogonal transform section 718 can perform any inverse coefficient transform, not limited to the inverse orthogonal transform.
  • This inverse coefficient transform is inverse processing of the coefficient transform executed by the orthogonal transform unit 713 . That is, the prediction residual D' may be derived by performing any inverse coefficient transform on the transform coefficient Coeff_IQ. Therefore, the inverse orthogonal transform unit 718 can also be said to be an inverse coefficient transform unit.
  • the calculation unit 719 receives the prediction residual D′ supplied from the inverse orthogonal transform unit 718 and the predicted image P supplied from the prediction unit 722 .
  • the calculation unit 719 adds the prediction residual D' and the prediction image P corresponding to the prediction residual D' to derive a local decoded image Rlocal.
  • the calculation unit 719 supplies the derived local decoded image Rlocal to the in-loop filter unit 720 and the frame memory 721 .
  • the in-loop filter unit 720 performs processing related to in-loop filtering.
  • the in-loop filter unit 720 converts the local decoded image Rlocal supplied from the calculation unit 719, the filter information Finfo supplied from the control unit 701, and the input image (original image) supplied from the rearrangement buffer 711. Input.
  • the information input to in-loop filter section 720 is arbitrary, and information other than these information may be input. For example, if necessary, prediction mode, motion information, code amount target value, quantization parameter QP, picture type, block (CU, CTU, etc.) information and the like may be input to the in-loop filter unit 720. good.
  • the in-loop filter unit 720 appropriately performs filtering on the local decoded image Rlocal based on the filter information Finfo.
  • the in-loop filter unit 720 also uses the input image (original image) and other input information for the filtering process as necessary.
  • the in-loop filter unit 720 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter (ALF (Adaptive Loop Filter)). Apply two in-loop filters in this order. Which filter to apply and in what order are optional and can be selected as appropriate.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF adaptive Loop Filter
  • the filtering process performed by the in-loop filtering unit 720 is arbitrary and is not limited to the above example.
  • the in-loop filter unit 720 may apply a Wiener filter or the like.
  • the in-loop filter unit 720 supplies the filtered locally decoded image Rlocal to the frame memory 721 .
  • the in-loop filter unit 720 supplies the filter-related information to the encoding unit 715 .
  • the frame memory 721 performs processing related to storage of image-related data. For example, the frame memory 721 receives the local decoded image Rlocal supplied from the calculation unit 719 and the filtered local decoded image Rlocal supplied from the in-loop filter unit 720, and holds (stores) them. Also, the frame memory 721 reconstructs the decoded image R for each picture using the local decoded image Rlocal and holds it (stores it in the buffer within the frame memory 721). The frame memory 721 supplies the decoded image R (or part thereof) to the prediction section 722 in response to a request from the prediction section 722 .
  • the prediction unit 722 performs processing related to prediction image generation.
  • the prediction unit 722 uses prediction mode information Pinfo supplied from the control unit 701, an input image (original image) supplied from the rearrangement buffer 711, and a decoded image R (or part thereof) read from the frame memory 721. is input.
  • the prediction unit 722 performs prediction processing such as inter prediction and intra prediction using prediction mode information Pinfo and an input image (original image), performs prediction with reference to the decoded image R as a reference image, and based on the prediction result motion compensation processing to generate a predicted image P.
  • the prediction unit 722 supplies the generated predicted image P to the calculation units 712 and 719 .
  • the prediction unit 722 supplies the prediction mode selected by the above process, that is, information about the optimum prediction mode to the encoding unit 715 as necessary.
  • the rate control unit 723 performs processing related to rate control. For example, the rate control unit 723 controls the quantization operation rate of the quantization unit 714 based on the code amount of the encoded data accumulated in the accumulation buffer 716 so that overflow or underflow does not occur.
  • each processing unit may be configured by a logic circuit that implements the above processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and may implement the above-described processing by executing a program using them.
  • each processing unit may have both configurations, implement some of the above-described processes by a logic circuit, and implement others by executing a program.
  • the configuration of each processing unit may be independent of each other. , and another processing unit may implement the above-described processing by executing both the logic circuit and the program.
  • encoding unit 715 uses method 1, method 1-1, method 1-2, method 1-3, method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof. may apply. That is, encoding section 715 may have the configuration of encoding device 100 (FIG. 5 or 9) or encoding device 500 (FIG. 19).
  • the image encoding device 700 satisfies ⁇ 3. Picture type restrictions> and ⁇ 4. Restrictions on Slice Type>, the same effects as those obtained by each encoding device when each method is applied can be obtained. For example, the image encoding device 700 can ensure that the bitstream specifications correspond to the profile.
  • step S701 the rearrangement buffer 711 is controlled by the control unit 701 to rearrange the frames of the input moving image data from the display order to the encoding order.
  • step S702 the control unit 701 sets a processing unit (divides into blocks) for the input image held by the rearrangement buffer 711.
  • step S ⁇ b>703 the control unit 701 determines (sets) encoding parameters for the input image held by the rearrangement buffer 711 .
  • the prediction unit 722 performs prediction processing to generate a predicted image or the like in the optimum prediction mode. For example, in this prediction process, the prediction unit 722 performs intra prediction to generate a predicted image or the like in an optimal intra prediction mode, performs inter prediction to generate a predicted image or the like in an optimal inter prediction mode, and From among them, the optimum prediction mode is selected based on the cost function value and the like.
  • step S705 the calculation unit 712 calculates the difference between the input image and the prediction image of the optimum mode selected by the prediction processing in step S704. That is, the calculation unit 712 generates a prediction residual D between the input image and the predicted image.
  • the prediction residual D obtained in this manner has a reduced data amount compared to the original image data. Therefore, the amount of data can be compressed as compared with the case where the image is encoded as it is.
  • step S706 the orthogonal transform unit 713 performs orthogonal transform processing on the prediction residual D generated by the processing in step S705 to derive the transform coefficient Coeff.
  • step S707 the quantization unit 714 quantizes the transform coefficient Coeff obtained by the processing in step S706 by using the quantization parameter calculated by the control unit 701, and derives the quantization coefficient qcoeff.
  • step S708 the inverse quantization unit 717 inversely quantizes the quantized coefficient qcoeff generated by the processing in step S707 with the characteristic corresponding to the quantization characteristic in step S707, and derives the transform coefficient Coeff_IQ.
  • step S709 the inverse orthogonal transform unit 718 inverse orthogonally transforms the transform coefficient Coeff_IQ obtained by the process of step S708 by a method corresponding to the orthogonal transform process of step S706, and derives the prediction residual D'.
  • step S710 the calculation unit 719 adds the predicted image obtained by the prediction processing in step S704 to the prediction residual D′ derived by the processing in step S709, thereby obtaining a locally decoded decoded image. Generate.
  • step S711 the in-loop filter unit 720 performs in-loop filtering on the locally decoded decoded image derived by the process of step S710.
  • step S712 the frame memory 721 stores the locally decoded decoded image derived by the process of step S710 and the locally decoded decoded image filtered in step S711.
  • step S713 the encoding unit 715 executes encoding processing, encodes the quantization coefficient qcoeff and various encoding parameters obtained by the processing in step S707, and generates a bitstream of encoded data.
  • step S714 the accumulation buffer 716 accumulates the bitstream obtained in step S713 and outputs it to the outside of the image encoding device 700.
  • This bitstream is transmitted to the decoding side via, for example, a transmission path or a recording medium.
  • the rate control unit 723 performs rate control as necessary.
  • step S714 ends, the image encoding process ends.
  • the above-described present technology may be applied to the encoding process executed in step S713 of such image encoding process.
  • method 1, method 1-1, method 1-2, method 1-3, method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof may be applied.
  • the NAL unit encoding process of FIG. 6, the encoding process of FIG. 10, or the encoding process of FIG. 20 may be executed in the above encoding process (step S713).
  • the image encoding device 700 satisfies ⁇ 3. Picture type restrictions> and ⁇ 4. Restrictions on Slice Type>, the same effects as those obtained by each encoding device when each method is applied can be obtained. For example, the image encoding device 700 can ensure that the bitstream specifications correspond to the profile.
  • FIG. 29 is a block diagram showing an example of a configuration of an image decoding device which is one aspect of an image processing device to which the present technology is applied.
  • the image decoding device 800 shown in FIG. 29 is a device that generates moving image data by decoding coded data (bitstream) of moving images.
  • the image decoding device 800 can decode the encoded data by the decoding method described in any of the above non-patent documents.
  • FIG. 29 shows main components such as processing units (blocks) and data flow, and what is shown in FIG. 29 is not necessarily all. That is, the image decoding device 800 may have processing units not shown as blocks in FIG. 29 . Also, the image decoding device 800 may have processes and data flows not indicated by arrows or the like in FIG.
  • the image decoding device 800 includes an accumulation buffer 811, a decoding unit 812, an inverse quantization unit 813, an inverse orthogonal transform unit 814, an arithmetic unit 815, an in-loop filter unit 816, a rearrangement buffer 817, a frame memory 818 and a prediction unit 819 .
  • the prediction unit 819 includes an intra prediction unit, an inter prediction unit, and the like (not shown).
  • the accumulation buffer 811 acquires and holds (stores) the bitstream input to the image decoding device 800 .
  • the accumulation buffer 811 supplies the accumulated bitstream to the decoding unit 812 at predetermined timing or when predetermined conditions are met.
  • the decoding unit 812 performs processing related to image decoding. For example, the decoding unit 812 receives the bit stream supplied from the accumulation buffer 811, performs variable-length decoding on the syntax value of each syntax element from the bit stream according to the definition of the syntax table, and derives the parameters. do.
  • Parameters derived from syntax elements and syntax values of syntax elements include information such as header information Hinfo, prediction mode information Pinfo, transform information Tinfo, and filter information Finfo. That is, the decoding unit 812 parses (analyzes and acquires) these pieces of information from the bitstream. These pieces of information are described below.
  • the header information Hinfo includes header information such as VPS (Video Parameter Set)/SPS (Sequence Parameter Set)/PPS (Picture Parameter Set)/SH (Slice Header).
  • the header information Hinfo includes, for example, image size (horizontal width PicWidth, vertical width PicHeight), bit depth (luminance bitDepthY, color difference bitDepthC), color difference array type ChromaArrayType, maximum value MaxCUSize/minimum value MinCUSize of CU size, quadtree division ( Quad-tree partition) maximum depth MaxQTDepth/minimum depth MinQTDepth, binary-tree partition maximum depth MaxBTDepth/minimum depth MinBTDepth, transform skip block maximum value MaxTSSize (also called maximum transform skip block size) ), an on/off flag (also called a valid flag) of each coding tool, and other information.
  • image size horizontal width PicWidth, vertical width PicHeight
  • bit depth luminance bitDepthY, color
  • the on/off flags of the encoding tool included in the header information Hinfo include the following on/off flags related to transform and quantization processing.
  • the on/off flag of an encoding tool can also be interpreted as a flag indicating whether or not syntax related to the encoding tool exists in the encoded data. Further, when the value of the on/off flag is 1 (true), it indicates that the coding tool can be used, and when the value of the on/off flag is 0 (false), it indicates that the coding tool cannot be used. show. Note that the interpretation of the flag value may be reversed.
  • Inter-component prediction enabled flag (ccp_enabled_flag): Flag information indicating whether or not inter-component prediction (CCP (Cross-Component Prediction), also referred to as CC prediction) can be used. For example, if this flag information is "1" (true), it indicates that it can be used, and if it is "0" (false), it indicates that it cannot be used.
  • CCP Cross-Component Prediction
  • This CCP is also called inter-component linear prediction (CCLM or CCLMP).
  • the prediction mode information Pinfo includes, for example, information such as size information PSize (prediction block size) of the target PB (prediction block) to be processed, intra prediction mode information IPinfo, motion prediction information MVinfo, and the like.
  • the intra prediction mode information IPinfo includes, for example, prev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode, and luminance intra prediction mode IntraPredModeY derived from its syntax.
  • the intra prediction mode information IPinfo includes, for example, an inter-component prediction flag (ccp_flag (cclmp_flag)), a multi-class linear prediction mode flag (mclm_flag), a chrominance sample location type identifier (chroma_sample_loc_type_idx), a chrominance MPM identifier (chroma_mpm_idx), and , a luminance intra prediction mode (IntraPredModeC) derived from these syntaxes, and the like.
  • ccp_flag cclmp_flag
  • mclm_flag multi-class linear prediction mode flag
  • chroma_sample_loc_type_idx chrominance MPM identifier
  • chroma_mpm_idx chrominance MPM identifier
  • the multi-class linear prediction mode flag (mclm_flag) is information about the linear prediction mode (linear prediction mode information). More specifically, the multi-class linear prediction mode flag (mclm_flag) is flag information indicating whether to set the multi-class linear prediction mode. For example, "0" indicates a 1-class mode (single-class mode) (eg, CCLMP), and "1" indicates a 2-class mode (multi-class mode) (eg, MCLMP). .
  • a chrominance sample position type identifier (chroma_sample_loc_type_idx) is an identifier that identifies the type of pixel position of the chrominance component (also referred to as the chrominance sample position type). For example, when the chrominance array type (ChromaArrayType), which is information about the color format, indicates the 420 format, the chrominance sample position type identifier is assigned according to the following formula.
  • this chrominance sample position type identifier (chroma_sample_loc_type_idx) is transmitted (stored in) as information (chroma_sample_loc_info( )) on the pixel position of the chrominance component.
  • the chrominance MPM identifier (chroma_mpm_idx) is an identifier that indicates which prediction mode candidate in the chrominance intra prediction mode candidate list (intraPredModeCandListC) is designated as the chrominance intra prediction mode.
  • the information included in the prediction mode information Pinfo is arbitrary, and information other than this information may be included.
  • the conversion information Tinfo includes, for example, the following information.
  • the information included in the conversion information Tinfo is arbitrary, and information other than these information may be included.
  • Transform skip flag (transform_skip_flag (also called ts_flag))
  • ScanIdx quantization parameter (qp) quantization matrix (scaling_matrix (e.g. JCTVC-W1005, 7.3.4 Scaling list data syntax))
  • log2TBWSize and log2TBHSize may be included in the conversion information Tinfo instead of TBWSize and TBHSize.
  • log2TBWSize is the base 2 logarithm of TBWSize.
  • log2TBHSize is the base 2 logarithm of TBHSize.
  • the transform skip flag is a flag indicating whether to skip the inverse coefficient transform (inverse primary transform and inverse secondary transform).
  • the filter information Finfo includes, for example, control information regarding each filtering process described below.
  • Control information for deblocking filter (DBF) Control information for pixel adaptive offset (SAO)
  • Control information for adaptive loop filter (ALF) Control information for other linear/nonlinear filters
  • filter information Finfo is arbitrary, and information other than these information may be included.
  • the decoding unit 812 derives the quantization coefficient qcoeff by referring to the syntax regarding the quantization coefficient qcoeff obtained by decoding the bitstream.
  • the decoding unit 812 supplies the quantized coefficient qcoeff to the inverse quantization unit 813 .
  • the decoding unit 812 supplies encoding parameters such as parsed header information Hinfo, prediction mode information Pinfo, transform information Tinfo, and filter information Finfo to each block.
  • the decoding unit 812 supplies the header information Hinfo to the inverse quantization unit 813, the inverse orthogonal transform unit 814, the prediction unit 819, and the in-loop filter unit 816.
  • the decoding unit 812 also supplies the prediction mode information Pinfo to the inverse quantization unit 813 and the prediction unit 819 .
  • the decoding unit 812 also supplies the transform information Tinfo to the inverse quantization unit 813 and the inverse orthogonal transform unit 814 .
  • the decoding unit 812 also supplies the filter information Finfo to the in-loop filter unit 816 .
  • each encoding parameter may be supplied to any processing unit.
  • other information may be supplied to any processing unit.
  • the inverse quantization unit 813 has at least a configuration necessary for performing processing related to inverse quantization. For example, the inverse quantization unit 813 receives the transformation information Tinfo and the quantization coefficient qcoeff supplied from the decoding unit 812, and scales (dequantizes) the value of the quantization coefficient qcoeff based on the transformation information Tinfo. , to derive the transform coefficients Coeff_IQ after inverse quantization. The inverse quantization unit 813 supplies the derived transform coefficient Coeff_IQ to the inverse orthogonal transform unit 814 .
  • this inverse quantization is performed as an inverse process of quantization by the quantization unit 714 of the image encoding device 700 . Also, this inverse quantization is the same processing as the inverse quantization by the inverse quantization unit 717 of the image encoding device 700 . That is, the inverse quantization unit 717 of the image encoding device 700 performs the same processing (inverse quantization) as the inverse quantization unit 813 does.
  • the inverse orthogonal transform unit 814 performs processing related to inverse orthogonal transform. For example, the inverse orthogonal transform unit 814 receives the transform coefficient Coeff_IQ supplied from the inverse quantization unit 813 and the transform information Tinfo supplied from the decoding unit 812, and transforms the transform coefficient Coeff_IQ based on the transform information Tinfo. An inverse orthogonal transform process is performed on this to derive a prediction residual D'. For example, the inverse orthogonal transform unit 814 performs inverse secondary transform on the transform coefficient Coeff_IQ based on the ST identifier to generate primary transform coefficients, performs primary transform on the primary transform coefficients, and predicts residual D '. The inverse orthogonal transform unit 814 supplies the derived prediction residual D′ to the calculation unit 815 .
  • this inverse orthogonal transformation is performed as inverse processing of the orthogonal transformation by the orthogonal transformation unit 713 of the image encoding device 700. Also, this inverse orthogonal transform is the same process as the inverse orthogonal transform by the inverse orthogonal transform unit 718 of the image encoding device 700 . That is, the inverse orthogonal transform unit 718 of the image encoding device 700 performs the same processing (inverse orthogonal transform) as the inverse orthogonal transform unit 814 does.
  • the inverse orthogonal transform unit 814 can perform arbitrary inverse coefficient transform, not limited to inverse orthogonal transform, like the inverse orthogonal transform unit 718 of the image encoding device 700 .
  • This inverse coefficient transform is the inverse process of the coefficient transform executed by the orthogonal transform unit 713 of the image encoding device 700 . That is, the prediction residual D' may be derived by performing any inverse coefficient transform on the transform coefficient Coeff_IQ. Therefore, the inverse orthogonal transform section 814 can also be said to be an inverse coefficient transform section.
  • the calculation unit 815 performs processing related to addition of information regarding images. For example, the calculation unit 815 receives the prediction residual D′ supplied from the inverse orthogonal transform unit 814 and the predicted image P supplied from the prediction unit 819 . The calculation unit 815 adds a prediction residual D' and a prediction image P (prediction signal) corresponding to the prediction residual D' to derive a local decoded image Rlocal, as shown in the following equation. The calculation unit 815 supplies the derived local decoded image Rlocal to the in-loop filter unit 816 and the frame memory 818 .
  • the in-loop filter unit 816 performs processing related to in-loop filtering. For example, the in-loop filter unit 816 receives the locally decoded image Rlocal supplied from the calculation unit 815 and the filter information Finfo supplied from the decoding unit 812 .
  • the information input to the in-loop filter unit 816 is arbitrary, and information other than these information may be input.
  • the in-loop filter unit 816 appropriately performs filtering on the local decoded image Rlocal based on the filter information Finfo.
  • the in-loop filter unit 816 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter (ALF (Adaptive Loop Filter)). Apply two in-loop filters in this order. Which filter to apply and in what order are optional and can be selected as appropriate.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF adaptive Loop Filter
  • the in-loop filter unit 816 performs filter processing corresponding to the filter processing performed by the encoding side (for example, the in-loop filter unit 720 of the image encoding device 700).
  • the filtering process performed by the in-loop filtering unit 816 is arbitrary and is not limited to the above example.
  • the in-loop filter unit 816 may apply a Wiener filter or the like.
  • the in-loop filter unit 816 supplies the filtered local decoded image Rlocal to the rearrangement buffer 817 and the frame memory 818 .
  • the rearrangement buffer 817 receives the local decoded image Rlocal supplied from the in-loop filter unit 816 and holds (stores) it.
  • the rearrangement buffer 817 reconstructs the decoded image R for each picture using the local decoded image Rlocal and holds it (stores it in the buffer).
  • the rearrangement buffer 817 rearranges the obtained decoded images R from decoding order to reproduction order.
  • the rearrangement buffer 817 outputs the rearranged group of decoded images R to the outside of the image decoding device 800 as moving image data.
  • a frame memory 818 performs processing related to storage of data relating to images. For example, the frame memory 818 receives the local decoded image Rlocal supplied from the calculation unit 815, reconstructs the decoded image R for each picture, and stores the reconstructed image in the buffer within the frame memory 818.
  • FIG. 1 A frame memory 818 performs processing related to storage of data relating to images. For example, the frame memory 818 receives the local decoded image Rlocal supplied from the calculation unit 815, reconstructs the decoded image R for each picture, and stores the reconstructed image in the buffer within the frame memory 818.
  • the frame memory 818 receives the in-loop filtered local decoded image Rlocal supplied from the in-loop filter unit 816, reconstructs the decoded image R for each picture, and stores the buffer in the frame memory 818. store to The frame memory 818 appropriately supplies the stored decoded image R (or part thereof) to the prediction unit 819 as a reference image.
  • the frame memory 818 may store header information Hinfo, prediction mode information Pinfo, transform information Tinfo, filter information Finfo, etc. relating to generation of decoded images.
  • the prediction unit 819 performs processing related to prediction image generation. For example, the prediction unit 819 receives the prediction mode information Pinfo supplied from the decoding unit 812, performs prediction using the prediction method specified by the prediction mode information Pinfo, and derives the prediction image P. In the derivation, the prediction unit 819 uses the pre-filter or post-filter decoded image R (or part thereof) stored in the frame memory 818 specified by the prediction mode information Pinfo as a reference image. The prediction unit 819 supplies the derived prediction image P to the calculation unit 815 .
  • each processing unit may be configured by a logic circuit that implements the above processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and may implement the above-described processing by executing a program using them.
  • each processing unit may have both configurations, implement some of the above-described processes by a logic circuit, and implement others by executing a program.
  • the configuration of each processing unit may be independent of each other. , and another processing unit may implement the above-described processing by executing both the logic circuit and the program.
  • decoding unit 812 applies method 1, method 1-1, method 1-2, method 1-3, method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof. You may That is, decoding section 812 may have the configuration of decoding device 200 (FIG. 7 or FIG. 12) or decoding device 600 (FIG. 23).
  • the image decoding device 800 satisfies ⁇ 3. Picture type restrictions> and ⁇ 4. Restriction on Slice Type>, the same effect as the effect obtained by each decoding device when each method is applied can be obtained. For example, the image decoding device 800 can make the bitstream specification more reliably compatible with the profile.
  • the accumulation buffer 811 acquires and holds (accumulates) encoded data (bitstream) supplied from the outside of the image decoding device 800 in step S801.
  • step S802 the decoding unit 812 performs decoding processing, decodes the encoded data (bitstream), and obtains the quantization coefficient qcoeff. Also, the decoding unit 812 parses (analyzes and acquires) various coding parameters from the coded data (bitstream) by this decoding.
  • step S803 the inverse quantization unit 813 performs inverse quantization, which is the inverse process of the quantization performed on the encoding side, on the quantized coefficient qcoeff obtained by the process in step S802, and converts the transform coefficient Coeff_IQ into get
  • step S804 the inverse orthogonal transform unit 814 performs inverse orthogonal transform processing, which is the reverse processing of the orthogonal transform processing performed on the encoding side, on the transform coefficient Coeff_IQ obtained in step S803, and predictive residual D ' get.
  • step S805 the prediction unit 819 executes prediction processing using the prediction method specified by the encoding side based on the information parsed in step S802, and refers to the reference image stored in the frame memory 818. to generate a predicted image P.
  • step S806 the calculation unit 815 adds the prediction residual D' obtained in step S804 and the prediction image P obtained in step S805 to derive a local decoded image Rlocal.
  • step S807 the in-loop filtering unit 816 performs in-loop filtering on the local decoded image Rlocal obtained by the processing in step S806.
  • step S808 the rearrangement buffer 817 derives the decoded image R using the filtered local decoded image Rlocal obtained by the processing of step S807, and rearranges the order of the decoded image R group from the decoding order to the reproduction order. change.
  • the group of decoded images R rearranged in order of reproduction is output to the outside of the image decoding device 800 as a moving image.
  • the frame memory 818 stores at least one of the local decoded image Rlocal obtained by the processing of step S806 and the filtered local decoded image Rlocal obtained by the processing of step S807. .
  • step S809 ends, the image decoding process ends.
  • step S802 of such image decoding process may be applied.
  • method 1, method 1-1, method 1-2, method 1-3, method 2, method 2-1, method 2-1-1, method 2-2, or a combination thereof may be applied.
  • the NAL unit decoding process of FIG. 8, the decoding process of FIG. 13, or the decoding process of FIG. 24 may be executed in the above-described decoding process (step S802).
  • the image decoding device 800 satisfies ⁇ 3. Picture type restrictions> and ⁇ 4. Restriction on Slice Type>, the same effect as the effect obtained by each decoding device when each method is applied can be obtained. For example, the image decoding device 800 can make the bitstream specification more reliably compatible with the profile.
  • ⁇ Computer> The series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 31 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904 .
  • An input unit 911 , an output unit 912 , a storage unit 913 , a communication unit 914 and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 consists of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • Drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 loads, for example, a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904, and executes the above-described series of programs. is processed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by loading the removable medium 921 into the drive 915 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913 .
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • the present technology can be applied to any image encoding method or decoding method.
  • the specifications of various processes related to image encoding/decoding such as transformation (inverse transformation), quantization (inverse quantization), encoding (decoding), prediction, etc., are arbitrary. is not limited to the examples. Also, some of these processes may be omitted as long as they do not conflict with the present technology described above.
  • This technology can also be applied to a multi-view image coding system that encodes multi-view images including images of multiple viewpoints (views). Also, the present technology can be applied to a multi-view image decoding system that decodes encoded data of multi-view images including images of a plurality of viewpoints (views). In that case, the present technology may be applied to encoding and decoding of each viewpoint (view).
  • this technology can be applied to a hierarchical image coding (scalable coding) system that encodes a hierarchical image that is layered (hierarchized) in multiple layers so as to have a scalability function for a predetermined parameter.
  • the present technology can be applied to a layered image decoding (scalable decoding) system that decodes encoded data of layered images layered (layered) in multiple layers so as to have a scalability function for a predetermined parameter. can.
  • the present technology may be applied to encoding and decoding of each layer.
  • this technology can be applied to any configuration.
  • the present technology can be applied to transmitters and receivers (for example, television receivers and mobile phones) in cable broadcasting such as satellite broadcasting, cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • the present technology includes a processor (e.g., video processor) as a system LSI (Large Scale Integration), etc., a module (e.g., video module) using a plurality of processors, etc., a unit (e.g., video unit) using a plurality of modules, etc.
  • a processor e.g., video processor
  • LSI Large Scale Integration
  • module e.g., video module
  • a unit e.g., video unit
  • it can be implemented as a part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • this technology is implemented in cloud services that provide image (moving image) services to arbitrary terminals such as computers, AV (Audio Visual) equipment, portable information processing terminals, and IoT (Internet of Things) devices. You may make it
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is arbitrary.
  • this technology can be applied to systems and devices used to provide viewing content. Further, for example, the present technology can also be applied to systems and devices used for traffic, such as traffic condition supervision and automatic driving control. Further, for example, the technology can be applied to systems and devices that serve security purposes. Also, for example, the present technology can be applied to systems and devices used for automatic control of machines and the like. Furthermore, for example, the technology can be applied to systems and devices used in agriculture and animal husbandry. The present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, oceans, and wildlife. Further, for example, the technology can be applied to systems and devices used for sports.
  • “flag” is information for identifying a plurality of states, not only information used for identifying two states of true (1) or false (0), Information that can identify the state is also included. Therefore, the value that this "flag” can take may be, for example, two values of 1/0, or three or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or multiple bits.
  • the identification information (including the flag) is assumed not only to include the identification information in the bitstream, but also to include the difference information of the identification information with respect to certain reference information in the bitstream.
  • the "flag” and “identification information” include not only that information but also difference information with respect to reference information.
  • various types of information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as they are associated with the encoded data.
  • the term "associating" means, for example, making it possible to use (link) data of one side while processing the other data. That is, the data associated with each other may be collected as one piece of data, or may be individual pieces of data.
  • information associated with coded data (image) may be transmitted on a transmission path different from that of the coded data (image).
  • the information associated with the encoded data (image) may be recorded on a different recording medium (or another recording area of the same recording medium) than the encoded data (image). good.
  • this "association" may be a part of the data instead of the entire data. For example, an image and information corresponding to the image may be associated with each other in arbitrary units such as multiple frames, one frame, or a portion within a frame.
  • a configuration described as one device may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • the above-described program may be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may have the following characteristics.
  • the processing of the steps described in the program may be executed in chronological order according to the order described in this specification.
  • the processing of the step of writing the program may be executed in parallel.
  • the processing of the step of writing the program may be individually executed at necessary timing such as when called. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above.
  • the processing of steps describing this program may be executed in parallel with the processing of other programs.
  • the processing of steps describing this program may be executed in combination with the processing of another program.
  • An image processing apparatus comprising a picture encoding unit that encodes a moving image to be encoded with the picture type of all pictures as I-pictures when a predetermined condition is satisfied.
  • the picture encoding unit sets the NAL unit type of all VCL NAL units to "value indicating IRAP" and encodes the video when the condition is satisfied. processing equipment.
  • the picture encoding unit encodes the moving image by setting the picture type of all the pictures to I-pictures. (1) or (2) ).
  • the picture encoding unit sets the picture type of all the pictures to The image processing device according to (3), wherein the moving image is encoded as an I picture.
  • the picture encoding unit encodes the video with the picture type of all the pictures as I pictures.
  • the image processing device according to (4).
  • the picture encoding unit further encodes the moving image by setting the picture type of all the pictures to I-pictures even when the profile is a still picture profile.
  • the image processing device according to any one of the above.
  • the picture encoding unit sets the picture types of all pictures to I pictures.
  • the image processing device according to any one of (1) to (6), which encodes the moving image as a.
  • the image processing apparatus further comprising a parameter set encoding unit that sets the control flag, encodes the set control flag, and stores the set control flag in a bitstream of the moving image.
  • a picture decoding unit that decodes a bitstream of a video to be decoded; an image processing apparatus comprising: a confirmation unit that confirms whether the picture type of all the pictures of the moving image in the bitstream is I-picture when a predetermined condition is satisfied.
  • a confirmation unit that confirms whether the picture type of all the pictures of the moving image in the bitstream is I-picture when a predetermined condition is satisfied.
  • the confirmation unit checks all the pictures in the bitstream.
  • the image processing device according to (13), which confirms whether the picture type is an I picture.
  • the confirming unit confirms whether the picture type of all the pictures in the bitstream is an I picture when the profile identifier value for identifying the profile is 10, 42, or 44.
  • the image processing device according to (14).
  • the confirming unit further confirms whether the picture type of all the pictures in the bitstream is an I picture even when the profile is a still picture profile.
  • the image processing device according to any one of the above.
  • the confirmation unit determines the picture types of all the pictures in the bitstream.
  • the image processing device according to any one of (11) to (16), confirming whether is an I picture. (18) further comprising a control flag decoding unit that decodes the bitstream to generate the control flag; (17), wherein, if the control flag decoded by the control flag decoding unit is true, the checking unit checks whether the picture type of all the pictures in the bitstream is an I picture.
  • Image processing device (19) Decoding the bitstream of the moving image to be decoded, An image processing method for checking whether a picture type of all pictures of the moving picture is an I picture in the bitstream if a predetermined condition is satisfied.
  • the image processing device according to (21) or (22).
  • the image processing device according to (23), wherein the parameter set encoding unit sets the control flag to true when a profile identifier value for identifying the profile is 10, 42, or 44. .
  • the image processing device according to any one of (21) to (24), wherein the parameter set encoding unit further sets the control flag to true even when the profile is a still picture profile.
  • the video encoding profile is an intra profile, setting true a control flag for controlling whether the slice type of all slices of the video is limited to I slices, and including the control flag; encode the parameter set, An image processing method, wherein, when the control flag is true, the moving image is encoded with all the slices as I-slices.
  • control flag decoding unit that decodes a bitstream of a moving image and generates a control flag that controls whether to limit the slice types of all slices of the moving image to I slices; and a control flag confirmation unit that confirms whether the control flag is true when the profile of the bitstream is an intra profile.
  • the control flag checking unit determines whether the control flag is true.
  • the image processing device according to (31).
  • control flag confirmation unit further confirms whether the control flag is true even when the profile is a still picture profile.
  • control flag confirmation unit further confirms whether the control flag is true even when the profile is a still picture profile.
  • a picture decoding unit that decodes the bitstream to generate the video
  • image processing device (36) The image processing device according to (35), wherein the picture checking unit checks whether the slice type of all the slices in the bitstream is an I slice when the control flag is true.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、ビットストリームの仕様をより確実にプロファイルに対応させることができるようにする画像処理装置および方法に関する。 所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する。また、復号対象の動画像のビットストリームを復号し、所定の条件が満たされる場合、そのビットストリームにおいて、その動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する。本開示は、例えば、画像処理装置、または画像処理方法等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、ビットストリームの仕様をより確実にプロファイルに対応させることができるようにした画像処理装置および方法に関する。
　従来、動画像の符号化方式としてVVC（Versatile Video Coding）等があった（例えば非特許文献１乃至非特許文献３参照）。また、このVVCにおいて、VVC ver.2の拡張プロファイルとして、下記のプロファイルが追加された（例えば非特許文献４参照）。
　Main 12 profile, Main 12 4:4:4 profile, Main 16 4:4:4 profile
　Main 12 Intra profile, Main 12 4:4:4 Intra profile, Main 16 4:4:4 Intra profile
　Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, Main 16 4:4:4 Still Picture profile
　これらのプロファイルのうち、Main 12 Intra profile、Main 12 4:4:4 Intra profile、およびMain 16 4:4:4 Intra profileは、映像制作向けのアプリケーションとして、すべてのピクチャをIピクチャのみで符号化することを意図して設計されたプロファイルである。また、Main 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、およびMain 16 4:4:4 Still Picture profileは、静止画を符号化するためにIピクチャを用いるプロファイルである。
Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 10)", JVET-T2001-v2, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, version 1 - date 2020-10-27 Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 13 (VTM 13)", JVET-V2002-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, version 1 - date 2021-07-15 Frank Bossen, Benjamin Bross, Tomohiro Ikai, Dmytro Rusanovskyy, Ye-Kui Wang, "VVC operation range extensions (Draft 3)", JVET-V2005-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 2021-05-08 Tomohiro Ikai, Takeshi Chujoh, Tomoko Aono, Sachin Deshpande, "Suggested initial profile text for VVC operation range extension", JVET-W0136-v5, oint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 2021-07-16
　しかしながら、イントラプロファイル（Main 12 Intra profile、Main 12 4:4:4 Intra profile、およびMain 16 4:4:4 Intra profile）の定義では、スライスタイプに関する制約がなかった。そのため、これらのイントラプロファイルが適用される場合であっても、エンコーダは、各ピクチャのスライスをPスライスやBスライスとして符号化することが可能であった。そのため、ビットストリームの仕様がプロファイルに対応しないおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、より確実に、ビットストリームの仕様をプロファイルに対応させることができるようにするものである。
　本技術の一側面の画像処理装置は、所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化するピクチャ符号化部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する画像処理方法である。
　本技術の他の側面の画像処理装置は、復号対象の動画像のビットストリームを復号するピクチャ復号部と、所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する確認部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、復号対象の動画像のビットストリームを復号し、所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化するパラメータセット符号化部と、前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化するピクチャ符号化部とを備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化し、前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成する制御フラグ復号部と、前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する制御フラグ確認部とを備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成し、前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像が符号化される。
　本技術の他の側面の画像処理装置および方法においては、復号対象の動画像のビットストリームを復号し、所定の条件が満たされる場合、そのビットストリームにおいて、その動画像の全てのピクチャのピクチャタイプがIピクチャであるかが確認される。
　本技術のさらに他の側面の画像処理装置および方法においては、動画像の符号化のプロファイルがイントラプロファイルである場合、その動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグが真に設定され、その制御フラグを含むパラメータセットが符号化され、その制御フラグが真である場合、その全てのスライスがIスライスとされて、その動画像が符号化される。
　本技術のさらに他の側面の画像処理装置および方法においては、動画像のビットストリームが復号され、その動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグが生成され、そのビットストリームのプロファイルがイントラプロファイルである場合、その制御フラグが真であるかが確認される。
ビットストリーム制約の例を示す図である。 ビットストリーム制約の例を示す図である。 シンタックスの例を示す図である。 規格の変更例を示す図である。 符号化装置の主な構成例を示すブロック図である。 NALユニット符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 NALユニット復号処理の流れの例を示すフローチャートである。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 NALユニット符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を示すフローチャートである。 NALユニット復号処理の流れの例を示すフローチャートである。 ビットストリーム制約の例を示す図である。 ビットストリーム制約の例を示す図である。 シンタックスおよびセマンティクスの例を示す図である。 規格の変更例を示す図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 パラメータセット符号化処理の流れの例を説明するフローチャートである。 ピクチャ符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を示すフローチャートである。 パラメータセット復号処理の流れの例を示すフローチャートである。 ピクチャ復号処理の流れの例を示すフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 画像符号化処理の流れの例を示すフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 画像復号処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、以下の順序で説明する。
　１．技術内容や技術用語をサポートする文献等
　２．プロファイル
　３．ピクチャタイプの制約
　４．スライスタイプの制約
　５．実施の形態（画像符号化装置・画像復号装置）
　６．付記
　＜１．技術内容や技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知である以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：（上述）
　非特許文献５：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
　非特許文献６：Recommendation ITU-T H.265 (08/2021) "High efficiency video coding", August 2021
　非特許文献７：Frank Bossen. Benjamin Bross, Tomohiro Ikai, Dmytro Rusanovskyy, Gary Sullivan, Ye-Kui Wang,"VVC operation range extensions (Draft 4)", JVET-W2005-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29,2021-08-24
　つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たす。
　また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれる。
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準とするブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　＜２．プロファイル＞
　　＜イントラプロファイル＞
　従来、例えば非特許文献１乃至非特許文献３に開示されているように、動画像の符号化方式としてVVC（Versatile Video Coding）等があった。VVCのような動画像の符号化の標準規格においては、目的用途別に定義された機能の集合を表すプロファイルが規定されている。非特許文献４において、VVC ver.2の拡張プロファイルとして、下記のプロファイルの追加が提案された。
　Main 12 profile, Main 12 4:4:4 profile, Main 16 4:4:4 profile
　Main 12 Intra profile, Main 12 4:4:4 Intra profile, Main 16 4:4:4 Intra profile
　Main 12 Still Picture profile, Main 12 4:4:4 Still Picture profile, Main 16 4:4:4 Still Picture profile
　本明細書において、Main 12 Intra profile、Main 12 4:4:4 Intra profile、およびMain 16 4:4:4 Intra profileをイントラプロファイルとも称する。また、Main 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、およびMain 16 4:4:4 Still Picture profileをスティルピクチャプロファイルとも称する。
　上述の追加されたプロファイルのうち、イントラプロファイル（Main 12 Intra profile、Main 12 4:4:4 Intra profile、およびMain 16 4:4:4 Intra profile）は、映像制作向けのアプリケーションとして、すべてのピクチャをIピクチャのみで符号化することを意図して設計されたプロファイルである。また、スティルピクチャプロファイル（Main 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、およびMain 16 4:4:4 Still Picture profile）は、静止画を符号化するためにIピクチャを用いるプロファイルである。Iピクチャ（イントラピクチャとも称する）は、予測処理として、画面内（領域内）を参照して予測画像を生成するイントラ予測のみが適用されるピクチャである。
　すなわち、これらのプロファイルが適用される場合、動画像の各ピクチャ（各スライス）は、Iピクチャ（Iスライス）として符号化されることが望ましい。スライスはピクチャ内に形成されるデータ単位である。Iスライスは、Iピクチャと同様、予測処理としてイントラ予測のみが適用されるスライスである。
　しかしながら、イントラプロファイルの定義では、スライスタイプに関する制約がなかった。そのため、これらのイントラプロファイルが適用される場合であっても、エンコーダは、各ピクチャをPピクチャやBピクチャとして符号化したり、各ピクチャのスライスをPスライスやBスライスとして符号化したりすることが可能であった。Pピクチャ（Pスライス）やBピクチャ（Bスライス）は、予測処理として、他のフレームを参照して予測画像を生成するインター予測が適用され得るピクチャ（スライス）である。そのため、ビットストリームの仕様がプロファイルに対応しないおそれがあった。
　＜３．ピクチャタイプの制約＞
　　＜方法１＞
　そこで、図１の表の最上段に示されるように、所定条件を満たす場合、全ピクチャのピクチャタイプをIピクチャに限定する（方法１）。このような制約（"イントラプロファイルに関するビットストリーム制約"とも称する）を設けておくことにより、例えば上述のイントラプロファイルに対してこの制約を適用することができる。したがって、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜方法１－１＞
　例えば方法１を適用する場合、図１の表の上から２段目に示されるように、復号対象ピクチャの全VCL（VideoCcoding Layer） NAL（Network Abstraction Layer）ユニットのNALユニットタイプを"IRAPを示す値"に限定してもよい（方法１－１）。IRAP（Intra Random Access Pictures）は、Iスライスのみで構成される、ランダムアクセス用のピクチャである。このように、NALユニットタイプを制御することにより、より容易にピクチャタイプをIピクチャに限定することができる。
　　＜方法１－２＞
　例えば方法１を適用する場合、図１の表の上から３段目に示されるように、イントラプロファイルである場合、全ピクチャのピクチャタイプをIピクチャに限定してもよい（方法１－２）。このような制約を設けることにより、イントラプロファイルが適用される場合に、より確実に、動画像の各ピクチャ（各スライス）が、Iピクチャ（Iスライス）として符号化されるようにすることができる。したがって、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜ビットストリーム制約＞
　例えば、VVCのような動画像の標準符号化規格（符号化・復号方法）において、イントラプロファイルに関するビットストリーム制約として、図２に示されるようなビットストリーム制約を設けてもよい。例えば、VVCの場合、図３に示されるシンタックスのように、NALユニットヘッダにおいて、NALユニットタイプ（nal_unit_type）が設定される。図２のビットストリーム制約では、イントラプロファイル（Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profile）の場合、このNALユニットタイプがIDR_W_RADL乃至CRA_NUTの範囲内に制限される。
　例えばVVCの場合、パラメータnal_unit_typeは、NALユニットタイプの識別番号を示す。そして、nal_unit_type == 7はIDR_W_RADL、nal_unit_type == 8はIDR_N_LP、nal_unit_type == 9はCRA_NUT、nal_unit_type == 10はGDR_NUT、nal_unit_type == 11はRSV_IRAP_11（リザーブ）をそれぞれ示す。IRAPには、IDR（Instantaneous Decoder Refresh）ピクチャ、CRA（Clean Random Access）ピクチャ、GDR（Gradual Decoding Refresh）ピクチャ等がある。つまり、nal_unit_typeのこれらの値は、"IRAPを示す値"である。
　動画像の標準符号化規格に、このようなビットストリーム制約を加えることにより、イントラプロファイルが適用される場合に、動画像の各ピクチャ（各スライス）がIピクチャ（Iスライス）として符号化されるようにすることができる。例えば、VVCの場合、図４に示されるように、非特許文献７の"A3.5 Format range extensions profiles"に、図２のビットストリーム制約を追加すればよい。
　　＜符号化装置＞
　図５は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図５に示される符号化装置１００は、符号化対象の動画像を符号化し、ビットストリームを生成する装置である。
　例えば、符号化装置１００は、動画像とその予測画像の予測残差を導出し、その予測残差を係数変換（例えば直交変換）し、その変換係数を量子化して符号化する。もちろん、この符号化方法は一例である。符号化装置１００による動画像の符号化方法は、この例に限定されない。例えば、係数変換や量子化等、上述の処理のうちの一部がスキップ（省略）されてもよい。
　符号化装置１００は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用して動画像を符号化する。
　なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、符号化装置１００が、図５においてブロックとして示されていない処理部を有してもよい。また、符号化装置１００が、図５において矢印等として示されていない処理やデータの流れを有してもよい。
　図５に示されるように、符号化装置１００は、NALユニット符号化部１０１を有する。NALユニット符号化部１０１は、ビットストリームに格納するNALユニットの符号化に関する処理を行う。NALユニット符号化部１０１は、任意のパラメータを取得し、符号化対象の動画像に対してそのパラメータを用いてNALユニットを形成し、符号化する。つまり、NALユニット符号化部１０１は、その動画像のピクチャを符号化するピクチャ符号化部とも言える。NALユニット符号化部１０１は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してNALユニットを符号化する。
　図５に示されるように、NALユニット符号化部１０１は、NALユニットヘッダ設定部１１１、NALユニットヘッダ符号化部１１２、およびRaw Byteシーケンスペイロード符号化部１１３を有する。
　NALユニットヘッダ設定部１１１は、NALユニット符号化部１０１に供給されたパラメータを用いてNALユニットのヘッダ（NALユニットヘッダ）を設定し、NALユニットヘッダ符号化部１１２へ供給する。
　NALユニットヘッダ符号化部１１２は、シンタックステーブルの定義に従って、NALユニットヘッダ設定部１１１から供給されるNALユニットヘッダを符号化する。
　Raw Byteシーケンスペイロード符号化部１１３は、シンタックステーブルの定義に従って、Raw Byteシーケンスペイロードを符号化する。
　このような構成を有するNALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用して処理を行う。つまり、NALユニット符号化部１０１は、上述したイントラプロファイルに関するビットストリーム制約に従って、動画像を符号化する。例えば、NALユニット符号化部１０１は、所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する。例えば、NALユニット符号化部１０１は、図２に示されるビットストリーム制約に従って、動画像を符号化してもよい。
　その際、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定することにより、全てのピクチャのピクチャタイプをIピクチャとしてもよい。つまり、NALユニット符号化部１０１は、所定の条件が満たされる場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定し、動画像を符号化してもよい。例えばVVCの場合、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、nal_unit_typeを７乃至１１のいずれかの値に設定してもよい。
　また、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、動画像の符号化のプロファイルがイントラプロファイルであることを"所定の条件"としてもよい。つまり、NALユニット符号化部１０１は、動画像の符号化のプロファイルがイントラプロファイルである場合、全てのピクチャのピクチャタイプをIピクチャとして、動画像を符号化してもよい。換言するに、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがイントラプロファイルの場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定してもよい。
　その際、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであることを、イントラプロファイルであることとしてもよい。つまり、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。
　なお、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、どのプロファイルであるかを、プロファイルを識別するためのプロファイル識別子（general_profile_idc）を用いて判定してもよい。"general_profile_idc == 10"は、プロファイルがMain 12 Intra profileであることを示す。"general_profile_idc == 42"は、プロファイルがMain 12 4:4:4 Intra profileであることを示す。"general_profile_idc == 44"は、プロファイルがMain 16 4:4:4 Intra profileであることを示す。つまり、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、このプロファイル識別子の値が１０、４２、または４４である場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。なお、この例では、Main 12 Intra profile、Main 12 4:4:4 Intra profileおよびMain 16 4:4:4 Intra profileに対応するプロファイル識別子の値をそれぞれ、１０、４２、４４としたが、これらに限定されず、実施可能な範囲で任意の値としてもよい。
　また、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、スティルピクチャプロファイルをイントラプロファイルと同様に扱ってもよい。つまり、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがスティルピクチャプロファイルである場合も、イントラプロファイルの場合と同様に、全てのピクチャのピクチャタイプをIピクチャとしてもよい。
　その際、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileであることを、スティルピクチャプロファイルであることとしてもよい。つまり、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、プロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileである場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。
　"general_profile_idc == 66"は、プロファイルがMain 12 Still Picture profileであることを示す。"general_profile_idc == 98"は、プロファイルがMain 12 4:4:4 Still Picture profileであることを示す。"general_profile_idc == 100"は、プロファイルがMain 16 4:4:4 Still Picture profileであることを示す。つまり、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、このプロファイル識別子の値が６６、９８、または１００である場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。なお、この例では、Main 12 Still Picture profile、Main 12 4:4:4 Still Picture profile及びMain 16 4:4:4 Still Picture profileに対応するプロファイル識別子の値をそれぞれ、６６、９８、１００としたが、これらに限定されず、実施可能な範囲で任意の値としてもよい。
　このような構成を有することにより、符号化装置１００は、「所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する」といったビットストリーム制約に従って、動画像を符号化することができる。例えば、符号化装置１００は、図２に示されるビットストリーム制約に従って、動画像を符号化することができる。つまり、符号化装置１００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜符号化処理の流れ＞
　次に、この符号化装置１００により実行される符号化処理の流れの例を、図６のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化装置１００のNALユニットヘッダ設定部１１１は、ステップＳ１０１において、外部より指定されたプロファイルに基づいてNALユニットタイプを設定する。その際、NALユニットヘッダ設定部１１１は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してNALユニットタイプを設定してもよい。
　例えば、NALユニットヘッダ設定部１１１は、所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャに設定してもよい。また、NALユニットヘッダ設定部１１１は、その条件が満たされる場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定してもよい。また、NALユニットヘッダ設定部１１１は、動画像の符号化のプロファイルがイントラプロファイルである場合、全てのピクチャのピクチャタイプをIピクチャに設定してもよい。その際、NALユニットヘッダ設定部１１１は、プロファイルが"Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであること"を、"イントラプロファイルであること"としてもよい。また、イントラプロファイルであるか否かの判定には、プロファイル識別子（general_profile_idc）が用いられてもよい。また、スティルピクチャプロファイルの場合も、イントラプロファイルの場合と同様に、NALユニットタイプを制限してもよい。
　ステップＳ１０２において、NALユニットヘッダ符号化部１１２は、ステップＳ１０１において設定されたNALユニットヘッダを、シンタックステーブルの定義に従って符号化する。
　ステップＳ１０３において、Raw Byteシーケンスペイロード符号化部１１３は、シンタックステーブルの定義に従ってRaw byteシーケンスペイロードを符号化する。つまり、Raw Byteシーケンスペイロード符号化部１１３は、ステップＳ１０１において設定されたNALユニットタイプのNALユニットとしてRaw byteシーケンスペイロードを符号化する。つまり、Raw Byteシーケンスペイロード符号化部１１３は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用して、上述したイントラプロファイルに関するビットストリーム制約を満たすように（そのビットストリーム制約に従って）、Raw byteシーケンスペイロードを符号化する。
　ステップＳ１０３の処理が終了すると符号化処理が終了する。
　このように各処理を実行することにより、符号化装置１００は、例えば図２に示されるビットストリーム制約に従って、動画像を符号化することができる。つまり、符号化装置１００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号装置＞
　図７は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図７に示される復号装置２００は、ビットストリームを復号し、符号化対象の動画像を生成（復元）する装置である。
　例えば、復号装置２００は、ビットストリームを復号して量子化係数を生成（復元）し、その量子化係数を逆量子化して変換係数を導出し、その変換係数を逆係数変換（例えば逆直交変換）して予測残差を導出し、復号画像から予測画像を生成し、その予測画像を予測残差に加算して画像データを生成（復元）する。もちろん、この復号方法は一例である。復号装置２００によるビットストリームの復号方法は、この例に限定されない。例えば、逆量子化や逆係数変換等、上述の処理のうちの一部がスキップ（省略）されてもよい。
　復号装置２００は、符号化装置１００により適用される符号化方法に対応する。つまり、復号装置２００は、その符号化方法に対応する復号方法を適用して復号処理を行う。換言するに、復号装置２００は、本技術を適用した画像処理装置（例えば符号化装置１００）により生成されたビットストリームを復号し得る。したがって、復号装置２００は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してビットストリームを復号する。より具体的には、復号装置２００は、復号対象のビットストリームが、上述したイントラプロファイルに関するビットストリーム制約を満たすか否かを確認する（確認しながらビットストリームを復号する）。
　なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、復号装置２００が、図２６においてブロックとして示されていない処理部を有してもよい。また、復号装置２００が、図７において矢印等として示されていない処理やデータの流れを有してもよい。
　図７に示されるように、復号装置２００は、NALユニット復号部２０１を有する。NALユニット復号部２０１は、ビットストリームに格納されているNALユニットの復号に関する処理を行う。NALユニット復号部２０１は、復号装置２００に供給されたビットストリームを取得して復号し、NALユニットを生成（復元）し、そのNALユニットに関するパラメータを出力する。つまり、NALユニット復号部２０１は、ビットストリームを復号し、その動画像のピクチャを生成（復元）するピクチャ復号部とも言える。NALユニット復号部２０１は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してビットストリームを復号し、NALユニットを生成（復元）する。
　図７に示されるように、NALユニット復号部２０１は、NALユニットヘッダ復号部２１１、ビットストリーム制約確認部２１２、およびRaw Byteシーケンスペイロード復号部２１３を有する。
　NALユニットヘッダ復号部２１１は、NALユニット符号化部１０１に供給されたビットストリームを復号し、NALユニットヘッダを生成（復元）し、ビットストリーム制約確認部２１２へ供給する。
　ビットストリーム制約確認部２１２は、生成されたNALユニットヘッダに含まれるパラメータを用いて、復号対象のビットストリームが、ビットストリーム制約を満たすか否かを確認する。その際、ビットストリーム制約確認部２１２は上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してその確認を行う。つまり、ビットストリーム制約確認部２１２は、復号対象のビットストリームが、上述したイントラプロファイルに関するビットストリーム制約を満たすか否かを確認する（確認しながらビットストリームを復号する）。
　例えば、ビットストリーム制約確認部２１２は、所定の条件が満たされる場合、復号対象のビットストリームにおいて、動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。例えば、ビットストリーム制約確認部２１２は、復号対象のビットストリームが図２に示されるビットストリーム制約を満たしているか否かを確認してもよい。
　また、ビットストリーム制約確認部２１２は、その条件が満たされる場合、復号対象のビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認してもよい。例えばVVCの場合、ビットストリーム制約確認部２１２は、NALユニットヘッダにおいて、nal_unit_typeが７乃至１１のいずれかの値に設定されているかを確認してもよい。
　また、ビットストリーム制約確認部２１２は、動画像の符号化のプロファイルがイントラプロファイルである場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。換言するに、ビットストリーム制約確認部２１２は、プロファイルがイントラプロファイルの場合、NALユニットヘッダにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"に設定されているか否かを確認してもよい。
　その際、ビットストリーム制約確認部２１２は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであることを、イントラプロファイルであることとしてもよい。つまり、ビットストリーム制約確認部２１２は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。
　なお、ビットストリーム制約確認部２１２は、どのプロファイルであるかを、プロファイルを識別するためのプロファイル識別子（general_profile_idc）を用いて判定してもよい。つまり、ビットストリーム制約確認部２１２は、このプロファイル識別子の値が１０、４２、または４４である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。
　また、ビットストリーム制約確認部２１２は、スティルピクチャプロファイルをイントラプロファイルと同様に扱ってもよい。つまり、ビットストリーム制約確認部２１２は、プロファイルがスティルピクチャプロファイルである場合も、イントラプロファイルの場合と同様に、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。
　その際、ビットストリーム制約確認部２１２は、プロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileであることを、スティルピクチャプロファイルであることとしてもよい。つまり、ビットストリーム制約確認部２１２は、プロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileである場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。その際、ビットストリーム制約確認部２１２は、このプロファイル識別子の値が６６、９８、または１００である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。
　ビットストリーム制約確認部２１２は、以上のような確認の結果を出力してもよい。例えば、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせに対応するビットストリーム制約を満たしていないと判定した場合、ビットストリーム制約を満たしていないことを示す警告メッセージをユーザ等に通知してもよい。例えば、ビットストリーム制約確認部２１２は、その警告メッセージを、文字や画像として画面に表示させてもよいし、音声としてスピーカ等から出力させてもよい。また、ビットストリーム制約確認部２１２は、その警告メッセージを、データ等として、他の装置や他の処理部（他のアプリケーション）等に提供してもよい。
　また、ビットストリーム制約確認部２１２は、その確認の結果に基づいて、ビットストリームの復号を制御してもよい。例えば、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせに対応するビットストリーム制約を満たしていないと判定した場合、そのビットストリームの復号処理を終了させてもよい。また、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせに対応するビットストリーム制約を満たしていないと判定した場合、ユーザ等により許可されるまで、そのビットストリームの復号処理を一時停止してもよい。
　また、ビットストリーム制約確認部２１２は、警告メッセージの出力と復号処理の制御の両方を行ってもよい。
　Raw Byteシーケンスペイロード復号部２１３は、生成されたNALユニットヘッダに含まれるパラメータに基づいてビットストリームを復号し、Raw Byteシーケンスペイロードを導出する。したがって、Raw Byteシーケンスペイロード復号部２１３は、復号対象の動画像のビットストリームを復号するピクチャ復号部とも言える。
　このような構成を有することにより、復号装置２００は、復号対象のビットストリームが、"所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する"といったビットストリーム制約を満たしているかを確認することができる。例えば、復号装置２００は、復号対象のビットストリームが、図２に示されるビットストリーム制約を満たすか否かを確認することができる。つまり、復号装置２００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号処理の流れ＞
　次に、この復号装置２００により実行される復号処理の流れの例を、図８のフローチャートを参照して説明する。
　復号処理が開始されると、復号装置２００のNALユニットヘッダ復号部２１１は、ステップＳ２０１において、シンタックステーブルの定義に従ってNALユニットヘッダの符号化データを復号する。
　ステップＳ２０２において、ビットストリーム制約確認部２１２は、ビットストリームが、イントラプロファイルに関するビットストリーム制約を満たしているか否かを判定する。その際、ビットストリーム制約確認部２１２は、上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせを適用してその確認を行ってもよい。
　例えば、ビットストリーム制約確認部２１２は、所定の条件が満たされる場合、復号対象のビットストリームにおいて、動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。また、ビットストリーム制約確認部２１２は、その条件が満たされる場合、そのビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認してもよい。例えば、下記のように、nal_unit_typeが、７乃至１１のいずれかであることを確認してもよい。
　ret =  (nal_unit_type>=7 && nal_unit_type <= 11 ) ? 1 : 0
　この場合、パラメータretが真（ret = 1）の場合、ビットストリームがイントラプロファイルに関するビットストリーム制約を満たしていると判定される。
　また、ビットストリーム制約確認部２１２は、そのビットストリームのプロファイルがイントラプロファイルである場合、そのビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。その際、ビットストリーム制約確認部２１２は、プロファイルが"Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであること"を、"イントラプロファイルであること"としてもよい。また、イントラプロファイルであるか否かの判定には、プロファイル識別子（general_profile_idc）が用いられてもよい。また、スティルピクチャプロファイルの場合も、イントラプロファイルの場合と同様に、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかが確認されてもよい。
　ステップＳ２０２において、イントラプロファイルに関するビットストリーム制約を満たしていないと判定された場合（例えば、パラメータretが偽（ret = 0）の場合、）、処理はステップＳ２０３へ進む。
　ステップＳ２０３において、ビットストリーム制約確認部２１２は、イントラプロファイルに関するビットストリーム制約を満たしていないことを示す警告メッセージを通知する。
　ステップＳ２０３の処理が終了すると、処理はステップＳ２０４へ進む。また、ステップＳ２０２において、復号対象のビットストリームがイントラプロファイルに関するビットストリーム制約を満たしていると判定された場合、処理はステップＳ２０４へ進む。
　ステップＳ２０４において、Raw Byteシーケンスペイロード復号部２１３は、シンタックステーブルの定義に従ってRaw byteシーケンスペイロードを復号する。
　ステップＳ２０４の処理が終了すると、復号処理が終了する。
　このように各処理を実行することにより、復号装置２００は、復号対象のビットストリームが、"所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する"といったビットストリーム制約を満たしているかを確認することができる。例えば、復号装置２００は、復号対象のビットストリームが、図２に示されるビットストリーム制約を満たすか否かを確認することができる。つまり、復号装置２００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　　＜変形例＞
　なお、方法１を適用する場合、図１の表の最下段に示されるように、制御フラグが真である場合、全ピクチャのピクチャタイプをIピクチャに限定してもよい（方法１－３）。このような制約を設けることにより、制御フラグが真である場合に、より確実に、動画像の各ピクチャ（各スライス）が、Iピクチャ（Iスライス）として符号化されるようにすることができる。つまり、制御フラグを真に設定することにより、例えばイントラプロファイル以外であっても、より確実に、動画像の各ピクチャ（各スライス）が、Iピクチャ（Iスライス）として符号化されるようにすることができる。したがって、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜符号化装置＞
　図９は、その場合（方法１－３を適用する場合）の符号化装置１００の主な構成例を示すブロック図である。なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、符号化装置１００が、図９においてブロックとして示されていない処理部を有してもよい。また、符号化装置１００が、図９において矢印等として示されていない処理やデータの流れを有してもよい。
　図９に示されるように、この場合の符号化装置１００は、図５の構成に加え、パラメータセット符号化部３０１を有する。パラメータセット符号化部３０１は、プロファイル、レベル、ティア等のパラメータを含むパラメータセットを取得し、符号化し、その符号化データを出力する（ビットストリームに格納する）。
　その際、パラメータセット符号化部３０１は、上述した方法１－３を適用し、処理を行ってもよい。例えば、パラメータセット符号化部３０１は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）を設定し、その設定した制御フラグを符号化し、ビットストリームに格納してもよい。例えば、パラメータセット符号化部３０１は、制御フラグ設定部３１１および制御フラグ符号化部３１２を有する。
　制御フラグ設定部３１１は、制御フラグ（irap_only_constraint_flag）を設定する。制御フラグ（irap_only_constraint_flag）は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するためのフラグ情報である。この制御フラグが真（例えば、irap_only_constraint_flag == 1）の場合、動画像の全てのピクチャのピクチャタイプがIピクチャに限定される。また、この制御フラグが偽（例えば、irap_only_constraint_flag == 0）の場合、このピクチャタイプの制限は行われない。
　制御フラグ設定部３１１は、例えばユーザ等の指示に基づいてこの制御フラグを設定する。そして、制御フラグ設定部３１１は、設定した制御フラグを制御フラグ符号化部３１２へ供給する。また、制御フラグ設定部３１１は、設定した制御フラグをNALユニットヘッダ設定部１１１へ供給する。
　制御フラグ符号化部３１２は、その制御フラグを符号化し、その符号化データを出力する（ビットストリームに格納する）。
　NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、上述した方法１－３を適用し、この制御フラグに基づいて処理を行う。例えば、NALユニット符号化部１０１は、この制御フラグが真である場合、全てのピクチャのピクチャタイプをIピクチャとして、動画像を符号化してもよい。その際、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定することにより、全てのピクチャのピクチャタイプをIピクチャとしてもよい。例えばVVCの場合、NALユニット符号化部１０１（NALユニットヘッダ設定部１１１）は、nal_unit_typeを７乃至１１のいずれかの値に設定してもよい。
　NALユニットヘッダ符号化部１１２およびRaw Byteシーケンスペイロード符号化部１１３は、図５の場合と同様に処理を行う。
　このような構成を有することにより、符号化装置１００は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）が真である場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化することができる。つまり、符号化装置１００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜符号化処理の流れ＞
　次に、この符号化装置１００により実行される符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
　この場合、符号化処理が開始されると、符号化装置１００の制御フラグ設定部３１１は、ステップＳ３０１において、例えばユーザ等の指示に基づいて、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）を設定する。
　ステップＳ３０２において、制御フラグ符号化部３１２は、ステップＳ３０１において設定された制御フラグ（irap_only_constraint_flag）を符号化し、ビットストリームに格納する。
　ステップＳ３０３において、NALユニット符号化部１０１は、上述した方法１－３を適用し、ステップＳ３０１において設定された制御フラグ（irap_only_constraint_flag）に基づいてNALユニット符号化処理を実行し、NALユニットを符号化する。つまり、NALユニット符号化部１０１は、その制御フラグが真である場合、全てのピクチャのピクチャタイプをIピクチャとして、動画像を符号化する。
　ステップＳ３０３の処理が終了すると、符号化処理が終了する。
　　＜NALユニット符号化処理の流れ＞
　次に、図１０のステップＳ３０３において実行されるNALユニット符号化処理の流れの例を、図１１のフローチャートを参照して説明する。
　NALユニット符号化処理が開始されると、NALユニットヘッダ設定部１１１は、ステップＳ３２１において、制御フラグ（irap_only_constraint_flag）に基づいてNALユニットタイプを設定する。例えば、NALユニットヘッダ設定部１１１は、その制御フラグが真である場合、全てのピクチャのピクチャタイプをIピクチャとする。例えば、NALユニットヘッダ設定部１１１は、その場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定してもよい。例えばVVCの場合、NALユニットヘッダ設定部１１１は、nal_unit_typeを７乃至１１のいずれかの値に設定してもよい。
　ステップＳ３２２において、NALユニットヘッダ符号化部１１２は、ステップＳ３０１において設定されたNALユニットヘッダを、シンタックステーブルの定義に従って符号化する。
　ステップＳ３２３において、Raw Byteシーケンスペイロード符号化部１１３は、シンタックステーブルの定義に従ってRaw byteシーケンスペイロードを符号化する。つまり、Raw Byteシーケンスペイロード符号化部１１３は、ステップＳ３２１において設定されたNALユニットタイプのNALユニットとしてRaw byteシーケンスペイロードを符号化する。つまり、Raw Byteシーケンスペイロード符号化部１１３は、上述した方法１－３を適用してRaw byteシーケンスペイロードを符号化する。
　ステップＳ３２３の処理が終了するとNALユニット符号化処理が終了し、処理は図１０に戻る。
　このように各処理を実行することにより、符号化装置１００は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）が真である場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化することができる。つまり、符号化装置１００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号装置＞
　図１２は、この場合（方法１－３を適用する場合）の復号装置の主な構成例を示すブロック図である。なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、復号装置２００が、図１２においてブロックとして示されていない処理部を有してもよい。また、復号装置２００が、図１２において矢印等として示されていない処理やデータの流れを有してもよい。
　図１２に示されるように、この場合の復号装置２００は、図７の構成に加え、パラメータセット復号部４０１を有する。パラメータセット復号部４０１は、ビットストリームに格納されるプロファイル、レベル、ティア等のパラメータを含むパラメータセットの符号化データを取得し、それを復号し、そのパラメータセット（例えば、プロファイル、レベル、ティア等のパラメータ）を生成（復元）する。
　パラメータセット復号部４０１は、制御フラグ復号部４１１を有する。制御フラグ復号部４１１は、上述した方法１－３を適用し、ビットストリームを復号して、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）を生成（復元）する。制御フラグ復号部４１１は、その生成した制御フラグを、ビットストリーム制約確認部２１２へ供給する。
　ビットストリーム制約確認部２１２は、上述した方法１－３を適用して処理を行う。例えば、ビットストリーム制約確認部２１２は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグが真（例えば、irap_only_constraint_flag == 1）である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。例えば、ビットストリーム制約確認部２１２は、制御フラグ復号部４１１から供給された制御フラグが真（例えば、irap_only_constraint_flag == 1）である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。
　例えば、ビットストリーム制約確認部２１２は、復号対象のビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認してもよい。例えばVVCの場合、ビットストリーム制約確認部２１２は、NALユニットヘッダにおいて、nal_unit_typeが７乃至１１のいずれかの値に設定されているかを確認してもよい。
　ビットストリーム制約確認部２１２は、以上のような確認の結果を出力してもよい。例えば、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１－３に対応するビットストリーム制約を満たしていないと判定した場合、ビットストリーム制約を満たしていないことを示す警告メッセージをユーザ等に通知してもよい。例えば、ビットストリーム制約確認部２１２は、その警告メッセージを、文字や画像として画面に表示させてもよいし、音声としてスピーカ等から出力させてもよい。また、ビットストリーム制約確認部２１２は、その警告メッセージを、データ等として、他の装置や他の処理部（他のアプリケーション）等に提供してもよい。
　また、ビットストリーム制約確認部２１２は、その確認の結果に基づいて、ビットストリームの復号を制御してもよい。例えば、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１－３に対応するビットストリーム制約を満たしていないと判定した場合、そのビットストリームの復号処理を終了させてもよい。また、ビットストリーム制約確認部２１２は、ビットストリームが上述した方法１－３に対応するビットストリーム制約を満たしていないと判定した場合、ユーザ等により許可されるまで、そのビットストリームの復号処理を一時停止してもよい。
　また、ビットストリーム制約確認部２１２は、警告メッセージの出力と復号処理の制御の両方を行ってもよい。
　NALユニットヘッダ復号部２１１およびRaw Byteシーケンスペイロード復号部２１３は、図７の場合と同様に処理を行う。
　このような構成を有することにより、復号装置２００は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）が真である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認することができる。つまり、復号装置２００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号処理の流れ＞
　次に、この復号装置２００により実行される復号処理の流れの例を、図１３のフローチャートを参照して説明する。
　この場合、復号処理が開始されると、復号装置２００の制御フラグ復号部４１１は、ステップＳ４０１において、ビットストリーム（に含まれる制御フラグの符号化データ）を復号し、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）を生成（復元）する。
　ステップＳ４０２において、NALユニット復号部２０１は、上述した方法１－３を適用してNALユニット符号化処理を実行し、ステップＳ４０１において生成（復元）された制御フラグ（irap_only_constraint_flag）に基づいてNALユニットの符号化データを復号する。つまり、NALユニット符号化部１０１は、その制御フラグが真である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプがIピクチャであるかを確認する。
　ステップＳ４０２の処理が終了すると、復号処理が終了する。
　　＜NALユニット復号処理の流れ＞
　次に、図１３のステップＳ４０２において実行されるNALユニット復号処理の流れの例を、図１４のフローチャートを参照して説明する。
　NALユニット復号処理が開始されると、NALユニットヘッダ復号部２１１は、ステップＳ４２１において、シンタックステーブルの定義に従ってNALユニットヘッダの符号化データを復号する。
　ステップＳ４２２において、ビットストリーム制約確認部２１２は、復号対象のビットストリームが、イントラプロファイルに関するビットストリーム制約を満たしているか否かを判定する。その際、ビットストリーム制約確認部２１２は、上述した方法１－３を適用してその確認を行ってもよい。
　例えば、ビットストリーム制約確認部２１２は、図１３のステップＳ４０１において復号された制御フラグ（irap_only_constraint_flag）が真である場合、復号対象のビットストリームにおいて、動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認してもよい。例えば、ビットストリーム制約確認部２１２は、そのビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認してもよい。例えばVVCの場合、ビットストリーム制約確認部２１２は、nal_unit_typeが、７乃至１１のいずれかであることを確認してもよい。
　ステップＳ４２２において、イントラプロファイルに関するビットストリーム制約を満たしていないと判定された場合（例えば、パラメータretが偽（ret = 0）の場合、）、処理はステップＳ４２３へ進む。
　ステップＳ４２３において、ビットストリーム制約確認部２１２は、イントラプロファイルに関するビットストリーム制約を満たしていないことを示す警告メッセージを通知する。
　ステップＳ４２３の処理が終了すると、処理はステップＳ４２４へ進む。また、ステップＳ４２２において、復号対象のビットストリームがイントラプロファイルに関するビットストリーム制約を満たしていると判定された場合、処理はステップＳ４２４へ進む。
　ステップＳ４２４において、Raw Byteシーケンスペイロード復号部２１３は、シンタックステーブルの定義に従ってRaw byteシーケンスペイロードを復号する。
　ステップＳ４２４の処理が終了すると、処理は図１３に戻る。
　このように各処理を実行することにより、復号装置２００は、動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグ（irap_only_constraint_flag）が真である場合、復号対象のビットストリームにおいて、全てのピクチャのピクチャタイプをIピクチャであるかを確認することができる。つまり、復号装置２００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　なお、符号化装置１００および復号装置２００は、上述した方法１－３を、他の方法（上述した方法１、方法１－１、方法１－２、またはそれらの組み合わせ等）と組み合わせて適用してもよい。
　＜４．スライスタイプの制約＞
　　＜方法２＞
　また、図１５の表の最上段に示されるように、イントラプロファイルの場合、イントラonly制約フラグを真に限定してもよい（方法２）。イントラonly制約フラグ（gci_intra_only_constraint_flag）は、動画像の全てのスライスのスライスタイプがIスライスであるか否かを示すフラグ情報である。また、このイントラonly制約フラグは、動画像の全てのスライスのスライスタイプがIスライスに限定するか否かを制御する制御フラグとも言える。イントラonly制約フラグを用いてこのような制約（"イントラonly制約フラグに関するビットストリーム制約"とも称する）を設けておくことにより、例えば上述のイントラプロファイルに対してこの制約を適用することができる。つまり、このイントラonly制約フラグを介して、動画像の全てのスライスのスライスタイプがIスライスに限定するか否かを制御することができる。したがって、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜方法２－１＞
　例えば方法２を適用する場合、図１５の表の上から２段目に示されるように、プロファイルがMain 12 Intra profile, Main 12 4:4:4 Intra profile, Main 16 4:4:4 Intra profileのいずれかである場合、イントラonly制約フラグを真に限定してもよい（方法２－１）。
　　＜方法２－１－１＞
　例えば方法２－１を適用する場合、図１５の表の上から３段目に示されるように、プロファイル識別子の値が１０、４２、または４４である場合、イントラonly制約フラグを真に限定してもよい（方法２－１－１）。
　　＜方法２－２＞
　例えば方法２を適用する場合、図１５の表の最下段に示されるように、スティルピクチャプロファイルの場合も、イントラonly制約フラグを真に限定してもよい（方法２－２）。
　　＜ビットストリーム制約＞
　例えば、VVCのような動画像の標準符号化規格（符号化・復号方法）において、イントラプロファイルに関するビットストリーム制約として、図１６に示されるようなビットストリーム制約を設けてもよい。例えば、VVCの場合、図１７に示されるシンタックスのように、イントラonly制約フラグ（gci_intra_only_constraint_flag）が設定される。
　このイントラonly制約フラグ（gci_intra_only_constraint_flag）は、復号側において、復号対象のビットストリームに含まれる動画像の全てのスライスのスライスタイプがIスライスであるか否かを示すフラグ情報である。例えば、イントラonly制約フラグが真（例えば、gci_intra_only_constraint_flag == 1）である場合、復号対象のビットストリームに含まれる動画像の全てのスライスのスライスタイプがIスライスであることを示す。また、イントラonly制約フラグが偽（例えば、gci_intra_only_constraint_flag == 0）である場合、復号対象のビットストリームに含まれる動画像の全てのスライスのスライスタイプがIスライスであるとは限らないことを示す。
　また、イントラonly制約フラグ（gci_intra_only_constraint_flag）は、符号化側において、動画像の全てのスライスのスライスタイプをIスライスに限定するか否かを制御する制御フラグである。例えば、イントラonly制約フラグが真（例えば、gci_intra_only_constraint_flag == 1）である場合、動画像の全てのスライスのスライスタイプがIスライスに設定され、その動画像が符号化される。また、イントラonly制約フラグが偽（例えば、gci_intra_only_constraint_flag == 0）である場合、スライスタイプに対してそのような制限が適用されずに、動画像が符号化される。
　図１６のビットストリーム制約では、イントラプロファイル（Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profile）の場合、このイントラonly制約フラグ（gci_intra_only_constraint_flag）が真に限定される。
　動画像の標準符号化規格に、このようなビットストリーム制約を加えることにより、イントラプロファイルが適用される場合、このイントラonly制約フラグ（gci_intra_only_constraint_flag）が真であるようにすることができる。つまり、イントラプロファイルが適用される場合、符号化対象の動画像の全てのスライスのスライスタイプをIスライスに限定することができる。例えば、VVCの場合、図１８に示されるように、非特許文献７の"A3.5 Format range extensions profiles"に、図２のビットストリーム制約を追加すればよい。
　なお、図１８に示されるように、イントラプロファイルが適用される場合、符号化対象の動画像の全てのスライスについて、そのスライスタイプを示すパラメータであるsh_slice_typeの値が"2"に限定されてもよい。
　　＜符号化装置＞
　図１９は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１９に示される符号化装置５００は、符号化対象の動画像を符号化し、ビットストリームを生成する装置である。
　例えば、符号化装置５００は、動画像とその予測画像の予測残差を導出し、その予測残差を係数変換（例えば直交変換）し、その変換係数を量子化して符号化する。もちろん、この符号化方法は一例である。符号化装置５００による動画像の符号化方法は、この例に限定されない。例えば、係数変換や量子化等、上述の処理のうちの一部がスキップ（省略）されてもよい。
　符号化装置５００は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用して動画像を符号化する。
　なお、図１９においては、処理部やデータの流れ等の主なものを示しており、図１９に示されるものが全てとは限らない。つまり、符号化装置５００が、図１９においてブロックとして示されていない処理部を有してもよい。また、符号化装置５００が、図１９において矢印等として示されていない処理やデータの流れを有してもよい。
　図１９に示されるように、符号化装置５００は、パラメータセット符号化部５０１およびピクチャ符号化部５０２を有する。パラメータセット符号化部５０１は、プロファイル、レベル、ティア等のパラメータを含むパラメータセットを取得し、符号化し、その符号化データを出力する（ビットストリームに格納する）。ピクチャ符号化部５０２は、符号化対象の動画像に関する任意のパラメータを取得し、そのパラメータを用いて、その動画像をスライス毎に符号化する。
　その際、パラメータセット符号化部５０１およびピクチャ符号化部５０２は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し処理を行ってもよい。例えば、パラメータセット符号化部５０１は、動画像の符号化のプロファイルがイントラプロファイルである場合、その動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御するイントラonly制約フラグ（gci_intra_only_constraint_flag）を真に設定し、そのイントラonly制約フラグを含むパラメータセットを符号化してもよい。また、ピクチャ符号化部５０２は、そのイントラonly制約フラグが真である場合、符号化対象の動画像の全てのスライスをIスライスとして、その動画像を符号化してもよい。
　その際、ピクチャ符号化部５０２は、イントラonly制約フラグが真である場合、スライスタイプを示すパラメータであるsh_slice_typeの値を"2"に設定してもよい。
　また、パラメータセット符号化部５０１は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、イントラonly制約フラグを真に設定してもよい。
　また、パラメータセット符号化部５０１は、プロファイルを識別するためのプロファイル識別子（general_profile_idc）の値が１０、４２、または４４である場合、イントラonly制約フラグを真に設定してもよい。
　また、パラメータセット符号化部５０１は、さらに、プロファイルがスティルピクチャプロファイルである場合（例えばプロファイル識別子（general_profile_idc）の値が６６、９８、または１００である場合）も、イントラonly制約フラグを真に設定してもよい。
　図１９に示されるように、パラメータセット符号化部５０１は、イントラonly制約フラグ設定部５１１およびイントラonly制約フラグ符号化部５１２を有する。また、ピクチャ符号化部５０２は、スライスヘッダ設定部５２１、スライスヘッダ符号化部５２２、およびスライス符号化部５２３を有する。
　イントラonly制約フラグ設定部５１１は、イントラonly制約フラグの設定に関する処理を行う。例えば、イントラonly制約フラグ設定部５１１は、ユーザ等により指定されたプロファイルに基づいて、イントラonly制約フラグを設定してもよい。例えば、イントラプロファイルが指定された場合、イントラonly制約フラグ設定部５１１は、イントラonly制約フラグを真（gci_intra_only_constraint_flag == 1）に設定してもよい。また、イントラプロファイル以外のプロファイルが指定された場合、イントラonly制約フラグ設定部５１１は、イントラonly制約フラグを偽（gci_intra_only_constraint_flag == 0）に設定してもよい。
　その際、イントラonly制約フラグ設定部５１１は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであることを、イントラプロファイルであることとしてもよい。つまり、イントラonly制約フラグ設定部５１１は、指定されたプロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、イントラonly制約フラグを真に設定してもよい。
　また、イントラonly制約フラグ設定部５１１は、指定されたプロファイルが何であるかを、プロファイルを識別するためのプロファイル識別子（general_profile_idc）を用いて判定してもよい。つまり、イントラonly制約フラグ設定部５１１は、このプロファイル識別子の値が１０、４２、または４４である場合、イントラonly制約フラグを真に設定してもよい。
　また、イントラonly制約フラグ設定部５１１は、スティルピクチャプロファイルをイントラプロファイルと同様に扱ってもよい。つまり、イントラonly制約フラグ設定部５１１は、プロファイルがスティルピクチャプロファイルである場合も、イントラプロファイルの場合と同様に、イントラonly制約フラグを真に設定してもよい。
　その際、イントラonly制約フラグ設定部５１１は、プロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileであることを、スティルピクチャプロファイルであることとしてもよい。つまり、イントラonly制約フラグ設定部５１１は、指定されたプロファイルがMain 12 Still Picture profile、Main 12 4:4:4 Still Picture profile、またはMain 16 4:4:4 Still Picture profileである場合、イントラonly制約フラグを真に設定してもよい。
　スティルピクチャプロファイルの場合も、イントラonly制約フラグ設定部５１１は、指定されたプロファイルが何であるかを、プロファイルを識別するためのプロファイル識別子（general_profile_idc）を用いて判定してもよい。つまり、イントラonly制約フラグ設定部５１１は、このプロファイル識別子の値が６６、９８、または１００である場合、イントラonly制約フラグを真に設定してもよい。
　イントラonly制約フラグ設定部５１１は、設定したイントラonly制約フラグをイントラonly制約フラグ符号化部５１２およびスライスヘッダ設定部５２１へ供給してもよい。
　イントラonly制約フラグ符号化部５１２は、イントラonly制約フラグ設定部５１１から供給されたイントラonly制約フラグを符号化し、その符号化データをビットストリームに格納してもよい。
　スライスヘッダ設定部５２１は、スライスヘッダの設定に関する処理を行う。例えば、スライスヘッダ設定部５２１は、イントラonly制約フラグ設定部５１１から供給されるイントラonly制約フラグを取得してもよい。また、スライスヘッダ設定部５２１は、そのイントラonly制約フラグに基づいて、スライスタイプを設定してもよい。例えば、スライスヘッダ設定部５２１は、そのイントラonly制約フラグが真（gci_intra_only_constraint_flag == 1）である場合、全てのスライスをIスライスに設定してもよい。その際、スライスヘッダ設定部５２１は、例えば、スライスタイプを示すパラメータであるsh_slice_typeの値を"2"に設定してもよい。
　なお、スライスヘッダ設定部５２１は、イントラonly制約フラグが偽（gci_intra_only_constraint_flag == 0）である場合、適切なスライスタイプを選択し、設定する。例えば、スライスヘッダ設定部５２１は、sh_slice_typeの値を0乃至2の中の適切な値に設定してもよい。
　また、スライスヘッダ設定部５２１は、イントラonly制約フラグの代わりに、指定されたプロファイルタイプに基づいて、スライスタイプを設定してもよい。例えば、スライスヘッダ設定部５２１は、イントラプロファイルが指定された場合、全てのスライスをIスライスに設定してもよい。例えば、スライスヘッダ設定部５２１は、Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileが指定された場合、全てのスライスをIスライスに設定してもよい。また、スライスヘッダ設定部５２１は、指定されたプロファイル識別子の値が１０、４２、または４４である場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。また、スライスヘッダ設定部５２１は、スティルピクチャプロファイルが指定された場合も、全てのピクチャのピクチャタイプをIピクチャとしてもよい。
　スライスヘッダ設定部５２１は、このように設定したスライスヘッダをスライスヘッダ符号化部５２２へ供給してもよい。
　スライスヘッダ符号化部５２２は、シンタックステーブルの定義に従って、スライスヘッダ設定部５２１から供給されるスライスヘッダを符号化する。スライス符号化部５２３は、シンタックステーブルの定義に従って、スライスを符号化する。
　このような構成を有することにより、符号化装置５００は、"イントラプロファイルの場合、イントラonly制約フラグを真に限定する"といったビットストリーム制約に従って、動画像を符号化することができる。例えば、符号化装置５００は、図１６に示されるビットストリーム制約に従って、動画像を符号化することができる。つまり、符号化装置５００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜符号化処理の流れ＞
　次に、この符号化装置５００により実行される符号化処理の流れの例を、図２０のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化装置５００のパラメータセット符号化部５０１は、ステップＳ５０１において、パラメータセット符号化処理を実行し、パラメータセットを符号化する。その際、パラメータセット符号化部５０１は、動画像の符号化のプロファイルがイントラプロファイルである場合、イントラonly制約フラグを真に設定し、そのイントラonly制約フラグを含むパラメータセットを符号化する。
　ステップＳ５０２において、ピクチャ符号化部５０２は、ピクチャ符号化処理を実行し、ピクチャを符号化する。その際、ピクチャ符号化部５０２は、イントラonly制約フラグが真である場合、全てのスライスをIスライスとして、符号化対象の動画像を符号化する。
　ステップＳ５０２の処理が終了すると、符号化処理が終了する。
　　＜パラメータセット符号化処理の流れ＞
　次に、図２０のステップＳ５０１において実行されるパラメータセット符号化処理の流れの例を、図２１のフローチャートを参照して説明する。
　パラメータセット符号化処理が開始されると、イントラonly制約フラグ設定部５１１は、ステップＳ５２１において、指定されたプロファイルに基づいてイントラonly制約フラグ（gci_intra_only_constraint_flag）を設定する。上述したように、例えば、イントラプロファイルが指定された場合、イントラonly制約フラグ設定部５１１は、イントラonly制約フラグを真に設定してもよい。その際、イントラonly制約フラグ設定部５１１は、プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileであることを、イントラプロファイルであることとしてもよい。また、イントラonly制約フラグ設定部５１１は、指定されたプロファイルが何であるかを、プロファイルを識別するためのプロファイル識別子（general_profile_idc）を用いて判定してもよい。また、イントラonly制約フラグ設定部５１１は、スティルピクチャプロファイルをイントラプロファイルと同様に扱ってもよい。
　ステップＳ５２２において、イントラonly制約フラグ符号化部５１２は、ステップＳ５２１において設定されたイントラonly制約フラグを、シンタックステーブルの定義に従って符号化する。
　ステップＳ５２２の処理が終了すると、パラメータセット符号化処理が終了し、処理は図２０に戻る。
　　＜ピクチャ符号化処理の流れ＞
　次に、図２０のステップＳ５０２において実行されるピクチャ符号化処理の流れの例を、図２２のフローチャートを参照して説明する。
　ピクチャ符号化処理が開始されると、スライスヘッダ設定部５２１は、ステップＳ５４１において、処理対象スライスのスライスタイプを設定する。
　その際、スライスヘッダ設定部５２１は、スライスヘッダ設定部５２１は、そのイントラonly制約フラグに基づいて、スライスタイプを設定してもよい。例えば、スライスヘッダ設定部５２１は、そのイントラonly制約フラグが真（gci_intra_only_constraint_flag == 1）である場合、全てのスライスをIスライスに設定してもよい。その際、スライスヘッダ設定部５２１は、例えば、スライスタイプを示すパラメータであるsh_slice_typeの値を"2"に設定してもよい。
　また、スライスヘッダ設定部５２１は、イントラonly制約フラグの代わりに、指定されたプロファイルタイプに基づいて、スライスタイプを設定してもよい。例えば、スライスヘッダ設定部５２１は、イントラプロファイルが指定された場合、全てのスライスをIスライスに設定してもよい。例えば、スライスヘッダ設定部５２１は、Main 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileが指定された場合、全てのスライスをIスライスに設定してもよい。また、スライスヘッダ設定部５２１は、指定されたプロファイル識別子の値が１０、４２、または４４である場合、全てのピクチャのピクチャタイプをIピクチャとしてもよい。また、スライスヘッダ設定部５２１は、スティルピクチャプロファイルが指定された場合も、全てのピクチャのピクチャタイプをIピクチャとしてもよい。
　スライスヘッダ設定部５２１は、処理対象スライスについて、このように設定したスライスタイプを含むスライスヘッダを設定する。
　ステップＳ５４２において、スライスヘッダ符号化部５２２は、ステップＳ５４１において設定された処理対象スライスのスライスヘッダを、シンタックステーブルの定義に従って符号化する。
　ステップＳ５４３において、スライス符号化部５２３は、シンタックステーブルの定義に従って処理対象スライスを符号化する。
　ステップＳ５４４において、ピクチャ符号化部５０２は、処理対象フレームのすべてのスライスを符号化したか否かを判定する。未処理のスライスが存在すると判定された場合、その未処理のスライスの中から新たな処理対象スライスが選択され、処理はステップＳ５４１に戻る。つまり、処理対象フレームの各スライスについて、ステップＳ５４１乃至ステップＳ５４４の各処理が実行される。
　そしてステップＳ５４４において、処理対象フレームのすべてのスライスを符号化したと判定された場合、ピクチャ符号化処理が終了し、処理は図２０に戻る。
　このように各処理を実行することにより、符号化装置５００は、"イントラプロファイルの場合、イントラonly制約フラグを真に限定する"といったビットストリーム制約に従って、動画像を符号化することができる。例えば、符号化装置５００は、図１６に示されるビットストリーム制約に従って、動画像を符号化することができる。つまり、符号化装置５００は、より確実に、ビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号装置＞
　図２３は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図２３に示される復号装置６００は、ビットストリームを復号し、符号化対象の動画像を生成（復元）する装置である。
　例えば、復号装置６００は、ビットストリームを復号して量子化係数を生成（復元）し、その量子化係数を逆量子化して変換係数を導出し、その変換係数を逆係数変換（例えば逆直交変換）して予測残差を導出し、復号画像から予測画像を生成し、その予測画像を予測残差に加算して画像データを生成（復元）する。もちろん、この復号方法は一例である。復号装置６００によるビットストリームの復号方法は、この例に限定されない。例えば、逆量子化や逆係数変換等、上述の処理のうちの一部がスキップ（省略）されてもよい。
　復号装置６００は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用してビットストリームを復号する。
　なお、図２３においては、処理部やデータの流れ等の主なものを示しており、図２３に示されるものが全てとは限らない。つまり、復号装置６００が、図２３においてブロックとして示されていない処理部を有してもよい。また、復号装置６００が、図２３において矢印等として示されていない処理やデータの流れを有してもよい。
　図２３に示されるように、復号装置６００は、パラメータセット復号部６０１およびピクチャ復号部６０２を有する。パラメータセット復号部６０１は、ビットストリームに格納されるプロファイル、レベル、ティア等のパラメータを含むパラメータセットの符号化データを取得し、それを復号し、そのパラメータセット（例えば、プロファイル、レベル、ティア等のパラメータ）を生成（復元）する。ピクチャ復号部６０２は、ビットストリームを取得し、そのビットストリームを復号して、符号化対象の動画像を生成（復元）し、その動画像に関するパラメータを出力する。
　パラメータセット復号部６０１は、イントラonly制約フラグ復号部６１１およびビットストリーム制約確認部６１２を有する。また、ピクチャ復号部６０２は、スライスヘッダ復号部６２１、ビットストリーム制約確認部６２２、およびスライス復号部６２３を有する。
　イントラonly制約フラグ復号部６１１は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し、ビットストリームを復号し、イントラonly制約フラグ（gci_intra_only_constraint_flag）を生成（復元）する。イントラonly制約フラグは、動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグである。したがって、イントラonly制約フラグ復号部６１１は、制御フラグ復号部とも言える。なお、イントラonly制約フラグは、ビットストリームに格納される動画像の全てのスライスのスライスタイプがIスライスであるか否かを示すフラグ情報とも言える。イントラonly制約フラグ復号部６１１は、生成したイントラonly制約フラグを、ビットストリーム制約確認部６１２およびビットストリーム制約確認部６２２へ供給する。
　ビットストリーム制約確認部６１２は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し、ビットストリームがイントラonly制約フラグに関するビットストリーム制約を満たすか否かを確認する。したがって、ビットストリーム制約確認部６１２は、制御フラグについての確認を行う制御フラグ確認部とも言える。例えば、ビットストリーム制約確認部６１２は、ビットストリームのプロファイルがイントラプロファイルである場合、イントラonly制約フラグが真（例えば、gci_intra_only_constraint_flag == 1）であるかを確認してもよい。
　例えば、ビットストリーム制約確認部６１２は、ビットストリームのプロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、イントラonly制約フラグが真であるかを確認してもよい。
　また、ビットストリーム制約確認部６１２は、プロファイルを識別するためのプロファイル識別子（general_profile_idc）の値が１０、４２、または４４である場合、イントラonly制約フラグが真であるかを確認してもよい。
　また、ビットストリーム制約確認部６１２は、さらに、ビットストリームのプロファイルがスティルピクチャプロファイルである場合も、イントラonly制約フラグが真であるかを確認してもよい。
　ビットストリーム制約確認部６１２は、以上のような確認の結果を出力してもよい。例えば、ビットストリーム制約確認部６１２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていない（イントラプロファイルであるのに、値が偽であるイントラonly制約フラグが存在する）と判定した場合、そのビットストリーム制約を満たしていないことを示す警告メッセージをユーザ等に通知してもよい。例えば、ビットストリーム制約確認部６１２は、その警告メッセージを、文字や画像として画面に表示させてもよいし、音声としてスピーカ等から出力させてもよい。また、ビットストリーム制約確認部６１２は、その警告メッセージを、データ等として、他の装置や他の処理部（他のアプリケーション）等に提供してもよい。
　また、ビットストリーム制約確認部６１２は、その確認の結果に基づいて、イントラonly制約フラグの復号を制御してもよい。例えば、ビットストリーム制約確認部６１２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていないと判定した場合、そのイントラonly制約フラグの復号処理を終了させてもよい。また、ビットストリーム制約確認部６１２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていないと判定した場合、ユーザ等により許可されるまで、そのイントラonly制約フラグの復号処理を一時停止してもよい。
　また、ビットストリーム制約確認部６１２は、警告メッセージの出力と復号処理の制御の両方を行ってもよい。
　スライスヘッダ復号部６２１は、シンタックステーブルの定義に従ってビットストリームを復号し、処理対象スライスのスライスヘッダを生成（復元）する。スライスヘッダ復号部６２１は、生成した処理対象スライスのスライスヘッダをビットストリーム制約確認部６２２へ供給する。
　ビットストリーム制約確認部６２２は、ビットストリーム制約の確認に関する処理を行う。例えば、ビットストリーム制約確認部６２２は、イントラonly制約フラグ復号部６１１から供給されるイントラonly制約フラグを取得してもよい。また、ビットストリーム制約確認部６２２は、スライスヘッダ復号部６２１から供給されるスライスヘッダを取得してもよい。ビットストリーム制約確認部６２２は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し、所定の条件が満たされる場合、ビットストリームにおいて、動画像の全てのスライスのスライスタイプがIスライスであるかを確認してもよい。例えば、ビットストリーム制約確認部６２２は、全てのスライスについて、スライスタイプを示すパラメータであるsh_slice_typeの値が"2"であるか否かを確認してもよい。
　また、ビットストリーム制約確認部６２２は、イントラonly制約フラグが真である場合、ビットストリームにおいて、動画像の全てのスライスのスライスタイプがIスライスであるかを確認してもよい。例えば、ビットストリーム制約確認部６２２は、イントラonly制約フラグ復号部６１１から供給されるイントラonly制約フラグが真である場合、ビットストリームにおいて、動画像の全てのスライスのスライスタイプがIスライスであるかを確認してもよい。
　また、ビットストリーム制約確認部６２２は、イントラonly制約フラグの代わりに、ビットストリームのプロファイルタイプに基づいて、全てのスライスのスライスタイプがIスライスであるかを確認してもよい。例えば、ビットストリーム制約確認部６２２は、ビットストリームのプロファイルがイントラプロファイルである場合、そのビットストリームにおいて、動画像の全てのスライスのスライスタイプがIスライスであるかを確認してもよい。例えば、ビットストリーム制約確認部６２２は、ビットストリームのプロファイルタイプがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、全てのスライスのスライスタイプがIスライスであるかを確認してもよい。また、ビットストリーム制約確認部６２２は、ビットストリームに格納されるプロファイル識別子の値が１０、４２、または４４である場合、全てのスライスのスライスタイプがIスライスであるかを確認してもよい。また、ビットストリーム制約確認部６２２は、ビットストリームのプロファイルがスティルピクチャプロファイルである場合も、全てのスライスのスライスタイプがIスライスであるかを確認してもよい。
　ビットストリーム制約確認部６２２は、以上のような確認の結果を出力してもよい。例えば、ビットストリーム制約確認部６２２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていない（イントラプロファイルであるのに、Ｉスライスでないスライスが存在する）と判定した場合、そのビットストリーム制約を満たしていないことを示す警告メッセージをユーザ等に通知してもよい。例えば、ビットストリーム制約確認部６２２は、その警告メッセージを、文字や画像として画面に表示させてもよいし、音声としてスピーカ等から出力させてもよい。また、ビットストリーム制約確認部６２２は、その警告メッセージを、データ等として、他の装置や他の処理部（他のアプリケーション）等に提供してもよい。
　また、ビットストリーム制約確認部６２２は、その確認の結果に基づいて、イントラonly制約フラグの復号を制御してもよい。例えば、ビットストリーム制約確認部６２２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていないと判定した場合、そのビットストリームの復号処理を終了させてもよい。また、ビットストリーム制約確認部６２２は、ビットストリームが上述したイントラonly制約フラグに関するビットストリーム制約を満たしていないと判定した場合、ユーザ等により許可されるまで、そのビットストリームの復号処理を一時停止してもよい。
　また、ビットストリーム制約確認部６２２は、警告メッセージの出力と復号処理の制御の両方を行ってもよい。
　スライス復号部６２３は、ビットストリームを復号し、そのビットストリームに含まれる復号対象の動画像を生成（復元）する。例えば、スライス復号部６２３は、シンタックステーブルの定義に従って処理対象スライスを復号する。
　このような構成を有することにより、復号装置６００は、例えば、ビットストリームのプロファイルがイントラプロファイルである場合、全てのイントラonly制約フラグが真であるかを確認することができる。つまり、復号装置６００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　　＜復号処理の流れ＞
　次に、この復号装置６００により実行される復号処理の流れの例を、図２４のフローチャートを参照して説明する。
　この場合、復号処理が開始されると、パラメータセット復号部６０１は、ステップＳ６０１において、パラメータ復号処理を実行し、ビットストリームに含まれるパラメータセットの符号化データを復号し、パラメータセットを生成（復元）する。
　ステップＳ６０２において、ピクチャ復号部６０２は、ピクチャ復号処理を実行し、ビットストリームに含まれるピクチャの符号化データを復号し、ピクチャを生成（復元）する。
　ステップＳ６０２の処理が終了すると、復号処理が終了する。
　　＜パラメータセット復号処理の流れ＞
　次に、図２４のステップＳ６０１において実行されるパラメータセット復号処理の流れの例を、図２５のフローチャートを参照して説明する。
　パラメータセット符号化処理が開始されると、イントラonly制約フラグ復号部６１１は、ステップＳ６２１において、シンタックステーブルの定義に従ってビットストリームを復号し、イントラonly制約フラグを生成（復元）する。
　ステップＳ６２２において、ビットストリーム制約確認部６１２は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し、ビットストリームがイントラonly制約フラグに関するビットストリーム制約を満たすか否かを判定する。例えば、ビットストリーム制約確認部６１２は、ビットストリームのプロファイルがイントラプロファイルである場合、イントラonly制約フラグが真（例えば、gci_intra_only_constraint_flag == 1）であるかを確認してもよい。イントラonly制約フラグが偽であると判定された場合、処理はステップＳ６２３へ進む。
　ステップＳ６２３において、ビットストリーム制約確認部６１２は、イントラonly制約フラグに関するビットストリーム制約を満たしていないことを示す警告メッセージを通知する。
　ステップＳ６２３の処理が終了すると、パラメータセット復号処理が終了し、処理は図２４に戻る。また、ステップＳ６２２において、イントラonly制約フラグが真であると判定された場合、パラメータセット復号処理が終了し、処理は図２４に戻る。
　　＜ピクチャ復号処理の流れ＞
　次に、図２４のステップＳ６０２において実行されるピクチャ復号処理の流れの例を、図２６のフローチャートを参照して説明する。
　ピクチャ符号化処理が開始されると、スライスヘッダ復号部６２１は、ステップＳ６４１において、ビットストリームをシンタックステーブルの定義に従って復号し、処理対象スライスのスライスヘッダを生成（復元）する。
　ステップＳ６４２において、ビットストリーム制約確認部６２２は、上述した方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用し、ビットストリームがイントラonly制約フラグに関するビットストリーム制約を満たすか否かを判定する。例えば、ビットストリーム制約確認部６２２は、所定の条件が満たされる場合、ビットストリームにおいて、動画像の全てのスライスのスライスタイプがIスライスであるか否かを判定してもよい。このビットストリーム制約を満たさないと判定された場合、処理はステップＳ６４３に進む。
　ステップＳ６４３において、ビットストリーム制約確認部６１２は、イントラonly制約フラグに関するビットストリーム制約を満たしていないことを示す警告メッセージを通知する。例えば、ビットストリーム制約確認部６２２は、所定の条件が満たされているが、ビットストリームにおいて、動画像のスライスのスライスタイプが全てIスライスであるとは限らないことを示す警告メッセージを通知する。
　ステップＳ６４３の処理が終了すると、処理はステップＳ６４４に進む。また、ステップＳ６４２において、ビットストリームがイントラonly制約フラグに関するビットストリーム制約を満たすと判定された場合、処理はステップＳ６４４に進む。
　ステップＳ６４４において、スライス復号部６２３は、ビットストリームをシンタックステーブルの定義に従って復号し、処理対象スライスを生成（復元）する。
　ステップＳ６４５において、ピクチャ復号部６０２は、処理対象フレームのすべてのスライスを復号したか否かを判定する。未処理のスライスが存在すると判定された場合、その未処理のスライスの中から新たな処理対象スライスが選択され、処理はステップＳ６４１に戻る。つまり、処理対象フレームの各スライスについて、ステップＳ６４１乃至ステップＳ６４５の各処理が実行される。
　そしてステップＳ６４４において、処理対象フレームのすべてのスライスを復号したと判定された場合、ピクチャ復号処理が終了し、処理は図２４に戻る。
　このように各処理を実行することにより、復号装置６００は、例えば、ビットストリームのプロファイルがイントラプロファイルである場合、全てのイントラonly制約フラグが真であるかを確認することができる。つまり、復号装置６００は、より確実に、復号するビットストリームの仕様をプロファイルに対応させることができる。
　＜５．実施の形態（画像符号化装置・画像復号装置）＞
　　＜画像符号化装置＞
　以上に説明した本技術は任意の構成に適用することができる。例えば、この本技術は、画像符号化装置に適用し得る。図２７は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図２７に示される画像符号化装置７００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置７００は、上述の非特許文献のいずれかに記載の符号化方式で動画像の画像データを符号化することができる。
　なお、図２７においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図２７に示されるものが全てとは限らない。つまり、画像符号化装置７００が、図２７においてブロックとして示されていない処理部を有していてもよい。また、画像符号化装置７００が、図２７において矢印等として示されていない処理やデータの流れを有していてもよい。
　図２７に示されるように画像符号化装置７００は、制御部７０１、並べ替えバッファ７１１、演算部７１２、直交変換部７１３、量子化部７１４、符号化部７１５、蓄積バッファ７１６、逆量子化部７１７、逆直交変換部７１８、演算部７１９、インループフィルタ部７２０、フレームメモリ７２１、予測部７２２、およびレート制御部７２３を有する。
　　　＜制御部＞
　制御部７０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ７１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部７０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
　これらの符号化パラメータの詳細については後述する。制御部７０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
　ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、符号化部７１５と予測部７２２とに供給される。変換情報Tinfoは、符号化部７１５、直交変換部７１３、量子化部７１４、逆量子化部７１７、および逆直交変換部７１８に供給される。フィルタ情報Finfoは、インループフィルタ部７２０に供給される。
　　　＜並べ替えバッファ＞
　画像符号化装置７００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ７１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ７１１は、制御部７０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ７１１は、処理後の各入力画像を演算部７１２に供給する。また、並べ替えバッファ７１１は、その各入力画像（元画像）を、予測部７２２やインループフィルタ部７２０にも供給する。
　　　＜演算部＞
　演算部７１２は、処理単位のブロックに対応する画像I、および予測部７２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式に示されるように減算して、予測残差Dを導出し、それを直交変換部７１３に供給する。
　D = I - P
　　　＜直交変換部＞
　直交変換部７１３は、演算部７１２から供給される予測残差Dと、制御部７０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差Dに対して直交変換を行い、変換係数Coeffを導出する。例えば、直交変換部７１３は、予測残差Dに対してプライマリ変換を行ってプライマリ変換係数を生成し、ST識別子に基づいて、そのプライマリ変換係数に対してセカンダリ変換を行い、セカンダリ変換係数を生成する。直交変換部７１３は、その得られたセカンダリ変換係数を変換係数Coeffとして量子化部７１４に供給する。なお、直交変換部７１３は、直交変換に限らず、任意の係数変換を行うことができる。つまり、変換係数Coeffは、予測残差Dに対して任意の係数変換が行われて導出されてもよい。したがって、直交変換部７１３は、係数変換部とも言える。
　　　＜量子化部＞
　量子化部７１４は、直交変換部７１３から供給される変換係数Coeffと、制御部７０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部７２３により制御される。量子化部７１４は、このように量子化された変換係数のレベル値である量子化係数qcoeffを、符号化部７１５および逆量子化部７１７に供給する。
　　　＜符号化部＞
　符号化部７１５は、量子化部７１４から供給された量子化係数qcoeffと、制御部７０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部７２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部７２２から供給される最適な予測モードに関する情報とを入力とする。符号化部７１５は、量子化係数qcoeffを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。
　さらに、符号化部７１５は、インループフィルタ部７２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部７２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部７１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
　また、符号化部７１５は、以上のように生成された各種情報のビット列（符号化データ）を多重化し、符号化データのビットストリームを生成する。符号化部７１５は、そのビットストリームを蓄積バッファ７１６に供給する。
　　　＜蓄積バッファ＞
　蓄積バッファ７１６は、符号化部７１５において得られた符号化データのビットストリームを、一時的に保持する。蓄積バッファ７１６は、所定のタイミングにおいて、保持している符号化データのビットストリームを画像符号化装置７００の外部に出力する。例えば、このビットストリームは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ７１６は、ビットストリーム（符号化データ）を伝送する伝送部でもある。
　　　＜逆量子化部＞
　逆量子化部７１７は、逆量子化に関する処理を行う。例えば、逆量子化部７１７は、量子化部７１４から供給される量子化係数qcoeffと、制御部７０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化係数qcoeffの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部７１４において行われる量子化の逆処理である。逆量子化部７１７は、このような逆量子化により得られた変換係数Coeff_IQを、逆直交変換部７１８に供給する。
　　　＜逆直交変換部＞
　逆直交変換部７１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部７１８は、逆量子化部７１７から供給される変換係数Coeff_IQと、制御部７０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換を行い、予測残差D'を導出する。この逆直交変換は、直交変換部７１３において行われる直交変換の逆処理である。逆直交変換部７１８は、このような逆直交変換により得られた予測残差D'を演算部７１９に供給する。
　換言するに、逆直交変換部７１８は、直交変換部７１３が実行する処理の逆処理を実行する。つまり、直交変換部７１３の場合と同様に、逆直交変換部７１８は、逆直交変換に限らず任意の逆係数変換を行うことができる。この逆係数変換は、直交変換部７１３が実行する係数変換の逆処理である。つまり、予測残差D'は、変換係数Coeff_IQに対して任意の逆係数変換が行われて導出されてもよい。したがって、逆直交変換部７１８は、逆係数変換部とも言える。
　　　＜演算部＞
　演算部７１９は、逆直交変換部７１８から供給される予測残差D'と、予測部７２２から供給される予測画像Pとを入力とする。演算部７１９は、その予測残差D'と、その予測残差D'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部７１９は、導出した局所復号画像Rlocalをインループフィルタ部７２０およびフレームメモリ７２１に供給する。
　　　＜インループフィルタ部＞
　インループフィルタ部７２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部７２０は、演算部７１９から供給される局所復号画像Rlocalと、制御部７０１から供給されるフィルタ情報Finfoと、並べ替えバッファ７１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部７２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部７２０に入力されるようにしてもよい。
　インループフィルタ部７２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部７２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
　例えば、インループフィルタ部７２０は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
　もちろん、インループフィルタ部７２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部７２０がウィーナーフィルタ等を適用するようにしてもよい。
　インループフィルタ部７２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ７２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部７２０は、そのフィルタに関する情報を符号化部７１５に供給する。
　　　＜フレームメモリ＞
　フレームメモリ７２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ７２１は、演算部７１９から供給される局所復号画像Rlocalや、インループフィルタ部７２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ７２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ７２１内のバッファへ格納する）。フレームメモリ７２１は、予測部７２２の要求に応じて、その復号画像R（またはその一部）を予測部７２２に供給する。
　　　＜予測部＞
　予測部７２２は、予測画像の生成に関する処理を行う。例えば、予測部７２２は、制御部７０１から供給される予測モード情報Pinfoと、並べ替えバッファ７１１から供給される入力画像（元画像）と、フレームメモリ７２１から読み出す復号画像R（またはその一部）を入力とする。予測部７２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部７２２は、生成した予測画像Pを演算部７１２および演算部７１９に供給する。また、予測部７２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部７１５に供給する。
　　　＜レート制御部＞
　レート制御部７２３は、レート制御に関する処理を行う。例えば、レート制御部７２３は、蓄積バッファ７１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部７１４の量子化動作のレートを制御する。
　なお、これらの処理部（制御部７０１、並べ替えバッファ７１１乃至レート制御部７２３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　以上のような構成の画像符号化装置７００において、符号化部７１５に対して、上述した本技術を適用してもよい。例えば、符号化部７１５が方法１、方法１－１、方法１－２、方法１－３、方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用してもよい。つまり、符号化部７１５が、符号化装置１００（図５または図９）または符号化装置５００（図１９）の構成を有してもよい。
　このようにすることにより、画像符号化装置７００は、＜３．ピクチャタイプの制約＞および＜４．スライスタイプの制約＞において説明した、各方法を適用した場合に各符号化装置が得られる効果と同様の効果を得ることができる。例えば、画像符号化装置７００は、ビットストリームの仕様をより確実にプロファイルに対応させることができる。
　　＜画像符号化処理の流れ＞
　次に、以上のような構成の画像符号化装置７００により実行される画像符号化処理の流れの例を、図２８のフローチャートを参照して説明する。
　画像符号化処理が開始されると、ステップＳ７０１において、並べ替えバッファ７１１は、制御部７０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
　ステップＳ７０２において、制御部７０１は、並べ替えバッファ７１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。
　ステップＳ７０３において、制御部７０１は、並べ替えバッファ７１１が保持する入力画像についての符号化パラメータを決定（設定）する。
　ステップＳ７０４において、予測部７２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部７２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
　ステップＳ７０５において、演算部７１２は、入力画像と、ステップＳ７０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部７１２は、入力画像と予測画像との予測残差Dを生成する。このようにして求められた予測残差Dは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
　ステップＳ７０６において、直交変換部７１３は、ステップＳ７０５の処理により生成された予測残差Dに対する直交変換処理を行い、変換係数Coeffを導出する。
　ステップＳ７０７において、量子化部７１４は、制御部７０１により算出された量子化パラメータを用いる等して、ステップＳ７０６の処理により得られた変換係数Coeffを量子化し、量子化係数qcoeffを導出する。
　ステップＳ７０８において、逆量子化部７１７は、ステップＳ７０７の処理により生成された量子化係数qcoeffを、そのステップＳ７０７の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
　ステップＳ７０９において、逆直交変換部７１８は、ステップＳ７０８の処理により得られた変換係数Coeff_IQを、ステップＳ７０６の直交変換処理に対応する方法で逆直交変換し、予測残差D'を導出する。
　ステップＳ７１０において、演算部７１９は、ステップＳ７０９の処理により導出された予測残差D'に、ステップＳ７０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
　ステップＳ７１１において、インループフィルタ部７２０は、ステップＳ７１０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
　ステップＳ７１２において、フレームメモリ７２１は、ステップＳ７１０の処理により導出された、局所的に復号された復号画像や、ステップＳ７１１においてフィルタ処理された、局所的に復号された復号画像を記憶する。
　ステップＳ７１３において、符号化部７１５は、符号化処理を実行し、ステップＳ７０７の処理により得られた量子化係数qcoeffや各種符号化パラメータ等を符号化し、符号化データのビットストリームを生成する。
　ステップＳ７１４において、蓄積バッファ７１６は、ステップＳ７１３において得られたビットストリームを蓄積し、それを画像符号化装置７００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部７２３は、必要に応じてレート制御を行う。
　ステップＳ７１４の処理が終了すると、画像符号化処理が終了する。
　このような画像符号化処理のステップＳ７１３において実行される符号化処理において、上述した本技術を適用してもよい。例えば、この処理おいて、方法１、方法１－１、方法１－２、方法１－３、方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせが適用されてもよい。
　例えば、図６のNALユニット符号化処理、図１０の符号化処理、または図２０の符号化処理が、上述の符号化処理（ステップＳ７１３）において実行されてもよい。
　このようにすることにより、画像符号化装置７００は、＜３．ピクチャタイプの制約＞および＜４．スライスタイプの制約＞において説明した、各方法を適用した場合に各符号化装置が得られる効果と同様の効果を得ることができる。例えば、画像符号化装置７００は、ビットストリームの仕様をより確実にプロファイルに対応させることができる。
　　＜画像復号装置＞
　以上に説明した本技術は任意の構成に適用することができる。例えば、この本技術は、画像復号装置に適用し得る。図２９は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２９に示される画像復号装置８００は、動画像の符号化データ（ビットストリーム）を復号することによって、動画像データを生成する装置である。例えば、画像復号装置８００は、上述の非特許文献のいずれかに記載の復号方式で符号化データを復号することができる。
　なお、図２９においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図２９に示されるものが全てとは限らない。つまり、画像復号装置８００が、図２９においてブロックとして示されていない処理部を有していてもよい。また、画像復号装置８００が、図２９において矢印等として示されていない処理やデータの流れを有していてもよい。
　図２９に示されるように画像復号装置８００は、蓄積バッファ８１１、復号部８１２、逆量子化部８１３、逆直交変換部８１４、演算部８１５、インループフィルタ部８１６、並べ替えバッファ８１７、フレームメモリ８１８、および予測部８１９を備えている。なお、予測部８１９は、不図示のイントラ予測部およびインター予測部等を備えている。
　　　＜蓄積バッファ＞
　蓄積バッファ８１１は、画像復号装置８００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ８１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部８１２に供給する。
　　　＜復号部＞
　復号部８１２は、画像の復号に関する処理を行う。例えば、復号部８１２は、蓄積バッファ８１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
　シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部８１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
　　　＜ヘッダ情報Hinfo＞
　ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
　例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
　コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
　なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
　　　＜予測モード情報Pinfo＞
　予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
　イントラ予測モード情報IPinfoには、例えば、prev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
　また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。
　コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
　多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
　色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式のような割り当て方となる。
　　chroma_sample_loc_type_idx == 0：Type2
　　chroma_sample_loc_type_idx == 1：Type3
　　chroma_sample_loc_type_idx == 2：Type0
　　chroma_sample_loc_type_idx == 3：Type1
　なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。
　色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
　動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる。
　もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　　　＜変換情報Tinfo＞
　変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　　処理対象変換ブロックの横幅サイズ（TBWSize）および縦幅サイズ（TBHSize）
　　変換スキップフラグ（transform_skip_flag（ts_flagとも称する））
　　スキャン識別子（scanIdx）
　　量子化パラメータ（qp）
　　量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））
　なお、TBWSizeおよびTBHSizeの代わりに、log2TBWSizeおよびlog2TBHSizeが変換情報Tinfo含まれてもよい。log2TBWSizeは、２を底とするTBWSizeの対数値である。log2TBHSizeは、２を底とするTBHSizeの対数値である。また、画像復号装置８００において、変換スキップフラグは、逆係数変換（逆プライマリ変換および逆セカンダリ変換）をスキップか否かを示すフラグである。
　　　＜フィルタ情報Finfo＞
　フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。
　　デブロッキングフィルタ(DBF)に関する制御情報
　　画素適応オフセット(SAO)に関する制御情報
　　適応ループフィルタ(ALF)に関する制御情報
　　その他の線形・非線形フィルタに関する制御情報
　より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　復号部８１２の説明に戻る。復号部８１２は、ビットストリームを復号して得られた量子化係数qcoeffに関するシンタックスを参照して量子化係数qcoeffを導出する。復号部８１２は、その量子化係数qcoeffを、逆量子化部８１３に供給する。
　また、復号部８１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等の符号化パラメータを各ブロックへ供給する。例えば、復号部８１２は、ヘッダ情報Hinfoを、逆量子化部８１３、逆直交変換部８１４、予測部８１９、インループフィルタ部８１６へ供給する。また、復号部８１２は、予測モード情報Pinfoを、逆量子化部８１３および予測部８１９へ供給する。また、復号部８１２は、変換情報Tinfoを、逆量子化部８１３および逆直交変換部８１４へ供給する。また、復号部８１２は、フィルタ情報Finfoを、インループフィルタ部８１６へ供給する。
　もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
　　　＜逆量子化部＞
　逆量子化部８１３は、少なくとも、逆量子化に関する処理を行うために必要な構成を有する。例えば、逆量子化部８１３は、復号部８１２から供給される変換情報Tinfoおよび量子化係数qcoeffを入力とし、その変換情報Tinfoに基づいて、量子化係数qcoeffの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。逆量子化部８１３は、導出した変換係数Coeff_IQを逆直交変換部８１４に供給する。
　なお、この逆量子化は、画像符号化装置７００の量子化部７１４による量子化の逆処理として行われる。また、この逆量子化は、画像符号化装置７００の逆量子化部７１７による逆量子化と同様の処理である。つまり、画像符号化装置７００の逆量子化部７１７は、この逆量子化部８１３と同様の処理（逆量子化）を行う。
　　　＜逆直交変換部＞
　逆直交変換部８１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部８１４は、逆量子化部８１３から供給される変換係数Coeff_IQ、および、復号部８１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換処理を行い、予測残差D'を導出する。例えば、逆直交変換部８１４は、ST識別子に基づいて、変換係数Coeff_IQに対して逆セカンダリ変換を行ってプライマリ変換係数を生成し、そのプライマリ変換係数に対してプライマリ変換を行い、予測残差D'を生成する。逆直交変換部８１４は、導出した予測残差D'を演算部８１５に供給する。
　なお、この逆直交変換は、画像符号化装置７００の直交変換部７１３による直交変換の逆処理として行われる。また、この逆直交変換は、画像符号化装置７００の逆直交変換部７１８による逆直交変換と同様の処理である。つまり、画像符号化装置７００の逆直交変換部７１８は、この逆直交変換部８１４と同様の処理（逆直交変換）を行う。
　したがって、逆直交変換部８１４は、画像符号化装置７００の逆直交変換部７１８と同様に、逆直交変換に限らず任意の逆係数変換を行うことができる。この逆係数変換は、画像符号化装置７００の直交変換部７１３が実行する係数変換の逆処理である。つまり、予測残差D'は、変換係数Coeff_IQに対して任意の逆係数変換が行われて導出されてもよい。したがって、逆直交変換部８１４は、逆係数変換部とも言える。
　　　＜演算部＞
　演算部８１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部８１５は、逆直交変換部８１４から供給される予測残差D'と、予測部８１９から供給される予測画像Pとを入力とする。演算部８１５は、以下の式に示されるように、予測残差D'とその予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出する。演算部８１５は、導出した局所復号画像Rlocalを、インループフィルタ部８１６およびフレームメモリ８１８に供給する。
　Rlocal = D' + P
　　　＜インループフィルタ部＞
　インループフィルタ部８１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部８１６は、演算部８１５から供給される局所復号画像Rlocalと、復号部８１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部８１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
　インループフィルタ部８１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。
　例えば、インループフィルタ部８１６は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
　インループフィルタ部８１６は、符号化側（例えば画像符号化装置７００のインループフィルタ部７２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部８１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部８１６がウィーナーフィルタ等を適用するようにしてもよい。
　インループフィルタ部８１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ８１７およびフレームメモリ８１８に供給する。
　　　＜並べ替えバッファ＞
　並べ替えバッファ８１７は、インループフィルタ部８１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ８１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ８１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ８１７は、並べ替えた復号画像R群を動画像データとして画像復号装置８００の外部に出力する。
　　　＜フレームメモリ＞
　フレームメモリ８１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ８１８は、演算部８１５より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ８１８内のバッファへ格納する。
　また、フレームメモリ８１８は、インループフィルタ部８１６から供給される、インループフィルタ処理された局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ８１８内のバッファへ格納する。フレームメモリ８１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部８１９に供給する。
　なお、フレームメモリ８１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
　　　＜予測部＞
　予測部８１９は、予測画像の生成に関する処理を行う。例えば、予測部８１９は、復号部８１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部８１９は、その予測モード情報Pinfoによって指定される、フレームメモリ８１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部８１９は、導出した予測画像Pを、演算部８１５に供給する。
　なお、これらの処理部（蓄積バッファ８１１乃至予測部８１９）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　以上のような構成の画像復号装置８００において、復号部８１２に対して、上述した本技術を適用してもよい。例えば、復号部８１２が方法１、方法１－１、方法１－２、方法１－３、方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせを適用してもよい。つまり、復号部８１２が、復号装置２００（図７または図１２）または復号装置６００（図２３）の構成を有してもよい。
　このようにすることにより、画像復号装置８００は、＜３．ピクチャタイプの制約＞および＜４．スライスタイプの制約＞において説明した、各方法を適用した場合に各復号装置が得られる効果と同様の効果を得ることができる。例えば、画像復号装置８００は、ビットストリームの仕様をより確実にプロファイルに対応させることができる。
　　＜画像復号処理の流れ＞
　次に、以上のような構成の画像復号装置８００により実行される画像復号処理の流れの例を、図３０のフローチャートを参照して説明する。
　画像復号処理が開始されると、蓄積バッファ８１１は、ステップＳ８０１において、画像復号装置８００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
　ステップＳ８０２において、復号部８１２は、復号処理を実行し、その符号化データ（ビットストリーム）を復号して量子化係数qcoeffを得る。また、復号部８１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。
　ステップＳ８０３において、逆量子化部８１３は、ステップＳ８０２の処理により得られた量子化係数qcoeffに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数Coeff_IQを得る。
　ステップＳ８０４において、逆直交変換部８１４は、ステップＳ８０３において得られた変換係数Coeff_IQに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差D'を得る。
　ステップＳ８０５において、予測部８１９は、ステップＳ８０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ８１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
　ステップＳ８０６において、演算部８１５は、ステップＳ８０４において得られた予測残差D'と、ステップＳ８０５において得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
　ステップＳ８０７において、インループフィルタ部８１６は、ステップＳ８０６の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
　ステップＳ８０８において、並べ替えバッファ８１７は、ステップＳ８０７の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置８００の外部に出力される。
　また、ステップＳ８０９において、フレームメモリ８１８は、ステップＳ８０６の処理により得られた局所復号画像Rlocal、および、ステップＳ８０７の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
　ステップＳ８０９の処理が終了すると、画像復号処理が終了する。
　このような画像復号処理のステップＳ８０２において実行される復号処理において、上述した本技術を適用してもよい。例えば、この処理おいて、方法１、方法１－１、方法１－２、方法１－３、方法２、方法２－１、方法２－１－１、方法２－２、またはそれらの組み合わせが適用されてもよい。
　例えば、図８のNALユニット復号処理、図１３の復号処理、または図２４の復号処理が、上述の復号処理（ステップＳ８０２）において実行されてもよい。
　このようにすることにより、画像復号装置８００は、＜３．ピクチャタイプの制約＞および＜４．スライスタイプの制約＞において説明した、各方法を適用した場合に各復号装置が得られる効果と同様の効果を得ることができる。例えば、画像復号装置８００は、ビットストリームの仕様をより確実にプロファイルに対応させることができる。
　＜６．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図３１に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の画像符号化方式や復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
　また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像を符号化する多視点画像符号化システムに適用することができる。また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化データを復号する多視点画像復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化や復号において、本技術を適用するようにすればよい。
　さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像を符号化する階層画像符号化（スケーラブル符号化）システムに適用することができる。また、本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化データを復号する階層画像復号（スケーラブル復号）システムに適用することができる。その場合、各階層（レイヤ）の符号化や復号において、本技術を適用するようにすればよい。
　また、本技術は、任意の構成に適用することができる。例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野や用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、コンピュータが実行するプログラムは、以下のような特徴を有していてもよい。例えば、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、プログラムを記述するステップの処理が並列に実行されるようにしてもよい。さらに、プログラムを記述するステップの処理が、呼び出されとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。また、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化するピクチャ符号化部
　を備える画像処理装置。
　（２）　前記ピクチャ符号化部は、前記条件が満たされる場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定し、前記動画像を符号化する
　（１）に記載の画像処理装置。
　（３）　前記ピクチャ符号化部は、前記動画像の符号化のプロファイルがイントラプロファイルである場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
　（１）または（２）に記載の画像処理装置。
　（４）　前記ピクチャ符号化部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
　（３）に記載の画像処理装置。
　（５）　前記ピクチャ符号化部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
　（４）に記載の画像処理装置。
　（６）　前記ピクチャ符号化部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
　（３）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記ピクチャ符号化部は、前記動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグが真である場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記制御フラグを設定し、設定した前記制御フラグを符号化し、前記動画像のビットストリームに格納するパラメータセット符号化部をさらに備える
　（７）に記載の画像処理装置。
　（９）　所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する
　画像処理方法。
　（１１）　復号対象の動画像のビットストリームを復号するピクチャ復号部と、
　所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する確認部と
　を備える画像処理装置。
　（１２）　前記確認部は、前記条件が満たされる場合、前記ビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認する
　（１１）に記載の画像処理装置。
　（１３）　前記確認部は、前記ビットストリームのプロファイルがイントラプロファイルである場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１１）または（１２）に記載の画像処理装置。
　（１４）　前記確認部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１３）に記載の画像処理装置。
　（１５）　前記確認部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１４）に記載の画像処理装置。
　（１６）　前記確認部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記確認部は、前記動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグが真である場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記ビットストリームを復号して前記制御フラグを生成する制御フラグ復号部をさらに備え、
　前記確認部は、前記制御フラグ復号部により復号された前記制御フラグが真である場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　（１７）に記載の画像処理装置。
　（１９）　復号対象の動画像のビットストリームを復号し、
　所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する
　画像処理方法。
　（２１）　動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化するパラメータセット符号化部と、
　前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化するピクチャ符号化部と
　を備える画像処理装置。
　（２２）　前記ピクチャ符号化部は、前記制御フラグが真である場合、スライスタイプを示すパラメータであるsh_slice_typeの値を"2"に設定する
　（２１）に記載の画像処理装置。
　（２３）　前記パラメータセット符号化部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記制御フラグを真に設定する
　（２１）または（２２）に記載の画像処理装置。
　（２４）　前記パラメータセット符号化部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記制御フラグを真に設定する
　（２３）に記載の画像処理装置。
　（２５）　前記パラメータセット符号化部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記制御フラグを真に設定する
　（２１）乃至（２４）のいずれかに記載の画像処理装置。
　（２６）　動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化し、
　前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化する
　画像処理方法。
　（３１）　動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成する制御フラグ復号部と、
　前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する制御フラグ確認部と
　を備える画像処理装置。
　（３２）　前記制御フラグ確認部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記制御フラグが真であるかを確認する
　（３１）に記載の画像処理装置。
　（３３）　前記制御フラグ確認部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記制御フラグが真であるかを確認する
　（３２）に記載の画像処理装置。
　（３４）　前記制御フラグ確認部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記制御フラグが真であるかを確認する
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３５）　前記ビットストリームを復号し、前記動画像を生成するピクチャ復号部と、
　所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのスライスのスライスタイプがIスライスであるかを確認するピクチャ確認部をさらに備える
　（３１）乃至（３４）のいずれかに記載の画像処理装置。
　（３６）　前記ピクチャ確認部は、前記制御フラグが真である場合、前記ビットストリームにおいて、前記全てのスライスのスライスタイプがIスライスであるかを確認する
　（３５）に記載の画像処理装置。
　（３７）　前記ピクチャ確認部は、前記プロファイルがイントラプロファイルである場合、前記ビットストリームにおいて、前記全てのスライスのスライスタイプがIスライスであるかを確認する
　（３５）または（３６）に記載の画像処理装置。
　（３８）　動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成し、
　前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する
　画像処理方法。
　１００　符号化装置，　１０１　NALユニット符号化部，　１１１　NALユニットヘッダ設定部，　１１２　NALユニットヘッダ設定部，　１１３　Raw Byteシーケンスペイロード符号化部，　２００　復号装置，　２０１　NALユニット復号部，　２１１　NALユニットヘッダ復号部，　２１２　ビットストリーム制約確認部，　２１３　Raw Byteシーケンスペイロード復号部，　３０１　パラメータセット符号化部，　３１１　制御フラグ設定部，　３１２　制御フラグ符号化部，　４０１　パラメータセット復号部，　４１１　制御フラグ復号部，　５００　符号化装置，　５０１　パラメータセット符号化部，　５０２　ピクチャ符号化部，　５１１　イントラonly制約フラグ設定部，　５１２　イントラonly制約フラグ符号化部，　５２１　スライスヘッダ設定部，　５２２　スライスヘッダ符号化部，　５２３　スライス符号化部，　６００　復号装置，　６０１　パラメータセット復号部，　６０２　ピクチャ復号部，　６１１　イントラonly制約フラグ復号部，　６１２　ビットストリーム制約確認部，　６２１　スライスヘッダ復号部，　６２２　ビットストリーム制約確認部，　６２３　スライス復号部，　７００　画像符号化装置，　７１５　符号化部，　８００　画像復号装置，　８１２　復号部，　９００　コンピュータ

Claims (20)

  1. 　所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化するピクチャ符号化部
    　を備える画像処理装置。
  2. 　前記ピクチャ符号化部は、前記条件が満たされる場合、全てのVCL NALユニットのNALユニットタイプを"IRAPを示す値"に設定し、前記動画像を符号化する
    　請求項１に記載の画像処理装置。
  3. 　前記ピクチャ符号化部は、前記動画像の符号化のプロファイルがイントラプロファイルである場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
    　請求項１に記載の画像処理装置。
  4. 　前記ピクチャ符号化部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
    　請求項３に記載の画像処理装置。
  5. 　前記ピクチャ符号化部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
    　請求項４に記載の画像処理装置。
  6. 　前記ピクチャ符号化部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
    　請求項３に記載の画像処理装置。
  7. 　前記ピクチャ符号化部は、前記動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグが真である場合、前記全てのピクチャのピクチャタイプをIピクチャとして、前記動画像を符号化する
    　請求項１に記載の画像処理装置。
  8. 　所定の条件が満たされる場合、全てのピクチャのピクチャタイプをIピクチャとして、符号化対象の動画像を符号化する
    　画像処理方法。
  9. 　復号対象の動画像のビットストリームを復号するピクチャ復号部と、
    　所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する確認部と
    　を備える画像処理装置。
  10. 　前記確認部は、前記条件が満たされる場合、前記ビットストリームにおいて、全てのVCL NALユニットのNALユニットタイプが"IRAPを示す値"であるかを確認する
    　請求項９に記載の画像処理装置。
  11. 　前記確認部は、前記ビットストリームのプロファイルがイントラプロファイルである場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　請求項９に記載の画像処理装置。
  12. 　前記確認部は、前記プロファイルがMain 12 Intra profile、Main 12 4:4:4 Intra profile、またはMain 16 4:4:4 Intra profileである場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　請求項１１に記載の画像処理装置。
  13. 　前記確認部は、前記プロファイルを識別するためのプロファイル識別子の値が１０、４２、または４４である場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　請求項１２に記載の画像処理装置。
  14. 　前記確認部は、さらに、前記プロファイルがスティルピクチャプロファイルである場合も、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　請求項１１に記載の画像処理装置。
  15. 　前記確認部は、前記動画像の全てのピクチャのピクチャタイプをIピクチャに限定するかを制御するための制御フラグが真である場合、前記ビットストリームにおいて、前記全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　請求項９に記載の画像処理装置。
  16. 　復号対象の動画像のビットストリームを復号し、
    　所定の条件が満たされる場合、前記ビットストリームにおいて、前記動画像の全てのピクチャのピクチャタイプがIピクチャであるかを確認する
    　画像処理方法。
  17. 　動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化するパラメータセット符号化部と、
    　前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化するピクチャ符号化部と
    　を備える画像処理装置。
  18. 　動画像の符号化のプロファイルがイントラプロファイルである場合、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを真に設定し、前記制御フラグを含むパラメータセットを符号化し、
    　前記制御フラグが真である場合、前記全てのスライスをIスライスとして、前記動画像を符号化する
    　画像処理方法。
  19. 　動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成する制御フラグ復号部と、
    　前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する制御フラグ確認部と
    　を備える画像処理装置。
  20. 　動画像のビットストリームを復号し、前記動画像の全てのスライスのスライスタイプをIスライスに限定するかを制御する制御フラグを生成し、
    　前記ビットストリームのプロファイルがイントラプロファイルである場合、前記制御フラグが真であるかを確認する
    　画像処理方法。
PCT/JP2022/034320 2021-09-28 2022-09-14 画像処理装置および方法 Ceased WO2023053957A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
AU2022356617A AU2022356617A1 (en) 2021-09-28 2022-09-14 Image processing device and method
JP2023551289A JPWO2023053957A1 (ja) 2021-09-28 2022-09-14
CN202280063598.1A CN117981322A (zh) 2021-09-28 2022-09-14 图像处理装置和方法
US18/682,453 US12501057B2 (en) 2021-09-28 2022-09-14 Image processing apparatus and method
EP22875828.0A EP4412215A4 (en) 2021-09-28 2022-09-14 IMAGE PROCESSING DEVICE AND METHOD
CA3228003A CA3228003A1 (en) 2021-09-28 2022-09-14 Image processing apparatus and method
MX2024003673A MX2024003673A (es) 2021-09-28 2022-09-14 Dispositivo y metodo de procesamiento de imagenes.
KR1020247008257A KR20240087683A (ko) 2021-09-28 2022-09-14 화상 처리 장치 및 방법
ZA2024/01396A ZA202401396B (en) 2021-09-28 2024-02-15 Image processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163249082P 2021-09-28 2021-09-28
US63/249,082 2021-09-28

Publications (1)

Publication Number Publication Date
WO2023053957A1 true WO2023053957A1 (ja) 2023-04-06

Family

ID=85782451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034320 Ceased WO2023053957A1 (ja) 2021-09-28 2022-09-14 画像処理装置および方法

Country Status (10)

Country Link
US (1) US12501057B2 (ja)
EP (1) EP4412215A4 (ja)
JP (1) JPWO2023053957A1 (ja)
KR (1) KR20240087683A (ja)
CN (1) CN117981322A (ja)
AU (1) AU2022356617A1 (ja)
CA (1) CA3228003A1 (ja)
MX (1) MX2024003673A (ja)
WO (1) WO2023053957A1 (ja)
ZA (1) ZA202401396B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024533812A (ja) * 2021-09-30 2024-09-12 バイトダンス インコーポレイテッド ビデオ処理のための方法、装置及び媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4117290A4 (en) * 2020-03-05 2024-03-20 LG Electronics, Inc. METHOD AND DEVICE FOR IMAGE ENCODING/DECODING BASED ON MIXED NAL UNIT TYPE AND METHOD FOR TRANSMITTING BIT STREAM
US11895310B2 (en) * 2021-07-02 2024-02-06 Sharp Kabushiki Kaisha Systems and methods for signaling operation range profile information in video coding

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", RECOMMENDATION ITU-T H.264, April 2017 (2017-04-01)
"High efficiency video coding", RECOMMENDATION ITU-T H.265, August 2021 (2021-08-01)
BENJAMIN BROSSJIANLE CHENSHAN LIU: "Versatile Video Coding (Draft 10", JVET-T2001-V2, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29, VERSION 1, 27 October 2020 (2020-10-27)
FRANK BOSSENBENJAMIN BROSSTOMOHIRO IKAIDMYTRO RUSANOVSKYYGARY SULLIVANYE-KUI WANG: "WC operation range extensions (Draft 4", JVET-W2005-VL, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29, 24 August 2021 (2021-08-24)
FRANK BOSSENBENJAMIN BROSSTOMOHIRO IKAIDMYTRO RUSANOVSKYYYE-KUI WANG: "WC operation range extensions (Draft 3", JVET-V2005-V1, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29, 8 May 2021 (2021-05-08)
JIANLE CHENYAN YESEUNG HWAN KIM: "Algorithm description for Versatile Video Coding and Test Model 13 (VTM 13", JVET-V2002-V1, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29, VERSION 1, 15 July 2021 (2021-07-15)
See also references of EP4412215A4
T. IKAI, T. CHUJOH, T. AONO, S. DESHPANDE (SHARP): "Suggested initial profile text for VVC operation range extension", 23. JVET MEETING; 20210707 - 20210716; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 16 July 2021 (2021-07-16), XP030296172 *
TOMOHIRO IKAITAKESHI CHUJOHTOMOKO AONOSACHIN DESHPANDE: "Suggested initial profile text for WC operation range extension", JVET-W0136-V5, OINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29, 16 July 2021 (2021-07-16)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024533812A (ja) * 2021-09-30 2024-09-12 バイトダンス インコーポレイテッド ビデオ処理のための方法、装置及び媒体
JP7806225B2 (ja) 2021-09-30 2026-01-26 バイトダンス インコーポレイテッド ビデオ処理のための方法、装置及び媒体

Also Published As

Publication number Publication date
US12501057B2 (en) 2025-12-16
JPWO2023053957A1 (ja) 2023-04-06
KR20240087683A (ko) 2024-06-19
US20240357129A1 (en) 2024-10-24
EP4412215A4 (en) 2025-05-14
AU2022356617A1 (en) 2024-02-22
CN117981322A (zh) 2024-05-03
EP4412215A1 (en) 2024-08-07
ZA202401396B (en) 2024-10-30
MX2024003673A (es) 2024-04-16
CA3228003A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7517350B2 (ja) 画像処理装置および方法
JP7666708B2 (ja) 画像処理装置および方法
JP7823660B2 (ja) 画像処理装置および方法
US20210006836A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP7235031B2 (ja) 画像処理装置および方法
WO2022270451A1 (ja) 画像処理装置および方法
WO2023053957A1 (ja) 画像処理装置および方法
JP7670210B2 (ja) 画像処理装置および方法
HK40105548A (zh) 图像处理装置和方法
US20220021899A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
WO2023048012A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875828

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 3228003

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: AU2022356617

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 18682453

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023551289

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2022356617

Country of ref document: AU

Date of ref document: 20220914

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280063598.1

Country of ref document: CN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112024005579

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022875828

Country of ref document: EP

Effective date: 20240429

WWE Wipo information: entry into national phase

Ref document number: 11202402056Y

Country of ref document: SG

ENP Entry into the national phase

Ref document number: 112024005579

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20240321

WWG Wipo information: grant in national office

Ref document number: 18682453

Country of ref document: US