WO2024122601A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2024122601A1
WO2024122601A1 PCT/JP2023/043767 JP2023043767W WO2024122601A1 WO 2024122601 A1 WO2024122601 A1 WO 2024122601A1 JP 2023043767 W JP2023043767 W JP 2023043767W WO 2024122601 A1 WO2024122601 A1 WO 2024122601A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signature
hash
metadata
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/043767
Other languages
English (en)
French (fr)
Inventor
陽介 平塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2024562983A priority Critical patent/JPWO2024122601A1/ja
Priority to EP23900713.1A priority patent/EP4632612A4/en
Publication of WO2024122601A1 publication Critical patent/WO2024122601A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/088Usage controlling of secret information, e.g. techniques for restricting cryptographic keys to pre-authorized uses, different access levels, validity of crypto-period, different key- or password length, or different strong and weak cryptographic algorithms

Definitions

  • This disclosure relates to an image processing device and method, and in particular to an image processing device and method that can suppress a decrease in the usability of captured images.
  • a method has been devised in which the distribution of the public key is limited to a limited number of people, and additional tamper detection is implemented.
  • additional tamper detection By implementing additional tamper detection, more powerful tamper detection can be performed.
  • the tamper detection method can be kept private (or the scope of disclosure can be limited). This makes it possible to prevent a decrease in the validity of the tamper detection.
  • This disclosure has been made in light of these circumstances, and aims to prevent any reduction in the usability of captured images.
  • An image processing device includes a hash processing unit that uses a captured image and metadata to generate a first hash corresponding to a first signature and a second hash corresponding to a second signature, a signature generation unit that generates the first signature using a first private key and the first hash and generates the second signature using a second private key and the second hash, and a file generation unit that generates a file that stores the captured image, the metadata, the first signature, and the second signature, and the first private key corresponds to a limited public key that is made public only to a first entity having specific authority other than user authority, and the second private key corresponds to a user public key that is made public to a second entity having the user authority.
  • An image processing method uses a captured image and metadata to generate a first hash corresponding to a first signature and a second hash corresponding to a second signature, generates the first signature using a first private key and the first hash, generates the second signature using a second private key and the second hash, and generates a file that stores the captured image, the metadata, the first signature, and the second signature, wherein the first private key corresponds to a limited public key that is made public only to a first entity having specific authority other than user authority, and the second private key corresponds to a user public key that is made public to a second entity having the user authority.
  • An image processing device includes a file acquisition unit that acquires a file in which an image, metadata, a first signature, and a second signature are stored, and a verification unit that verifies the authenticity of the image using a limited public key that is disclosed only to a first entity having specific authority other than user authority, the image, the metadata, and the first signature, where the first signature is a signature generated using a first private key corresponding to the limited public key, a captured image corresponding to the image, and metadata of the captured image, and the second signature is a signature generated using a second private key corresponding to a user public key that is also disclosed to a second entity having the user authority, the image, and the metadata.
  • An image processing method includes obtaining a file in which an image, metadata, a first signature, and a second signature are stored, and verifying the authenticity of the image using a limited public key that is disclosed only to a first entity having specific authority other than user authority, the image, the metadata, and the first signature, the first signature being a signature generated using a first private key corresponding to the limited public key, a captured image corresponding to the image, and the metadata of the captured image, and the second signature being a signature generated using a second private key corresponding to a user public key that is also disclosed to a second entity having the user authority, the image, and the metadata.
  • a first hash corresponding to the first signature and a second hash corresponding to the second signature are generated using a captured image and metadata
  • a first signature is generated using a first private key and the first hash
  • a second signature is generated using a second private key and the second hash
  • a file is generated that stores the captured image, metadata, the first signature, and the second signature.
  • the first private key corresponds to a limited public key that is made public only to a first entity having specific authority other than user authority
  • the second private key corresponds to a user public key that is also made public to a second entity having the user authority.
  • a file in which an image, metadata, a first signature, and a second signature are stored is obtained, and the authenticity of the image is verified using a limited public key that is disclosed only to a first entity having specific authority other than user authority, the image, metadata, and the first signature.
  • the first signature is a signature generated using a first private key corresponding to the limited public key, a captured image corresponding to the image, and metadata of the captured image
  • the second signature is a signature generated using a second private key corresponding to a user public key that is also disclosed to a second entity having user authority, the image, and metadata.
  • FIG. 13 is a diagram illustrating an example of a method for generating an image file.
  • FIG. 2 is a diagram showing an example of the main configuration of an image file.
  • FIG. 2 is a diagram showing an example of the main configuration of an image file.
  • FIG. 13 is a diagram illustrating an example of a target range of hashing.
  • FIG. 13 is a diagram illustrating an example of a storage location of a signature.
  • FIG. 1 is a diagram illustrating an example of a main configuration of an image processing system. 1 is a block diagram showing an example of a main configuration of an imaging apparatus;
  • FIG. 2 is a block diagram showing an example of a main configuration of a verification device.
  • FIG. 2 is a block diagram showing an example of a main configuration of a server.
  • 11 is a flowchart illustrating an example of the flow of an imaging process.
  • 13 is a flowchart illustrating an example of the flow of a user-level image verification process.
  • 11 is a flowchart illustrating an example of the flow of a high-level image verification process.
  • 11 is a flowchart illustrating an example of the flow of a high-level image verification process.
  • 11 is a flowchart illustrating an example of the flow of a high-level image verification process.
  • 11 is a flowchart illustrating an example of the flow of a high-level image verification process.
  • 13 is a flowchart illustrating an example of the flow of a limited public key supply process.
  • FIG. 2 is a block diagram showing an example of a main configuration of a computer.
  • Patent Document 1 (mentioned above)
  • Non-Patent Document 1 (mentioned above)
  • Patent Literature 1 there has been a method for making it possible to detect tampering by adding a digital signature to an image when it is captured. Also, as disclosed in Non-Patent Literature 1, there has been a method for leaving a history with a digital signature when an image is generated or edited, making it possible to trace the history.
  • the software or server in charge of editing checks the past history of the image with a public key in the image, and then inherits the signature of the past tool and part of the data to be signed as metadata for the new image, and in addition signs it with a private key and adds the corresponding public key.
  • a method has been devised in which the distribution of the public key is limited to a limited number of people, and additional tamper detection is implemented.
  • additional tamper detection By implementing additional tamper detection, more powerful tamper detection can be performed.
  • the tamper detection method can be kept private (or the scope of disclosure can be limited). This makes it possible to prevent a decrease in the validity of the tamper detection.
  • a "verification method that can detect tampering more reliably” is, for example, a verification method that can detect tampering of an image more reliably than a verification method that can be executed by an entity with user authority.
  • the verification method may be any method.
  • a verification method that uses information stored in a file such as an image and its metadata
  • This verification that uses information stored in a file may be any method.
  • it may be a method that detects tampering based on the presence or absence of inconsistencies between an image and metadata, or any other method.
  • a method that uses information other than the information stored in a file may be applied.
  • an entity with specific authority other than user authority refers to an entity that is given authority not given to user authority, such as a system or service provider or administrator, or a computer or application with equivalent authority.
  • specific authority may be, for example, an authority with a higher level than user authority. Therefore, in this specification, "a verification method that can detect tampering more powerfully” is also referred to as high-level image verification (processing).
  • the authority to perform this high-level image verification is limited to "entities with specific authority other than user authority.”
  • the "verification using a signature” included in the high-level image verification uses a public key that is only made public to "entities with specific authority other than user authority.”
  • this public key is also referred to as a restricted public key.
  • the signature used in this high-level image verification is generated using a hash of the image, metadata, etc., and a private key corresponding to this restricted public key.
  • this signature is also referred to as a first signature.
  • the hash used to generate this first signature (i.e., the hash corresponding to the first signature) is also referred to as a first hash.
  • the private key corresponding to the restricted public key (i.e., the private key used to generate the first signature) is also referred to as a first private key.
  • the first signature is also referred to as a tamper detection signature because it is used for verification to detect image tampering as described above.
  • an entity with user privileges is not permitted to apply the above-mentioned "verification methods that can more effectively detect tampering," but is permitted to apply general verification methods.
  • a "general verification method” is, for example, a verification method that can be executed by an entity with user authority.
  • the verification method may be any method.
  • it may be a method that uses a signature to detect image tampering.
  • an "entity with user authority” is, for example, a user of a system or service, or a computer or application with the same authority as that user. Therefore, in this specification, the "general verification method” is also referred to as user-level image verification (processing).
  • An entity with user authority is provided with a public key whose scope of disclosure is not restricted.
  • this public key whose scope of disclosure is not restricted is also referred to as a user public key.
  • the signature used in this user-level image verification is generated using a hash of the image, metadata, etc., and a private key corresponding to this user public key.
  • this signature is also referred to as a second signature.
  • the hash used to generate this second signature i.e., the hash corresponding to the second signature
  • the private key corresponding to the user public key i.e., the private key used to generate the second signature
  • the second signature is also referred to as a signature for verifying history.
  • the first signature (signature for detecting tampering) is used in the verification process for detecting tampering, and is therefore generated for the first image (e.g., the captured image).
  • the second signature (signature for verifying history) is used in the verification process for verifying history, and is therefore generated for the first image (e.g., the captured image), and is updated (a new signature is generated) every time the image is edited.
  • the software or server responsible for editing verifies the image's past history with the public key in the image, and then inherits the signature of the previous tool and part of the data to be signed as metadata for the new image, and in addition signs it with the second private key and assigns the corresponding user public key.
  • the first signature (signature for detecting tampering) and the second signature (signature for verifying history) are stored in a file (also called an image file) that stores images, metadata, etc.
  • a first image processing device e.g., an imaging device
  • a hash processing unit that uses a captured image and metadata to generate a first hash corresponding to a first signature (signature for tamper detection) and a second hash corresponding to a second signature (signature for history verification)
  • a signature generation unit that uses a first private key and the first hash to generate a first signature and a second signature using a second private key and the second hash
  • a file generation unit that generates a file (image file) that stores the captured image, metadata, first signature, and second signature.
  • the first private key corresponds to a limited public key that is made public only to a first entity having specific authority other than user authority.
  • the second private key corresponds to a user public key that is made public to a second entity having user authority.
  • a first image processing device e.g., an imaging device
  • a first hash corresponding to a first signature signature for detecting tampering
  • a second hash corresponding to a second signature signature for verifying history
  • a first signature is generated using a first private key and the first hash
  • a second signature is generated using a second private key and the second hash
  • a file image file
  • the first private key corresponds to a limited public key that is made public only to a first entity having specific authority other than user authority.
  • the second private key corresponds to a user public key that is made public to a second entity having user authority.
  • the limited public key used during high-level image verification be provided in a manner that minimizes the risk of leakage.
  • the limited public key may be encrypted and supplied in a predetermined manner.
  • the encrypted limited public key may be decrypted and used during high-level image verification.
  • This limited public key may be provided from anywhere. For example, it may be provided from a server that manages limited public keys, or it may be stored in an encrypted state in the image file.
  • the imaging device may already have an encrypted limited public key, and the limited public key may be stored in the image file.
  • the user public key may be provided from anywhere. For example, it may be stored in the image file.
  • the imaging device may have a user public key in advance, and the user public key may be stored in the image file.
  • the imaging device may have in advance a first private key corresponding to the limited public key and a second private key corresponding to the user public key.
  • the signature generation unit may hold in advance the first private key and the second private key.
  • the tamper detection signature may be generated before the history verification signature is generated.
  • the hash processing unit may generate a first hash using the captured image and metadata
  • the signature generation unit may generate a first signature using a first private key and the first hash
  • the hash processing unit may generate a second hash using the captured image, metadata, and the first signature
  • the signature generation unit may generate a second signature using a second private key and the second hash.
  • user-level image verification can be performed without performing high-level image verification.
  • history verification can be performed using the user public key (without the need for a restricted public key).
  • an entity with user authority can verify the history of image editing.
  • the tamper detection signature and the history verification signature are generated for the initial image.
  • the tamper detection signature and the history verification signature may be generated for a captured image obtained by capturing an image of a subject.
  • the imaging device may capture an image of a subject and generate a first hash and a second hash using the captured image and its metadata, etc.
  • the first image processing device may further include an imaging unit that captures an image of a subject and generates a captured image. Then, the hash processing unit may generate a first hash and a second hash using the generated captured image and metadata. In this way, it becomes possible to more powerfully detect tampering with a captured image and to confirm the editing history of the captured image.
  • the tamper detection signature may be stored anywhere in the image file.
  • the tamper detection signature may be stored in an area of the image file that stores metadata.
  • the file generation unit may store the first signature (tamper detection signature) in a metadata area of the file that stores metadata.
  • FIG. 2 is a diagram showing an example of the main configuration of an image file.
  • the image file 10 shown in FIG. 2 has an image area 11, a metadata area 12, a hash area 13, and a signature area 14.
  • the image area 11 stores, for example, a captured image (image, Exif (Exchangeable Image File Format), etc.).
  • the metadata area 12 stores, for example, metadata such as an image/Exif hash, a reduced image (thumbnail, screennail, etc.), the photographer, etc. This metadata may be, for example, metadata defined by the C2PA standard (C2PA meta).
  • the hash area 13 stores, for example, a link to metadata and a hash, etc.
  • the signature area 14 stores, for example, an electronic signature, a certificate, etc.
  • a signature for tamper detection is further stored.
  • the signature for tamper detection can be retained as metadata even if the image is edited. This makes it possible to perform high-level image verification even on image files that store edited images.
  • FIG. 3 shows an example of the main configuration of an image file when an image is edited.
  • the image file 20 shown in FIG. 3 has an image area 21, a metadata area 22-1, a hash area 23-1, a signature area 24-1, a metadata area 22-2, a hash area 23-2, a signature area 24-2, a metadata area 22-3, a hash area 23-3, and a signature area 24-3.
  • the metadata area 22-1, the metadata area 22-2, and the metadata area 22-3 are not distinguished from one another, they are also referred to as the metadata area 22.
  • the hash area 23-1, the hash area 23-2, and the hash area 23-3 are not distinguished from one another, they are also referred to as the hash area 23.
  • the signature area 24-1, the signature area 24-2, and the signature area 24-3 are not distinguished from one another, they are also referred to as the signature area 24.
  • the most recent image is stored in the image area.
  • the image area 21 stores a secondary edited image (image, Exif, etc.) that has been edited twice from a captured image.
  • Information from the captured image is stored in the metadata area 22-3, hash area 23-3, and signature area 24-3. That is, metadata of the captured image (e.g., image/Exif hash, thumbnail image, photographer, etc.) is stored in the metadata area 22-3.
  • the metadata area 22-3 also stores a signature for detecting tampering generated using the hash of the image and metadata and a first private key.
  • the hash area 23-3 stores a link and hash to the metadata stored in the metadata area 22-3.
  • the signature area 24-3 stores information from the hash area 23-3 (hashes of the image and metadata, etc.) and a signature for verifying history generated using the second private key (a signature for verifying history corresponding to the captured image), a user public key, etc.
  • the metadata area 22-2 stores metadata of the primary edited image (e.g., image/Exif hash, reduced image, editing information, etc.).
  • the hash area 23-2 stores a link and hash to the metadata stored in the metadata area 22-2.
  • the signature area 24-2 stores the information in the hash area 23-2 (hashes of the image and metadata, etc.) and a history verification signature (a history verification signature corresponding to the primary edited image) generated using the second private key, a user public key, etc.
  • Information from the secondary edited image obtained by editing the primary edited image is stored in the metadata area 22-1, hash area 23-1, and signature area 24-1. That is, metadata of the secondary edited image (e.g., image/Exif hash, reduced image, editing information, etc.) is stored in the metadata area 22-1. Links and hashes to the metadata stored in the metadata area 22-1 are stored in the hash area 23-1.
  • the signature area 24-1 stores the information in the hash area 23-1 (hashes of the image and metadata, etc.) and a history verification signature (a history verification signature corresponding to the secondary edited image) generated using the second private key, a user public key, etc.
  • a verification device that verifies the authenticity of captured images stored in such image files performs the verification using a limited public key and a signature for tamper detection.
  • the second image processing device includes a file acquisition unit that acquires a file (image file) in which an image, metadata, a first signature (signature for detecting tampering), and a second signature (signature for verifying provenance) are stored, and a verification unit that verifies the authenticity of the image using a limited public key that is made public only to a first entity having specific authority other than user authority, the image, metadata, and the first signature.
  • a file acquisition unit that acquires a file (image file) in which an image, metadata, a first signature (signature for detecting tampering), and a second signature (signature for verifying provenance) are stored
  • a verification unit that verifies the authenticity of the image using a limited public key that is made public only to a first entity having specific authority other than user authority, the image, metadata, and the first signature.
  • a file in which the image, metadata, a first signature (signature for detecting tampering), and a second signature (signature for verifying provenance) are stored is acquired, and the authenticity of the image is verified using a limited public key, the image, metadata, and the first signature that are made public only to a first entity having specific authority other than user authority.
  • the first signature is a signature generated using a first private key corresponding to the limited public key, a captured image corresponding to the image, and metadata of the captured image.
  • the second signature is a signature generated using a second private key corresponding to a user public key that is also made public to a second entity having user authority, the image, and metadata.
  • the verification device when performing high-level image verification on the image file 20 shown in FIG. 3, the verification device extracts the necessary parts (information about the captured image) from the image file 20 and performs the verification.
  • the verification device can perform high-level image verification (verification that can more effectively detect tampering).
  • the limited public key used in this high-level image verification be provided in a manner that reduces the risk of leakage.
  • the limited public key may be encrypted in a predetermined manner and supplied.
  • the encrypted limited public key may be decrypted and used in high-level image verification.
  • the second image processing device may further include a decryption unit that decrypts the encrypted limited public key. The verification unit may then verify the authenticity of the image using the decrypted limited public key, image, metadata, and first signature. In this way, leakage of the limited public key can be suppressed.
  • this limited public key may be provided from anywhere. For example, it may be provided from a server that manages limited public keys. It may also be stored in an encrypted state in the image file. Furthermore, high-level image verification may be performed using reduced images and metadata.
  • the second image processing device may further include a limited public key acquisition unit that acquires an "encrypted limited public key" supplied from another device. Then, the decryption unit may decrypt the acquired "encrypted limited public key," and the verification unit may verify the authenticity of the image using the decrypted limited public key, the image, the metadata, and the first signature.
  • the limited public key may be managed in a dedicated server, thereby preventing the limited public key from being leaked.
  • the verification device may perform an authentication process with respect to the server. Any method may be used for this authentication process. By performing the authentication process, it is possible to prevent the limited public key from being provided to an unauthorized device.
  • the decryption unit may extract the encrypted limited public key from a file and decrypt it.
  • the targets of each signature may be different from each other, as shown in the second row from the top of the table in Fig. 1 (method 1-1).
  • the range of data targeted by the history verification signature may be wider than the range of data targeted by the tamper detection signature.
  • a hash processing unit may generate a first hash for a first range of the captured image and metadata, and generate a second hash for a second range wider than the first range.
  • the history verification signature may cover the entire captured image and metadata, while the tamper detection signature may exclude some of the captured image and metadata.
  • the first range described above may be a range that excludes some of the captured image and metadata.
  • the second range described above may be the entire captured image and metadata.
  • this part of the data may be data regarding a specific processing for the captured image.
  • this "data regarding a specific processing” may include at least one of data regarding image rotation, data regarding image ratings (star ratings), IPTC (International Press Telecommunications Council) metadata, etc.
  • IPTC metadata is metadata that conforms to the standard specifications for metadata included in digital images established by IPTC.
  • IPTC metadata may include information such as details of the image, ownership, and the location where the image was taken.
  • IPTC metadata may include information such as a description of the image, a headline of the article, the name of the photographer, the name of the legal entity that holds the copyright to the image, the name of the shooting event, the location where the image was taken, editing instructions for the image, status, contact information for handling the image, image licensing information, and additional information about the model.
  • FIG 4 is a diagram showing an example of the target range of hashing.
  • the square indicated by the thick line on the right side of the figure is JPEG (Joint Photographic Experts Group) data 30.
  • JPEG data 30 is an example of captured image data.
  • JPEG data 30 has SOI 31, APP1_32, APP2_33, APP11_34, DQT 35, DHT 36, SOF 37, SOS 38, actual image 39, EOI 40, and screen nail 41.
  • SOI (Start of Image) 31 is a start marker indicating the start of the JPEG file.
  • APP1_32, APP2_33, and APP11_34 are application data set by the application.
  • APP1_32 stores Exif information.
  • APP2_33 stores ICC (International Color Consortium) profile information.
  • DQT (Define Quantization Table) 35 is a segment that defines the quantization table.
  • DHT (Define Huffman Table) 36 is a segment that defines the Huffman table.
  • SOF (Start of Frame) 37 is a segment that stores main information about the image, such as the JPEG file type and image size.
  • SOS (Start of Scan) 38 is a segment provided at the beginning of the image data, and stores the contents of the image data, such as its components.
  • Actual Image 39 is a segment that stores the image data.
  • EOI (End of Image) 40 is an end marker indicating the end of the JPEG file.
  • ScreenNail 41 is a segment that stores a reduced image (screennail) of the image stored in Actual Image 39.
  • the grey squares on the left side of the figure show examples of first hashes (hash 51 to hash 57) corresponding to the tamper detection signature (first signature) generated using the JPEG data 30.
  • the parts of the JPEG data 30 adjacent to each grey square are the parts that are the subject of hashing.
  • hash 51 mainly corresponds to SOI 31. That is, hash 51 is generated using SOI 31, etc.
  • Hash 52 mainly corresponds to APP1_32. That is, hash 52 is generated using APP1_32, etc.
  • Hash 53 and hash 54 mainly correspond to APP2_33. That is, hash 53 and hash 54 are generated using APP2_33, etc.
  • Hash 55 mainly corresponds to DQT 35 to EOI 40. That is, hash 55 is generated using DQT 35 to EOI 40, etc.
  • Hash 56 and hash 57 mainly correspond to screen nail 41. That is, hash 56 and hash 57 are generated using screen nail 41, etc.
  • the first hash corresponding to the tamper detection signature (first signature) is generated for the range (first range) of the captured image and metadata excluding data related to image rotation, data related to image rating (star rating), IPTC metadata (IPTC/XML), etc.
  • editing processing such as rotating the captured image, rating the captured image, and updating the IPTC metadata is permitted in high-level image verification.
  • rotating the captured image is not considered to be tampering with the captured image.
  • updating the rating assigned to the captured image is not considered to be tampering with the captured image.
  • updating the IPTC metadata is not considered to be tampering with the captured image.
  • Image rotation, rating, IPTC metadata updates, etc. are relatively common processes, and in reality, it is possible to consider an operation method in which these simple processing processes (edits) do not need to be considered as tampering.
  • certain processing edits
  • simple processing such as that described above from the target of tampering detection.
  • the target of the second hash may be the entire image and metadata. In this way, it is possible to confirm the history of editing for any part of the image and metadata.
  • the target of the first hash and the target of the second hash may be set independently of each other.
  • the hash of the tamper detection signature may be a multi-hash (method 1-2), as shown in the third row from the top of the table in Fig. 1.
  • the hash of the tamper detection signature may be composed of a plurality of hashes corresponding to different data.
  • a hash processing unit may generate the first hash as a multi-hash composed of a plurality of hashes that are independent of each other.
  • the first hash is composed of a single hash, it is possible to perform verification on the entire target of the first hash, but it is not possible to perform verification on a part of that target.
  • the first hash is composed of multiple hashes that are independent of each other, even if some of the targets of the multiple hashes are deleted, it is possible to verify the targets of the remaining (non-deleted) hashes. In other words, it is possible to perform verification on a part of the target of the first hash.
  • hash 51 to hash 57 are independent of each other, even if the target of hash 51 is deleted, verification can be performed on targets from hash 52 to hash 57. Therefore, it is possible to perform high-level image verification (i.e., more powerful verification of the captured image) more reliably (more robustly).
  • the second hash corresponding to the history verification signature may be a multi-hash.
  • a hash processing unit may generate the second hash as a multi-hash. By doing so, it is possible to perform verification of a portion of the target of the second hash, as in the case of the first hash. In other words, it is possible to perform user-level image verification (i.e., history verification) more reliably (more robustly).
  • the division of the hash of the tamper detection signature may be finer than the division of the hash for the history signature (method 1-2-1).
  • the first hash corresponding to the tamper detection signature may be composed of more hashes than the second hash.
  • a hash processing unit may generate the first hash as a multi-hash composed of more hashes than the second hash.
  • the second hash may or may not be a multi-hash.
  • the tamper detection signature may be stored in an area propagated by history (method 1-3) as shown in the fifth row from the top of the table in Fig. 1.
  • a file generation unit may store a first signature (tamper detection signature) in an area propagated by history within a metadata area.
  • the "area propagated by history” refers to an area of an image file that is not erased even if the image is edited.
  • This "area propagated by history” may be any area, but may be, for example, a vendor extension area (Vendor Extension) that can be extended by a vendor.
  • a file generation unit may store a first signature (signature for tamper detection) in a vendor extension area within a metadata area.
  • a first signature signature for tamper detection
  • an image file 70 shown in FIG. 5 has an image area (Main image) 71, a metadata (C2PA meta) area 72, and a vendor extension area (Vender Extension) 73 formed therein. Segments such as SOI 81, APP1_82, APP11_83, and screen nail 84 are formed in the vendor extension area 73.
  • a tamper detection signature Multi hash for each area and Signature
  • APP11_83 a tamper detection signature
  • a dedicated area may be created in the image file to store the tamper detection signature so that it can be propagated in the history.
  • the hash of the tamper detection signature may be a multihash, and an area that may be removed in the history (or an area that is to be removed) may be hashed independently of other areas (method 1-3-1). In other words, for an area that is removed or may be removed by editing, a hash may be generated independently of other areas.
  • a hash processing unit may generate a removal hash of an image and metadata corresponding to an area that is to be removed in the history independently of other areas, and generate a first hash as a multihash composed of a plurality of mutually independent hashes including the removal hash.
  • Method 1 may be applied
  • each of methods 1-1 to 1-3 can be applied.
  • method 1-2-1 can be applied
  • method 1-3-1 can also be applied.
  • FIG. 6 is a system diagram showing an example of the configuration of an image processing system to which the present technology is applied.
  • the image processing system 100 shown in Fig. 6 is a system that processes captured images.
  • FIG. 6 shows the main device configurations and data flows, etc., but does not necessarily include everything.
  • image processing system 100 may include devices not shown in FIG. 6, and processes and data flows not shown as arrows, etc. in FIG. 6.
  • the image processing system 100 has an imaging device 111, a verification device 112, and a server 113 that are communicatively connected to each other via a network 110.
  • FIG. 6 shows one imaging device 111, one verification device 112, and one server 113, there may be any number of each. In other words, there may be two or more imaging devices 111, two or more verification devices 112, and two or more servers 113. Furthermore, the number of imaging devices 111, the number of verification devices 112, and the number of servers 113 do not have to be the same.
  • FIG. 6 shows one network as network 110, but the image processing system 100 may have multiple networks.
  • the network 110 is a communication network that serves as a communication medium between the devices.
  • the network 110 may be a wired communication network, a wireless communication network, or may include both.
  • the network 110 may be a wired LAN (Local Area Network), a wireless LAN, a public telephone line network, a wide area communication network for wireless mobile devices such as a so-called 4G line or 5G line, or the Internet, or a combination of these.
  • the network 110 may be a single communication network or multiple communication networks.
  • the network 110 may be partially or entirely composed of a communication cable of a specified standard, such as a USB (Universal Serial Bus) (registered trademark) cable or an HDMI (High-Definition Multimedia Interface) (registered trademark) cable.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • the imaging device 111 performs processing related to capturing an image of a subject, i.e., generating a captured image (image file). For example, the imaging device 111 may capture an image of a subject and generate a captured image. The imaging device 111 may generate an image file that stores the captured image, etc. The imaging device 111 may generate a signature for tamper detection and store it in the image file. The imaging device 111 may generate a signature for history confirmation and store it in the image file. The imaging device 111 may supply the image file via the network 110 or a recording medium.
  • the verification device 112 performs processing related to the verification of images, etc.
  • the verification device 112 may acquire an image file via the network 110 or a recording medium.
  • the verification device 112 may perform a verification process to detect tampering with an image, etc. stored in the image file.
  • the verification device 112 may also display the verification results.
  • the verification device 112 may acquire an "encrypted limited public key" via the network 110, decrypt it, and use the obtained limited public key in the verification process.
  • Server 113 performs processes related to the management of limited public keys. For example, server 113 may manage encrypted limited public keys. Server 113 may also provide the encrypted limited public keys via network 110.
  • the imaging device 111, the verification device 112, and the server 113 may also communicate via the network 110 to exchange information. For example, as indicated by the dotted double arrow 121, the imaging device 111 may supply an image file to the verification device 112.
  • the verification device 112 may acquire the image file.
  • the captured image may be stored in this image file.
  • a signature for tamper detection may also be stored in this image file.
  • a signature for history confirmation may also be stored in this image file.
  • the server 113 may provide the limited public key that it manages to the verification device 112.
  • the verification device 112 may obtain the limited public key.
  • This limited public key may be encrypted.
  • the imaging device 111 is configured by an information processing terminal device having an imaging function, such as a digital camera, a smartphone, a tablet terminal, or a notebook personal computer.
  • the imaging device 111 may be configured by one device (electronic device), or may be configured by multiple devices (electronic devices).
  • the imaging device 111 may be configured by a digital camera and a smartphone. In that case, for example, the digital camera may generate captured images, and the smartphone may generate signatures for the captured images and supply them to the verification device 112.
  • the imaging device 111 will be described as being configured by one device (electronic device).
  • FIG. 7 is a block diagram showing an example of the configuration of an imaging device 111, which is one aspect of an image processing device to which this technology is applied.
  • FIG. 7 shows the main processing units, data flows, etc., and is not necessarily all that is shown in FIG. 7.
  • processing units that are not shown as blocks in FIG. 7, and there may be processing or data flows that are not shown as arrows, etc. in FIG. 7.
  • the imaging device 111 has a control unit 201, an imaging processing unit 202, an input unit 203, and an output unit 204.
  • the control unit 201 controls each processing unit in the imaging processing unit 202.
  • the imaging processing unit 202 is controlled by the control unit 201 to perform processing related to imaging.
  • the input unit 203 has an input device such as a button or a switch.
  • the input unit 203 accepts instructions input from a user or the like via the input device.
  • the input unit 203 supplies the accepted instructions to the control unit 201.
  • the control unit 201 may control the imaging processing unit 202 based on the accepted instructions.
  • the output unit 204 has an output device such as a monitor or a speaker.
  • the output unit 204 outputs information supplied from the control unit 201 via the output device as, for example, an image or sound.
  • the control unit 201 may supply any information, such as a control result, to the output unit 204 and cause it to output.
  • the imaging processing unit 202 has an optical system 221, a sensor unit 222, a RAW processing unit 223, a YUV processing unit 224, a reduced image generating unit 225, an image information adding unit 226, a 3D information processing unit 227, a hash processing unit 228, a signature control unit 229, a signature generating unit 230, an image file generating unit 231, an image file recording unit 232, and an image file supply unit 233.
  • the optical system 221 is composed of optical elements such as lenses, mirrors, filters, and apertures, and exerts a predetermined influence on the light beam from the subject, directing the light beam to the sensor unit 222. In other words, the light beam from the subject enters the sensor unit 222 via the optical system 221.
  • the sensor unit 222 performs processing related to photoelectric conversion.
  • the sensor unit 222 has an image sensor 241 and a 3D information sensor 242.
  • the sensor unit 222 may generate a captured image and 3D information using light rays from a subject that are incident via the optical system 221.
  • the image sensor 241 performs processing related to the generation of captured images.
  • the image sensor 241 has a pixel array in which pixels having photoelectric conversion elements are arranged in a matrix.
  • the image sensor 241 may receive light rays from a subject that enters through the optical system 221 in its pixel array, and perform photoelectric conversion to generate a captured image (a RAW image or a JPEG (Joint Photographic Experts Group) image generated from the RAW image).
  • a captured image a RAW image or a JPEG (Joint Photographic Experts Group) image generated from the RAW image.
  • the image sensor 241 captures an image of a subject and generates a captured image of the subject, and therefore can also be called a captured image generation unit.
  • the image sensor 241 may also supply the generated captured image to the RAW processing unit 223.
  • the 3D information sensor 242 detects distance-related information for multiple locations within the captured image obtained by the image sensor 241 on the same optical axis as the captured image, and generates 3D information.
  • the 3D information sensor 242 can also be considered a 3D information generation unit.
  • the 3D information sensor 242 has a specified sensor device that detects distance-related information.
  • the 3D information sensor 242 receives light rays from the subject that are incident via the optical system 221 in the sensor device, detects distance-related information, and generates 3D information.
  • the same optical axis means that the light rays from the subject that enter the 3D information sensor 242 pass through the optical system 221 through which the light rays from the subject that enter the image sensor 241 pass. In other words, it means that the paths at least from the subject to the sensor unit 222 of the light rays that enter the image sensor 241 and the light rays that enter the 3D information sensor 242 are the same. In this way, the captured image and distance-related information are detected on the same optical axis, making it difficult to perform trick photography, such as capturing a face photo and detecting the distance to a person other than the subject in the face photo. In other words, there is a high possibility that the subject of the captured image and the subject of the 3D information are the same.
  • the “distance-related information” may be information indicating the distance from the imaging device 111 (3D information sensor 242) to the subject, or may be information for deriving that distance.
  • the distance-related information may include a depth map, phase difference data, ToF (Time of Flight) data, or a collection of parallax images.
  • the 3D information sensor 242 supplies the generated 3D information to the 3D information processing unit 227.
  • the image sensor 241 and the 3D information sensor 242 are configured as separate bodies, but the image sensor 241 and the 3D information sensor 242 may be integrated, or the image sensor 241 may also serve as the 3D information sensor 242.
  • the 3D information sensor 242 may be configured as a ToF sensor that measures distance using a ToF method, separate from the image sensor 241.
  • the 3D information sensor 242 may be configured as an image plane phase difference detection pixel formed in the effective pixel area of the pixel array of the image sensor 241.
  • the image plane phase difference detection pixel is a pixel used for a focusing (autofocus) function of the phase difference method, and can detect phase difference data.
  • the image sensor 241 and the 3D information sensor 242 are formed as a single body.
  • the 3D information sensor 242 may be configured as a phase difference sensor that detects phase difference data, separate from the image sensor 241.
  • the image sensor 241 also serves as the 3D information sensor 242. In other words, in this case, the image sensor 241 generates the captured images and 3D information, and the 3D information sensor 242 can be omitted.
  • the following description will be given taking as an example a case where the 3D information sensor 242 is configured with image surface phase difference detection pixels. In other words, the description will be given taking as an example a case where the 3D information sensor 242 detects phase difference data as distance-related information.
  • the RAW processing unit 223 performs processing related to the RAW image.
  • the RAW processing unit 223 may acquire a captured image (RAW image) supplied from the image sensor 241.
  • the RAW processing unit 223 may perform a predetermined processing on the RAW image.
  • the content of this processing is arbitrary. For example, it may be correction of white balance or the like.
  • the RAW processing unit 223 may supply the processed RAW image to the YUV processing unit 224.
  • the YUV processing unit 224 performs processing related to the generation of a YUV image.
  • the YUV processing unit 224 may acquire a RAW image supplied from the RAW processing unit 223.
  • the YUV processing unit 224 may convert the RAW image into a YUV image.
  • the YUV processing unit 224 may encode the YUV image and convert it into a JPEG image.
  • the YUV processing unit 224 may supply the generated JPEG image to the reduced image generation unit 225. Note that when the image sensor 241 outputs a JPEG image as the captured image, the RAW processing unit 223 and the YUV processing unit 224 may be omitted, and the image sensor 241 may supply the JPEG image to the reduced image generation unit 225.
  • the reduced image generating unit 225 performs processing related to the generation of reduced images.
  • the reduced image generating unit 225 may obtain a JPEG image supplied from the YUV processing unit 224.
  • the reduced image generating unit 225 may generate a reduced image of the JPEG image.
  • the original JPEG image is also referred to as the "main image" in comparison with this reduced image.
  • the method of generating this reduced image is arbitrary.
  • the reduced image generating unit 225 may generate a reduced image by thinning out some of the pixel values of the main image.
  • the reduced image generating unit 225 may generate a reduced image by combining pixel values for each predetermined partial area of the main image to reduce the number of pixels.
  • the reduced image generating unit 225 may create the reduced image by looking at all the pixels of the main image. If the number of taps is insufficient, the reduced image generating unit 225 may repeat the reduction by a factor that has a sufficient number of taps multiple times to generate a reduced image with the desired reduction factor. The reduced image generating unit 225 supplies the generated reduced image to the image information adding unit 226 together with the main image (JPEG image).
  • the image information addition unit 226 performs processing related to the addition of image information. For example, the image information addition unit 226 may acquire the original image and the reduced image supplied from the reduced image generation unit 225. The image information addition unit 226 may generate image information that is information related to the acquired original image. The image information addition unit 226 may associate the generated image information with the original image. In other words, the image information addition unit 226 may generate the image information as metadata for the original image. The image information addition unit 226 may supply the generated image information to the hash processing unit 228 together with the original image and the reduced image.
  • the 3D information processing unit 227 performs processing on the 3D information.
  • the 3D information processing unit 227 may acquire 3D information supplied from the 3D information sensor 242.
  • the 3D information processing unit 227 may perform a predetermined processing on the acquired 3D information.
  • the 3D information processing unit 227 may supply the acquired 3D information to the hash processing unit 228.
  • the 3D information processing unit 227 may reduce the resolution of the acquired 3D information and supply the low-resolution 3D information to the hash processing unit 228.
  • the 3D information processing unit 227 may omit reducing the resolution of the 3D information and supply the acquired 3D information to the hash processing unit 228.
  • the 3D information processing unit 227 may also be called a 3D information resolution setting unit.
  • the 3D information processing unit 227 may determine whether or not the subject (distance measurement target) of the acquired 3D information is flat, and supply the determination result to the signature control unit 229.
  • the 3D information processing unit 227 can also be considered a plane determination unit.
  • the hash processing unit 228 performs processing related to hash generation. For example, the hash processing unit 228 may acquire the original image, the reduced image, and image information supplied from the image information addition unit 226. The hash processing unit 228 may acquire 3D information supplied from the 3D information processing unit 227. The hash processing unit 228 may generate a hash using the original image, the image information, and the 3D information. The hash processing unit 228 may supply the generated hash to the signature generation unit 230 together with the original image, the reduced image, the image information, and the 3D information.
  • the hash processing unit 228 may be driven under the control of the signature control unit 229. That is, when the signature control unit 229 instructs the hash processing unit 228 to generate a hash as described above, and when the signature control unit 229 does not instruct the hash generation, the hash processing unit 228 may omit the generation of the hash. When the hash generation is omitted, the hash processing unit 228 may supply the acquired information (for example, the original image, the reduced image, the image information, and the 3D information) to the signature generation unit 230.
  • the acquired information for example, the original image, the reduced image, the image information, and the 3D information
  • the signature control unit 229 performs processing related to signature control. For example, the signature control unit 229 may control whether or not to generate a signature based on an instruction from a user or an application input via the control unit 201. The signature control unit 229 may control whether or not to generate a signature based on a determination result of whether or not the subject (distance measurement target) of the 3D information is flat, which is supplied from the 3D information processing unit 227. For example, the signature control unit 229 may control to omit signature generation when it is determined that the subject (distance measurement target) of the 3D information is flat. The signature control unit 229 may control to generate a signature when it is determined that the subject (distance measurement target) of the 3D information is not flat.
  • the signature control unit 229 may control whether or not to generate a signature by controlling the hash processing unit 228 and the signature generation unit 230. For example, when controlling not to generate a signature, the signature control unit 229 may cause the hash processing unit 228 to omit hash generation and the signature generation unit 230 to omit signature generation. When controlling to generate a signature, the signature control unit 229 may cause the hash processing unit 228 to generate a hash and the signature generation unit 230 to generate a signature. The signature control unit 229 may supply control information indicating whether or not to generate a signature to the 3D information processing unit 227.
  • the signature generation unit 230 performs processing related to signature generation.
  • the signature generation unit 230 may acquire a hash supplied from the hash processing unit 228 and information used to generate the hash (e.g., the original image, the reduced image, image information, and 3D information).
  • the signature generation unit 230 may encrypt the acquired hash using a private key to generate a signature (digital signature).
  • the signature generation unit 230 may generate a signature for information including at least the original image and 3D information. Therefore, the signature generation unit 230 can also be called a signature generation unit.
  • the signature generation unit 230 may supply the generated signature to the image file generation unit 231 together with information corresponding to the signature (e.g., the original image, the reduced image, image information, and 3D information).
  • the signature generation unit 230 may be driven under the control of the signature control unit 229. For example, when signature generation is instructed by the signature control unit 229, the signature generation unit 230 may generate a signature as described above. When signature generation is not instructed by the signature control unit 229, the signature generation unit 230 may omit the generation of the signature. When signature generation is omitted, the signature generation unit 230 may supply information supplied from the hash processing unit 228 (for example, the original image, reduced image, image information, and 3D information, etc.) to the image file generation unit 231.
  • the hash processing unit 228 for example, the original image, reduced image, image information, and 3D information, etc.
  • the image file generation unit 231 performs processing related to the generation of an image file.
  • the image file generation unit 231 may acquire information (e.g., the original image, the reduced image, image information, 3D information, and a signature) supplied from the signature generation unit 230.
  • the image file generation unit 231 may generate an image file in a predetermined format and store the acquired information (e.g., the original image, the reduced image, image information, 3D information, and a signature) in the image file.
  • the image file generation unit 231 may also store an encrypted limited public key in the image file.
  • the image file generation unit 231 may supply the image file to the image file recording unit 232.
  • the image file generation unit 231 may also supply the image file to the image file supply unit 233.
  • the image file recording unit 232 performs processing related to recording of image files.
  • the image file recording unit 232 has a drive that drives a removable recording medium such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory and performs writing and reading.
  • the image file recording unit 232 may acquire an image file supplied from the image file generation unit 231.
  • the image file recording unit 232 may record the acquired image file on the removable recording medium via the drive.
  • the image file supply unit 233 performs processing related to the supply of image files.
  • the image file supply unit 233 has a communication function for communicating with the verification device 112 via the network 110.
  • the image file supply unit 233 may acquire an image file supplied from the image file generation unit 231.
  • the image file supply unit 233 may use the communication function to supply the acquired image file to the verification device 112.
  • the verification device 112 is configured by an information processing device having an image display function, such as a smartphone, a tablet terminal, a notebook personal computer, a desktop personal computer, a dedicated computer, or a server.
  • the verification device 112 may be configured by one device (electronic device), or may be configured by multiple devices (electronic devices). In the following, the verification device 112 will be described as being configured by one device (electronic device).
  • FIG. 8 is a block diagram showing an example of the configuration of a verification device 112, which is one aspect of an image processing device to which this technology is applied.
  • FIG. 8 shows the main processing units, data flows, etc., and is not necessarily all that is shown in FIG. 8.
  • the verification device 112 there may be processing units that are not shown as blocks in FIG. 8, and there may be processing or data flows that are not shown as arrows, etc. in FIG. 8.
  • the verification device 112 has an image file acquisition unit 311, a user-level image verification unit 312, a limited public key acquisition unit 313, a limited public key decryption unit 314, a high-level image verification unit 315, and a display unit 316.
  • the image file acquisition unit 311 performs processing related to the acquisition of image files.
  • the image file acquisition unit 311 has a communication function for communicating with the imaging device 111 via the network 110.
  • the image file acquisition unit 311 may use the communication function to acquire an image file provided from the imaging device 111.
  • the image file acquisition unit 311 may provide the acquired image file to the user level image verification unit 312.
  • the image file acquisition unit 311 may provide the image file to the limited public key decryption unit 314.
  • the user level image verification unit 312 executes processing related to user level image verification.
  • the user level image verification unit 312 may acquire an image file supplied from the image file acquisition unit 311.
  • the user level image verification unit 312 may execute a user level image verification process using a history verification signature, a user public key, or the like stored in the acquired image file.
  • This user level image verification process is a verification process for verifying the editing history of the image stored in the image file.
  • the user level image verification unit 312 may supply information indicating the result of the user level image verification (the history verification result) to the display unit 316.
  • the limited public key acquisition unit 313 executes processing related to the acquisition of a limited public key.
  • the limited public key acquisition unit 313 has a communication function for communicating with the server 113 via the network 110.
  • the limited public key acquisition unit 313 may use the communication function to request a limited public key from the server 113.
  • the limited public key acquisition unit 313 may communicate with the server 113 and perform authentication processing for authenticating the verification device 112 to the server 113.
  • the limited public key acquisition unit 313 may use the communication function to acquire a limited public key provided by the server 113 in response to the request. This limited public key may be encrypted.
  • the limited public key acquisition unit 313 may supply the acquired limited public key (encrypted limited public key) to the limited public key decryption unit 314.
  • the limited public key decryption unit 314 performs processing related to the decryption of the encrypted limited public key. For example, when the limited public key is supplied from the limited public key acquisition unit 313, the limited public key decryption unit 314 may acquire the limited public key. The limited public key decryption unit 314 may acquire an image file from the image file acquisition unit 311. When the limited public key acquired from the limited public key acquisition unit 313 is encrypted, the limited public key decryption unit 314 may decrypt the encrypted limited public key. The limited public key decryption unit 314 may supply the limited public key obtained by the decryption to the high-level image verification unit 315 together with the image file.
  • the limited public key decryption unit 314 may extract the encrypted limited public key.
  • the limited public key decryption unit 314 may then decrypt the extracted "encrypted limited public key.”
  • the limited public key decryption unit 314 may supply the limited public key obtained by the decryption to the high-level image verification unit 315 together with the image file.
  • the high-level image verification unit 315 executes processing related to high-level image verification.
  • the high-level image verification unit 315 may acquire a limited public key and an image file supplied from the limited public key decryption unit 314.
  • the high-level image verification unit 315 may execute high-level image verification processing using the acquired limited public key and a signature for tamper detection stored in the image file.
  • This high-level image verification processing is a verification processing for detecting tampering of the captured image stored in the image file.
  • the high-level image verification unit 315 may supply information indicating the result of the high-level image verification (the result of tamper detection) to the display unit 316.
  • the display unit 316 performs processing related to the display of information.
  • the display unit 316 has an image display device such as an LCD monitor. This image display device may be any device capable of displaying images.
  • the display unit 316 may acquire information indicating the results of user-level image verification supplied from the user-level image verification unit 312.
  • the display unit 316 may generate image information for displaying the acquired information, and use the image display device to display the image information.
  • the display unit 316 may also acquire information indicating the results of high-level image verification supplied from the high-level image verification unit 315.
  • the display unit 316 may generate image information for displaying the acquired information, and use the image display device to display the image information.
  • the server 113 may be configured, for example, as a single information processing device or as multiple information processing devices.
  • the server 113 may also be implemented as cloud computing (i.e., a cloud server) in which multiple devices share and cooperate with each other to perform processing via a network.
  • FIG. 9 is a block diagram showing an example of the configuration of a server 113, which is one aspect of an image processing device to which this technology is applied.
  • FIG. 9 shows the main processing units, data flows, etc., and is not necessarily all that is shown in FIG. 9.
  • server 113 there may be processing units that are not shown as blocks in FIG. 9, and there may be processes or data flows that are not shown as arrows, etc. in FIG. 9.
  • the server 113 has a limited public key management unit 411, a limited public key provision unit 412, and an authentication unit 413.
  • the limited public key management unit 411 executes processes related to management of limited public keys.
  • the limited public key management unit 411 may have any storage medium, and may store and manage the limited public key corresponding to the first private key used by the imaging device 111 in the storage medium.
  • the limited public key management unit 411 When the limited public key management unit 411 is requested for a limited public key by the limited public key provision unit 412, it may read the requested limited public key from the storage medium and supply it to the limited public key provision unit 412 that made the request.
  • the limited public key providing unit 412 performs processing related to the provision of limited public keys.
  • the limited public key providing unit 412 has a communication function for communicating with the verification device 112 via the network 110.
  • the limited public key providing unit 412 may receive a request for a limited public key provided by the verification device 112 through this communication.
  • the limited public key providing unit 412 may request the limited public key specified in the request from the limited public key management unit 411.
  • the limited public key providing unit 412 may accept a request from the verification device 112 authenticated by the authentication unit 413. That is, the limited public key providing unit 412 may acquire information indicating the authentication result of the verification device 112 supplied from the authentication unit 413. If the verification device 112 is authenticated in the authentication result, the limited public key providing unit 412 may accept a request for a limited public key supplied from the verification device 112. Then, the limited public key providing unit 412 may request the limited public key specified in the request from the limited public key management unit 411.
  • the limited public key providing unit 412 may also obtain a limited public key provided from the limited public key management unit 411.
  • the limited public key providing unit 412 may provide the obtained limited public key to the verification device 112 via the network 110.
  • the limited public key supplied to the verification device 112 may be encrypted. That is, the limited public key providing unit 412 may encrypt the acquired limited public key and supply the encrypted limited public key to the verification device 112.
  • the limited public key management unit 411 may manage the encrypted limited public key and supply it to the limited public key providing unit 412. In this case, the limited public key providing unit 412 may acquire the encrypted limited public key and supply it to the verification device 112.
  • the authentication unit 413 executes processing related to authentication of the verification device 112.
  • the authentication unit 413 has a communication function for communicating with the verification device 112 via the network 110.
  • the authentication unit 413 may communicate with the verification device 112 and perform authentication processing of the verification device 112.
  • the authentication unit 413 may supply information indicating the authentication result to the limited public key provision unit 412.
  • the hash processing unit 228 may use the captured image and metadata to generate a first hash corresponding to the first signature (signature for tamper detection) and a second hash corresponding to the second signature (signature for history verification).
  • the signature generation unit 230 may use the first private key and the first hash to generate the first signature.
  • the signature generation unit 230 may use the second private key and the second hash to generate the second signature.
  • the image file generation unit 231 may generate a file (image file) that stores the captured image, metadata, the first signature, and the second signature.
  • the first private key may correspond to a limited public key that is made public only to a first entity having a specific authority other than the user authority.
  • the second private key may correspond to a user public key that is also made public to a second entity having the user authority.
  • the signature generation unit 230 may also hold a first private key and a second private key in advance.
  • the hash processing unit 228 may generate a first hash using the captured image and metadata, and the signature generation unit 230 may generate a first signature (tamper detection signature) using the first private key and the first hash.
  • the hash processing unit 228 may then generate a second hash using the captured image, metadata, and the first signature, and the signature generation unit 230 may generate a second signature using the second private key and the second hash.
  • the image sensor 241 may capture an image of a subject and generate a captured image.
  • the hash processing unit 228 may then generate a first hash and a second hash using the generated captured image and metadata.
  • the image file generating unit 231 may also store the first signature (signature for tamper detection) in a metadata area of the file that stores metadata.
  • the image file generating unit 231 may also store the encrypted limited public key in the file.
  • the image file acquisition unit 311 may acquire a file (image file) in which an image, metadata, a first signature (signature for detecting tampering), and a second signature (signature for verifying history) are stored.
  • the high-level image verification unit 315 may verify the authenticity of the image using a limited public key that is made public only to a first entity having specific authority other than user authority, the image, metadata, and the first signature.
  • the limited public key decryption unit 314 may decrypt the encrypted limited public key.
  • the high-level image verification unit 315 may verify the authenticity of the image using the decrypted limited public key, the image, the metadata, and the first signature.
  • the limited public key acquisition unit 313 may acquire an "encrypted limited public key" supplied from another device.
  • the limited public key decryption unit 314 may decrypt the acquired "encrypted limited public key.”
  • the limited public key decryption unit 314 may also extract and decrypt the "encrypted limited public key" from an image file.
  • the high-level image verification unit 315 may verify the authenticity of the image using the decrypted limited public key, the image, the metadata, and the first signature.
  • the target of each signature may be a different range.
  • the hash processing unit 228 may generate a first hash for a first range of the captured image and metadata.
  • the hash processing unit 228 may generate a second hash for a second range that is wider than the first range.
  • This first range may be a range that excludes some of the data in the captured image and metadata.
  • the above-mentioned second range may be the entire captured image and metadata.
  • this part of the data may be data related to a predetermined processing of the captured image.
  • this "data related to the predetermined processing" may include at least one of data related to image rotation, data related to image rating (star rating), IPTC metadata, etc.
  • the hash of the tamper detection signature may be a multi-hash.
  • the hash processing unit 228 may generate the first hash as a multi-hash composed of multiple hashes that are independent of each other. Also, the hash processing unit 228 may generate the second hash as a multi-hash.
  • the above-mentioned method 1-2-1 may also be applied. That is, the division of the hash for the tamper detection signature may be finer than the division of the hash for the history signature. That is, the first hash corresponding to the tamper detection signature may be composed of more hashes than the second hash. For example, in the imaging device 111, the hash processing unit 228 may generate the first hash as a multi-hash composed of more hashes than the second hash.
  • the tamper detection signature may be stored in an area that is propagated in the history.
  • the image file generation unit 231 may store the first signature (tamper detection signature) in an area that is propagated in the history in the metadata area.
  • the image file generation unit 231 may store the first signature (tamper detection signature) in a vendor extension area in the metadata area.
  • the hash of the tamper detection signature may be a multihash, and the area that may be removed from the history (or the area that is removed) may be hashed independently from other areas.
  • a hash may be generated independently from other areas.
  • the hash processing unit 228 may generate a removal hash corresponding to an area of the captured image and metadata that is removed from the history independently from other areas, and generate a first hash as a multihash composed of multiple independent hashes including the removal hash.
  • each device By configuring each device in this way, it is possible to achieve high-level image verification and user-level image verification. For example, it is possible to accommodate both use cases where signature verification is limited to achieve strong tamper detection, and where signature verification is allowed for other companies to maintain the editing history. In other words, it is possible to prevent a decrease in the usability (ease of use) of captured images.
  • step S101 the control unit 201 turns on the power of the imaging processing unit 202 and starts a preview.
  • step S102 the control unit 201 turns on the electronic signature mode as the operation mode of the image capture processing unit 202.
  • the control unit 201 sets the operation mode of the image capture processing unit 202 to a mode in which an electronic signature is stored in an image file.
  • step S103 the sensor unit 222 (image sensor 241 and 3D information sensor 242) captures an image of the subject and obtains a RAW image and 3D information on the same optical axis.
  • the RAW processing unit 223 performs correction processing on the RAW image, such as adjusting the white balance.
  • the YUV processing unit 224 converts the corrected RAW image into a YUV image.
  • the YUV processing unit 224 also encodes the YUV image to generate a JPEG image.
  • the reduced image generating unit 225 generates a reduced image by reducing the JPEG image (original image). This reduced image generating method is arbitrary.
  • the reduced image may have any size.
  • the reduced image may be a so-called thumbnail or a so-called screennail.
  • the image information adding unit 226 generates image information related to the original image and the reduced image as metadata.
  • the 3D information processing unit 227 performs predetermined processing on the 3D information, such as reducing the resolution of the 3D information.
  • step S105 the hash processing unit 228 generates a first hash using the captured image, metadata, etc.
  • step S106 the signature generation unit 230 generates a tamper detection signature by encrypting the generated first hash using the first private key.
  • step S107 the hash processing unit 228 generates a second hash using the captured image, metadata, etc.
  • step S108 the signature generation unit 230 generates a history verification signature by encrypting the generated second hash using the second private key.
  • the image file generation unit 231 generates an image file that stores the captured image, a tamper detection signature, a history verification signature, and the like. At that time, the image file generation unit 231 may store metadata and a certificate of the captured image in the image file. The image file generation unit 231 may also store an encrypted limited public key in the image file.
  • step S110 the image file recording unit 232 records the image file.
  • step S111 the image file supply unit 233 supplies the image file to the verification device 112.
  • step S111 the imaging process ends.
  • the imaging device 111 can achieve high-level image verification and user-level image verification.
  • the imaging device 111 can accommodate both a use case in which signature verification is limited to achieve strong tamper detection, and a use case in which signature verification is permitted for other companies to maintain the editing history.
  • the imaging device 111 can suppress any reduction in the usability (ease of use) of the captured image.
  • the image file acquisition unit 311 acquires an image file in step S201.
  • This image file stores a captured image generated by an imaging device (first image processing device), metadata for the captured image, a first signature (signature for tamper detection), and a second signature (signature for history verification).
  • step S202 the user-level image verification unit 312 extracts the user public key from the image file.
  • step S203 the user-level image verification unit 312 uses the extracted user public key to verify the history verification signature stored in the image file.
  • step S204 the user-level image verification unit 312 determines whether the history verification signature is correct based on the verification result. If it is determined that the history verification signature is valid, the process proceeds to step S205.
  • step S205 the display unit 316 notifies the user that no tampering was detected by displaying image information indicating the verification result.
  • the user-level image verification processing ends.
  • step S204 If it is determined in step S204 that the history verification signature is invalid, the process proceeds to step S206.
  • step S206 the display unit 316 notifies the user that tampering has been detected by displaying image information showing the verification result.
  • the user-level image verification processing ends.
  • the image file acquisition unit 311 acquires an image file in step S221.
  • This image file stores the captured image generated by the imaging device (first image processing device), metadata for the captured image, a first signature (signature for tamper detection), and a second signature (signature for history verification).
  • step S222 the limited public key acquisition unit 313 acquires the encrypted limited public key from the server 113.
  • step S223 the limited public key decryption unit 314 decrypts the encrypted limited public key.
  • step S224 the high-level image verification unit 315 uses the limited public key to verify the tamper detection signature stored in the image file.
  • step S225 the high-level image verification unit 315 determines whether the tamper detection signature is correct based on the verification result. If the tamper detection signature is determined to be valid, the process proceeds to step S226.
  • step S226 the display unit 316 notifies the user that no tampering was detected by displaying image information showing the verification result.
  • the high-level image verification processing ends.
  • step S225 If it is determined in step S225 that the tamper detection signature is invalid, processing proceeds to step S227.
  • step S227 the display unit 316 notifies the user that tampering has been detected by displaying image information showing the verification result.
  • the high-level image verification processing ends.
  • the image file acquisition unit 311 acquires an image file in step S241.
  • This image file stores the captured image generated by the imaging device (first image processing device), metadata for the captured image, a first signature (signature for tamper detection), and a second signature (signature for history verification).
  • step S242 the image file acquisition unit 311 extracts the captured image portion from the image file.
  • step S243 the limited public key acquisition unit 313 acquires the encrypted limited public key from the server 113.
  • step S244 the limited public key decryption unit 314 decrypts the encrypted limited public key.
  • step S245 the high-level image verification unit 315 verifies the tamper detection signature using the captured image portion extracted from the image file and its limited public key.
  • step S246 the high-level image verification unit 315 determines whether the tamper detection signature is correct based on the verification result. If the tamper detection signature is determined to be valid, the process proceeds to step S247.
  • step S247 the display unit 316 notifies the user that no tampering was detected by displaying image information showing the verification result.
  • the high-level image verification processing ends.
  • step S246 If it is determined in step S246 that the tamper detection signature is invalid, processing proceeds to step S248.
  • step S248 the display unit 316 notifies the user that tampering has been detected by displaying image information showing the verification result.
  • the high-level image verification processing ends.
  • the verification device 112 can realize high-level image verification and user-level image verification.
  • the verification device 112 can handle both a use case in which signature verification is limited to realize strong tamper detection, and a use case in which signature verification is allowed for other companies to realize maintenance of the editing history.
  • the verification device 112 can suppress a decrease in the usability (ease of use) of the captured image.
  • the encrypted limited public key may be stored in an image file and provided to the verification device 112.
  • the flow of the high-level image verification process in this case will be described with reference to the flowchart in FIG.
  • the image file acquisition unit 311 acquires an image file in step S261.
  • This image file stores the captured image generated by the imaging device (first image processing device), metadata for the captured image, a first signature (signature for tamper detection), and a second signature (signature for history verification).
  • step S262 the limited public key decryption unit 314 extracts the encrypted limited public key from the image file.
  • steps S263 to S267 are executed in the same manner as the processes in steps S223 to S227 (FIG. 12).
  • the process in step S266 or S267 is completed, the high-level image verification process is completed.
  • the encrypted limited public key may be stored in an image file and provided to the verification device 112.
  • the flow of the high-level image verification process in this case will be described with reference to the flowchart in FIG.
  • the image file acquisition unit 311 acquires an image file in step S281.
  • This image file stores the captured image generated by the imaging device (first image processing device), metadata for the captured image, a first signature (signature for tamper detection), and a second signature (signature for history verification).
  • step S282 the image file acquisition unit 311 extracts the captured image portion from the image file.
  • step S283 the limited public key decryption unit 314 extracts the encrypted limited public key from the image file.
  • steps S284 through S288 are executed in the same manner as the processes in steps S244 through S248 (FIG. 13).
  • the process in step S287 or S288 is completed, the high-level image verification process is completed.
  • the authentication unit 413 performs authentication processing in step S301.
  • step S302 the limited public key providing unit 412 accepts a request for a limited public key from the authenticated verification device 112.
  • step S303 the limited public key providing unit 412 obtains the requested limited public key from the limited public key management unit 411.
  • step S304 the limited public key providing unit 412 encrypts the acquired limited public key and supplies the encrypted limited public key to the requesting verification device 112.
  • step S304 When the processing of step S304 is completed, the limited public key supply processing is completed.
  • the server 113 can provide the limited public key to the verification device 112. Therefore, the server 113 can suppress any reduction in the usability (ease of use) of the captured image.
  • the above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed in a computer.
  • the computer includes a computer built into dedicated hardware, and a general-purpose personal computer, etc., capable of executing various functions by installing various programs.
  • FIG. 17 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 Also connected to the bus 904 is an input/output interface 910.
  • An input unit 911, an output unit 912, a memory unit 913, a communication unit 914, and a drive 915 are connected to the input/output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, etc.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, etc.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a non-volatile memory, etc.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives removable media 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads a program stored in the storage unit 913, for example, into the RAM 903 via the input/output interface 910 and the bus 904, and executes the program, thereby carrying out the above-mentioned series of processes.
  • the RAM 903 also stores data necessary for the CPU 901 to execute various processes, as appropriate.
  • the program executed by the computer can be applied by recording it on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by inserting the removable media 921 into the drive 915.
  • the program can also be provided via a wired or wireless transmission medium, such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be pre-installed in the ROM 902 or memory unit 913.
  • This technology can be applied to any encoding/decoding method.
  • this technology can be applied to any configuration.
  • this technology can be applied to various electronic devices.
  • the present technology can be implemented as part of an apparatus, such as a processor (e.g., a video processor) as a system LSI (Large Scale Integration), a module using multiple processors (e.g., a video module), a unit using multiple modules (e.g., a video unit), or a set in which other functions are added to a unit (e.g., a video set).
  • a processor e.g., a video processor
  • system LSI Large Scale Integration
  • modules using multiple processors e.g., a video module
  • a unit using multiple modules e.g., a video unit
  • a set in which other functions are added to a unit e.g., a video set.
  • the present technology can also be applied to a network system consisting of multiple devices.
  • the present technology may be implemented as cloud computing in which multiple devices share and collaborate on processing via a network.
  • the present technology may be implemented in a cloud service that provides image (video) related services to any terminal, such as a computer, AV (Audio Visual) equipment, portable information processing terminal, IoT (Internet of Things) device, etc.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • Systems, devices, processing units, etc. to which the present technology is applied can be used in any field, for example, transportation, medical care, crime prevention, agriculture, livestock farming, mining, beauty, factories, home appliances, weather, nature monitoring, etc.
  • the applications thereof are also arbitrary.
  • this technology can be applied to systems and devices used to provide ornamental content, etc.
  • this technology can be applied to systems and devices used for transportation, such as monitoring traffic conditions and automatic driving control.
  • this technology can be applied to systems and devices used for security purposes.
  • this technology can be applied to systems and devices used for automatic control of machines, etc.
  • this technology can be applied to systems and devices used for agriculture and livestock farming.
  • this technology can be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans, and wildlife, etc.
  • this technology can be applied to systems and devices used for sports.
  • a "flag” refers to information for identifying multiple states, and includes not only information used to identify two states, true (1) or false (0), but also information capable of identifying three or more states.
  • the value that this "flag” can take may be, for example, two values, 1/0, or three or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be one bit or multiple bits.
  • identification information including flags
  • identification information includes flags
  • “flag” and “identification information” include not only the information itself, but also difference information with respect to the reference information.
  • association means, for example, making one piece of data available (linked) when processing the other piece of data.
  • data associated with each other may be combined into one piece of data, or each piece of data may be individual data.
  • information associated with encoded data (image) may be transmitted on a transmission path different from that of the encoded data (image).
  • information associated with encoded data (image) may be recorded on a recording medium different from that of the encoded data (image) (or on a different recording area of the same recording medium).
  • this "association" may be a part of the data, not the entire data.
  • an image and information corresponding to that image may be associated with each other in any unit, such as multiple frames, one frame, or a part of a frame.
  • the configuration described above as one device (or processing unit) may be divided and configured as multiple devices (or processing units).
  • the configurations described above as multiple devices (or processing units) may be combined and configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit).
  • the above-mentioned program may be executed in any device.
  • the device has the necessary functions (functional blocks, etc.) and is capable of obtaining the necessary information.
  • each step of a single flowchart may be executed by a single device, or may be shared among multiple devices.
  • the multiple processes may be executed by a single device, or may be shared among multiple devices.
  • multiple processes included in a single step may be executed as multiple step processes.
  • processes described as multiple steps may be executed collectively as a single step.
  • the processing of the steps describing a program executed by a computer may be executed chronologically in the order described in this specification, or may be executed in parallel, or individually at a required timing such as when a call is made. In other words, as long as no contradiction arises, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the multiple technologies related to the present technology can be implemented independently and individually, so long as no contradictions arise.
  • any multiple of the present technologies can also be implemented in combination.
  • part or all of the present technology described in any embodiment can be implemented in combination with part or all of the present technology described in another embodiment.
  • part or all of any of the present technologies described above can be implemented in combination with other technologies not described above.
  • the present technology can also be configured as follows. (1) a hash processing unit that generates a first hash corresponding to a first signature and a second hash corresponding to a second signature by using a captured image and metadata; a signature generation unit that generates the first signature using a first private key and the first hash, and generates the second signature using a second private key and the second hash; a file generating unit that generates a file that stores the captured image, the metadata, the first signature, and the second signature,
  • the first private key corresponds to a limited public key that is disclosed only to a first entity having a specific authority other than a user authority;
  • the second private key corresponds to a user public key that is also made public to a second entity having the user authority.
  • the hash processing unit generates the first hash by using the captured image and the metadata; the signature generation unit generates the first signature using the first private key and the first hash; the hash processing unit generates the second hash using the captured image, the metadata, and the first signature;
  • the image processing device according to any one of (1) to (3), wherein the signature generation unit is configured to generate the second signature by using the second private key and the second hash.
  • the image processing device according to any one of (1) to (4), wherein the hash processing unit is configured to generate the first hash for a first range of the captured image and the metadata, and to generate the second hash for a second range that is larger than the first range.
  • the first range is a range excluding some data of the captured image and the metadata
  • IPTC International Press Telecommunications Council
  • the image processing device configured to store the first signature in a vendor extension area in the metadata area.
  • the hash processing unit generates a removal hash corresponding to an area of the captured image and the metadata that is to be removed in the history, independently of others, and generates the first hash as a multi-hash composed of a plurality of hashes that are independent of each other, including the removal hash.
  • the file generation unit is configured to store the encrypted limited public key in the file.
  • the first private key corresponds to a limited public key that is disclosed only to a first entity having a specific authority other than a user authority;
  • the second private key corresponds to a user public key that is also made public to a second entity having the user authority.
  • a file acquisition unit that acquires a file in which an image, metadata, a first signature, and a second signature are stored; a verification unit that verifies authenticity of the image by using a limited public key that is made public only to a first entity having a specific authority other than a user authority, the image, the metadata, and the first signature, the first signature is a signature generated by using a first private key corresponding to the limited public key, a captured image corresponding to the image, and metadata of the captured image;
  • the second signature is a signature generated using a second private key corresponding to a user public key that is also made public to a second entity having the user authority, the image, and the metadata.
  • the method further includes a decryption unit that decrypts the encrypted limited public key, The image processing device according to any one of claims 18 to 19, wherein the verification unit is configured to verify authenticity of the image by using the decrypted limited public key, the image, the metadata, and the first signature.
  • the method further includes: providing a limited public key acquisition unit that acquires the encrypted limited public key provided from another device; The image processing device according to any one of claims 1 to 19, wherein the decryption unit is configured to decrypt the obtained encrypted limited public key.
  • (21) The image processing device according to (19), wherein the decryption unit is configured to extract the encrypted limited public key from the file and decrypt the encrypted limited public key.
  • the second signature is a signature generated using a second private key corresponding to a user public key that is also made public to a second entity having the user authority, the image, and the metadata.
  • Image processing system 110 Network, 111 Imaging device, 112 Verification device, 113 Server, 201 Control unit, 202 Imaging processing unit, 221 Optical system, 222 Sensor unit, 228 Hash processing unit, 229 Signature control unit, 230 Signature generation unit, 231 Image file generation unit, 232 Image file recording unit, 233 Image file supply unit, 311 Image file acquisition unit, 312 User level image verification unit, 313 Limited public key acquisition unit, 314 Limited public key decryption unit, 315 High level image verification unit, 316 Display unit, 411 Limited public key management unit, 412 Limited public key provision unit, 413 Authentication unit, 900 Computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本開示は、撮像画像のユーザビリティの低減を抑制することができるようにする画像処理装置および方法に関する。 撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成し、第1の秘密鍵と第1のハッシュとを用いて第1の署名を生成し、第2の秘密鍵と第2のハッシュとを用いて第2の署名を生成し、撮像画像、メタデータ、第1の署名、および第2の署名を格納するファイルを生成する。第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、第2の秘密鍵は、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する。本開示は、例えば、画像処理装置、または画像処理方法等に適用することができる。

Description

画像処理装置および方法
 本開示は、画像処理装置および方法に関し、特に、撮像画像のユーザビリティの低減を抑制することができるようにした画像処理装置および方法に関する。
 従来、撮影時に画像に電子署名を付与することで、改竄検知を可能にする方法があった(例えば、特許文献1参照)。また、画像生成時や編集時に、履歴を電子署名付きで残し、履歴をたどれるようにする方法があった(例えば、非特許文献1参照)。これらの手法では、秘密鍵で署名し、その秘密鍵に対応する公開鍵を用いて検証が行われた。そのため秘密鍵が漏洩すると、電子署名を用いて画像の改ざんを検知することが困難になるおそれがあった。
 これに対して、公開鍵の配布を一部に限定し、さらに追加の改ざん検知を実施する方法が考えられた。追加の改ざん検知を実施することにより、より強力な改ざん検知を行うことができる。そして、公開鍵の配布を一部に限定することにより、改ざん検知の実施者を制限することができ、改ざん検知の手法を非公開とする(または公開範囲を制限する)ことができる。これにより、改ざん検知の正当性の低減を抑制することができる。
国際公開第2022/137798号
https://c2pa.org/
 しかしながら、このように公開鍵の配布先を一部に制限すると、C2PAのように、他社のツールなどと連携して改ざんできない編集履歴をつけていくようなケースに対応できなくなるおそれがあった。すなわち、撮像画像のユーザビリティ(使いやすさ)が低減するおそれがあった。
 本開示は、このような状況に鑑みてなされたものであり、撮像画像のユーザビリティの低減を抑制することができるようにするものである。
 本技術の一側面の画像処理装置は、撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成するハッシュ処理部と、第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成する署名生成部と、前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成するファイル生成部とを備え、前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する画像処理装置である。
 本技術の一側面の画像処理方法は、撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成し、第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成し、前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成し、前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する画像処理方法である。
 本技術の他の側面の画像処理装置は、画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得するファイル取得部と、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証する検証部とを備え、前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である画像処理装置である。
 本技術の他の側面の画像処理方法は、画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得し、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証し、前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である画像処理方法である。
 本技術の一側面の画像処理装置および方法においては、撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとが生成され、第1の秘密鍵と第1のハッシュとを用いて第1の署名が生成され、第2の秘密鍵と第2のハッシュとを用いて第2の署名が生成され、撮像画像、メタデータ、第1の署名、および第2の署名を格納するファイルが生成される。第1の秘密鍵が、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、第2の秘密鍵が、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する。
 本技術の他の側面の画像処理装置および方法においては、画像、メタデータ、第1の署名、および第2の署名が格納されたファイルが取得され、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、画像、メタデータ、および第1の署名を用いて、その画像の真贋が検証される。第1の署名が、限定公開鍵に対応する第1の秘密鍵、画像に対応する撮像画像、およびその撮像画像のメタデータを用いて生成された署名であり、第2の署名が、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、画像、およびメタデータを用いて生成された署名である。
画像ファイルの生成方法の例を示す図である。 画像ファイルの主な構成例を示す図である。 画像ファイルの主な構成例を示す図である。 ハッシュの対象範囲の例を示す図である。 署名の格納場所の例を示す図である。 画像処理システムの主な構成例を示す図である。 撮像装置の主な構成例を示すブロック図である。 検証装置の主な構成例を示すブロック図である。 サーバの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 ユーザレベル画像検証処理の流れの例を説明するフローチャートである。 高レベル画像検証処理の流れの例を説明するフローチャートである。 高レベル画像検証処理の流れの例を説明するフローチャートである。 高レベル画像検証処理の流れの例を説明するフローチャートである。 高レベル画像検証処理の流れの例を説明するフローチャートである。 限定公開鍵供給処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.技術内容・技術用語をサポートする文献等
 2.改ざんの検知
 3.複数の署名の格納
 4.第1の実施の形態(画像処理システム)
 5.付記
 <1.技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の特許文献および非特許文献等に記載されている内容や以下の特許文献および非特許文献において参照されている他の文献の内容等も含まれる。
 特許文献1:(上述)
 非特許文献1:(上述)
 つまり、上述の特許文献および非特許文献に記載されている内容や、上述の特許文献および非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
 <2.改ざんの検知>
  <電子署名を用いた改ざんの検知>
 従来、例えば、特許文献1に記載のように、撮影時に画像に電子署名を付与することで、改竄検知を可能にする方法があった。また、非特許文献1に開示されているように、画像生成時や編集時に、履歴を電子署名付きで残し、履歴を辿ることができるようにする方法があった。編集時、編集を担当したソフトやサーバは、画像の過去の履歴を画像内の公開鍵で確認後、過去のツールの署名や署名対象のデータの一部を新しい画像のメタデータとして引き継ぎ、加えて秘密鍵で署名し、対応する公開鍵を付与する。
 これらの手法では、秘密鍵で署名し、その秘密鍵に対応する公開鍵を用いて検証が行われた。公開鍵を画像とともに配布すれば、だれでも改ざんを検知することができた。そのため秘密鍵が漏洩すると、不正なユーザが画像を改ざんし、その秘密鍵を用いて電子署名を不正に生成することができるので、現実的に、電子署名を用いて画像の改ざんを検知することが困難になるおそれがあった。
 これに対して、公開鍵の配布を一部に限定し、さらに追加の改ざん検知を実施する方法が考えられた。追加の改ざん検知を実施することにより、より強力な改ざん検知を行うことができる。そして、公開鍵の配布を一部に限定することにより、改ざん検知の実施者を制限することができ、改ざん検知の手法を非公開とする(または公開範囲を制限する)ことができる。これにより、改ざん検知の正当性の低減を抑制することができる。
 しかしながら、このように公開鍵の配布先を一部に制限すると、C2PAのように、他社のツールなどと連携して改ざんできない編集履歴をつけていくようなケースに対応できなくなるおそれがあった。
 例えば、第三者による加工が改ざんに該当するとして厳格運用にしたいようなケースにおいては、署名検証を自社サーバで限定したいというニーズがある。これに対して、ある程度、第三者による加工を許容できるケースにおいては、他社による署名検証を可能にして他社ツールとの連携で来歴の証明を行いたいといったニーズがある。しかしながら、現状のC2PA規格では、上述の2つのケースを同じ機材・同じフォーマットを用いて併存させることができない。つまり、従来の方法では、署名検証を限定し、強力な改ざん検出を実現するユースケースと、他社に署名検証を許し編集来歴の維持を実現するユースケースの両方に対応することが困難であった。すなわち、撮像画像のユーザビリティ(使いやすさ)が低減するおそれがあった。
 <3.複数の署名の格納>
  <方法1>
 そこで、図1の表の最上段に記載のように、公開範囲が互いに異なる公開鍵に対応する複数の署名をファイルに格納する(方法1)。より具体的には、公開範囲が制限された公開鍵に対応する署名と公開範囲が制限されていない公開鍵に対応する署名とをファイルに格納する。
 例えば、画像の改ざんを検知するための検証を実行するとする。その際、ユーザ権限以外の特定の権限を有する存在のみが、より強力に改ざんを検知することができる検証手法を適用することが許可されるものとする。
 ここで、「より強力に改ざんを検知することができる検証手法」とは、例えば、ユーザ権限を有する存在が実行可能な検証手法よりも確実に画像の改ざんを検知することができる検証手法である。その検証手法は、どのような手法であってもよい。例えば、署名を用いる検証だけでなく、ファイルに格納される情報(例えば画像やそのメタデータ等)を利用した検証も適用される手法であってもよい。このファイルに格納される情報を利用した検証はどのような手法であってもよい。例えば、画像とメタデータとの間の矛盾の有無により改ざんを検知する手法であってもよいし、その他の手法であってもよい。また、ファイルに格納される情報以外の情報を利用する手法が適用されてもよい。
 また、「ユーザ権限以外の特定の権限を有する存在」とは、例えば、システムやサービスの提供者や管理者、または、それらと同等の権限を有するコンピュータやアプリケーション等のような、ユーザ権限には与えられない権限が与えられる存在を示す。つまり、「特定の権限」は、例えば、ユーザ権限よりも高レベルの権限であってもよい。したがって、本明細書においては、「より強力に改ざんを検知することができる検証手法」を高レベル画像検証(処理)とも称する。
 この高レベル画像検証を実行する権限は、上述したように、「ユーザ権限以外の特定の権限を有する存在」に制限される。つまり、高レベル画像検証に含まれる「署名を用いる検証」には、「ユーザ権限以外の特定の権限を有する存在」にのみ公開される公開鍵が用いられる。本明細書において、この公開鍵を限定公開鍵とも称する。この高レベル画像検証において利用される署名は、画像やメタデータ等のハッシュと、この限定公開鍵に対応する秘密鍵とを用いて生成される。本明細書において、この署名を第1の署名とも称する。また、この第1の署名の生成に用いられるハッシュ(つまり、第1の署名に対応するハッシュ)を第1のハッシュとも称する。また、限定公開鍵に対応する秘密鍵(つまり、第1の署名の生成に用いられる秘密鍵)を第1の秘密鍵とも称する。また、第1の署名は、上述のように画像の改ざんを検知するための検証に利用されるので、改ざん検知用署名とも称する。
 これに対して、ユーザ権限を有する存在は、上述の「より強力に改ざんを検知することができる検証手法」を適用することが許可されないが、一般的な検証手法を適用することが許可されるものとする。
 ここで、「一般的な検証手法」とは、例えば、ユーザ権限を有する存在が実行可能な検証手法である。その検証手法は、どのような手法であってもよい。例えば、署名を用いて画像の改ざんを検知する手法であってもよい。
 また、「ユーザ権限を有する存在」とは、例えば、システムやサービスのユーザ、または、そのユーザと同等の権限を有するコンピュータやアプリケーション等である。したがって、本明細書においては、「一般的な検証手法」をユーザレベル画像検証(処理)とも称する。
 ユーザ権限を有する存在には、公開範囲が制限されない公開鍵が提供される。本明細書において、この公開範囲が制限されない公開鍵をユーザ公開鍵とも称する。このユーザレベル画像検証において利用される署名は、画像やメタデータ等のハッシュと、このユーザ公開鍵に対応する秘密鍵とを用いて生成される。本明細書において、この署名を第2の署名とも称する。また、この第2の署名の生成に用いられるハッシュ(つまり、第2の署名に対応するハッシュ)を第2のハッシュとも称する。また、ユーザ公開鍵に対応する秘密鍵(つまり、第2の署名の生成に用いられる秘密鍵)を第2の秘密鍵とも称する。
 例えば、第2の署名がC2PA規格に準拠した方法で生成されることにより、ユーザ権限を有する存在は、ユーザレベル画像検証によって画像の編集の来歴を確認することができる。したがって、本明細書において、第2の署名を来歴確認用署名とも称する。
 第1の署名(改ざん検知用署名)は、改ざん検知のための検証処理に利用されるので、最初の画像(例えば、撮像画像)に対して生成される。第2の署名(来歴確認用署名)は、来歴確認のための検証処理に利用されるので、最初の画像(例えば、撮像画像)に対して生成され、その画像に対して編集が行われる度に更新される(新たな署名が生成される)。例えば、編集時、編集を担当したソフトやサーバは、画像の過去の履歴を画像内の公開鍵で確認後、過去のツールの署名や署名対象のデータの一部を新しい画像のメタデータとして引き継ぎ、加えて第2の秘密鍵で署名し、対応するユーザ公開鍵を付与する。
 このような、第1の署名(改ざん検知用署名)と第2の署名(来歴確認用署名)とを、画像やメタデータ等を格納するファイル(画像ファイルとも称する)に格納する。
 例えば、第1の画像処理装置(例えば撮像装置)が、撮像画像およびメタデータを用いて、第1の署名(改ざん検知用署名)に対応する第1のハッシュと第2の署名(来歴確認用署名)に対応する第2のハッシュとを生成するハッシュ処理部と、第1の秘密鍵と第1のハッシュとを用いて第1の署名を生成し、第2の秘密鍵と第2のハッシュとを用いて第2の署名を生成する署名生成部と、撮像画像、メタデータ、第1の署名、および第2の署名を格納するファイル(画像ファイル)を生成するファイル生成部とを備える。なお、第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応する。また、第2の秘密鍵は、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する。
 また、第1の画像処理装置(例えば撮像装置)において、撮像画像およびメタデータを用いて、第1の署名(改ざん検知用署名)に対応する第1のハッシュと第2の署名(来歴確認用署名)に対応する第2のハッシュとを生成し、第1の秘密鍵と第1のハッシュとを用いて第1の署名を生成し、第2の秘密鍵と第2のハッシュとを用いて第2の署名を生成し、撮像画像、メタデータ、第1の署名、および第2の署名を格納するファイル(画像ファイル)を生成する。なお、第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応する。また、第2の秘密鍵は、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する。
 このようにすることにより、画像検証時にそれらの署名を適用することができる。つまり、高レベル画像検証やユーザレベル画像検証を実現することができる。
 したがって、「ユーザ権限を有する存在」が画像を編集したり、ユーザレベル画像検証を実行したりすることができる。つまり、より多様な存在が、画像を編集したり、画像の編集の来歴を確認したりすることができる。また、「特定の権限を有する存在」のみが、高レベル画像検証を実行することができる。つまり、より強力な画像検証を実行することができるだけでなく、その手法の公開範囲が制限されることにより、より安全な画像検証システムを実現することができる。つまり、情報漏洩等による画像検証システムの破綻を抑制することができる。
 換言するに、上述の方法1を適用することにより、例えば、署名検証を限定し、強力な改ざん検出を実現するユースケースと、他社に署名検証を許し編集来歴の維持を実現するユースケースの両方に対応することができる。すなわち、撮像画像のユーザビリティ(使いやすさ)の低減を抑制することができる。
 なお、高レベル画像検証の際に使用される限定公開鍵は、漏洩のおそれがより少ない方法で提供されることが望ましい。例えば、限定公開鍵が所定の方法で暗号化されて供給されてもよい。つまり、高レベル画像検証において、暗号化された限定公開鍵を復号して利用するようにしてもよい。また、この限定公開鍵は、何処から提供されてもよい。例えば、限定公開鍵を管理するサーバから提供されてもよいし、暗号化された状態で画像ファイルに格納されてもよい。例えば、撮像装置が暗号化された限定公開鍵を予め有し、その限定公開鍵を画像ファイルに格納してもよい。
 また、ユーザ公開鍵は、何処から提供されてもよい。例えば、画像ファイルに格納されてもよい。例えば、撮像装置が予めユーザ公開鍵を有し、そのユーザ公開鍵を画像ファイルに格納してもよい。
 また、限定公開鍵に対応する第1の秘密鍵、および、ユーザ公開鍵に対応する第2の秘密鍵は、撮像装置が予め有してもよい。例えば、第1の画像処理装置において、署名生成部が、第1の秘密鍵および第2の秘密鍵を予め保持してもよい。
 なお、改ざん検出用署名および来歴確認用署名を生成する際、改ざん検出用署名を生成してから来歴確認用署名を生成してもよい。例えば、第1の画像処理装置において、ハッシュ処理部が、撮像画像およびメタデータを用いて第1のハッシュを生成し、署名生成部が、第1の秘密鍵とその第1のハッシュとを用いて第1の署名を生成し、ハッシュ処理部が、撮像画像、メタデータ、およびその第1の署名を用いて第2のハッシュを生成し、署名生成部が、第2の秘密鍵とその第2のハッシュとを用いて第2の署名を生成してもよい。
 このようにすることにより、高レベル画像検証を実行せずに、ユーザレベル画像検証を実行することができる。つまり、ユーザ公開鍵を用いた(限定公開鍵を必要とせずに)来歴の確認が実行可能である。つまり、ユーザ権限を有する存在が画像編集の来歴を確認することができる。
 上述のように、改ざん検知用署名および来歴確認用署名は、最初の画像に対して生成される。例えば、撮像装置において、改ざん検知用署名および来歴確認用署名は、被写体を撮像して得られた撮像画像に対して生成されてもよい。換言するに、撮像装置が、被写体を撮像し、得られた撮像画像とそのメタデータ等を用いて、第1のハッシュおよび第2のハッシュを生成してもよい。例えば、第1の画像処理装置が、被写体を撮像し、撮像画像を生成する撮像部をさらに備えてもよい。そして、ハッシュ処理部が、その生成された撮像画像およびメタデータを用いて、第1のハッシュおよび第2のハッシュを生成してもよい。このようにすることにより、撮像画像についてのより強力な改ざん検出や、その撮像画像に対する編集の来歴の確認が可能になる。
 また、改ざん検出用署名は、画像ファイルの何処に格納されてもよい。例えば、改ざん検出用署名が、画像ファイルの、メタデータを格納する領域に格納されてもよい。例えば、第1の画像処理装置において、ファイル生成部が、ファイルの、メタデータを格納するメタデータ領域に、第1の署名(改ざん検出用署名)を格納してもよい。
 図2は、画像ファイルの主な構成例を示す図である。図2に示される画像ファイル10には、画像領域11、メタデータ領域12、ハッシュ領域13、および署名領域14が形成される。画像領域11には、例えば、撮像画像(画像、Exif(Exchangeable Image File Format)等)が格納される。メタデータ領域12には、例えば、画像/Exifのハッシュ、縮小画像(サムネイルやスクリンネイル等)、撮影者等といった、メタデータ等が格納される。このメタデータは、例えば、C2PA規格で定義されるメタデータ(C2PAメタ)であってもよい。ハッシュ領域13には、例えば、メタデータへのリンクとハッシュ等が格納される。署名領域14には、例えば、電子署名や証明書等が格納される。
 このような構成の画像ファイル10の、メタデータ領域12内には、さらに、改ざん検出用署名が格納されている。このように、改ざん検出用署名をメタデータとして画像ファイルに格納することにより、画像に対して編集が行われる場合も、改ざん検出用署名をメタデータとして残すことができる。これにより、編集された画像を格納する画像ファイルについても、高レベル画像検証を実行することができる。
 なお、来歴確認用署名は、署名領域14に格納される。この来歴確認用署名は、編集の度に生成される。画像が編集される場合の画像ファイルの主な構成例を図3に示す。図3に示される画像ファイル20は、画像領域21、メタデータ領域22-1、ハッシュ領域23-1、署名領域24-1、メタデータ領域22-2、ハッシュ領域23-2、署名領域24-2、メタデータ領域22-3、ハッシュ領域23-3、および署名領域24-3を有する。以下の説明において、メタデータ領域22-1、メタデータ領域22-2、およびメタデータ領域22-3を互いに区別しない場合、メタデータ領域22とも称する。同様に、ハッシュ領域23-1、ハッシュ領域23-2、およびハッシュ領域23-3を互いに区別しない場合、ハッシュ領域23とも称する。また、署名領域24-1、署名領域24-2、および署名領域24-3を互いに区別しない場合、署名領域24とも称する。
 画像領域には、最新の画像が格納される。つまり、画像領域21には、撮像画像から2回編集が行われた2次編集画像(画像・Exif等)が格納される。
 メタデータ領域22-3、ハッシュ領域23-3、および署名領域24-3には、撮像画像からの情報が格納される。つまり、メタデータ領域22-3には、撮像画像のメタデータ(例えば、画像/Exifのハッシュ、縮小画像、撮影者等)が格納される。また、このメタデータ領域22-3には、画像およびメタデータのハッシュと第1の秘密鍵とを用いて生成された改ざん検知用署名も格納される。ハッシュ領域23-3には、メタデータ領域22-3に格納されるメタデータへのリンクとハッシュが格納される。署名領域24-3には、ハッシュ領域23-3の情報(画像およびメタデータのハッシュ等)と第2の秘密鍵を用いて生成された来歴確認用署名(撮像画像に対応する来歴確認用署名)やユーザ公開鍵等が格納される。
 メタデータ領域22-2、ハッシュ領域23-2、および署名領域24-2には、撮像画像が編集された1次編集画像からの情報が格納される。つまり、メタデータ領域22-2には、1次編集画像のメタデータ(例えば、画像/Exifのハッシュ、縮小画像、編集情報等)が格納される。ハッシュ領域23-2には、メタデータ領域22-2に格納されるメタデータへのリンクとハッシュが格納される。署名領域24-2には、ハッシュ領域23-2の情報(画像およびメタデータのハッシュ等)と第2の秘密鍵を用いて生成された来歴確認用署名(1次編集画像に対応する来歴確認用署名)やユーザ公開鍵等が格納される。
 メタデータ領域22-1、ハッシュ領域23-1、および署名領域24-1には、1次編集画像が編集された2次編集画像からの情報が格納される。つまり、メタデータ領域22-1には、2次編集画像のメタデータ(例えば、画像/Exifのハッシュ、縮小画像、編集情報等)が格納される。ハッシュ領域23-1には、メタデータ領域22-1に格納されるメタデータへのリンクとハッシュが格納される。署名領域24-1には、ハッシュ領域23-1の情報(画像およびメタデータのハッシュ等)と第2の秘密鍵を用いて生成された来歴確認用署名(2次編集画像に対応する来歴確認用署名)やユーザ公開鍵等が格納される。
 つまり、1回編集が追加されると、画像領域21の画像が更新され、その最新の画像に対応するメタデータ領域22、ハッシュ領域23、および署名領域24が画像ファイル20に追加される。元画像(編集前の画像)の情報は、ハッシュ領域23の情報から参照される。このように、画像ファイル20には、編集毎に情報が履歴として格納される。そして、各編集についての来歴確認用署名が格納される。したがって、ユーザは、このような構成の画像ファイル20に対してユーザレベル画像検証を実行することにより、画像編集の来歴を確認することができる。
 このような画像ファイルに格納される撮像画像の真贋の検証を行う検証装置は、限定公開鍵と改ざん検出用署名とを用いてその検証を実行する。
 例えば、第2の画像処理装置(検証装置)が、画像、メタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されたファイル(画像ファイル)を取得するファイル取得部と、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証する検証部とを備える。
 また、第2の画像処理装置(検証装置)において、画像、メタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されたファイル(画像ファイル)を取得し、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証する。
 なお、第1の署名は、限定公開鍵に対応する第1の秘密鍵、画像に対応する撮像画像、および撮像画像のメタデータを用いて生成された署名である。第2の署名は、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、画像、およびメタデータを用いて生成された署名である。
 例えば、図3に示される画像ファイル20に対して高レベル画像検証を行う場合、検証装置は、画像ファイル20から必要な部分(撮像画像に関する情報)を抽出して検証を行う。
 このようにすることにより、検証装置は、高レベル画像検証(より強力に改ざんを検知することができる検証)を行うことができる。
 なお、上述したように、この高レベル画像検証において使用される限定公開鍵は、漏洩のおそれがより少ない方法で提供されることが望ましい。例えば、限定公開鍵が所定の方法で暗号化されて供給されてもよい。つまり、高レベル画像検証において、暗号化された限定公開鍵を復号して利用するようにしてもよい。例えば、第2の画像処理装置(検証装置)が、暗号化された限定公開鍵を復号する復号部をさらに備えてもよい。そして、検証部が、その復号された限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証してもよい。このようにすることにより、限定公開鍵が漏洩することを抑制することができる。
 また、この限定公開鍵は、何処から提供されてもよい。例えば、限定公開鍵を管理するサーバから提供されてもよい。また、暗号化された状態で画像ファイルに格納されてもよい。また、縮小画像やメタデータを用いて高レベル画像検証が行われてもよい。
 例えば、第2の画像処理装置(検証装置)が、他の装置から供給される「暗号化された限定公開鍵」を取得する限定公開鍵取得部をさらに備えてもよい。そして、復号部が、その取得された「暗号化された限定公開鍵」を復号し、検証部が、その復号された限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証してもよい。例えば、専用のサーバにおいて限定公開鍵を管理することにより、限定公開鍵が漏洩することを抑制することができる。また、サーバから限定公開鍵を取得する際に、検証装置がサーバに対して認証処理を行ってもよい。この認証処理の方法はどのような方法であってもよい。認証処理を行うことにより、不正な装置へ限定公開鍵を提供してしまうことを抑制することができる。また、復号部が、暗号化された限定公開鍵をファイルから抽出して復号してもよい。
  <方法1-1>
 上述の方法1が適用される場合において、図1の表の上から2段目に示されるように、各署名の対象を互いに異なる範囲にしてもよい(方法1-1)。例えば、来歴確認用署名が対象とするデータの範囲を、改ざん検知用署名が対象とするデータの範囲よりも広くしてもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ハッシュ処理部が、撮像画像およびメタデータの内の、第1の範囲を対象として第1のハッシュを生成し、その第1の範囲よりも広い第2の範囲を対象として第2のハッシュを生成してもよい。
 例えば、来歴確認用署名は撮像画像およびメタデータの全体を対象とし、改ざん検知用署名は、撮像画像およびメタデータの内、一部のデータを対象外としてもよい。つまり、上述の第1の範囲が、撮像画像およびメタデータの内の一部のデータを除く範囲であってもよい。また、上述の第2の範囲が、撮像画像およびメタデータの全体であってもよい。
 また、この一部のデータが、撮像画像に対する所定の加工に関するデータであってもよい。例えば、この「所定の加工に関するデータ」が、画像のローテーションに関するデータ、画像のレーティング(星評価)に関するデータ、IPTC(International Press Telecommunications Council)メタデータ等の内の少なくとも1つを含むものであってもよい。なお、IPTCメタデータは、IPTCによって策定された、デジタル画像に含まれるメタデータの標準規格に準拠するメタデータである。例えば、IPTCメタデータは、画像の詳細や、所有権、撮影場所などの情報を含み得る。より具体的には、IPTCメタデータは、画像の説明、記事の見出し、撮影者の名前、画像の著作権を有する法人名、撮影イベント名、撮影場所、画像への編集指示、ステータス、画像の取扱い時の連絡先、画像のライセンス情報、モデルの追加情報等の情報を含み得る。
 図4は、ハッシュの対象範囲の例を示す図である。図4において、図中右側の太線で示される四角がJPEG(Joint Photographic Experts Group)データ30である。JPEGデータ30は、撮像画像のデータの一例である。図4に示されるように、JPEGデータ30は、SOI31、APP1_32、APP2_33、APP11_34、DQT35、DHT36、SOF37、SOS38、実画像39、EOI40、およびスクリンネイル41を有する。
 SOI(Start Of Image)31は、JPEGファイルの起点を表すスタートマーカである。APP1_32、APP2_33、APP11_34は、アプリケーションが設定するアプリケーションデータである。例えば、APP1_32にはExifの情報が格納される。APP2_33にはICC(International Color Consortium)プロファイルの情報が格納される。DQT(Define Quantization Table)35は、量子化テーブルを定義するセグメントである。DHT(Define Huffman Table)36は、ハフマンテーブルを定義するセグメントである。SOF(Start of Frame)37は、JPEGファイルの種類や画像サイズ等といった画像の主要な情報が格納されるセグメントである。SOS(Start of Scan)38は、イメージデータの先頭に設けられ、そのイメージデータの成分などの内容が格納されるセグメントである。実画像39は、イメージデータが格納されるセグメントである。EOI(End Of Image)40は、JPEGファイルの終わりを表すエンドマーカである。スクリンネイル41は、実画像39に格納される画像の縮小画像(スクリンネイル)を格納するセグメントである。
 図中左側のグレーの各四角がそのJPEGデータ30を用いて生成される、改ざん検知用署名(第1の署名)に対応する第1のハッシュの例(ハッシュ51からハッシュ57まで)を示す。JPEGデータ30の、各グレー地の四角に隣接する部分(各四角の右側に位置する部分)が、ハッシュの対象となる部分である。例えば、ハッシュ51は主にSOI31に対応する。つまり、ハッシュ51はSOI31等を用いて生成される。ハッシュ52は主にAPP1_32に対応する。つまり、ハッシュ52はAPP1_32等を用いて生成される。ハッシュ53およびハッシュ54は主にAPP2_33に対応する。つまり、ハッシュ53およびハッシュ54はAPP2_33等を用いて生成される。ハッシュ55は主にDQT35からEOI40までに対応する。つまり、ハッシュ55はDQT35からEOI40まで等を用いて生成される。ハッシュ56およびハッシュ57は主にスクリンネイル41に対応する。つまり、ハッシュ56およびハッシュ57はスクリンネイル41等を用いて生成される。
 つまり、図4の例の場合、改ざん検知用署名(第1の署名)に対応する第1のハッシュは、撮像画像およびメタデータの内、画像のローテーションに関するデータ、画像のレーティング(星評価)に関するデータ、およびIPTCメタデータ(IPTC/XML)等を除く範囲(第1の範囲)を対象として生成される。このようにすることにより、高レベル画像検証において、撮像画像の回転、撮像画像のレーティング、IPTCメタデータの更新等の編集(加工)が許容される。すなわち、この場合、撮像画像を回転させても撮像画像の改ざんとはみなされない。また、撮像画像に付与するレーティングを更新しても撮像画像の改ざんとはみなされない。また、IPTCメタデータが更新されても撮像画像の改ざんとはみなされない。
 画像の回転、レーティング、IPTCメタデータの更新等は、比較的一般的に行われる処理であり、現実的には、これらの簡易な加工処理(編集)は改ざんとみなさなくてもよいとする運用方法が考えられる。そのようなケースにおいて、上述のように、第1のハッシュの対象から一部のデータを除外することにより、所定の加工(編集)を改ざん検知の対象外とすることができる。例えば、上述のような簡易な加工を改ざん検知の対象外とすることができる。つまり、このように画像およびメタデータの内、一部のデータを改ざん検知用署名の対象外とすることにより、高レベル画像検証において、現実の運用に対してより適切な改ざん検知を行うことができる。また、その際に、第2のハッシュの対象を画像およびメタデータの全体としてもよい。このようにすることにより、画像およびメタデータのどの部分に対する編集についても来歴を確認することができる。換言するに、第1のハッシュの対象と第2のハッシュの対象とを互いに独立に設定してもよい。
  <方法1-2>
 上述の方法1が適用される場合において、図1の表の上から3段目に示されるように、改ざん検知用署名のハッシュをマルチハッシュとしてもよい(方法1-2)。つまり、改ざん検知用署名のハッシュが、互いに異なるデータに対応する複数のハッシュにより構成されてもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ハッシュ処理部が、第1のハッシュを、互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成してもよい。
 マルチハッシュとすることにより、複数のハッシュのそれぞれについて、検証を実行することができる。例えば、第1のハッシュが単一のハッシュにより構成されている場合、第1のハッシュの対象全体についての検証を実行することができるが、その対象の一部についての検証を実行することができない。これに対して、第1のハッシュが互いに独立した複数のハッシュにより構成される場合、仮にその複数のハッシュの内の一部の対象が削除されても、残った(削除されなかった)ハッシュの対象についての検証が可能である。つまり、第1のハッシュの対象の一部についての検証を実行することができる。
 例えば図4の場合、ハッシュ51からハッシュ57までが互いに独立したハッシュであるとすると、仮にハッシュ51の対象が削除されても、ハッシュ52からハッシュ57までの対象についての検証は実行することができる。したがって、より確実に(よりロバストに)高レベル画像検証(すなわち、撮像画像のより強力な検証)を実行することができる。
 なお、来歴確認用署名に対応する第2のハッシュをマルチハッシュにしてもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ハッシュ処理部が、第2のハッシュをマルチハッシュとして生成してもよい。このようにすることにより、第1のハッシュの場合と同様に、第2のハッシュの対象の一部についての検証を実行することができる。つまり、より確実に(よりロバストに)ユーザレベル画像検証(すなわち、来歴の確認)を実行することができる。
  <方法1-2-1>
 上述の方法1-2が適用される場合において、図1の表の上から4段目に示されるように、改ざん検知用署名のハッシュの分け方を来歴用署名用のハッシュの分け方よりも細かくしてもよい(方法1-2-1)。つまり、改ざん検知用署名に対応する第1のハッシュが第2のハッシュよりも多くのハッシュにより構成されてもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ハッシュ処理部が、第1のハッシュを、第2のハッシュよりも多くのハッシュにより構成されるマルチハッシュとして生成してもよい。
 ハッシュの分け方(粒度)が細かい程、削除されていない部分をより多く検証することができる。つまり、上述のようにすることにより、高レベル画像検証の方が、ユーザレベル画像検証の場合よりも、削除されていない部分をより多く検証することができる。なお、第2のハッシュはマルチハッシュであってもよいし、マルチハッシュでなくてもよい。
  <方法1-3>
 上述の方法1が適用される場合において、図1の表の上から5段目に示されるように、改ざん検知用署名を来歴で伝搬される領域に格納してもよい(方法1-3)。例えば、第1の画像処理装置(例えば撮像装置)において、ファイル生成部が、メタデータ領域内の、来歴で伝搬される領域に第1の署名(改ざん検知用署名)を格納してもよい。
 ここで「来歴で伝搬される領域」とは、画像ファイルの、画像編集が行われても消去されない領域を示す。このような領域に第1の署名を格納することにより、画像に対して編集が行われても、より確実に高レベル画像検証を実行することができる。
 この「来歴で伝搬される領域」はどのような領域であってもよいが、例えば、ベンダーが拡張することができるベンダーエクステンション領域(Vendor Extension)であってもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ファイル生成部が、メタデータ領域内の、ベンダー拡張領域に第1の署名(改ざん検知用署名)を格納してもよい。例えば、図5に示される画像ファイル70には、画像領域(Main image)71、メタデータ(C2PA meta)領域72、ベンダー拡張領域(Vender Extension)73が形成される。そして、ベンダー拡張領域73には、SOI81、APP1_82、APP11_83、およびスクリンネイル84等のセグメントが形成される。例えば、このAPP11_83に改ざん検知用署名(Multi hash for each area and Signature)が格納されてもよい。
 なお、画像ファイルに、来歴で伝搬されるように改ざん検知用署名を格納するための専用領域を新たに設けてもよい。
  <方法1-3-1>
 上述の方法1-3が適用される場合において、図1の表の最下段に示されるように、改ざん検知用署名のハッシュをマルチハッシュとし、かつ、来歴で落とされ得る領域(若しくは落とされる領域)を他と独立にハッシュにしてもよい(方法1-3-1)。つまり、編集により、除去される領域若しくは除去される可能性のある領域については、他の領域とは独立にハッシュを生成するようにしてもよい。例えば、第1の画像処理装置(例えば撮像装置)において、ハッシュ処理部が、撮像画像およびメタデータの、来歴において除去される領域に対応する除去ハッシュを他と独立に生成し、第1のハッシュを、その除去ハッシュを含む互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成してもよい。
 このようにすることにより、編集によりその領域が除去された場合に、より多くの他の領域について検証を行うことができる。つまり、高レベル画像検証において、より多くの情報を検証することができる。
  <組み合わせ>
 <3.複数の署名の格納>において上述した各方法は、矛盾が生じない限り、任意の他の方法と組み合わせて適用してもよい。3以上の方法を組み合わせて適用してもよい。例えば、方法1-1から方法1-3-1までの内のいずれか2つ以上を組み合わせて適用してもよい。また、組み合わせ可能な手法は、「方法」として図1の表に示したものだけでなく、<3.複数の署名の格納>において上述した全ての要素を含み得る。また、上述した各方法は、上述した以外の他の方法と組み合わせて適用してもよい。
 なお、本明細書において、上位の方法について行った説明は、矛盾が生じない限り、その方法に属する下位の方法にも適用される。例えば、「方法1を適用してもよい」と説明した場合、方法1-1から方法1-3までの各方法を適用することができる。同様に、方法1-2-1を適用することもできるし、方法1-3-1を適用することもできる。
 <4.第1の実施の形態>
  <画像処理システム>
 本技術は、撮像画像を処理する画像処理システム(またはシステムを構成する各装置)に適用することができる。図6は、本技術を適用した画像処理システムの構成の一例を示すシステム図である。図6に示される画像処理システム100は、撮像画像を処理するシステムである。
 図6においては、装置構成やデータの流れ等の主なものを示しており、図6に示されるものが全てとは限らない。つまり、画像処理システム100において、図6に示されていない装置が存在したり、図6において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図6に示されるように、画像処理システム100は、ネットワーク110を介して互いに通信可能に接続される撮像装置111、検証装置112、およびサーバ113を有する。なお、図6においては、撮像装置111、検証装置112、およびサーバ113が1台ずつ示されているが、それぞれの数はいくつであってもよい。つまり、撮像装置111、検証装置112、およびサーバ113は、それぞれ2台以上であってもよい。また、撮像装置111、検証装置112、およびサーバ113のそれぞれの数は、互いに同一でなくてもよい。また、図6においては、ネットワーク110として1つのネットワークが示されているが、画像処理システム100が、複数のネットワークを有してもよい。
 ネットワーク110は、各装置間の通信媒体となる通信網である。ネットワーク110は、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方を含んでもよい。例えば、有線LAN(Local Area Network)、無線LAN、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク110は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク110は、その一部若しくは全部が、例えばUSB(Universal Serial Bus)(登録商標)ケーブルやHDMI(High-Definition Multimedia Interface)(登録商標)ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
 撮像装置111は、被写体の撮像、すなわち、撮像画像(画像ファイル)の生成に関する処理を行う。例えば、撮像装置111は、被写体を撮像し、撮像画像を生成してもよい。撮像装置111は、その撮像画像等を格納する画像ファイルを生成してもよい。撮像装置111は、改ざん検知用署名を生成し、その画像ファイルに格納してもよい。撮像装置111は、来歴確認用署名を生成し、その画像ファイルに格納してもよい。撮像装置111は、ネットワーク110または記録媒体を介してその画像ファイルを供給してもよい。
 検証装置112は、画像等の検証に関する処理を行う。例えば、検証装置112は、ネットワーク110または記録媒体を介して画像ファイルを取得してもよい。検証装置112は、画像ファイルに格納される画像等の改ざんを検知する検証処理を行ってもよい。また、検証装置112は、その検証結果を表示してもよい。なお、検証装置112は、ネットワーク110を介して「暗号化された限定公開鍵」を取得し、それを復号し、得られた限定公開鍵を検証処理に利用してもよい。
 サーバ113は、限定公開鍵の管理に関する処理を行う。例えば、サーバ113は、暗号化された限定公開鍵を管理してもよい。また、サーバ113は、ネットワーク110を介してその暗号化された限定公開鍵を供給してもよい。
 また、撮像装置111、検証装置112、およびサーバ113は、ネットワーク110を介して通信を行い、情報を授受してもよい。例えば、点線両矢印121に示されるように、撮像装置111は、画像ファイルを検証装置112へ供給してもよい。検証装置112は、その画像ファイルを取得してもよい。例えば、この画像ファイルには、撮像画像が格納されてもよい。また、この画像ファイルには、改ざん検知用署名が格納されてもよい。また、この画像ファイルには、来歴確認用署名が格納されてもよい。
 また、点線両矢印122に示されるように、サーバ113は、自身が管理する限定公開鍵を検証装置112へ供給してもよい。検証装置112は、その限定公開鍵を取得してもよい。この限定公開鍵は暗号化されていてもよい。
  <撮像装置>
 撮像装置111は、例えば、デジタルカメラ、スマートフォン、タブレット端末、ノート型パーソナルコンピュータといった、撮像機能を有する情報処理端末装置により構成される。撮像装置111が1つの装置(電子機器)により構成されてもよいし、複数の装置(電子機器)により構成されてもよい。例えば、撮像装置111がデジタルカメラおよびスマートフォンにより構成されてもよい。その場合、例えば、デジタルカメラが撮像画像を生成し、スマートフォンがそれらの署名の生成や、検証装置112への供給を行ってもよい。以下においては、撮像装置111が1つの装置(電子機器)により構成されるものとして説明する。
 図7は、本技術を適用した画像処理装置の一態様である撮像装置111の構成の一例を示すブロック図である。
 なお、図7においては、処理部やデータの流れ等の主なものを示しており、図7に示されるものが全てとは限らない。つまり、撮像装置111において、図7においてブロックとして示されていない処理部が存在したり、図7において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図7に示されるように撮像装置111は、制御部201、撮像処理部202、入力部203、および出力部204を有する。制御部201は、撮像処理部202内の各処理部を制御する。撮像処理部202は、制御部201により制御されて、撮像に関する処理を行う。入力部203は、例えばボタンやスイッチ等の入力デバイスを有する。入力部203は、その入力デバイスを介してユーザ等の指示入力等を受け付ける。入力部203は、その受け付けた指示等を制御部201へ供給する。制御部201は、その受け付けられた指示等に基づいて撮像処理部202を制御してもよい。出力部204は、例えばモニタやスピーカ等の出力デバイスを有する。出力部204は、その出力デバイスを介して制御部201から供給される情報を、例えば画像や音声等として出力する。制御部201は、例えば制御結果等、任意の情報を出力部204へ供給し、出力させてもよい。
 撮像処理部202は、光学系221、センサ部222、RAW処理部223、YUV処理部224、縮小画像生成部225、画像情報付加部226、3D情報処理部227、ハッシュ処理部228、署名制御部229、署名生成部230、画像ファイル生成部231、画像ファイル記録部232、および画像ファイル供給部233を有する。
 光学系221は、例えばレンズ、ミラー、フィルタ、絞り等の光学素子により構成され、被写体からの光線に対して所定の影響を及ぼし、その光線をセンサ部222へ誘導する。つまり、被写体からの光線は、この光学系221を介してセンサ部222に入射する。
 センサ部222は、光電変換に関する処理を行う。センサ部222は、イメージセンサ241および3D情報センサ242を有する。例えば、センサ部222は、光学系221を介して入射される被写体からの光線を用いて撮像画像や3D情報を生成してもよい。
 イメージセンサ241は、撮像画像の生成に関する処理を行う。イメージセンサ241は、光電変換素子を有する画素が行列状に配置される画素アレイを有する。例えば、イメージセンサ241は、その画素アレイにおいて、光学系221を介して入射する被写体からの光線を受光し、光電変換して撮像画像(RAW画像またはそのRAW画像から生成されたJPEG(Joint Photographic Experts Group)画像)を生成してもよい。つまり、イメージセンサ241は、被写体を撮像し、その被写体の撮像画像を生成するので、撮像画像生成部とも言える。また、イメージセンサ241は、生成した撮像画像をRAW処理部223へ供給してもよい。
 3D情報センサ242は、イメージセンサ241において得られる撮像画像内の複数個所についての距離関連情報をその撮像画像と同一の光軸で検出し、3D情報を生成する。つまり、3D情報センサ242は、3D情報生成部とも言える。例えば、3D情報センサ242は、距離関連情報を検出する所定のセンサデバイスを有する。3D情報センサ242は、そのセンサデバイスにおいて、光学系221を介して入射する被写体からの光線を受光し、距離関連情報を検出して3D情報を生成する。
 ここで、「同一の光軸」とは、3D情報センサ242へ入射する被写体からの光線が、イメージセンサ241へ入射する被写体からの光線が通過する光学系221を通過することを示す。つまり、イメージセンサ241へ入射する光線と3D情報センサ242へ入射する光線の、少なくとも被写体からセンサ部222までの経路が互いに同一であることを示す。このように、撮像画像および距離関連情報が互いに同一の光軸において検出されることにより、例えば、顔写真等を撮像し、その顔写真の被写体とは別の人物までの距離を検出するといったトリック撮影を行うことが困難になる。つまり、撮像画像の被写体と3D情報の被写体とが互いに同一である可能性が高くなる。
 また、「距離関連情報」は、撮像装置111(3D情報センサ242)から被写体までの距離を示す情報であってもよいし、その距離を導出するための情報であってもよい。例えば、距離関連情報は、デプスマップ、位相差データ、ToF(Time of Flight)データ、または、視差画像の集合等を含み得る。
 3D情報センサ242は、生成した3D情報を3D情報処理部227へ供給する。
 なお、図7においては、イメージセンサ241および3D情報センサ242が別体として構成されているが、イメージセンサ241および3D情報センサ242が一体化されてもよいし、イメージセンサ241が3D情報センサ242を兼ねてもよい。例えば、距離関連情報がToFデータである場合、3D情報センサ242は、イメージセンサ241とは別体の、ToF方式で距離を計測するToFセンサにより構成されてもよい。また、距離関連情報が位相差データである場合、3D情報センサ242は、イメージセンサ241の画素アレイの有効画素領域に形成される像面位相差検出画素により構成されてもよい。像面位相差検出画素は、位相差方式の合焦(オートフォーカス)機能に用いられる画素であり、位相差データを検出し得る。この場合、イメージセンサ241および3D情報センサ242が一体として形成される。また、3D情報センサ242は、イメージセンサ241とは別体の、位相差データを検出する位相差センサにより構成されてもよい。また、距離関連情報が3Dスイングパノラマ撮影等により生成される視差画像の集合である場合、イメージセンサ241が3D情報センサ242を兼ねる。換言するに、この場合、イメージセンサ241が撮像画像および3D情報を生成し、3D情報センサ242は省略し得る。
 以下においては、特に説明しない限り、3D情報センサ242が、像面位相差検出画素により構成される場合を例に説明する。つまり、3D情報センサ242により、距離関連情報として位相差データが検出される場合を例に説明する。
 RAW処理部223は、RAW画像に関する処理を行う。例えば、RAW処理部223は、イメージセンサ241から供給される撮像画像(RAW画像)を取得してもよい。RAW処理部223は、そのRAW画像に対して所定の処理を行ってもよい。この処理の内容は任意である。例えば、ホワイトバランス等の補正であってもよい。RAW処理部223は、処理後のRAW画像をYUV処理部224に供給してもよい。
 YUV処理部224は、YUV画像の生成に関する処理を行う。例えば、YUV処理部224は、RAW処理部223から供給されるRAW画像を取得してもよい。YUV処理部224は、そのRAW画像をYUV画像に変換してもよい。YUV処理部224は、そのYUV画像を符号化し、JPEG画像に変換してもよい。YUV処理部224は、その生成したJPEG画像を縮小画像生成部225へ供給してもよい。なお、イメージセンサ241が撮像画像としてJPEG画像を出力する場合、RAW処理部223およびYUV処理部224を省略し、イメージセンサ241がそのJPEG画像を縮小画像生成部225へ供給するようにしてもよい。
 縮小画像生成部225は、縮小画像の生成に関する処理を行う。例えば、縮小画像生成部225は、YUV処理部224から供給されるJPEG画像を取得してもよい。縮小画像生成部225は、そのJPEG画像の縮小画像を生成してもよい。なお、以下において、この縮小画像に対して元のJPEG画像を「本画像」とも称する。この縮小画像の生成方法は任意である。例えば、縮小画像生成部225は、本画像の一部の画素値を間引くことにより縮小画像を生成してもよい。縮小画像生成部225は、本画像の所定の部分領域毎に画素値を合成して画素数を低減させることにより、縮小画像を生成してもよい。縮小画像生成部225は、本画像の全画素を見て作るようにしてもよい。タップ数が足りない場合、縮小画像生成部225は、タップ数の足りる倍率の縮小を複数回繰り返し、所望の縮小倍率の縮小画像を生成してもよい。縮小画像生成部225は、生成した縮小画像を、本画像(JPEG画像)とともに画像情報付加部226へ供給する。
 画像情報付加部226は、画像情報の付加に関する処理を行う。例えば、画像情報付加部226は、縮小画像生成部225から供給される本画像および縮小画像を取得してもよい。画像情報付加部226は、その取得した本画像に関する情報である画像情報を生成してもよい。画像情報付加部226は、その生成した画像情報を本画像に関連付けてもよい。つまり、画像情報付加部226は、画像情報を本画像のメタデータとして生成してもよい。画像情報付加部226は、その生成した画像情報を、本画像および縮小画像とともにハッシュ処理部228へ供給してもよい。
 3D情報処理部227は、3D情報に対する処理を行う。例えば、3D情報処理部227は、3D情報センサ242から供給される3D情報を取得してもよい。3D情報処理部227は、その取得した3D情報に対する所定の処理を行ってもよい。例えば、3D情報処理部227は、その取得した3D情報をハッシュ処理部228へ供給してもよい。また、3D情報処理部227は、署名制御部229の制御に基づいて、署名が生成されない場合、その取得した3D情報を低解像度化し、その低解像度の3D情報をハッシュ処理部228へ供給してもよい。また、3D情報処理部227は、署名制御部229の制御に基づいて、署名が生成される場合、3D情報の低解像度化を省略し、その取得した3D情報をハッシュ処理部228へ供給してもよい。3D情報処理部227は、3D情報解像度設定部とも言える。また、3D情報処理部227は、その取得した3D情報の被写体(測距対象)が平面であるか否かを判定し、その判定結果を署名制御部229へ供給してもよい。3D情報処理部227は、平面判定部とも言える。
 ハッシュ処理部228は、ハッシュの生成に関する処理を行う。例えば、ハッシュ処理部228は、画像情報付加部226から供給される本画像、縮小画像、および画像情報を取得してもよい。ハッシュ処理部228は、3D情報処理部227から供給される3D情報を取得してもよい。ハッシュ処理部228は、その本画像、画像情報、および3D情報を用いてハッシュ(hash)を生成してもよい。ハッシュ処理部228は、生成したハッシュを、本画像、縮小画像、画像情報、および3D情報とともに署名生成部230へ供給してもよい。
 なお、ハッシュ処理部228は、署名制御部229により制御されて駆動してもよい。つまり、ハッシュ処理部228は、署名制御部229によりハッシュ生成が指示された場合、上述のようにハッシュを生成し、署名制御部229によりハッシュ生成が指示されなかった場合、そのハッシュの生成を省略してもよい。ハッシュの生成が省略される場合、ハッシュ処理部228は、取得した情報(例えば、本画像、縮小画像、画像情報、および3D情報等)を署名生成部230へ供給してもよい。
 署名制御部229は、署名の制御に関する処理を行う。例えば、署名制御部229は、制御部201を介して入力されるユーザやアプリケーション等からの指示に基づいて、署名を生成するか否かを制御してもよい。署名制御部229は、3D情報処理部227から供給される、3D情報の被写体(測距対象)が平面であるか否かの判定結果に基づいて、署名を生成するか否かを制御してもよい。例えば、署名制御部229は、3D情報の被写体(測距対象)が平面であると判定された場合、署名の生成を省略するように制御してもよい。署名制御部229は、3D情報の被写体(測距対象)が平面でないと判定された場合、署名を生成するように制御してもよい。その制御の際、署名制御部229は、ハッシュ処理部228および署名生成部230を制御することにより、署名を生成するか否かを制御してもよい。例えば、署名制御部229は、署名を生成しないように制御する場合、ハッシュ処理部228に対してハッシュの生成を省略させ、署名生成部230に対して署名の生成を省略させてもよい。署名制御部229は、署名を生成するように制御する場合、ハッシュ処理部228に対してハッシュを生成させ、署名生成部230に対して署名を生成させてもよい。署名制御部229は、署名を生成するか否かを示す制御情報を3D情報処理部227へ供給してもよい。
 署名生成部230は、署名の生成に関する処理を行う。例えば、署名生成部230は、ハッシュ処理部228から供給されるハッシュやそのハッシュの生成に用いた情報(例えば、本画像、縮小画像、画像情報、および3D情報等)を取得してもよい。署名生成部230は、秘密鍵を用いて、その取得したハッシュを暗号化し、署名(電子署名)を生成してもよい。つまり、署名生成部230は、少なくとも本画像および3D情報を含む情報の署名を生成してもよい。したがって、署名生成部230は、署名生成部とも言える。署名生成部230は、生成した署名を、その署名に対応する情報(例えば、本画像、縮小画像、画像情報、および3D情報等)とともに画像ファイル生成部231へ供給してもよい。
 なお、署名生成部230は、署名制御部229により制御されて駆動してもよい。例えば、署名制御部229により署名生成が指示された場合、署名生成部230は、上述のように署名を生成してもよい。また、署名制御部229により署名生成が指示されなかった場合、署名生成部230は、その署名の生成を省略してもよい。署名の生成が省略される場合、署名生成部230は、ハッシュ処理部228から供給された情報(例えば、本画像、縮小画像、画像情報、および3D情報等)を画像ファイル生成部231へ供給してもよい。
 画像ファイル生成部231は、画像ファイルの生成に関する処理を行う。例えば、画像ファイル生成部231は、署名生成部230から供給される情報(例えば、本画像、縮小画像、画像情報、3D情報、および署名等)を取得してもよい。画像ファイル生成部231は、所定のフォーマットで画像ファイルを生成し、その取得した情報(例えば、本画像、縮小画像、画像情報、3D情報、および署名等)をその画像ファイルに格納してもよい。また、画像ファイル生成部231は、暗号化された限定公開鍵をその画像ファイルに格納してもよい。画像ファイル生成部231は、その画像ファイルを画像ファイル記録部232へ供給してもよい。また、画像ファイル生成部231は、その画像ファイルを画像ファイル供給部233へ供給してもよい。
 画像ファイル記録部232は、画像ファイルの記録に関する処理を行う。画像ファイル記録部232は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体を駆動し、書き込みや読み出しを行うドライブを有する。例えば、画像ファイル記録部232は、画像ファイル生成部231から供給される画像ファイルを取得してもよい。画像ファイル記録部232は、その取得した画像ファイルを、そのドライブを介してリムーバブル記録媒体に記録してもよい。
 画像ファイル供給部233は、画像ファイルの供給に関する処理を行う。画像ファイル供給部233は、ネットワーク110を介して検証装置112と通信を行う通信機能を有する。例えば、画像ファイル供給部233は、画像ファイル生成部231から供給される画像ファイルを取得してもよい。画像ファイル供給部233は、その通信機能を利用して、取得した画像ファイルを検証装置112へ供給してもよい。
  <検証装置>
 検証装置112は、例えば、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ、専用のコンピュータ、サーバといった、画像表示機能を有する情報処理装置により構成される。検証装置112が1つの装置(電子機器)により構成されてもよいし、複数の装置(電子機器)により構成されてもよい。以下においては、検証装置112が1つの装置(電子機器)により構成されるものとして説明する。
 図8は、本技術を適用した画像処理装置の一態様である検証装置112の構成の一例を示すブロック図である。
 なお、図8においては、処理部やデータの流れ等の主なものを示しており、図8に示されるものが全てとは限らない。つまり、検証装置112において、図8においてブロックとして示されていない処理部が存在したり、図8において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図8に示されるように検証装置112は、画像ファイル取得部311、ユーザレベル画像検証部312、限定公開鍵取得部313、限定公開鍵復号部314、高レベル画像検証部315、および表示部316を有する。
 画像ファイル取得部311は、画像ファイルの取得に関する処理を行う。画像ファイル取得部311は、ネットワーク110を介して撮像装置111と通信を行う通信機能を有する。例えば、画像ファイル取得部311は、その通信機能を利用して、撮像装置111から供給される画像ファイルを取得してもよい。画像ファイル取得部311は、その取得した画像ファイルをユーザレベル画像検証部312へ供給してもよい。画像ファイル取得部311は、その画像ファイルを限定公開鍵復号部314へ供給してもよい。
 ユーザレベル画像検証部312は、ユーザレベル画像検証に関する処理を実行する。例えば、ユーザレベル画像検証部312は、画像ファイル取得部311から供給される画像ファイルを取得してもよい。ユーザレベル画像検証部312は、その取得した画像ファイルに格納される来歴確認用署名やユーザ公開鍵等を用いて、ユーザレベル画像検証処理を実行してもよい。このユーザレベル画像検証処理は、その画像ファイルに格納される画像に対する編集の来歴を確認するための検証処理である。ユーザレベル画像検証部312は、そのユーザレベル画像検証の結果(来歴の確認結果)を示す情報を表示部316へ供給してもよい。
 限定公開鍵取得部313は、限定公開鍵の取得に関する処理を実行する。例えば、限定公開鍵取得部313は、ネットワーク110を介してサーバ113と通信を行う通信機能を有する。例えば、限定公開鍵取得部313は、その通信機能を利用して、サーバ113に対して限定公開鍵を要求してもよい。その際、限定公開鍵取得部313は、サーバ113と通信を行い、検証装置112をサーバ113へ認証させる認証処理を行ってもよい。限定公開鍵取得部313は、その通信機能を利用して、その要求に対応してサーバ113から供給される限定公開鍵を取得してもよい。この限定公開鍵は暗号化されていてもよい。限定公開鍵取得部313は、その取得した限定公開鍵(暗号化された限定公開鍵)を限定公開鍵復号部314へ供給してもよい。
 限定公開鍵復号部314は、暗号化された限定公開鍵の復号に関する処理を行う。例えば、限定公開鍵復号部314は、限定公開鍵取得部313から限定公開鍵が供給される場合、その限定公開鍵を取得してもよい。限定公開鍵復号部314は、画像ファイル取得部311から画像ファイルを取得してもよい。限定公開鍵復号部314は、限定公開鍵取得部313から取得した限定公開鍵が暗号化されている場合、その暗号化された限定公開鍵を復号してもよい。限定公開鍵復号部314は、その復号により得られた限定公開鍵を画像ファイルとともに高レベル画像検証部315へ供給してもよい。
 また、限定公開鍵復号部314は、画像ファイル取得部311から取得した画像ファイルに「暗号化された限定公開鍵」が格納されている場合、その暗号化された限定公開鍵を抽出してもよい。そして、限定公開鍵復号部314は、その抽出した「暗号化された限定公開鍵」を復号してもよい。限定公開鍵復号部314は、その復号により得られた限定公開鍵を画像ファイルとともに高レベル画像検証部315へ供給してもよい。
 高レベル画像検証部315は、高レベル画像検証に関する処理を実行する。例えば、高レベル画像検証部315は、限定公開鍵復号部314から供給される限定公開鍵および画像ファイルを取得してもよい。高レベル画像検証部315は、その取得した限定公開鍵や、画像ファイルに格納される改ざん検知用署名等を用いて、高レベル画像検証処理を実行してもよい。この高レベル画像検証処理は、その画像ファイルに格納される撮像画像の改ざんを検知するための検証処理である。高レベル画像検証部315は、その高レベル画像検証の結果(改ざん検知の結果)を示す情報を表示部316へ供給してもよい。
 表示部316は、情報の表示に関する処理を行う。表示部316は、例えば液晶モニタ等の画像表示デバイスを有する。この画像表示デバイスは画像を表示できるものであればどのようなデバイスであってもよい。例えば、表示部316は、ユーザレベル画像検証部312から供給されるユーザレベル画像検証の結果を示す情報を取得してもよい。表示部316は、その取得した情報を表示するための画像情報を生成し、その画像表示デバイスを用いて、その画像情報を表示してもよい。また、表示部316は、高レベル画像検証部315から供給される高レベル画像検証の結果を示す情報を取得してもよい。表示部316は、その取得した情報を表示するための画像情報を生成し、その画像表示デバイスを用いて、その画像情報を表示してもよい。
  <サーバ>
 サーバ113は、例えば、単数の情報処理装置により構成されてもよいし、複数の情報処理装置に構成されてもよい。また、サーバ113は、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティング(つまり、クラウドサーバ)として実施するようにしてもよい。
 図9は、本技術を適用した画像処理装置の一態様であるサーバ113の構成の一例を示すブロック図である。
 なお、図9においては、処理部やデータの流れ等の主なものを示しており、図9に示されるものが全てとは限らない。つまり、サーバ113において、図9においてブロックとして示されていない処理部が存在したり、図9において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図9に示されるようにサーバ113は、限定公開鍵管理部411、限定公開鍵提供部412、および認証部413を有する。
 限定公開鍵管理部411は、限定公開鍵の管理に関する処理を実行する。例えば、限定公開鍵管理部411は、任意の記憶媒体を有し、撮像装置111が使用する第1の秘密鍵に対応する限定公開鍵をその記憶媒体に保持し、管理してもよい。限定公開鍵管理部411は、限定公開鍵提供部412から限定公開鍵を要求されると、その要求された限定公開鍵を記憶媒体から読み出し、要求元である限定公開鍵提供部412へ供給してもよい。
 限定公開鍵提供部412は、限定公開鍵の提供に関する処理を行う。例えば、限定公開鍵提供部412は、ネットワーク110を介して検証装置112と通信を行う通信機能を有する。例えば、限定公開鍵提供部412は、その通信により、検証装置112から供給される限定公開鍵の要求を受け付けてもよい。限定公開鍵提供部412は、その要求において指定される限定公開鍵を限定公開鍵管理部411に対して要求してもよい。
 なお、限定公開鍵提供部412は、認証部413により認証された検証装置112からの要求を受け付けてもよい。つまり、限定公開鍵提供部412は、認証部413から供給される検証装置112の認証結果を示す情報を取得してもよい。限定公開鍵提供部412は、その認証結果において検証装置112が認証された場合、その検証装置112から供給される限定公開鍵の要求を受け付けてもよい。そして、限定公開鍵提供部412は、その要求において指定される限定公開鍵を限定公開鍵管理部411に対して要求してもよい。
 また、限定公開鍵提供部412は、限定公開鍵管理部411から供給される限定公開鍵を取得してもよい。限定公開鍵提供部412は、その取得した限定公開鍵を、ネットワーク110を介して検証装置112へ供給してもよい。
 なお、この検証装置112へ供給する限定公開鍵は暗号化されていてもよい。つまり、限定公開鍵提供部412が、取得した限定公開鍵を暗号化し、その暗号化された限定公開鍵を検証装置112へ供給してもよい。また、限定公開鍵管理部411が暗号化された限定公開鍵を管理し、限定公開鍵提供部412へ供給してもよい。その場合、限定公開鍵提供部412は、その暗号化された限定公開鍵を取得し、検証装置112へ供給してもよい。
 認証部413は、検証装置112の認証に関する処理を実行する。例えば、認証部413は、ネットワーク110を介して検証装置112と通信を行う通信機能を有する。例えば、認証部413は、検証装置112と通信を行い、その検証装置112の認証処理を行ってもよい。認証部413は、その認証結果を示す情報を限定公開鍵提供部412へ供給してもよい。
  <本技術の適用>
 このような構成の画像処理システム100(の各装置)において、<3.複数の署名の格納>において上述した各種方法(本技術)を適用してもよい。例えば、上述した方法1を適用してもよい。つまり、公開範囲が互いに異なる公開鍵に対応する複数の署名をファイルに格納してもよい。
 例えば、撮像装置111において、ハッシュ処理部228が、撮像画像およびメタデータを用いて、第1の署名(改ざん検知用署名)に対応する第1のハッシュと第2の署名(来歴確認用署名)に対応する第2のハッシュとを生成してもよい。署名生成部230が、第1の秘密鍵と第1のハッシュとを用いて第1の署名を生成してもよい。署名生成部230が、第2の秘密鍵と第2のハッシュとを用いて第2の署名を生成してもよい。画像ファイル生成部231が、撮像画像、メタデータ、第1の署名、および第2の署名を格納するファイル(画像ファイル)を生成してもよい。なお、第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応してもよい。また、第2の秘密鍵は、ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応してもよい。
 また、署名生成部230が、第1の秘密鍵および第2の秘密鍵を予め保持してもよい。ハッシュ処理部228が、撮像画像およびメタデータを用いて第1のハッシュを生成し、署名生成部230が、第1の秘密鍵とその第1のハッシュとを用いて第1の署名(改ざん検知用署名)を生成してもよい。そして、ハッシュ処理部228が、撮像画像、メタデータ、およびその第1の署名を用いて第2のハッシュを生成し、署名生成部230が、第2の秘密鍵とその第2のハッシュとを用いて第2の署名を生成してもよい。
 また、イメージセンサ241が、被写体を撮像し、撮像画像を生成してもよい。そして、ハッシュ処理部228が、その生成された撮像画像およびメタデータを用いて、第1のハッシュおよび第2のハッシュを生成してもよい。
 また、画像ファイル生成部231が、ファイルの、メタデータを格納するメタデータ領域に、第1の署名(改ざん検出用署名)を格納してもよい。また、画像ファイル生成部231が、その暗号化された限定公開鍵をファイルに格納してもよい。
 例えば、検証装置112において、画像ファイル取得部311が、画像、メタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されたファイル(画像ファイル)を取得してもよい。高レベル画像検証部315が、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証してもよい。
 また、検証装置112において、限定公開鍵復号部314が、暗号化された限定公開鍵を復号してもよい。高レベル画像検証部315が、その復号された限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証してもよい。
 例えば、検証装置112において、限定公開鍵取得部313が、他の装置から供給される「暗号化された限定公開鍵」を取得してもよい。限定公開鍵復号部314が、その取得された「暗号化された限定公開鍵」を復号してもよい。また、限定公開鍵復号部314が、「暗号化された限定公開鍵」を画像ファイルから抽出して復号してもよい。高レベル画像検証部315が、その復号された限定公開鍵、画像、メタデータ、および第1の署名を用いて、画像の真贋を検証してもよい。
 また、上述した方法1-1を適用してもよい。つまり、各署名の対象を互いに異なる範囲にしてもよい。例えば、撮像装置111において、ハッシュ処理部228が、撮像画像およびメタデータの内の、第1の範囲を対象として第1のハッシュを生成してもよい。ハッシュ処理部228が、その第1の範囲よりも広い第2の範囲を対象として第2のハッシュを生成してもよい。この第1の範囲が、撮像画像およびメタデータの内の一部のデータを除く範囲であってもよい。また、上述の第2の範囲が、撮像画像およびメタデータの全体であってもよい。また、この一部のデータが、撮像画像に対する所定の加工に関するデータであってもよい。例えば、この「所定の加工に関するデータ」が、画像のローテーションに関するデータ、画像のレーティング(星評価)に関するデータ、IPTCメタデータ等の内の少なくとも1つを含むものであってもよい。
 また、上述した方法1-2を適用してもよい。つまり、改ざん検知用署名のハッシュをマルチハッシュとしてもよい。例えば、撮像装置111において、ハッシュ処理部228が、第1のハッシュを、互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成してもよい。また、ハッシュ処理部228が、第2のハッシュをマルチハッシュとして生成してもよい。
 また、上述した方法1-2-1を適用してもよい。つまり、改ざん検知用署名のハッシュの分け方を来歴用署名用のハッシュの分け方よりも細かくしてもよい。つまり、改ざん検知用署名に対応する第1のハッシュが第2のハッシュよりも多くのハッシュにより構成されてもよい。例えば、撮像装置111において、ハッシュ処理部228が、第1のハッシュを、第2のハッシュよりも多くのハッシュにより構成されるマルチハッシュとして生成してもよい。
 また、上述した方法1-3を適用してもよい。つまり、改ざん検知用署名を来歴で伝搬される領域に格納してもよい。例えば、撮像装置111において、画像ファイル生成部231が、メタデータ領域内の、来歴で伝搬される領域に第1の署名(改ざん検知用署名)を格納してもよい。画像ファイル生成部231が、メタデータ領域内の、ベンダー拡張領域に第1の署名(改ざん検知用署名)を格納してもよい。
 また、上述した方法1-3-1を適用してもよい。つまり、改ざん検知用署名のハッシュをマルチハッシュとし、かつ、来歴で落とされ得る領域(若しくは落とされる領域)を他と独立にハッシュにしてもよい。つまり、編集により、除去される領域若しくは除去される可能性のある領域については、他の領域とは独立にハッシュを生成するようにしてもよい。例えば、撮像装置111において、ハッシュ処理部228が、撮像画像およびメタデータの、来歴において除去される領域に対応する除去ハッシュを他と独立に生成し、第1のハッシュを、その除去ハッシュを含む互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成してもよい。
 このように各装置を構成することにより、高レベル画像検証やユーザレベル画像検証を実現することができる。例えば、署名検証を限定し、強力な改ざん検出を実現するユースケースと、他社に署名検証を許し編集来歴の維持を実現するユースケースの両方に対応することができる。すなわち、撮像画像のユーザビリティ(使いやすさ)の低減を抑制することができる。
  <撮像処理の流れ>
 図10のフローチャートを参照して、このような撮像装置111により実行される撮像処理の流れの例を説明する。
 撮像処理が開始されると、制御部201は、ステップS101において、撮像処理部202の電源をオンにし、プレビューを開始する。
 ステップS102において、制御部201は、撮像処理部202の動作モードとして、電子署名モードをオンにする。つまり、制御部201は、撮像処理部202の動作モードを、電子署名を画像ファイルに格納するモードに設定する。
 ステップS103において、センサ部222(イメージセンサ241および3D情報センサ242)は、被写体を撮像し、RAW画像と3D情報を同一光軸で取得する。
 ステップS104において、RAW処理部223は、そのRAW画像に対し、ホワイトバランスの調整等の補正処理を行う。YUV処理部224は、その補正されたRAW画像をYUV画像に変換する。また、YUV処理部224は、そのYUV画像を符号化し、JPEG画像を生成する。縮小画像生成部225は、そのJPEG画像(本画像)を縮小した縮小画像を生成する。この縮小画像の生成方法は任意である。また、縮小画像のサイズは任意である。例えば、縮小画像は、所謂サムネイルであってもよいし、所謂スクリンネイルであってもよい。画像情報付加部226は、本画像や縮小画像に関する画像情報をメタデータとして生成する。3D情報処理部227は、例えばその3D情報を低解像度化する等、その3D情報に対する所定の処理を行う。
 ステップS105において、ハッシュ処理部228は、撮像画像やメタデータ等を用いて第1のハッシュを生成する。
 ステップS106において、署名生成部230は、第1の秘密鍵を用いて、その生成した第1のハッシュを暗号化することにより、改ざん検知用署名を生成する。
 ステップS107において、ハッシュ処理部228は、撮像画像やメタデータ等を用いて第2のハッシュを生成する。
 ステップS108において、署名生成部230は、第2の秘密鍵を用いて、その生成した第2のハッシュを暗号化することにより、来歴確認用署名を生成する。
 ステップS109において、画像ファイル生成部231は、撮像画像と改ざん検知用署名と来歴確認用署名等を格納する画像ファイルを生成する。その際、画像ファイル生成部231は、その画像ファイルに、撮像画像のメタデータや証明書等を格納してもよい。また、画像ファイル生成部231は、その画像ファイルに、暗号化された限定公開鍵を格納してもよい。
 ステップS110において、画像ファイル記録部232は、その画像ファイルを記録する。
 ステップS111において、画像ファイル供給部233は、その画像ファイルを検証装置112へ供給する。
 ステップS111が終了すると撮像処理が終了する。
 このように各処理を実行することにより、撮像装置111は、高レベル画像検証やユーザレベル画像検証を実現することができる。例えば、撮像装置111は、署名検証を限定し、強力な改ざん検出を実現するユースケースと、他社に署名検証を許し編集来歴の維持を実現するユースケースの両方に対応することができる。すなわち、撮像装置111は、撮像画像のユーザビリティ(使いやすさ)の低減を抑制することができる。
  <ユーザレベル画像検証処理の流れ>
 検証装置112により実行されるユーザレベル画像検証処理の流れの例を、図11のフローチャートを参照して説明する。
 ユーザレベル画像検証処理が開始されると、画像ファイル取得部311は、ステップS201において、画像ファイルを取得する。この画像ファイルには、撮像装置(第1の画像処理装置)により生成された撮像画像、その撮像画像のメタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されている。
 ステップS202において、ユーザレベル画像検証部312は、その画像ファイルからユーザ公開鍵を抽出する。
 ステップS203において、ユーザレベル画像検証部312は、その抽出したユーザ公開鍵を用いて、画像ファイルに格納される来歴確認用署名を検証する。
 ステップS204において、ユーザレベル画像検証部312は、その検証の結果、来歴確認用署名が正しいか否かを判定する。来歴確認用署名が正当であると判定された場合、処理はステップS205へ進む。
 ステップS205において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知されなかった旨を通知する。ステップS205の処理が終了すると、ユーザレベル画像検証処理が終了する。
 また、ステップS204において、来歴確認用署名が不正であると判定された場合、処理はステップS206へ進む。
 ステップS206において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知された旨を通知する。ステップS206の処理が終了すると、ユーザレベル画像検証処理が終了する。
  <高レベル画像検証処理の流れ>
 また、検証装置112により実行される高レベル画像検証処理の流れの例を、図12のフローチャートを参照して説明する。
 高レベル画像検証処理が開始されると、画像ファイル取得部311は、ステップS221において、画像ファイルを取得する。この画像ファイルには、撮像装置(第1の画像処理装置)により生成された撮像画像、その撮像画像のメタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されている。
 ステップS222において、限定公開鍵取得部313は、暗号化された限定公開鍵をサーバ113から取得する。
 ステップS223において、限定公開鍵復号部314は、その暗号化された限定公開鍵を復号する。
 ステップS224において、高レベル画像検証部315は、その限定公開鍵を用いて、画像ファイルに格納される改ざん検知用署名を検証する。
 ステップS225において、高レベル画像検証部315は、その検証の結果、改ざん検知用署名が正しいか否かを判定する。改ざん検知用署名が正当であると判定された場合、処理はステップS226へ進む。
 ステップS226において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知されなかった旨を通知する。ステップS226の処理が終了すると、高レベル画像検証処理が終了する。
 また、ステップS225において、改ざん検知用署名が不正であると判定された場合、処理はステップS227へ進む。
 ステップS227において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知された旨を通知する。ステップS227の処理が終了すると、高レベル画像検証処理が終了する。
  <高レベル画像検証処理の流れ>
 なお、撮像画像に対して編集が行われ、その履歴が画像ファイルに格納されている場合、高レベル画像検証処理は、図13のフローチャートのような流れで実行される。
 高レベル画像検証処理が開始されると、画像ファイル取得部311は、ステップS241において、画像ファイルを取得する。この画像ファイルには、撮像装置(第1の画像処理装置)により生成された撮像画像、その撮像画像のメタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されている。
 ステップS242において、画像ファイル取得部311は、画像ファイルから撮像画像部分を抽出する。
 ステップS243において、限定公開鍵取得部313は、暗号化された限定公開鍵をサーバ113から取得する。
 ステップS244において、限定公開鍵復号部314は、その暗号化された限定公開鍵を復号する。
 ステップS245において、高レベル画像検証部315は、画像ファイルから抽出した撮像画像部分と、その限定公開鍵を用いて、改ざん検知用署名を検証する。
 ステップS246において、高レベル画像検証部315は、その検証の結果、改ざん検知用署名が正しいか否かを判定する。改ざん検知用署名が正当であると判定された場合、処理はステップS247へ進む。
 ステップS247において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知されなかった旨を通知する。ステップS247の処理が終了すると、高レベル画像検証処理が終了する。
 また、ステップS246において、改ざん検知用署名が不正であると判定された場合、処理はステップS248へ進む。
 ステップS248において、表示部316は、検証結果を示す画像情報を表示することにより、改ざんが検知された旨を通知する。ステップS248の処理が終了すると、高レベル画像検証処理が終了する。
 このように各処理を実行することにより、検証装置112は、高レベル画像検証やユーザレベル画像検証を実現することができる。例えば、検証装置112は、署名検証を限定し、強力な改ざん検出を実現するユースケースと、他社に署名検証を許し編集来歴の維持を実現するユースケースの両方に対応することができる。すなわち、検証装置112は、撮像画像のユーザビリティ(使いやすさ)の低減を抑制することができる。
  <高レベル画像検証処理の流れ>
 なお、図12の高レベル画像検証処理において、暗号化された限定公開鍵は、画像ファイルに格納されて検証装置112へ提供されてもよい。その場合の、高レベル画像検証処理の流れを、図14のフローチャートを参照して説明する。
 高レベル画像検証処理が開始されると、画像ファイル取得部311は、ステップS261において、画像ファイルを取得する。この画像ファイルには、撮像装置(第1の画像処理装置)により生成された撮像画像、その撮像画像のメタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されている。
 ステップS262において、限定公開鍵復号部314は、その画像ファイルから、暗号化された限定公開鍵を抽出する。
 ステップS263乃至ステップS267の各処理は、ステップS223乃至ステップS227の各処理(図12)と同様に実行される。ステップS266またはステップS267の処理が終了すると、高レベル画像検証処理が終了する。
  <高レベル画像検証処理の流れ>
 なお、図13の高レベル画像検証処理においても同様に、暗号化された限定公開鍵は、画像ファイルに格納されて検証装置112へ提供されてもよい。その場合の、高レベル画像検証処理の流れを、図15のフローチャートを参照して説明する。
 高レベル画像検証処理が開始されると、画像ファイル取得部311は、ステップS281において、画像ファイルを取得する。この画像ファイルには、撮像装置(第1の画像処理装置)により生成された撮像画像、その撮像画像のメタデータ、第1の署名(改ざん検知用署名)、および第2の署名(来歴確認用署名)が格納されている。
 ステップS282において、画像ファイル取得部311は、その画像ファイルから、撮像画像部分を抽出する。
 ステップS283において、限定公開鍵復号部314は、その画像ファイルから、暗号化された限定公開鍵を抽出する。
 ステップS284乃至ステップS288の各処理は、ステップS244乃至ステップS248の各処理(図13)と同様に実行される。ステップS287またはステップS288の処理が終了すると、高レベル画像検証処理が終了する。
  <限定公開鍵供給処理>
 サーバ113により実行される限定公開鍵供給処理の流れの例を図16のフローチャートを参照して説明する。
 限定公開鍵供給処理が開始されると、認証部413は、ステップS301において、認証処理を行う。
 認証処理が正常に終了し、検証装置112が認証されると、ステップS302において、限定公開鍵提供部412は、その認証された検証装置112から限定公開鍵の要求を受け付ける。
 ステップS303において、限定公開鍵提供部412は、要求された限定公開鍵を限定公開鍵管理部411から取得する。
 ステップS304において、限定公開鍵提供部412は、その取得した限定公開鍵を暗号化し、その暗号化された限定公開鍵を、要求元である検証装置112へ供給する。
 ステップS304の処理が終了すると、限定公開鍵供給処理が終了する。
 このように各処理を実行することにより、サーバ113は、限定公開鍵を検証装置112に提供することができる。したがって、サーバ113は、撮像画像のユーザビリティ(使いやすさ)の低減を抑制することができる。
 <5.付記>
  <その他>
 上述した本技術の各例(各方法)は、矛盾が生じない限り、他の例(他の方法)と適宜組み合わせて適用してもよい。また、上述した本技術の各例を、上述した以外の他の技術と組み合わせて適用してもよい。
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図17に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
  <本技術の適用可能な対象>
 本技術は、任意の符号化・復号方式に適用することができる。
 また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
 また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
 また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  <本技術を適用可能な分野・用途>
 本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
 例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
  <その他>
 なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
 また、撮像画像に関する各種情報(メタデータ等)は、撮像画像に関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) 撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成するハッシュ処理部と、
 第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成する署名生成部と、
 前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成するファイル生成部と
 を備え、
 前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、
 前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する
 画像処理装置。
 (2) 被写体を撮像し、前記撮像画像を生成する撮像部をさらに備え、
 前記ハッシュ処理部は、生成された前記撮像画像および前記メタデータを用いて、前記第1のハッシュおよび前記第2のハッシュを生成するように構成される
 (1)に記載の画像処理装置。
 (3) 前記署名生成部は、前記第1の秘密鍵および前記第2の秘密鍵を予め保持するように構成される
 (1)または(2)に記載の画像処理装置。
 (4) 前記ハッシュ処理部が、前記撮像画像および前記メタデータを用いて前記第1のハッシュを生成し、
 前記署名生成部が、前記第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、
 前記ハッシュ処理部が、前記撮像画像、前記メタデータ、および前記第1の署名を用いて前記第2のハッシュを生成し、
 前記署名生成部が、前記第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成する
 ように構成される(1)から(3)までのいずれかに記載の画像処理装置。
 (5) 前記ハッシュ処理部は、前記撮像画像および前記メタデータの内の、第1の範囲を対象として前記第1のハッシュを生成し、前記第1の範囲よりも広い第2の範囲を対象として前記第2のハッシュを生成するように構成される
 (1)から(4)までのいずれかに記載の画像処理装置。
 (6) 前記第1の範囲は、前記撮像画像および前記メタデータの内の一部のデータを除く範囲であり、
 前記第2の範囲は、前記撮像画像および前記メタデータの全体である
 (5)に記載の画像処理装置。
 (7) 前記一部のデータは、前記撮像画像に対する所定の加工に関するデータである
 (6)に記載の画像処理装置。
 (8) 前記所定の加工に関するデータは、ローテーションに関するデータ、レーティングに関するデータ、およびIPTC(International Press Telecommunications Council)メタデータの内の少なくとも1つを含む
 (7)に記載の画像処理装置。
 (9) 前記ハッシュ処理部は、前記第1のハッシュを、互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成するように構成される
 (1)から(8)までのいずれかに記載の画像処理装置。
 (10) 前記ハッシュ処理部は、前記第2のハッシュを前記マルチハッシュとして生成するように構成される
 (9)に記載の画像処理装置。
 (11) 前記ハッシュ処理部は、前記第1のハッシュを、前記第2のハッシュよりも多くのハッシュにより構成される前記マルチハッシュとして生成するように構成される
 (9)または(10)に記載の画像処理装置。
 (12) 前記ファイル生成部は、前記ファイルの、前記メタデータを格納するメタデータ領域に前記第1の署名を格納するように構成される
 (1)から(11)までのいずれかに記載の画像処理装置。
 (13) 前記ファイル生成部は、前記メタデータ領域内の、来歴で伝搬される領域に前記第1の署名を格納するように構成される
 (12)に記載の画像処理装置。
 (14) 前記ファイル生成部は、前記メタデータ領域内の、ベンダー拡張領域に前記第1の署名を格納するように構成される
 (13)に記載の画像処理装置。
 (15) 前記ハッシュ処理部は、前記撮像画像および前記メタデータの、前記来歴において除去される領域に対応する除去ハッシュを他と独立に生成し、前記第1のハッシュを、前記除去ハッシュを含む互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成する
 (14)に記載の画像処理装置。
 (16) 前記ファイル生成部は、暗号化された前記限定公開鍵を前記ファイルに格納するように構成される
 (1)から(15)までに記載の画像処理装置。
 (17) 撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成し、
 第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成し、
 前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成し、
 前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、
 前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する
 画像処理方法。
 (18) 画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得するファイル取得部と、
 ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証する検証部と
 を備え、
 前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、
 前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である
 画像処理装置。
 (19) 暗号化された前記限定公開鍵を復号する復号部をさらに備え、
 前記検証部は、復号された前記限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証するように構成される
 (18)に記載の画像処理装置。
 (20) 他の装置から供給される、暗号化された前記限定公開鍵を取得する限定公開鍵取得部をさらに備え、
 前記復号部は、取得された、暗号化された前記限定公開鍵を復号するように構成される
 (19)に記載の画像処理装置。
 (21) 前記復号部は、暗号化された前記限定公開鍵を前記ファイルから抽出して復号するように構成される
 (19)に記載の画像処理装置。
 (22) 画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得し、
 ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証し、
 前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、
 前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である
 画像処理方法。
 100 画像処理システム, 110 ネットワーク, 111 撮像装置, 112 検証装置, 113 サーバ, 201 制御部, 202 撮像処理部, 221 光学系, 222 センサ部, 228 ハッシュ処理部, 229 署名制御部, 230 署名生成部, 231 画像ファイル生成部, 232 画像ファイル記録部, 233 画像ファイル供給部, 311 画像ファイル取得部, 312 ユーザレベル画像検証部, 313 限定公開鍵取得部, 314 限定公開鍵復号部, 315 高レベル画像検証部, 316 表示部, 411 限定公開鍵管理部, 412 限定公開鍵提供部, 413 認証部, 900 コンピュータ

Claims (22)

  1.  撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成するハッシュ処理部と、
     第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成する署名生成部と、
     前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成するファイル生成部と
     を備え、
     前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、
     前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する
     画像処理装置。
  2.  被写体を撮像し、前記撮像画像を生成する撮像部をさらに備え、
     前記ハッシュ処理部は、生成された前記撮像画像および前記メタデータを用いて、前記第1のハッシュおよび前記第2のハッシュを生成するように構成される
     請求項1に記載の画像処理装置。
  3.  前記署名生成部は、前記第1の秘密鍵および前記第2の秘密鍵を予め保持するように構成される
     請求項1に記載の画像処理装置。
  4.  前記ハッシュ処理部が、前記撮像画像および前記メタデータを用いて前記第1のハッシュを生成し、
     前記署名生成部が、前記第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、
     前記ハッシュ処理部が、前記撮像画像、前記メタデータ、および前記第1の署名を用いて前記第2のハッシュを生成し、
     前記署名生成部が、前記第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成する
     ように構成される請求項1に記載の画像処理装置。
  5.  前記ハッシュ処理部は、前記撮像画像および前記メタデータの内の、第1の範囲を対象として前記第1のハッシュを生成し、前記第1の範囲よりも広い第2の範囲を対象として前記第2のハッシュを生成するように構成される
     請求項1に記載の画像処理装置。
  6.  前記第1の範囲は、前記撮像画像および前記メタデータの内の一部のデータを除く範囲であり、
     前記第2の範囲は、前記撮像画像および前記メタデータの全体である
     請求項5に記載の画像処理装置。
  7.  前記一部のデータは、前記撮像画像に対する所定の加工に関するデータである
     請求項6に記載の画像処理装置。
  8.  前記所定の加工に関するデータは、ローテーションに関するデータ、レーティングに関するデータ、およびIPTC(International Press Telecommunications Council)メタデータの内の少なくとも1つを含む
     請求項7に記載の画像処理装置。
  9.  前記ハッシュ処理部は、前記第1のハッシュを、互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成するように構成される
     請求項1に記載の画像処理装置。
  10.  前記ハッシュ処理部は、前記第2のハッシュを前記マルチハッシュとして生成するように構成される
     請求項9に記載の画像処理装置。
  11.  前記ハッシュ処理部は、前記第1のハッシュを、前記第2のハッシュよりも多くのハッシュにより構成される前記マルチハッシュとして生成するように構成される
     請求項9に記載の画像処理装置。
  12.  前記ファイル生成部は、前記ファイルの、前記メタデータを格納するメタデータ領域に前記第1の署名を格納するように構成される
     請求項1に記載の画像処理装置。
  13.  前記ファイル生成部は、前記メタデータ領域内の、来歴で伝搬される領域に前記第1の署名を格納するように構成される
     請求項12に記載の画像処理装置。
  14.  前記ファイル生成部は、前記メタデータ領域内の、ベンダー拡張領域に前記第1の署名を格納するように構成される
     請求項13に記載の画像処理装置。
  15.  前記ハッシュ処理部は、前記撮像画像および前記メタデータの、前記来歴において除去される領域に対応する除去ハッシュを他と独立に生成し、前記第1のハッシュを、前記除去ハッシュを含む互いに独立した複数のハッシュにより構成されるマルチハッシュとして生成する
     請求項14に記載の画像処理装置。
  16.  前記ファイル生成部は、暗号化された前記限定公開鍵を前記ファイルに格納するように構成される
     請求項1に記載の画像処理装置。
  17.  撮像画像およびメタデータを用いて、第1の署名に対応する第1のハッシュと第2の署名に対応する第2のハッシュとを生成し、
     第1の秘密鍵と前記第1のハッシュとを用いて前記第1の署名を生成し、第2の秘密鍵と前記第2のハッシュとを用いて前記第2の署名を生成し、
     前記撮像画像、前記メタデータ、前記第1の署名、および前記第2の署名を格納するファイルを生成し、
     前記第1の秘密鍵は、ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵に対応し、
     前記第2の秘密鍵は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する
     画像処理方法。
  18.  画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得するファイル取得部と、
     ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証する検証部と
     を備え、
     前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、
     前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である
     画像処理装置。
  19.  暗号化された前記限定公開鍵を復号する復号部をさらに備え、
     前記検証部は、復号された前記限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証するように構成される
     請求項18に記載の画像処理装置。
  20.  他の装置から供給される、暗号化された前記限定公開鍵を取得する限定公開鍵取得部をさらに備え、
     前記復号部は、取得された、暗号化された前記限定公開鍵を復号するように構成される
     請求項19に記載の画像処理装置。
  21.  前記復号部は、暗号化された前記限定公開鍵を前記ファイルから抽出して復号するように構成される
     請求項19に記載の画像処理装置。
  22.  画像、メタデータ、第1の署名、および第2の署名が格納されたファイルを取得し、
     ユーザ権限以外の特定の権限を有する第1の存在にのみ公開される限定公開鍵、前記画像、前記メタデータ、および前記第1の署名を用いて、前記画像の真贋を検証し、
     前記第1の署名は、前記限定公開鍵に対応する第1の秘密鍵、前記画像に対応する撮像画像、および前記撮像画像のメタデータを用いて生成された署名であり、
     前記第2の署名は、前記ユーザ権限を有する第2の存在にも公開されるユーザ公開鍵に対応する第2の秘密鍵、前記画像、および前記メタデータを用いて生成された署名である
     画像処理方法。
PCT/JP2023/043767 2022-12-07 2023-12-07 画像処理装置および方法 Ceased WO2024122601A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024562983A JPWO2024122601A1 (ja) 2022-12-07 2023-12-07
EP23900713.1A EP4632612A4 (en) 2022-12-07 2023-12-07 IMAGE PROCESSING DEVICE AND METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263430788P 2022-12-07 2022-12-07
US63/430,788 2022-12-07

Publications (1)

Publication Number Publication Date
WO2024122601A1 true WO2024122601A1 (ja) 2024-06-13

Family

ID=91379094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/043767 Ceased WO2024122601A1 (ja) 2022-12-07 2023-12-07 画像処理装置および方法

Country Status (3)

Country Link
EP (1) EP4632612A4 (ja)
JP (1) JPWO2024122601A1 (ja)
WO (1) WO2024122601A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026079179A1 (ja) * 2024-10-08 2026-04-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242139A (ja) * 2002-02-18 2003-08-29 Mitsubishi Electric Information Systems Corp 電子署名装置、電子署名方法、電子署名プログラムおよび電子署名プログラムを記録した記録媒体
JP2005045486A (ja) * 2003-07-28 2005-02-17 Casio Comput Co Ltd 撮像装置、撮影画像の認証方法及びプログラム
WO2021039055A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、画像データ処理方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060036864A1 (en) * 1999-12-28 2006-02-16 Parulski Kenneth A Digital camera with image authentication
US20040201751A1 (en) * 2002-01-03 2004-10-14 Genevieve Bell Secure digital photography system
US7313696B2 (en) * 2002-07-22 2007-12-25 Xerox Corporation Method for authentication of JPEG image data
KR20230124611A (ko) 2020-12-21 2023-08-25 소니그룹주식회사 화상 처리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242139A (ja) * 2002-02-18 2003-08-29 Mitsubishi Electric Information Systems Corp 電子署名装置、電子署名方法、電子署名プログラムおよび電子署名プログラムを記録した記録媒体
JP2005045486A (ja) * 2003-07-28 2005-02-17 Casio Comput Co Ltd 撮像装置、撮影画像の認証方法及びプログラム
WO2021039055A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、画像データ処理方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4632612A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026079179A1 (ja) * 2024-10-08 2026-04-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
EP4632612A1 (en) 2025-10-15
EP4632612A4 (en) 2026-01-07
JPWO2024122601A1 (ja) 2024-06-13

Similar Documents

Publication Publication Date Title
KR102858011B1 (ko) 강력한 선택적 이미지, 비디오, 및 오디오 콘텐츠 인증
US11868509B2 (en) Method and arrangement for detecting digital content tampering
US8121342B2 (en) Associating metadata with media signals, and searching for media signals using metadata
US7984300B2 (en) System and method of authenicating a digitally captured image
EP2832102B1 (en) Methods and systems for cryptographic access control of video
JPH11308564A (ja) デジタル証拠カメラシステム、復号化鍵取得・登録システム、及びデジタル画像編集システム
US10339283B2 (en) System and method for creating, processing, and distributing images that serve as portals enabling communication with persons who have interacted with the images
EP4024372A1 (en) Information processing device, information processing method, and program
CN114270776B (zh) 成像设备、图像数据处理方法以及程序
KR101628720B1 (ko) 진본성 및 무결성을 입증하기 위한 사본영상 증거관리시스템
TW202433891A (zh) 用於驗證視訊序列的發射器、接收器及其方法
WO2024122601A1 (ja) 画像処理装置および方法
EP4567642A1 (en) Content origin verifying system that also allows third party to accurately ascertain authenticity of digital signature, control method for content origin verifying system, and storage medium
US12192332B2 (en) File processing device and file processing method including file that stores encrypted image
EP4738153A1 (en) System for verifying original and source of security image
CN117336099B (zh) 基于区块链技术的智能合约的签署方法和签署系统
US20240184904A1 (en) Method and System for Managing at Least One Unique Data Record
WO2024122602A1 (ja) 画像処理装置および方法
CN121998810A (zh) 图像处理方法、识别方法、装置及电子设备
WO2025050987A1 (zh) 元数据的生成方法及电子设备
JP2003204512A (ja) 情報処理装置、情報処理方法、ネットワークシステム、ディジタル情報保証方法、記憶媒体、及びプログラム
WO2024122396A1 (ja) 画像処理装置および方法
JP2014112773A (ja) デジタル画像情報の証拠力を高める方法及びシステム
JP2011061265A (ja) メタデータ生成モジュール、撮像装置、撮像システム
Knop et al. A Key Management Architecture for Digital Cinema

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23900713

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024562983

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023900713

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023900713

Country of ref document: EP

Effective date: 20250707

WWP Wipo information: published in national office

Ref document number: 2023900713

Country of ref document: EP